A Szövetségi Kommunikációs Bizottság befejezte a T-Mobile vizsgálatát a hálózati kiesés miatt, amelyet Ajit Pai elnök “elfogadhatatlannak” nevezett. De ahelyett, hogy megbüntetné a mobilszolgáltatót, az FCC csupán egy nyilvános közleményt ad ki, hogy “emlékeztesse” a telefontársaságokat az “iparág által elfogadott legjobb gyakorlatokra”, amelyekkel megelőzhető lett volna a T-Mobile üzemzavara.
A június 15-i 12 órás országos üzemzavar után, amely megzavarta az SMS- és telefonszolgáltatást, beleértve a 911-es segélyhívásokat, Pai azt írta, hogy “a T-Mobile hálózati üzemzavara elfogadhatatlan”, és hogy “az FCC vizsgálatot indít”. Válaszokat követelünk – ahogy az amerikai fogyasztók is.”
Pai korábban is keményen beszélt a szolgáltatókkal, és nem követte olyan büntetésekkel, amelyeknek nagyobb visszatartó erejük lenne, mint a szigorúan megfogalmazott figyelmeztetéseknek. Úgy tűnik, ez történt tegnap is, amikor az FCC bejelentette a T-Mobile ellen folytatott vizsgálatának eredményeit. Pai azt mondta, hogy “a T-Mobile üzemzavara hiba volt”, mivel a szolgáltató nem követte a legjobb gyakorlatokat, amelyekkel megelőzhető vagy minimalizálható lett volna, de büntetést nem jelentett be. A tegnapi bejelentés alapján úgy tűnik, hogy az ügy lezárult, de ma felvettük a kapcsolatot Pai elnök irodájával, hogy megkérdezzük, várható-e a T-Mobile megbüntetése. Ha választ kapunk, frissítjük ezt a cikket.
FCC részletezi a T-Mobile hibáit
A munkatársak vizsgálati jelentése számos hibát azonosított a T-Mobile részéről az üzemzavar során, amely akkor kezdődött, amikor a T-Mobile új routereket telepített az USA délkeleti részén. Amikor a régióban meghibásodott egy üvegszálas szállítási kapcsolat, a T-Mobile hálózatának egy másik kapcsolaton keresztül kellett volna továbbítania a forgalmat. A szolgáltató azonban “rosszul konfigurálta az egyik útválasztójához vezető linkek súlyát”, ami “megakadályozta, hogy a forgalom a tervezett módon az új aktív útválasztóhoz áramoljon”. A T-Mobile nem vezetett be semmilyen üzembiztos eljárást a hibás konfiguráció megelőzésére vagy a hálózati mérnökök figyelmeztetésére a problémára.”
Az atlantai piac “elszigetelődött” a hálózat többi részétől, aminek következtében a térség összes LTE-felhasználója elvesztette a kapcsolatot. Egy szoftverhiba tovább rontott a helyzeten, mivel megakadályozta, hogy az atlantai területen lévő mobileszközök Wi-Fi-n keresztül újra regisztráljanak az IP multimédia alrendszerbe. Ahelyett, hogy a készülékregisztrációs kísérleteket egy másik csomóponthoz irányította volna, “a regisztrációs rendszer az egyes mobileszközök újraregisztrációs kísérleteit ismételten a nyilvántartásában szereplő utolsó csomóponthoz irányította, amely a piac elszigetelődése miatt nem volt elérhető.”
A szoftverhiba már hónapok óta fennállt a T-Mobile hálózatában. “Ez a szoftverhiba valószínűleg nem okozott problémát a kiesés bekövetkezte előtt, mivel a kiesés volt az első említésre méltó piacelszigetelés azóta, hogy a T-Mobile integrálta ezt a szoftvert a hálózatába” – közölte az FCC. A rendszeres tesztelés “felfedezhette volna a szoftverhibát és az útválasztási hibát, mielőtt azok hatással lehettek volna az élő hívásokra” – mondta az FCC is.”
A június 15-én kezdődött probléma után a T-Mobile mérnökei “végül súlyosbították a hatást, mert félrediagnosztizálták a problémát”. Az FCC jelentése így folytatódott:
A T-Mobile úgy vélte, hogy a korábban meghibásodott üvegszálas szállítási kapcsolat továbbra is a folyamatban lévő kiesést okozta. Ennek a meggyőződésnek megfelelően a T-Mobile manuálisan lekapcsolta a kapcsolatot, hogy megpróbálja a forgalmat elterelni róla. A még mindig rosszul konfigurált Open Shortest Path First súlyok miatt azonban ezek a lépések újra létrehozták a kiesés kezdeti feltételeit. Az atlantai piacon az LTE-ügyfelek ismét elszakadtak az LTE-hálózattól, és kénytelenek voltak Wi-Fi-n keresztül hívást kezdeményezni, regisztrációs kísérleteik pedig ismét sikertelenek voltak, és regisztrációs vihart keltettek, ami tovább torlódást okozott a T-Mobile IP multimédia alrendszerében.
A T-Mobile mérnökei szinte azonnal felismerték, hogy rosszul diagnosztizálták a problémát. Azonban nem tudták megoldani a problémát a kapcsolat helyreállításával, mert az ehhez szükséges hálózatirányítási eszközök távolról ugyanazokra az útvonalakra támaszkodtak, amelyeket az imént letiltottak. Amikor a T-Mobile mérnökei a helyszínen hozzá tudtak férni a berendezéshez, és egy órával később a kapcsolat helyreállításával korrigálni tudták a hibát, az atlantai piacon az ügyfelek ismét megpróbálhattak VoLTE-re regisztrálni. Ez azonban ismét további torlódásokat okozott, mivel a T-Mobile mérnökei még nem orvosolták a szoftverhibát, amely megakadályozta a regisztráció befejezését.
Az üzemzavar országos méretű
Az FCC jelentése elmagyarázta, hogyan terjedt el az üzemzavar az atlantai piacról az egész országra. Az atlantai rendszerbe szánt külső forgalmat más régiókba irányították át, ami “elegendő torlódást okozott ezekben a regisztrációs rendszerekben ahhoz, hogy a T-Mobile hálózata más csomópontokra küldje a regisztrációs kísérleteket. A szoftverhiba ismét az utolsó nyilvántartott csomópontra irányította az újraregisztrációs kísérleteket, amely valószínűleg már akkor is komoly torlódást tapasztalt”. Röviddel ezután “az IP Multimedia Subsystem, a VoLTE és a Voice over Wi-Fi regisztrációk országszerte sikertelenül kezdődtek.”
A T-Mobile ügyfeleinek túlnyomó többsége nem tudott csatlakozni a Voice over LTE vagy Voice over Wi-Fi hálózatokhoz, és így “a T-Mobile 3G és 2G körkapcsolásos hálózataira esett vissza a hívások indításához és fogadásához, miközben a készülék folytatta a VoLTE hálózatra irányuló regisztrációs kísérleteket”. Ez 3G és 2G torlódást eredményezett, ami sok telefonhívás meghiúsulását okozta. A hálózati csomópontok a hívások befejezése után továbbra is tartották az erőforrásokat ezekhez a hívási munkamenetekhez, ami túlterhelte a csomópontok számítási erőforrásait, és még több hívásmeghiúsulást okozott.
A 911-es hívások általában akkor is lebonyolíthatók, ha a mobileszközök nem tudják befejezni a regisztrációt az IP multimédia alrendszerben, de ebben az esetben a 911-es hívásokat érintette a 3G és 2G hálózat túlterheltsége, “mivel ugyanazok a hálózati csomópontok, amelyek a 2G és 2G hálózatokba irányuló hívásokhoz átjárókat választanak, a 911-es hívásokhoz is átjárókat választanak. Amikor e csomópontok számítási erőforrásai túlterheltté váltak az elhagyott hívási munkamenetek erőforrás-foglalása miatt, ez sok 911-es hívás meghiúsulását is okozta” – közölte az FCC.
A T-Mobile közölte az FCC-vel, hogy az üzemszünet alatt a túlterheltség miatt 23 621 911-es hívás nem jutott el a közbiztonsági válaszadási pontokra. További 111 253 segélyhívás sikeresen befejeződött. Az FCC szerint a 911-es és a nem sürgősségi hívásokat is beleértve a T-Mobile hálózatán indított hívások legalább 41 százaléka sikertelen volt az üzemzavar alatt.
Ez elkerülhető vagy minimalizálható lett volna, ha a T-Mobile “ésszerű 911-es hálózatfigyelést” hajtott volna végre, amely “valós időben felfedte volna a T-Mobile számára, hogy az üzemzavar hívásblokkolást okoz a PSAP adminisztratív vonalain” – mondta az FCC.
A T-Mobile azóta kijavította az üzemzavar miatt azonosított műszaki problémákat, és más változtatásokat is eszközölt a jövőbeli üzemzavarok megelőzése vagy súlyosságának csökkentése érdekében – áll a bizottsági jelentésben.
Hé T-Mobile – kérlek, ne csináld ezt újra
Egy tegnapi sajtóközleményben Pai ismét bírálta a T-Mobile-t. “A T-Mobile kiesése kudarc volt” – mondta Pai. “Munkatársaink vizsgálata megállapította, hogy a vállalat nem követett számos olyan bevett hálózati megbízhatósági bevált gyakorlatot, amely vagy megelőzhette volna a kiesést, vagy legalábbis enyhíthette volna annak hatásait. Minden távközlési szolgáltatónak biztosítania kell, hogy betartja a vonatkozó legjobb iparági gyakorlatokat, és arra bátorítom a hálózati megbízhatósági szabványokkal foglalkozó testületeket, hogy további tanulmányozás céljából alkalmazzák szakértelmüket a jelentésben azonosított problémákra.”
Mindezek ellenére Pai nem jelentett be büntetést.
“A korábbi gyakorlatnak megfelelően az iroda azt tervezi, hogy a mostani és más közelmúltbeli üzemzavarok elemzése alapján nyilvános közleményt ad ki, amelyben emlékezteti a vállalatokat az iparág által elfogadott legjobb gyakorlatokra, köztük az FCC Kommunikációbiztonsági, Megbízhatósági és Interoperabilitási Tanácsa által ajánlott gyakorlatokra és azok fontosságára” – közölte az FCC. “Ezenkívül az iroda felveszi a kapcsolatot a nagyobb közlekedési szolgáltatókkal, hogy megvitassa hálózati gyakorlataikat, és segítséget kínáljon a kisebb szolgáltatóknak annak biztosítása érdekében, hogy nemzetünk kommunikációs hálózatai szilárdak, megbízhatóak és ellenállóak maradjanak.”
Ez hasonló ahhoz, ami tavaly történt, amikor az FCC vizsgálata a mobilszolgáltatóknak a floridai Michael hurrikánra adott válaszaival kapcsolatban megállapította, hogy a szolgáltatók nem tartották be saját önkéntes roamingkötelezettségeiket, ami szükségtelenül meghosszabbította a kieséseket. Pai “teljesen elfogadhatatlannak” nevezte a szolgáltatók hurrikánra adott válaszait, de nem szabott ki büntetést a rossz hurrikánreakcióval kapcsolatban, és továbbra is az önkéntes intézkedésekre támaszkodott a megismétlődés megelőzése érdekében.
Pai FCC-je a Verizont, a T-Mobile-t és a US Cellular-t is büntetés nélkül elengedte, miután megállapította, hogy hivatalos bejelentéseikben eltúlozták a 4G-lefedettségüket. Pai bírságokat javasolt az AT&T, a Verizon, a T-Mobile és a Sprint számára, hogy megbüntesse a szolgáltatókat a telefonos helymeghatározási adatok illegális értékesítéséért, de a szolgáltatónként 12 millió és 91 millió dollár közötti bírságokat a demokraták kritizálták, mivel nem elég nagyok a fogyasztóknak okozott kárhoz képest.