Federální komise pro komunikace ukončila vyšetřování společnosti T-Mobile kvůli výpadku sítě, který předseda Ajit Pai označil za „nepřijatelný“. Místo potrestání mobilního operátora však FCC pouze vydává veřejné oznámení, aby telefonním společnostem „připomněla“ „osvědčené postupy přijímané v odvětví“, které mohly výpadku společnosti T-Mobile zabránit.
Po dvanáctihodinovém celostátním výpadku z 15. června, který narušil textové a telefonní služby včetně tísňového volání na linku 911, Pai napsal, že „výpadek sítě společnosti T-Mobile je nepřijatelný“ a že „FCC zahajuje vyšetřování. Požadujeme odpovědi – a američtí spotřebitelé také.“
Pai má za sebou historii tvrdých řečí s operátory, po nichž nenásledovaly tresty, které by mohly mít větší odstrašující účinek než stroze formulovaná varování. To se zřejmě stalo i včera, kdy FCC oznámila výsledky svého vyšetřování společnosti T-Mobile. Pai uvedl, že „výpadek společnosti T-Mobile byl selháním“, protože operátor nedodržel osvědčené postupy, které by mu mohly zabránit nebo ho minimalizovat, ale neoznámil žádný trest. Na základě včerejšího oznámení se zdá, že záležitost je uzavřena, ale dnes jsme kontaktovali kancelář předsedy Pai, abychom se zeptali, zda se chystá nějaké potrestání společnosti T-Mobile. Pokud dostaneme odpověď, budeme tento článek aktualizovat.
FCC podrobně popisuje chyby T-Mobile
Ve zprávě o vyšetřování zaměstnanců bylo uvedeno několik chyb, kterých se T-Mobile dopustil během výpadku, který začal v době, kdy T-Mobile instaloval nové routery na jihovýchodě USA. Když došlo k výpadku optického přenosového spoje v regionu, měla síť T-Mobile přenést provoz přes jiný spoj. Operátor však „špatně nakonfiguroval váhu spojů k jednomu ze svých směrovačů“, což „znemožnilo, aby provoz proudil do nového aktivního směrovače, jak bylo zamýšleno“. Společnost T-Mobile nezavedla žádný bezpečnostní proces, který by chybné konfiguraci zabránil nebo na problém upozornil síťové inženýry.
Trh v Atlantě se „izoloval“ od zbytku sítě, což způsobilo, že všichni uživatelé LTE v této oblasti ztratili připojení. Situaci ještě zhoršila softwarová chyba, která znemožnila mobilním zařízením v oblasti Atlanty opětovnou registraci do subsystému IP Multimedia přes Wi-Fi. Namísto směrování pokusů o registraci zařízení do jiného uzlu „registrační systém opakovaně směroval pokusy o přeregistraci každého mobilního zařízení do posledního uzlu, který měl ve svých záznamech a který byl z důvodu izolace trhu nedostupný.“
Softwarová chyba existovala v síti společnosti T-Mobile již několik měsíců. „Tato softwarová chyba pravděpodobně nezpůsobovala problémy předtím, než došlo k tomuto výpadku, protože výpadek byl první výraznou izolací trhu od doby, kdy společnost T-Mobile integrovala tento software do své sítě,“ uvedla FCC. Pravidelné testování „mohlo odhalit softwarovou chybu a chybnou konfiguraci směrování dříve, než mohly mít dopad na živé hovory,“ uvedla také FCC.
Po začátku potíží 15. června inženýři společnosti T-Mobile „nakonec dopad ještě zhoršili, protože problém špatně diagnostikovali“. Zpráva FCC pokračuje:
T-Mobile se domníval, že optický transportní spoj, který selhal dříve během dne, nadále způsoboval probíhající výpadek. Na základě tohoto přesvědčení společnost T-Mobile ručně vypnula tento spoj ve snaze přesunout provoz mimo něj. Kvůli stále chybně nakonfigurovaným vahám Open Shortest Path First však tyto kroky znovu vytvořily počáteční podmínky výpadku. Zákazníci LTE na trhu v Atlantě byli opět odpojeni od sítě LTE a nuceni navazovat hovory přes Wi-Fi a jejich pokusy o registraci opět selhaly a vytvořily registrační bouři, která způsobila další přetížení IP multimediálního subsystému společnosti T-Mobile.
Inženýři společnosti T-Mobile téměř okamžitě uznali, že problém špatně diagnostikovali. Nemohli však problém vyřešit obnovením spojení, protože nástroje pro vzdálenou správu sítě, které jsou k tomu zapotřebí, se spoléhaly na stejné cesty, které právě zakázali. Když se inženýrům společnosti T-Mobile podařilo získat přístup k zařízení na místě a napravit svou chybu obnovením spojení o hodinu později, mohli se zákazníci na trhu v Atlantě opět pokusit o registraci do VoLTE . Tím však opět došlo k dalšímu přetížení, protože inženýři společnosti T-Mobile ještě nevyřešili softwarovou chybu, která bránila dokončení registrací.
Výpadek se šíří po celé zemi
Zpráva FCC vysvětluje, jak se výpadek rozšířil z trhu v Atlantě a přešel do celé země. Externí provoz určený pro systém v Atlantě byl přesměrován do jiných regionů, což „vytvořilo dostatečné přetížení těchto registračních systémů, aby síť T-Mobile odeslala pokusy o registraci do jiných uzlů. Softwarová chyba opět přesměrovala pokusy o přeregistraci do posledního zaznamenaného uzlu, který se již pravděpodobně potýkal s velkým přetížením.“ Krátce poté začaly celostátně selhávat „registrace IP Multimedia Subsystem, VoLTE a Voice over Wi-Fi.“
Převážná většina zákazníků společnosti T-Mobile se nemohla připojit k sítím Voice over LTE nebo Voice over Wi-Fi, a proto se „vrátila zpět do sítí 3G a 2G s přepojováním okruhů společnosti T-Mobile, aby mohla uskutečňovat a přijímat hovory, zatímco zařízení pokračovalo v pokusech o registraci do sítě VoLTE.“ To mělo za následek přetížení sítí 3G a 2G, což způsobilo selhání mnoha telefonních hovorů. Síťové uzly po ukončení hovorů nadále zadržovaly prostředky pro tyto relace, čímž zahltily výpočetní zdroje uzlů a způsobily ještě více selhání hovorů.
Hovory 911 lze obvykle uskutečnit, i když mobilní zařízení nemohou dokončit registraci v subsystému IP Multimedia, ale v tomto případě bylo 911 ovlivněno přetížením sítí 3G a 2G, „protože tytéž síťové uzly, které vybírají brány pro hovory určené pro sítě 2G a 2G, vybírají také brány pro hovory 911″. Když byly výpočetní zdroje těchto uzlů zahlceny rezervacemi zdrojů pro opuštěné relace volání, způsobilo to také selhání mnoha volání na linku 911,“ uvedla FCC.
T-Mobile sdělil FCC, že 23 621 volání na linku 911 se během výpadku kvůli přetížení nedostalo k veřejným bezpečnostním záznamníkům. Dalších 111 253 tísňových volání bylo úspěšně dokončeno. Včetně tísňových i netísňových volání se během výpadku nepodařilo uskutečnit nejméně 41 % hovorů v síti společnosti T-Mobile, uvedla FCC.
Těmto skutečnostem bylo možné předejít nebo je minimalizovat, pokud by společnost T-Mobile zavedla „přiměřený monitoring sítě 911“, který „by společnosti T-Mobile v reálném čase odhalil, že výpadek způsobuje blokování hovorů na administrativních linkách center tísňového volání,“ uvedla FCC.
T-Mobile od té doby opravil technické problémy zjištěné v důsledku výpadku a provedl další změny, aby zabránil nebo snížil závažnost budoucích výpadků, uvádí se ve zprávě komise.
Hej, T-Mobile – prosím, už to nedělej
Ve včerejší tiskové zprávě Pai opět kritizoval T-Mobile. „Výpadek společnosti T-Mobile byl selháním,“ uvedl Pai. „Šetření našich zaměstnanců zjistilo, že společnost nedodržela několik zavedených osvědčených postupů pro spolehlivost sítě, které mohly výpadku buď zabránit, nebo alespoň zmírnit jeho dopad. Všichni poskytovatelé telekomunikačních služeb musí zajistit, aby dodržovali příslušné osvědčené postupy v odvětví, a vyzývám orgány pro standardy spolehlivosti sítí, aby využily své odborné znalosti k dalšímu studiu problémů zjištěných v této zprávě.“
Pai přesto neoznámil žádný trest.
„V souladu s dosavadní praxí plánuje úřad na základě analýzy tohoto a dalších nedávných výpadků vydat veřejné oznámení, v němž společnostem připomene osvědčené postupy přijímané v odvětví, včetně postupů doporučených Radou pro bezpečnost, spolehlivost a interoperabilitu komunikací FCC, a jejich význam,“ uvedl FCC. „Kromě toho bude úřad kontaktovat hlavní poskytovatele přenosových služeb, aby s nimi projednal jejich síťové postupy, a nabídne pomoc menším poskytovatelům, aby pomohl zajistit, že komunikační sítě naší země zůstanou robustní, spolehlivé a odolné.“
Je to podobné jako v loňském roce, kdy vyšetřování FCC týkající se reakce mobilních operátorů na hurikán Michael na Floridě zjistilo, že operátoři nedodrželi své vlastní dobrovolné roamingové závazky, což zbytečně prodloužilo výpadky. Pai označil reakci operátorů na hurikán za „naprosto nepřijatelnou“, ale neuložil žádný trest v souvislosti se špatnou reakcí na hurikán a nadále spoléhal na dobrovolná opatření, která mají zabránit opakování hurikánu.
Paiova FCC také nechala Verizon, T-Mobile a US Cellular vyváznout bez jakéhokoli trestu poté, co zjistila, že v oficiálních dokumentech zveličují své pokrytí 4G sítěmi. Pai navrhl pokuty pro AT&T, Verizon, T-Mobile a Sprint, aby potrestal operátory za nezákonný prodej údajů o poloze telefonů, ale pokuty ve výši 12 až 91 milionů dolarů pro každého operátora byly kritizovány demokraty jako nedostatečně vysoké vzhledem k poškození spotřebitelů.
.