Liittovaltion viestintäkomissio (FCC) on lopettanut T-Mobilen tutkimukset verkkokatkoksen vuoksi, jota puheenjohtaja Ajit Pai kutsui ”mahdottomaksi hyväksyä”. Mutta sen sijaan, että FCC rankaisisi matkapuhelinoperaattoria, se vain julkaisee julkisen ilmoituksen ”muistuttaakseen” puhelinyhtiöitä ”alan hyväksytyistä parhaista käytännöistä”, joilla T-Mobilen käyttökatkos olisi voitu estää.
Kun 12 tuntia kestänyt maanlaajuinen käyttökatkos 15. kesäkuuta häiritsi tekstiviesti- ja puhelinpalveluita, mukaan lukien hätäpuhelut hätänumeroon (911-hätäpuhelut), Pai kirjoitti, että T-Mobilen verkon käyttökatkos ei ole hyväksyttävissä, ja että ”FCC aloittaa tutkimuksen”. Vaadimme vastauksia – ja niin vaativat myös amerikkalaiset kuluttajat.”
Pailla on ollut tapana puhua kovaa operaattoreiden kanssa, mutta hän ei ole noudattanut rangaistuksia, joilla voisi olla suurempi pelotevaikutus kuin tiukasti muotoilluilla varoituksilla. Näin näyttää tapahtuneen jälleen eilen, kun FCC julkisti T-Mobilea koskevan tutkimuksensa tulokset. Pai totesi, että ”T-Mobilen katkos oli epäonnistunut”, koska operaattori ei noudattanut parhaita käytäntöjä, joilla katkos olisi voitu estää tai minimoida, mutta hän ei ilmoittanut rangaistuksista. Eilisen ilmoituksen perusteella asia näyttää olevan loppuun käsitelty, mutta otimme tänään yhteyttä puheenjohtaja Pain toimistoon kysyäksemme, onko T-Mobilelle tulossa rangaistuksia. Päivitämme tätä artikkelia, jos saamme vastauksen.
FCC täsmentää T-Mobilen virheitä
Henkilökunnan tutkimusraportissa todettiin useita virheitä, joita T-Mobile teki katkoksen aikana, joka alkoi, kun T-Mobile asensi uusia reitittimiä Yhdysvaltain kaakkoisosassa. Kun alueen kuitusiirtoyhteys petti, T-Mobilen verkon olisi pitänyt siirtää liikenne toisen yhteyden kautta. Mutta operaattori ”oli konfiguroinut väärin yhden reitittimensä linkkien painotuksen”, mikä ”esti liikennettä kulkemasta uudelle aktiiviselle reitittimelle tarkoitetulla tavalla”. T-Mobile ei ollut ottanut käyttöön mitään vikasietoista prosessia estääkseen virheellisen konfiguroinnin tai varoittaakseen verkkoinsinöörejä ongelmasta.
Atlantan markkina-alue ”eristäytyi” muusta verkosta, jolloin kaikki alueen LTE-käyttäjät menettivät yhteyden. Ohjelmistovirhe pahensi tilannetta estämällä Atlantan alueen mobiililaitteita rekisteröitymästä uudelleen IP-multimedia-alijärjestelmään Wi-Fin kautta. Sen sijaan, että laite-rekisteröintiyritykset olisi ohjattu toiseen solmuun, ”rekisteröintijärjestelmä ohjasi toistuvasti kunkin mobiililaitteen uudelleenrekisteröintiyritykset viimeiseen rekisterissään säilytettyyn solmuun, joka ei ollut käytettävissä markkinoiden eristämisen vuoksi.”
Ohjelmistovirhe oli ollut olemassa T-Mobilen verkossa kuukausia. ”Tämä ohjelmistovirhe ei todennäköisesti aiheuttanut ongelmia ennen tämän käyttökatkon tapahtumista, koska käyttökatko oli ensimmäinen huomattava markkinoiden eristäminen sen jälkeen, kun T-Mobile integroi tämän ohjelmiston verkkoonsa”, FCC sanoi. Säännöllinen testaus ”olisi voinut havaita ohjelmistovirheen ja reititysvirheen ennen kuin ne olisivat voineet vaikuttaa suoriin puheluihin”, FCC sanoi myös.
Kesäkuun 15. päivänä ilmenneiden ongelmien alettua T-Mobilen insinöörit ”päätyivät pahentamaan vaikutuksia, koska he diagnosoivat ongelman väärin”. FCC:n raportti jatkuu:
T-Mobile uskoi, että aiemmin päivällä vikaantunut kuitusiirtoyhteys aiheutti edelleen jatkuvan katkoksen. Tämän uskomuksen perusteella T-Mobile sulki linkin manuaalisesti yrittäessään siirtää liikennettä pois siitä. Koska Open Shortest Path First -painotuksia ei ollut vielä konfiguroitu oikein, nämä toimenpiteet loivat kuitenkin uudelleen katkoksen alkuperäiset olosuhteet. Atlantan markkinoiden LTE-asiakkaat erotettiin jälleen LTE-verkosta ja heidän oli pakko soittaa puheluita Wi-Fi-verkon kautta, ja heidän rekisteröintiyrityksensä epäonnistuivat jälleen ja aiheuttivat rekisteröintimyrskyn, joka lisäsi entisestään T-Mobilen IP-multimedia-alijärjestelmän ruuhkautumista.
T-Mobilen insinöörit myönsivät melkein heti, että he olivat diagnosoineet ongelman väärin. He eivät kuitenkaan pystyneet ratkaisemaan ongelmaa palauttamalla yhteyttä, koska siihen tarvittavat verkonhallintatyökalut tukeutuivat etänä samoihin polkuihin, jotka he olivat juuri poistaneet käytöstä. Kun T-Mobilen insinöörit pääsivät käsiksi laitteisiin paikan päällä ja pystyivät korjaamaan virheensä palauttamalla yhteyden tuntia myöhemmin, Atlantan markkinoiden asiakkaat pystyivät jälleen yrittämään VoLTE-rekisteröitymistä. Tämä aiheutti kuitenkin jälleen lisäruuhkaa, koska T-Mobilen insinöörit eivät olleet vielä korjanneet ohjelmistovirhettä, joka esti rekisteröintien loppuunsaattamisen.
Katkos leviää maanlaajuiseksi
FCC:n raportissa selitettiin, miten katkos levisi Atlantan markkinoilta koko maahan. Atlantan järjestelmään tarkoitettu ulkoinen liikenne ohjattiin muille alueille, mikä ”aiheutti näissä rekisteröintijärjestelmissä niin paljon ruuhkaa, että T-Mobilen verkko joutui lähettämään rekisteröintiyritykset muihin solmukohtiin”. Ohjelmistovirhe ohjasi uudelleenrekisteröintiyritykset jälleen viimeiseen rekisterissä olevaan solmuun, jossa oli todennäköisesti jo vakavia ruuhkia.” Pian tämän jälkeen ”IP Multimedia Subsystem-, VoLTE- ja Voice over Wi-Fi -rekisteröinnit alkoivat epäonnistua maanlaajuisesti.”
Suuri enemmistö T-Mobilen asiakkaista ei pystynyt muodostamaan yhteyttä Voice over LTE- tai Voice over Wi-Fi -verkkoihin, ja näin ollen he ”palasivat takaisin T-Mobilen piirikytkentäisiin 3G- ja 2G-verkkoihin puhelujen soittamiseen ja vastaanottamiseen, kun taas laite jatkoi rekisteröintiyrityksiä VoLTE-verkkoon.” Tämä johti 3G- ja 2G-verkkojen ruuhkautumiseen, mikä aiheutti monien puheluiden epäonnistumisen. Verkkosolmut jatkoivat resurssien pitämistä näitä puheluistuntoja varten puhelujen päättymisen jälkeen, mikä ylikuormitti solmujen laskentaresursseja ja aiheutti vielä enemmän puheluiden epäonnistumisia.
911-puheluita voidaan yleensä soittaa, vaikka mobiililaitteet eivät pystyisi suorittamaan rekisteröintiä IP-multimedia-alijärjestelmään, mutta tässä tapauksessa 3G- ja 2G-verkon ruuhkautuminen vaikutti 911-puheluihin, ”koska samat verkon solmut, jotka valitsevat yhdyskäytävät 2G- ja 2G-verkkoihin suuntautuville puheluille, valitsevat yhdyskäytävät myös 911-puheluille”. Kun näiden solmujen laskentaresurssit ylikuormittuivat hylättyjen puheluistuntojen resurssivarausten vuoksi, se aiheutti myös monien hätäkeskuspuheluiden epäonnistumisen”, FCC sanoi.
T-Mobile kertoi FCC:lle, että 23 621 hätäkeskuspuhelua ei päässyt yleiseen turvallisuuteen kuuluviin vastauspisteisiin ruuhkautumisen vuoksi katkon aikana. Toiset 111 253 hätäpuhelua saatiin onnistuneesti päätökseen. Sekä hätäkeskuspuhelut että muut kuin hätäkeskuspuhelut mukaan lukien ainakin 41 prosenttia T-Mobilen verkossa soitetuista puheluista epäonnistui katkoksen aikana, FCC sanoi.
Tämä olisi voitu välttää tai minimoida, jos T-Mobile olisi toteuttanut ”kohtuullisen hätäkeskuspuhelinverkon seurannan”, joka ”olisi paljastanut T-Mobilelle reaaliajassa, että katkos aiheutti puhelujen estymistä PSAP:n hallinnollisissa linjoissa”, FCC sanoi.
T-Mobile on sittemmin korjannut katkoksen vuoksi havaitut tekniset ongelmat ja tehnyt muita muutoksia estääkseen tai vähentääkseen tulevien katkosten vakavuutta, komission raportissa sanottiin.
Hei T-Mobile – pyydän, älkää tehkö tuota uudestaan
Lehdistötiedotteessaan eilen Pai kritisoi jälleen T-Mobilea. ”T-Mobilen katkos oli epäonnistuminen”, Pai sanoi. ”Henkilöstömme tutkimus osoitti, että yhtiö ei noudattanut useita vakiintuneita verkon luotettavuuden parhaita käytäntöjä, joilla katkos olisi voitu joko estää tai ainakin lieventää sen vaikutuksia. Kaikkien teleoperaattoreiden on varmistettava, että ne noudattavat asiaankuuluvia alan parhaita käytäntöjä, ja kannustan verkon luotettavuutta standardoivia elimiä soveltamaan asiantuntemustaan tässä raportissa yksilöityihin seikkoihin jatkotutkimuksia varten.”
Tästä huolimatta Pai ei ilmoittanut rangaistuksesta.
”Aikaisemman käytännön mukaisesti virasto aikoo julkaista tämän ja muiden viimeaikaisten käyttökatkosten analyysin perusteella julkisen ilmoituksen, jossa muistutetaan yrityksiä alan hyväksytyistä parhaista käytännöistä, mukaan lukien FCC:n viestintäturvallisuus-, luotettavuus- ja yhteentoimivuusneuvoston (Communications Security, Reliability and Interoperability Council) suosittelemat käytännöt, ja niiden tärkeydestä”, FCC sanoi. ”Lisäksi virasto ottaa yhteyttä suuriin liikenneoperaattoreihin keskustellakseen niiden verkkokäytännöistä ja tarjotakseen apua pienemmille operaattoreille, jotta voidaan varmistaa, että maamme viestintäverkot pysyvät vankkoina, luotettavina ja kestävinä.”
Tämä on samankaltaista kuin viime vuonna, kun FCC:n tutkimuksessa, joka koski matkaviestinoperaattoreiden reaktioita Floridassa esiintyneeseen hurrikaani Michaelin myrskyyn, todettiin, että operaattorit eivät noudattaneet omia vapaaehtoisia verkkovierailusitoumuksiaan, mikä tarpeettomasti aiheutti katkoksia. Pai kutsui operaattoreiden reaktioita hurrikaaniin ”täysin mahdottomiksi hyväksyä”, mutta ei määrännyt mitään rangaistuksia hurrikaanin huonosta reagoinnista ja luotti edelleen vapaaehtoisiin toimenpiteisiin toistumisen estämiseksi.
Pain johtama FCC päästi myös Verizonin, T-Mobilen ja US Cellularin pälkähästä ilman rangaistuksia sen jälkeen, kun se oli havainnut, että ne liioittelivat 4G-verkon peittoaluettaan virallisissa asiakirjoissaan. Pai on ehdottanut sakkoja AT&T:lle, Verizonille, T-Mobilelle ja Sprintille rangaistukseksi operaattoreiden laittomasta puhelinpaikkatietojen myynnistä, mutta demokraatit kritisoivat 12 miljoonasta 91 miljoonaan dollaria operaattoria kohti olevia rangaistuksia liian pieniksi suhteessa kuluttajille aiheutuneeseen vahinkoon.