Die Federal Communications Commission hat die Ermittlungen gegen T-Mobile wegen eines Netzausfalls abgeschlossen, den der Vorsitzende Ajit Pai als „inakzeptabel“ bezeichnete. Doch anstatt den Mobilfunkanbieter zu bestrafen, gibt die FCC lediglich eine öffentliche Bekanntmachung heraus, um die Telefongesellschaften an „branchenweit anerkannte bewährte Praktiken“ zu erinnern, die den T-Mobile-Ausfall hätten verhindern können.
Nach dem 12-stündigen landesweiten Ausfall am 15. Juni, bei dem SMS- und Telefondienste, einschließlich 911-Notrufe, unterbrochen wurden, schrieb Pai, dass „der Ausfall des T-Mobile-Netzes inakzeptabel ist“ und dass „die FCC eine Untersuchung einleitet. Wir verlangen Antworten – und die amerikanischen Verbraucher auch.“
Pai ist dafür bekannt, dass er mit den Netzbetreibern hart ins Gericht geht und ihnen keine Strafen auferlegt, die eine größere abschreckende Wirkung haben könnten als streng formulierte Warnungen. Das scheint auch gestern wieder der Fall gewesen zu sein, als die FCC die Ergebnisse ihrer Untersuchung von T-Mobile bekannt gab. Pai sagte, dass der Ausfall von T-Mobile ein Fehler war“, weil das Unternehmen nicht die besten Praktiken befolgt hat, die den Ausfall hätten verhindern oder minimieren können, aber er kündigte keine Strafe an. Nach der gestrigen Ankündigung scheint die Angelegenheit abgeschlossen zu sein, aber wir haben uns heute mit dem Büro des Vorsitzenden Pai in Verbindung gesetzt, um zu erfahren, ob eine Bestrafung von T-Mobile bevorsteht. Wir werden diesen Artikel aktualisieren, wenn wir eine Antwort erhalten.
FCC nennt Fehler von T-Mobile
Der Untersuchungsbericht der Mitarbeiter nennt mehrere Fehler, die T-Mobile während des Ausfalls machte, der begann, als T-Mobile neue Router im Südosten der USA installierte. Als eine Glasfaserverbindung in der Region ausfiel, hätte das Netz von T-Mobile den Datenverkehr über eine andere Verbindung leiten müssen. Der Netzbetreiber hatte jedoch „die Gewichtung der Verbindungen zu einem seiner Router falsch konfiguriert“, wodurch „der Datenverkehr nicht wie vorgesehen zum neuen aktiven Router geleitet werden konnte“. T-Mobile hatte keinen ausfallsicheren Prozess implementiert, um die Fehlkonfiguration zu verhindern oder die Netztechniker auf das Problem aufmerksam zu machen.
Der Markt in Atlanta wurde vom restlichen Netz „isoliert“, was dazu führte, dass alle LTE-Nutzer in diesem Gebiet die Verbindung verloren. Ein Softwarefehler verschlimmerte das Problem, indem er verhinderte, dass sich mobile Geräte im Raum Atlanta über Wi-Fi beim IP Multimedia Subsystem neu registrieren konnten. Anstatt die Registrierungsversuche der Geräte an einen anderen Knoten weiterzuleiten, „leitete das Registrierungssystem die Registrierungsversuche für jedes Mobilgerät wiederholt an den letzten in seinen Aufzeichnungen gespeicherten Knoten weiter, der aufgrund der Marktisolierung nicht verfügbar war.“
Der Softwarefehler bestand im Netz von T-Mobile schon seit Monaten. „Dieser Softwarefehler hat wahrscheinlich keine Probleme verursacht, bevor es zu diesem Ausfall kam, weil der Ausfall die erste nennenswerte Marktisolierung war, seit T-Mobile diese Software in sein Netz integriert hat“, sagte die FCC. Regelmäßige Tests „hätten den Softwarefehler und die Fehlkonfiguration des Routings aufdecken können, bevor sie sich auf laufende Anrufe auswirken konnten“, so die FCC weiter.
Nach dem Beginn der Probleme am 15. Juni „verschlimmerten die T-Mobile-Techniker die Auswirkungen, weil sie das Problem falsch diagnostizierten.“ Der FCC-Bericht fuhr fort:
T-Mobile glaubte, dass die Glasfaser-Transportverbindung, die zu Beginn des Tages ausgefallen war, weiterhin die Ursache für den anhaltenden Ausfall war. Aufgrund dieser Annahme schaltete T-Mobile die Verbindung manuell ab und versuchte, den Datenverkehr von der Verbindung wegzuleiten. Aufgrund der immer noch fehlkonfigurierten Open Shortest Path First-Gewichtung wurden dadurch jedoch die Ausgangsbedingungen des Ausfalls wiederhergestellt. LTE-Kunden im Markt von Atlanta wurden erneut vom LTE-Netz getrennt und gezwungen, Anrufe über Wi-Fi aufzubauen. Ihre Registrierungsversuche schlugen erneut fehl und verursachten einen Registrierungssturm, der das IP Multimedia Subsystem von T-Mobile weiter belastete.
Die Techniker von T-Mobile erkannten fast sofort, dass sie das Problem falsch diagnostiziert hatten. Sie waren jedoch nicht in der Lage, das Problem durch Wiederherstellung der Verbindung zu beheben, da die dafür erforderlichen Netzverwaltungstools aus der Ferne auf dieselben Pfade angewiesen waren, die sie gerade deaktiviert hatten. Als die Techniker von T-Mobile auf die Geräte vor Ort zugreifen und ihren Fehler korrigieren konnten, indem sie die Verbindung eine Stunde später wiederherstellten, konnten die Kunden auf dem Markt von Atlanta erneut versuchen, sich für VoLTE zu registrieren. Dies führte jedoch erneut zu einer zusätzlichen Überlastung, da die Techniker von T-Mobile den Softwarefehler, der die Registrierung verhinderte, noch nicht behoben hatten.
Ausfall breitet sich landesweit aus
Der FCC-Bericht erklärte, wie sich der Ausfall vom Markt Atlanta aus landesweit ausbreitete. Externer Verkehr, der für das System in Atlanta bestimmt war, wurde in andere Regionen umgeleitet, was „eine ausreichende Überlastung dieser Registrierungssysteme verursachte, um das T-Mobile-Netz zu veranlassen, die Registrierungsversuche an andere Knotenpunkte zu senden. Der Softwarefehler leitete die erneuten Registrierungsversuche erneut an den letzten eingetragenen Knotenpunkt weiter, der wahrscheinlich bereits stark überlastet war.“ Kurz darauf begannen landesweit „IP Multimedia Subsystem-, VoLTE- und Voice-over-Wi-Fi-Registrierungen fehlzuschlagen“
Die überwiegende Mehrheit der T-Mobile-Kunden konnte keine Verbindung zu Voice-over-LTE- oder Voice-over-Wi-Fi-Netzen herstellen und „griff daher auf die leitungsvermittelten 3G- und 2G-Netze von T-Mobile zurück, um Anrufe zu tätigen und zu empfangen, während das Gerät seine Registrierungsversuche im VoLTE-Netz fortsetzte.“ Dies führte zu einer Überlastung der 3G- und 2G-Netze, wodurch viele Telefonanrufe fehlschlugen. Die Netzwerkknoten hielten auch nach Beendigung der Anrufe weiterhin Ressourcen für diese Anrufsitzungen vor, wodurch die Rechenressourcen der Knoten überlastet wurden und noch mehr Anrufausfälle verursacht wurden.
911-Anrufe können in der Regel auch dann getätigt werden, wenn mobile Geräte die Registrierung beim IP Multimedia Subsystem nicht abschließen können, aber in diesem Fall war 911 von der Überlastung der 3G- und 2G-Netze betroffen, „weil dieselben Netzknoten, die Gateways für Anrufe in 2G- und 2G-Netze auswählen, auch Gateways für 911-Anrufe auswählen. Als die Rechenressourcen dieser Knoten durch die Ressourcenreservierungen für abgebrochene Anrufsitzungen überlastet wurden, führte dies auch dazu, dass viele 911-Anrufe fehlschlugen“, so die FCC.
T-Mobile teilte der FCC mit, dass 23.621 911-Anrufe aufgrund von Überlastung während des Ausfalls die Notrufabfragestellen nicht erreichten. Weitere 111.253 Notrufe wurden erfolgreich abgeschlossen. Einschließlich der Notrufe und der Anrufe, die keine Notrufe sind, sind laut FCC mindestens 41 Prozent der Anrufe im T-Mobile-Netz während des Ausfalls fehlgeschlagen.
Dies hätte vermieden oder minimiert werden können, wenn T-Mobile eine „angemessene Überwachung des 911-Netzes“ eingeführt hätte, die „T-Mobile in Echtzeit darüber informiert hätte, dass der Ausfall zu einer Blockierung der Anrufe auf den Verwaltungsleitungen der Notrufzentralen führte“, so die FCC.
T-Mobile hat seitdem die technischen Probleme, die durch den Ausfall identifiziert wurden, behoben und andere Änderungen vorgenommen, um zukünftige Ausfälle zu verhindern oder deren Schwere zu verringern, so der Kommissionsbericht.
Hey T-Mobile – bitte mach das nicht noch einmal
In einer Pressemitteilung kritisierte Pai gestern erneut T-Mobile. „Der Ausfall von T-Mobile war ein Fehler“, sagte Pai. „Unsere Untersuchung hat ergeben, dass das Unternehmen mehrere bewährte Verfahren zur Gewährleistung der Netzzuverlässigkeit nicht befolgt hat, die den Ausfall entweder hätten verhindern oder zumindest seine Auswirkungen hätten abmildern können. Alle Telekommunikationsanbieter müssen sicherstellen, dass sie sich an die einschlägigen bewährten Praktiken der Branche halten, und ich fordere die Normungsgremien für die Netzzuverlässigkeit auf, ihr Fachwissen auf die in diesem Bericht genannten Probleme anzuwenden, um sie weiter zu untersuchen.“
Trotzdem kündigte Pai keine Strafe an.
„In Übereinstimmung mit der bisherigen Praxis plant das Bureau eine öffentliche Bekanntmachung, die auf seiner Analyse dieses und anderer jüngster Ausfälle basiert und die Unternehmen an branchenweit anerkannte Best Practices erinnert, einschließlich derer, die vom Communications Security, Reliability, and Interoperability Council der FCC empfohlen werden, sowie an deren Bedeutung“, sagte die FCC. „Darüber hinaus wird sich die Behörde mit den großen Transportanbietern in Verbindung setzen, um deren Netzpraktiken zu erörtern und kleineren Anbietern Unterstützung anzubieten, um sicherzustellen, dass die Kommunikationsnetze unseres Landes robust, zuverlässig und widerstandsfähig bleiben.“
Dies ist ähnlich wie im vergangenen Jahr, als eine FCC-Untersuchung der Reaktion von Mobilfunkanbietern auf den Hurrikan Michael in Florida ergab, dass die Anbieter ihre eigenen freiwilligen Roaming-Verpflichtungen nicht einhielten, was die Ausfälle unnötig verlängerte. Pai bezeichnete die Reaktionen der Mobilfunkbetreiber auf den Hurrikan als „völlig inakzeptabel“, verhängte aber keine Strafe im Zusammenhang mit der schlechten Reaktion auf den Hurrikan und verließ sich weiterhin auf freiwillige Maßnahmen, um Wiederholungen zu verhindern.
Pais FCC ließ auch Verizon, T-Mobile und US Cellular ohne Strafe davonkommen, nachdem sie ihre 4G-Abdeckung in offiziellen Unterlagen übertrieben hatten. Pai hat Geldstrafen für AT&T, Verizon, T-Mobile und Sprint vorgeschlagen, um den illegalen Verkauf von Telefonstandortdaten zu bestrafen, aber die Strafen von 12 bis 91 Millionen Dollar pro Anbieter wurden von den Demokraten als nicht hoch genug im Verhältnis zum Schaden für die Verbraucher kritisiert.