Vom Touchscreen-Display zum Surface: Eine kurze Geschichte der Touchscreen-Technologie

Kaum zu glauben, dass noch vor wenigen Jahrzehnten die Touchscreen-Technologie nur in Science-Fiction-Büchern und Filmen zu finden war. Heutzutage ist es fast unvorstellbar, wie wir einst unsere täglichen Aufgaben ohne ein zuverlässiges Tablet oder Smartphone in der Nähe bewältigen konnten. Touchscreens sind wirklich überall. Zu Hause, im Auto, in Restaurants, in Geschäften, in Flugzeugen, wo auch immer – sie erfüllen unser Leben in öffentlichen und privaten Räumen.

Es hat Generationen und mehrere große technologische Fortschritte gebraucht, bis Touchscreens diese Art von Präsenz erreicht haben. Obwohl die Technologie, die den Touchscreens zugrunde liegt, bis in die 1940er Jahre zurückverfolgt werden kann, gibt es viele Hinweise darauf, dass Touchscreens erst ab 1965 realisierbar waren. In populären Science-Fiction-Fernsehserien wie Star Trek wurde die Technologie erst in Star Trek: The Next Generation von 1987 erwähnt, also fast zwei Jahrzehnte, nachdem die Touchscreen-Technologie überhaupt für möglich gehalten wurde. Aber ihre Aufnahme in die Serie verlief parallel zu den Fortschritten in der Welt der Technologie, und Ende der 1980er Jahre schienen die Touchscreens schließlich realistisch genug zu sein, dass die Verbraucher die Technologie tatsächlich in ihren eigenen Wohnungen einsetzen konnten.

Mehr anzeigen

Dieser Artikel ist der erste Teil einer dreiteiligen Serie über die Entwicklung der Touchscreen-Technologie von der Fiktion zur Realität. Die ersten drei Jahrzehnte der Touchscreen-Technologie sind wichtig, um die Multitouch-Technologie, an die wir uns heute so sehr gewöhnt haben, wirklich zu schätzen. Heute werden wir uns ansehen, wann diese Technologien zum ersten Mal aufkamen und wer sie eingeführt hat. Außerdem werden wir uns mit einigen anderen Pionieren befassen, die eine große Rolle bei der Weiterentwicklung der Touch-Technologie gespielt haben. In künftigen Beiträgen dieser Reihe werden wir untersuchen, wie die Veränderungen bei den Touch-Displays zu Geräten geführt haben, die für unser heutiges Leben unverzichtbar sind, und wie die Technologie uns in Zukunft weiterbringen könnte. Aber zuerst wollen wir den Finger auf den Bildschirm legen und in die 1960er Jahre reisen.

1960er Jahre: Der erste Touchscreen

Historiker gehen allgemein davon aus, dass der erste fingergesteuerte Touchscreen 1965 von E.A. Johnson im Royal Radar Establishment in Malvern, Großbritannien, erfunden wurde. Johnson beschrieb seine Arbeit ursprünglich in einem Artikel mit dem Titel „Touch display-a novel input/output device for computers“, der in der Zeitschrift Electronics Letters veröffentlicht wurde. Der Artikel enthielt ein Diagramm, das eine Art von Touchscreen-Mechanismus beschrieb, der heute in vielen Smartphones verwendet wird – das, was wir heute als kapazitive Berührung kennen. Zwei Jahre später erläuterte Johnson die Technologie mit Fotos und Diagrammen in „Touch Displays“ weiter: A Programmed Man-Machine Interface“ (Eine programmierte Mensch-Maschine-Schnittstelle), das 1967 in der Zeitschrift Ergonomics veröffentlicht wurde.

Ein kapazitives Touchscreen-Panel verwendet einen Isolator wie Glas, der mit einem transparenten Leiter wie Indium-Zinn-Oxid (ITO) beschichtet ist. Der „leitende“ Teil ist normalerweise ein menschlicher Finger, der einen feinen elektrischen Leiter darstellt. Johnsons ursprüngliche Technologie konnte nur eine Berührung auf einmal verarbeiten, und das, was wir heute als „Multitouch“ bezeichnen würden, war noch in weiter Ferne. Die Erfindung war auch binär in ihrer Interpretation von Berührungen – die Schnittstelle registrierte Berührungen oder sie registrierte sie nicht. Die Druckempfindlichkeit kam erst viel später hinzu.

Auch ohne die zusätzlichen Funktionen fand die frühe Idee der Touch-Oberfläche einige Abnehmer. Johnsons Entdeckung wurde schließlich von Fluglotsen in Großbritannien übernommen und blieb bis in die späten 1990er Jahre in Gebrauch.

1970er Jahre: Resistive Touchscreens werden erfunden

Obwohl kapazitive Touchscreens zuerst entwickelt wurden, wurden sie in den Anfangsjahren der Berührung von resistiven Touchscreens verdrängt. Der amerikanische Erfinder Dr. G. Samuel Hurst entwickelte resistive Touchscreens fast zufällig. Das Berea College Magazine for alumni beschreibt es so:

Zur Untersuchung der Atomphysik benutzte das Forschungsteam einen überlasteten Van de Graff-Beschleuniger, der nur nachts zur Verfügung stand. Mühsame Analysen verlangsamten ihre Forschung. Sam fand einen Weg, dieses Problem zu lösen. Er, Parks und Thurman Stewart, ein weiterer Doktorand, benutzten elektrisch leitendes Papier, um ein Paar von x- und y-Koordinaten abzulesen. Diese Idee führte zum ersten Touchscreen für einen Computer. Mit diesem Prototyp konnten seine Studenten in wenigen Stunden berechnen, wofür sie sonst Tage gebraucht hätten.

Hurst und das Forschungsteam arbeiteten an der Universität von Kentucky. Die Universität versuchte, in seinem Namen ein Patent anzumelden, um diese zufällige Erfindung vor Nachahmung zu schützen, aber aufgrund ihrer wissenschaftlichen Herkunft schien sie außerhalb des Labors nicht besonders anwendbar zu sein.

Hurst hatte jedoch andere Vorstellungen. „Ich dachte, es könnte für andere Dinge nützlich sein“, sagte er in dem Artikel. 1970, nachdem er an das Oak Ridge National Laboratory (ORNL) zurückgekehrt war, begann Hurst nach Feierabend mit einem Experiment. In seinem Keller machten sich Hurst und neun Freunde aus verschiedenen anderen Fachbereichen daran, die zufällig erfundene Technik zu verfeinern. Die Gruppe nannte ihr junges Projekt „Elographics“ und entdeckte, dass ein Touchscreen auf einem Computermonitor eine hervorragende Interaktionsmethode darstellte. Alles, was der Bildschirm brauchte, war eine leitfähige Abdeckfolie, die mit der Folie, die die X- und Y-Achse enthielt, in Kontakt kam. Durch Druck auf das Deckblatt konnte eine Spannung zwischen den X- und Y-Drähten fließen, die gemessen werden konnte, um Koordinaten anzugeben. Diese Entdeckung trug dazu bei, das zu begründen, was wir heute als resistive Touchtechnologie bezeichnen (weil sie nur auf Druck und nicht auf elektrische Leitfähigkeit reagiert und sowohl mit einem Stift als auch mit einem Finger funktioniert).

Als Technologieklasse sind resistive Touchscreens in der Regel sehr kostengünstig in der Herstellung. Die meisten Geräte und Maschinen, die diese Touchtechnologie verwenden, sind in Restaurants, Fabriken und Krankenhäusern zu finden, da sie für diese Umgebungen robust genug sind. Auch Smartphone-Hersteller haben in der Vergangenheit resistive Touchscreens verwendet, obwohl ihre Präsenz im mobilen Bereich heute eher auf Telefone der unteren Preisklasse beschränkt ist.

Elographics beschränkte sich jedoch nicht nur auf resistiven Touch. Die Gruppe patentierte schließlich die erste gebogene Glas-Touch-Oberfläche. Das Patent trug den Titel „Elektrischer Sensor für ebene Koordinaten“ und enthielt Einzelheiten über „einen kostengünstigen elektrischen Sensor für ebene Koordinaten“, der „nebeneinander liegende Schichten aus leitendem Material mit elektrischen Äquipotentiallinien“ verwendete. Nach dieser Erfindung wurde Elographics an „gute Leute in Kalifornien“ verkauft und wurde zu EloTouch Systems.

Bis 1971 wurde eine Reihe verschiedener berührungsfähiger Geräte eingeführt, von denen jedoch keines druckempfindlich war. Eines der damals am weitesten verbreiteten berührungsempfindlichen Geräte war das PLATO IV-Terminal der Universität von Illinois, eines der ersten allgemeinen computergestützten Unterrichtssysteme. Das PLATO IV verzichtete auf kapazitive oder resistive Berührungen und verwendete stattdessen ein Infrarotsystem (wir werden das gleich erläutern). PLATO IV war der erste Touchscreen-Computer, der in einem Klassenzimmer eingesetzt wurde und den Schülern erlaubte, den Bildschirm zu berühren, um Fragen zu beantworten.

1980er Jahre: Das Jahrzehnt der Berührung

Im Jahr 1982 wurde das erste von Menschen gesteuerte Multitouch-Gerät an der Universität von Toronto von Nimish Mehta entwickelt. Dabei handelte es sich weniger um einen Touchscreen als um ein Touch-Tablet. Die Input Research Group an der Universität fand heraus, dass eine Milchglasscheibe mit einer dahinter befindlichen Kamera Aktionen erkennen konnte, indem sie die verschiedenen „schwarzen Punkte“ auf dem Bildschirm erkannte. Bill Buxton hat eine große Rolle bei der Entwicklung der Multitouch-Technologie gespielt (vor allem mit der PortfolioWall, auf die wir später noch zu sprechen kommen werden), und er hielt Mehtas Erfindung für wichtig genug, um sie in seine informelle Zeitleiste der Computer-Eingabegeräte aufzunehmen:

Die Touch-Oberfläche war ein durchsichtiger Kunststofffilter, der über einer Glasplatte angebracht und von einer Leuchtstofflampe beleuchtet wurde. Unter der Berührungsfläche war eine Videokamera angebracht, die die Schatten, die auf dem durchscheinenden Filter erschienen, optisch aufzeichnete. (Der Ausgang der Kamera wurde digitalisiert und zur Analyse in einen Signalprozessor eingespeist.

Kurz darauf wurde die gestische Interaktion von Myron Krueger eingeführt, einem amerikanischen Computerkünstler, der ein optisches System entwickelte, das Handbewegungen verfolgen konnte. Krueger stellte Video Place (später Video Desk) 1983 vor, obwohl er bereits seit den späten 1970er Jahren an dem System gearbeitet hatte. Es nutzte Projektoren und Videokameras, um Hände, Finger und die Personen, zu denen sie gehörten, zu verfolgen. Im Gegensatz zu Multitouch wusste es nicht genau, wer oder was es berührte, aber die Software konnte auf verschiedene Posen reagieren. Das Display stellte etwas dar, das wie Schatten in einem simulierten Raum aussah.

Auch wenn sie technisch gesehen nicht auf Berührung basierte – sie benötigte eine „Verweilzeit“, bevor sie eine Aktion ausführte -, betrachtet Buxton sie als eine der Technologien, die „‚das Buch‘ in Bezug auf unbelastete… reichhaltige gestische Interaktion schrieb. Die Arbeit war ihrer Zeit mehr als ein Jahrzehnt voraus und hatte enormen Einfluss, wird aber nicht so anerkannt, wie es sein sollte.“ Krueger leistete später in seiner Karriere auch Pionierarbeit in den Bereichen virtuelle Realität und interaktive Kunst.

Touchscreens wurden Anfang der 1980er Jahre stark kommerzialisiert. HP (damals noch unter dem Namen Hewlett-Packard) brachte im September 1983 den HP-150 auf den Markt. Der Computer arbeitete mit MS-DOS und verfügte über einen 9-Zoll-CRT-Bildschirm von Sony, der von Infrarotstrahlern und -detektoren umgeben war, die erkennen konnten, wo der Finger des Benutzers auf dem Bildschirm aufkam. Das System kostete etwa 2.795 $, wurde aber nicht sofort angenommen, da es einige Probleme mit der Benutzerfreundlichkeit gab. Wenn man beispielsweise auf den Bildschirm stieß, wurden andere IR-Strahlen blockiert, die dem Computer mitteilen konnten, wohin der Finger zeigte. Dies führte zu dem, was einige als „Gorilla-Arm“ bezeichneten, und bezog sich auf die Ermüdung der Muskeln, die dadurch entstanden, dass der Benutzer seine Hand so lange ausstreckte.

Ein Jahr später machte die Multitouch-Technologie einen Schritt nach vorn, als Bob Boie von Bell Labs das erste transparente Multitouch-Display-Overlay entwickelte. Wie Ars letztes Jahr schrieb:

…der erste Multitouch-Bildschirm wurde 1984 in den Bell Labs entwickelt. berichtet, dass der von Bob Boie entwickelte Bildschirm „eine transparente kapazitive Anordnung von Berührungssensoren verwendete, die auf einem CRT lag“. Er ermöglichte es dem Benutzer, „grafische Objekte mit den Fingern mit hervorragender Reaktionszeit zu manipulieren“

Die Entdeckung half bei der Entwicklung der Multitouch-Technologie, die wir heute in Tablets und Smartphones verwenden.

1990er Jahre: Touchscreens für alle!

Im Jahr 1993 brachten IBM und BellSouth gemeinsam den Simon Personal Communicator auf den Markt, eines der ersten Handys mit Touchscreen-Technologie. Es verfügte über Paging-Funktionen, eine E-Mail- und Kalenderanwendung, einen Terminkalender, ein Adressbuch, einen Taschenrechner und einen Skizzenblock mit Stift. Es verfügte auch über einen resistiven Touchscreen, der die Verwendung eines Stiftes erforderte, um durch die Menüs zu navigieren und Daten einzugeben.

Auch Apple brachte in diesem Jahr ein PDA-Gerät mit Touchscreen auf den Markt: den Newton PDA. Obwohl die Newton-Plattform bereits 1987 eingeführt wurde, war das MessagePad das erste Gerät in der Reihe der Apple-Geräte, die diese Plattform nutzten. Wie Time anmerkt, prägte der damalige CEO von Apple, John Sculley, den Begriff „PDA“ (oder „Personal Digital Assistant“). Wie der Simon Personal Communicator von IBM verfügte auch das MessagePad 100 über eine Handschrifterkennungssoftware und wurde mit einem Stift bedient.

In den ersten Rezensionen des MessagePad wurden vor allem seine nützlichen Funktionen hervorgehoben. Sobald das Gerät jedoch in die Hände der Verbraucher gelangte, traten seine Schwächen deutlicher zutage. Die Handschrifterkennungssoftware funktionierte nicht besonders gut, und der Newton verkaufte sich nicht besonders gut. Das hielt Apple jedoch nicht davon ab, den Newton noch sechs weitere Jahre lang zu produzieren, bis er mit dem MP2000 endete.

Drei Jahre später folgte Palm Computing mit seinem eigenen PDA, dem Pilot. Es war die erste der vielen Generationen von persönlichen digitalen Assistenten des Unternehmens. Wie die anderen Touchscreen-Geräte, die ihm vorausgingen, erforderten der Palm 1000 und der Pilot 5000 die Verwendung eines Stiftes.

Palms PDA-Gerät hatte etwas mehr Erfolg als die Angebote von IBM und Apple. Sein Name wurde bald zum Synonym für das Wort „Business“, was zum Teil darauf zurückzuführen war, dass seine Handschrifterkennungssoftware sehr gut funktionierte. Die Benutzer verwendeten das von Palm „Graffiti“ genannte Programm zur Eingabe von Text, Zahlen und anderen Zeichen. Die Software war einfach zu erlernen und ahmte das Schreiben auf einem Blatt Papier nach. Sie wurde schließlich in die Apple Newton-Plattform übernommen.

PDA-Geräte verfügten nicht unbedingt über Touchscreens, die mit dem Finger bedient werden konnten, wie wir es heute gewohnt sind, aber die Akzeptanz der Verbraucher überzeugte die Unternehmen davon, dass es genügend Interesse an dieser Art von Geräten gab.

Gegen Ende des Jahrzehnts veröffentlichte Wayne Westerman, Doktorand an der University of Delaware, eine Dissertation mit dem Titel „Hand Tracking, Finger Identification, and Chordic Manipulation on a Multi-Touch Surface“. Darin beschrieb er die Mechanismen, die hinter der heutigen kapazitiven Multitouch-Technologie stehen, die sich zu einem Standardmerkmal moderner Geräte mit Touchscreen entwickelt hat.

Westerman und sein Fakultätsberater John Elias gründeten schließlich ein Unternehmen namens FingerWorks. Die Gruppe begann mit der Herstellung einer Reihe von Multitouch-Produkten, die auf Gesten basieren, darunter eine gestenbasierte Tastatur namens TouchStream. Dies half denjenigen, die an Behinderungen, wie z. B. Verletzungen durch wiederholte Belastung, und anderen medizinischen Problemen litten. In diesem Jahr wurde auch das iGesture Pad veröffentlicht, mit dem man den Bildschirm durch Gesten und Manöver mit einer Hand steuern konnte. FingerWorks wurde schließlich 2005 von Apple übernommen, und viele schreiben Technologien wie das Multitouch-Trackpad oder den Touchscreen des iPhones dieser Übernahme zu.

2000er Jahre und darüber hinaus

Da sich in den vorangegangenen Jahrzehnten so viele verschiedene Technologien angesammelt hatten, waren die 2000er Jahre die Zeit, in der die Touchscreen-Technologien wirklich aufblühten. Wir werden hier nicht zu viele spezifische Geräte behandeln (mehr dazu im Laufe dieser Touchscreen-Serie), aber es gab in diesem Jahrzehnt Fortschritte, die dazu beitrugen, Multitouch- und gestenbasierte Technologien der breiten Masse zugänglich zu machen. Die 2000er Jahre waren auch die Ära, in der Touchscreens zum bevorzugten Werkzeug für die Zusammenarbeit im Design wurden.

2001: Alias|Wavefronts gestenbasierte PortfolioWall

Als das neue Jahrtausend näher rückte, investierten Unternehmen immer mehr Ressourcen in die Integration von Touchscreen-Technologie in ihre täglichen Prozesse. 3D-Animatoren und Designer wurden mit der Einführung der PortfolioWall besonders angesprochen. Dabei handelte es sich um einen großformatigen Touchscreen, der eine dynamische Version der Tafeln sein sollte, die Designstudios zur Verfolgung von Projekten verwenden. Obwohl die Entwicklung bereits 1999 begann, wurde die PortfolioWall 2001 auf der SIGGRAPH vorgestellt und zum Teil in Zusammenarbeit zwischen General Motors und dem Team von Alias|Wavefront entwickelt. Buxton, der heute als Forschungsleiter bei Microsoft Research tätig ist, war der leitende Wissenschaftler des Projekts. „Wir reißen die Mauer ein und verändern die Art und Weise, wie Menschen effektiv am Arbeitsplatz kommunizieren und Geschäfte machen“, sagte er damals. „Die gestische Schnittstelle von PortfolioWall ermöglicht es den Benutzern, vollständig mit einem digitalen Asset zu interagieren. Das Betrachten von Bildern kann nun ganz einfach Teil des täglichen Arbeitsablaufs werden.“

Die PortfolioWall verwendet eine einfache, leicht zu bedienende, gestenbasierte Schnittstelle. Sie ermöglichte es den Benutzern, Bilder, Animationen und 3D-Dateien mit den Fingern zu inspizieren und zu manövrieren. Es war auch einfach, Bilder zu skalieren, 3D-Modelle abzurufen und Videos abzuspielen. Eine spätere Version fügte Skizzen- und Textkommentare hinzu, die Möglichkeit, Anwendungen von Drittanbietern zu starten, und ein auf Maya basierendes 3D-Anzeigetool zum Schwenken, Drehen, Zoomen und Betrachten von 3D-Modellen. Im Großen und Ganzen wurde das Produkt als digitale Korkplatte für designorientierte Berufe angesehen. Außerdem kostete die Installation des gesamten Systems satte 38.000 Dollar – 3.000 Dollar für den Presenter selbst und 35.000 Dollar für den Server.

Die PortfolioWall trug auch der Tatsache Rechnung, dass traditionelle Medien wie Tonmodelle und Zeichnungen in Originalgröße zwar immer noch wichtig für den Designprozess waren, aber langsam durch digitale Werkzeuge ergänzt wurden. Das Gerät enthielt Add-ons, die diese greifbaren Medien virtuell emulierten und als Präsentationswerkzeug für Designer dienten, um ihre laufenden Arbeiten zu zeigen.

Ein weiterer Hauptvorteil der PortfolioWall war ihr „Awareness-Server“, der die Zusammenarbeit über ein Netzwerk erleichterte, so dass Teams nicht im selben Raum sein mussten, um ein Projekt zu überprüfen. Teams konnten mehrere Walls in verschiedenen Räumen haben und trotzdem aus der Ferne zusammenarbeiten.

Die PortfolioWall wurde schließlich 2008 eingestellt, aber sie war ein Paradebeispiel dafür, wie Gesten, die mit dem Touchscreen interagieren, zur Steuerung eines ganzen Betriebssystems beitragen können.

2002: Mutual capacitive sensing in Sony’s SmartSkin

Im Jahr 2002 stellte Sony eine flache Eingabefläche vor, die mehrere Handpositionen und Berührungspunkte gleichzeitig erkennen konnte. Das Unternehmen nannte sie SmartSkin. Die Technologie funktionierte durch die Berechnung des Abstands zwischen der Hand und der Oberfläche mit kapazitiver Abtastung und einer netzförmigen Antenne. Im Gegensatz zu den kamerabasierten Gestenerkennungssystemen anderer Technologien waren die Sensorelemente alle in die Touch-Oberfläche integriert. Dies bedeutete auch, dass es bei schlechten Lichtverhältnissen nicht zu Fehlfunktionen kommen würde. Das ultimative Ziel des Projekts war es, Oberflächen, die jeden Tag benutzt werden, wie z. B. einen normalen Tisch oder eine Wand, in eine interaktive Oberfläche zu verwandeln, wenn ein PC in der Nähe ist. Die Technologie hat jedoch mehr für die kapazitive Berührungstechnologie getan, als vielleicht beabsichtigt war, einschließlich der Einführung mehrerer Berührungspunkte.

Jun Rekimoto vom Interaction Laboratory in Sonys Computer Science Laboratories hat die Vorteile dieser Technologie in einem Whitepaper festgehalten. Er sagte, dass Technologien wie SmartSkin „eine natürliche Unterstützung für die Bedienung mit mehreren Händen und durch mehrere Benutzer“ bieten. Mehr als zwei Benutzer können die Oberfläche gleichzeitig berühren, ohne dass es zu Störungen kommt. Es wurden zwei Prototypen entwickelt, um die SmartSkin als interaktiven Tisch und als Gestenerkennungspad zu zeigen. Der zweite Prototyp verwendet ein feineres Netz als der erste, um die Koordinaten der Finger genauer zu erfassen. Insgesamt sollte die Technologie ein realistisches Gefühl für virtuelle Objekte vermitteln und im Wesentlichen nachbilden, wie Menschen ihre Finger benutzen, um Objekte zu greifen und zu manipulieren.

2002-2004: Gescheiterte Tablets und Microsoft Research’s TouchLight

Die Multitouch-Technologie hatte es schwer, sich im Mainstream durchzusetzen, tauchte in speziellen Geräten auf, schaffte aber nie den großen Durchbruch. Ein solcher wäre 2002 beinahe gelungen, als das kanadische Unternehmen DSI Datotech das HandGear + GRT-Gerät entwickelte (die Abkürzung „GRT“ bezog sich auf die Gestenerkennungstechnologie des Geräts). Das Multipoint-Touchpad des Geräts funktionierte ähnlich wie das bereits erwähnte iGesture-Pad, da es verschiedene Gesten erkennen und den Benutzern ermöglichen konnte, es als Eingabegerät zur Steuerung ihrer Computer zu verwenden. „Wir wollten sicherstellen, dass HandGear einfach zu bedienen ist“, so Marketingleiter Tim Heaney in einer Pressemitteilung. „Deshalb wurde die Technologie so konzipiert, dass sie Hand- und Fingerbewegungen erkennt, die für den Benutzer völlig natürlich oder intuitiv sind, egal ob er Links- oder Rechtshänder ist. Nach einer kurzen Lernphase sind sie buchstäblich in der Lage, sich auf die eigentliche Arbeit zu konzentrieren und nicht darauf, was die Finger gerade tun.“

HandGear ermöglicht es den Nutzern auch, dreidimensionale Objekte in Echtzeit zu „greifen“, was die Idee von Freiheit und Produktivität im Designprozess noch erweitert. Das Unternehmen stellte die API sogar über AutoDesk für Entwickler zur Verfügung. Leider ging dem Unternehmen, wie Buxton in seinem Überblick über Multitouch erwähnt, das Geld aus, bevor das Produkt ausgeliefert werden konnte, und DSI schloss seine Pforten.

Zwei Jahre später entwickelte Andrew D. Wilson, ein Mitarbeiter von Microsoft Research, einen gestenbasierten bildgebenden Touchscreen und ein 3D-Display. Das TouchLight nutzte ein Rückprojektionsdisplay, um eine Acrylglasplatte in eine interaktive Oberfläche zu verwandeln. Das Display konnte mehrere Finger und Hände von mehr als einem Benutzer erkennen, und aufgrund seiner 3D-Fähigkeiten konnte es auch als provisorischer Spiegel verwendet werden.

Das TouchLight war eine nette Technologiedemonstration, und es wurde schließlich für die Produktion an Eon Reality lizenziert, bevor sich die Technologie als zu teuer erwies, um sie in ein Verbrauchergerät zu packen. Dies sollte jedoch nicht Microsofts einziger Vorstoß in die ausgefallene Multitouch-Display-Technologie bleiben.

2006: Multitouch-Sensorik durch „frustrierte Totalreflexion“

Im Jahr 2006 führte Jeff Han auf einer TED-Konferenz in Monterey, Kalifornien, erstmals öffentlich seinen intuitiven, schnittstellenfreien, berührungsgesteuerten Computerbildschirm vor. In seiner Präsentation bewegte und manipulierte Han Fotos auf einem riesigen Leuchtkasten nur mit seinen Fingerspitzen. Er schnippte Fotos, streckte sie aus und drückte sie weg, und das alles mit einer fesselnden natürlichen Leichtigkeit. „Das ist etwas, das Google in seiner Lobby haben sollte“, scherzte er. Die Demonstration zeigte, dass ein hochauflösender, skalierbarer Touchscreen gebaut werden kann, ohne zu viel Geld auszugeben.

Han hatte entdeckt, dass die „robuste“ Multitouch-Sensorik mit Hilfe der „frustrierten Totalreflexion“ (FTIR) möglich war, einer Technik aus der Biometrie, die für die Abbildung von Fingerabdrücken verwendet wird. FTIR funktioniert, indem Licht durch ein Stück Acryl- oder Plexiglas gestrahlt wird. Das Licht (in der Regel Infrarot) wird auf seinem Weg zwischen der Ober- und Unterseite des Acrylglases hin- und hergeworfen. Wenn ein Finger die Oberfläche berührt, werden die Strahlen an der Kante gestreut, auf der der Finger liegt, daher der Begriff „frustriert“. Die Bilder, die dabei entstehen, sehen wie weiße Kleckse aus und werden von einer Infrarotkamera aufgenommen. Der Computer analysiert die Stelle, die der Finger berührt, um seine Position zu markieren und eine Koordinate zuzuweisen. Die Software kann dann die Koordinaten analysieren, um eine bestimmte Aufgabe auszuführen, z. B. die Größe zu ändern oder Objekte zu drehen.

Nachdem der TED-Vortrag ein YouTube-Hit wurde, gründete Han ein Startup namens Perceptive Pixel. Ein Jahr nach dem Vortrag erklärte er gegenüber Wired, dass sein Multitouch-Produkt noch keinen Namen habe. Und obwohl er einige interessierte Kunden hatte, sagte Han, es seien alles „wirklich hochwertige Kunden.

Im letzten Jahr verkaufte Hann sein Unternehmen an Microsoft, um die Technologie für die Verbraucher erschwinglicher zu machen. „Bei unserem Unternehmen ging es schon immer um Produktivitätsanwendungen“, erklärte Han gegenüber AllThingsD. „Deshalb haben wir uns immer auf diese größeren Displays konzentriert. Office ist das, woran die Leute denken, wenn sie an Produktivität denken.

2008: Microsoft Surface

Bevor es ein 10-Zoll-Tablet gab, bezog sich der Name „Surface“ auf Microsofts grafischen High-End-Tisch-Touchscreen, der ursprünglich in einen echten IKEA-Tisch mit einem in die Platte geschnittenen Loch eingebaut war. Obwohl es 2007 der Öffentlichkeit vorgestellt wurde, stammt die Idee bereits aus dem Jahr 2001. Den Forschern in Redmond schwebte eine interaktive Arbeitsfläche vor, auf der Kollegen Objekte hin- und herbewegen konnten. Viele Jahre lang wurde die Arbeit hinter einer Geheimhaltungsvereinbarung versteckt. Es brauchte 85 Prototypen, bis Surface 1.0 einsatzbereit war.

Wie Ars 2007 schrieb, war das Microsoft Surface im Wesentlichen ein in einen mittelgroßen Tisch eingebetteter Computer mit einem großen, flachen Display auf der Oberseite. Das Bild des Bildschirms wurde von der Rückseite des Tisches auf die Anzeigefläche projiziert, und das System erkannte über Kameras, die im Inneren des Tisches angebracht waren und zum Benutzer hinaufschauten, wo der Benutzer den Bildschirm berührte. Wenn Finger und Hände mit dem Bildschirm interagierten, verfolgte die Software des Surface die Berührungspunkte und löste die richtigen Aktionen aus. Das Surface konnte mehrere Berührungspunkte gleichzeitig erkennen, ebenso wie Objekte, auf die kleine „Domino“-Aufkleber geklebt waren. Später im Entwicklungszyklus erhielt Surface auch die Fähigkeit, Geräte über RFID zu identifizieren.

Das ursprüngliche Surface wurde auf der All Things D-Konferenz im Jahr 2007 enthüllt. Obwohl viele seiner Designkonzepte nicht neu waren, veranschaulichte es sehr effektiv den realen Anwendungsfall für Touchscreens, die in etwas von der Größe eines Couchtisches integriert sind. Microsoft brachte dann das 30-Zoll-Surface mit, um es auf der CES 2008 vorzuführen, aber das Unternehmen sagte ausdrücklich, dass es auf den „Unterhaltungseinzelhandel“ abzielte. Surface wurde in erster Linie für die Nutzung durch gewerbliche Kunden von Microsoft entwickelt, um den Verbrauchern einen Eindruck von der Hardware zu vermitteln. Das Unternehmen ging eine Partnerschaft mit mehreren namhaften Hotelketten wie Starwood und Harrah’s Casino ein, um die Technologie in deren Lobbys zu präsentieren. Unternehmen wie AT&T nutzten das Surface, um Verbrauchern, die ihre Ladengeschäfte betraten, die neuesten Handys vorzustellen.

Anstatt es als grafische Benutzeroberfläche (GUI) zu bezeichnen, bezeichnete Microsoft die Oberfläche des Surface als natürliche Benutzeroberfläche oder „NUI“. Der Begriff suggerierte, dass sich die Technologie für den menschlichen Endbenutzer fast instinktiv anfühlen würde, so natürlich wie die Interaktion mit jeder Art von greifbarem Objekt in der realen Welt. Der Begriff bezog sich auch auf die Tatsache, dass die Schnittstelle in erster Linie durch die Berührung des Benutzers und nicht durch Eingabegeräte gesteuert wurde. (Außerdem war NUI – „new-ey“ – ein flottes, marketingfreundliches Akronym.)

Im Jahr 2011 ging Microsoft Partnerschaften mit Herstellern wie Samsung ein, um schlankere, neuere Tabletop-Surface-Hardware herzustellen. Das Samsung SUR40 verfügt beispielsweise über einen 40-Zoll-1080p-LED-Bildschirm und hat den Platzbedarf für die Touchscreen-Mechanismen drastisch reduziert. Mit einer Dicke von 22 Zoll war es dünner als seine Vorgänger, und die Größenreduzierung machte es möglich, das Display an der Wand zu montieren, anstatt einen Tisch für die Kamera und die Sensoren zu benötigen. Zum Zeitpunkt der Markteinführung kostete es rund 8.400 US-Dollar und lief mit Windows 7 und der Surface 2.0-Software.

Im vergangenen Jahr hat das Unternehmen die Technologie in PixelSense umbenannt, als Microsoft sein nicht verwandtes Surface-Tablet auf den Markt brachte. Der Name „PixelSense“ bezieht sich auf die eigentliche Funktionsweise der Technologie: Ein berührungsempfindliches Schutzglas wird auf eine Infrarot-Hintergrundbeleuchtung gelegt. Wenn das Licht auf das Glas trifft, wird es zu integrierten Sensoren zurückreflektiert, die das Licht in ein elektrisches Signal umwandeln. Dieses Signal wird als „Wert“ bezeichnet, und diese Werte erzeugen ein Bild dessen, was auf dem Display zu sehen ist. Das Bild wird dann mit Hilfe von Bildverarbeitungstechniken analysiert und an den angeschlossenen Computer gesendet.

PixelSense verfügt über vier Hauptkomponenten, die seine Technologie ausmachen: Es benötigt keine Maus und keine Tastatur, um zu funktionieren, mehr als ein Benutzer kann gleichzeitig damit interagieren, es kann bestimmte Objekte auf dem Glas erkennen und es verfügt über mehrere Kontaktpunkte. Der Name PixelSense könnte vor allem auf den letzten Punkt zurückzuführen sein – jedes Pixel kann tatsächlich erkennen, ob es einen Berührungskontakt gab oder nicht.

Obwohl es eine tolle Ergänzung für das Wohnzimmer wäre, vermarktet Microsoft die Surface-Hardware weiterhin als Geschäftswerkzeug und nicht als Verbraucherprodukt.

Touch heute – und morgen?

Es kann nicht unterschätzt werden – jede dieser Technologien hatte einen monumentalen Einfluss auf die Geräte, die wir heute benutzen. Alles, von unseren Smartphones bis hin zu Laptop-Trackpads und WACOM-Tablets, kann irgendwie mit den vielen Erfindungen, Entdeckungen und Patenten in der Geschichte der Touchscreen-Technologie in Verbindung gebracht werden. Android- und iOS-Nutzer sollten sich bei E. A. Johnson für kapazitive, berührungsempfindliche Smartphones bedanken, während Restaurants vielleicht Dr. G. Samuel Hurst für den resistiven Touchscreen ihres Kassensystems grüßen.

Im nächsten Teil unserer Serie werden wir uns eingehender mit den Geräten von heute beschäftigen. (Wie hat sich die Arbeit von FingerWorks überhaupt auf diese iDevices ausgewirkt?) Aber die Geschichte endete auch nicht mit 2011. Wir werden auch erörtern, wie einige der aktuellen Hauptakteure – wie Apple und Samsung – weiterhin zur Entwicklung von Touchscreen-Geräten beitragen. Nicht mit dem Finger scrollen, sondern dranbleiben!