Van aanraakschermen tot de Surface: Een korte geschiedenis van touchscreen-technologie

Het is moeilijk te geloven dat touchscreen-technologie nog maar enkele decennia geleden alleen te vinden was in sciencefictionboeken en -films. Tegenwoordig is het bijna onvoorstelbaar hoe we ooit onze dagelijkse taken konden uitvoeren zonder een trouwe tablet of smartphone in de buurt, maar daar blijft het niet bij. Touchscreens zijn werkelijk overal. Huizen, auto’s, restaurants, winkels, vliegtuigen, waar dan ook – ze vullen ons leven in openbare en privéruimten.

Het heeft generaties en verschillende grote technologische ontwikkelingen gekost voordat touchscreens deze vorm van aanwezigheid konden bereiken. Hoewel de onderliggende technologie achter touchscreens teruggaat tot de jaren veertig van de vorige eeuw, zijn er genoeg aanwijzingen dat touchscreens pas minstens in 1965 haalbaar waren. In populaire sciencefictionprogramma’s zoals Star Trek werd pas naar de technologie verwezen toen Star Trek: The Next Generation in 1987 uitkwam, bijna twee decennia nadat de aanraakschermtechnologie al mogelijk werd geacht. Maar hun opname in de serie liep parallel met de vooruitgang in de technologische wereld, en tegen het einde van de jaren 1980 leken aanraakschermen eindelijk realistisch genoeg te zijn dat consumenten de technologie daadwerkelijk in hun eigen huis konden toepassen.

Bekijk meer

Dit artikel is het eerste van een driedelige serie over de weg van fictie naar de touchscreen-technologie. De eerste drie decennia van touch zijn belangrijk om over na te denken om de multitouch-technologie waaraan we tegenwoordig zo gewend zijn, echt te kunnen waarderen. Vandaag bekijken we wanneer deze technologieën ontstonden en wie ze introduceerde, plus bespreken we diverse andere pioniers die een grote rol hebben gespeeld bij de vooruitgang van touch. In de volgende delen van deze serie zullen we bestuderen hoe de veranderingen in aanraakschermen hebben geleid tot essentiële apparaten voor ons leven van vandaag en waar de technologie ons in de toekomst zou kunnen brengen. Maar laten we eerst de vinger op het scherm leggen en naar de jaren zestig van de vorige eeuw reizen.

De jaren zestig: Het eerste aanraakscherm

Geschiedkundigen gaan er in het algemeen van uit dat het eerste vingergedreven aanraakscherm in 1965 werd uitgevonden door E.A. Johnson in het Royal Radar Establishment in Malvern, Verenigd Koninkrijk. Johnson beschreef zijn werk oorspronkelijk in een artikel met de titel “Touch display-a novel input/output device for computers” dat gepubliceerd werd in Electronics Letters. Het artikel bevatte een diagram dat een type touchscreen-mechanisme beschreef dat tegenwoordig in veel smartphones wordt gebruikt – wat we nu kennen als capacitieve aanraking. Twee jaar later ging Johnson verder in op de technologie met foto’s en diagrammen in “Touch Displays: A Programmed Man-Machine Interface”, gepubliceerd in Ergonomics in 1967.

Een capacitief aanraakscherm maakt gebruik van een isolator, zoals glas, die is bekleed met een transparante geleider zoals indiumtinoxide (ITO). Het “geleidende” deel is meestal een menselijke vinger, die voor een fijne elektrische geleider zorgt. Johnson’s aanvankelijke technologie kon slechts één aanraking tegelijk verwerken, en wat we vandaag zouden omschrijven als “multitouch” was nog een eindje weg. De uitvinding was ook binair in zijn interpretatie van aanraking – de interface registreerde contact of het registreerde geen contact. Drukgevoeligheid zou pas veel later komen.

Zelfs zonder de extra functies, had het vroege touch interface idee enkele liefhebbers. Johnsons ontdekking werd uiteindelijk overgenomen door luchtverkeersleiders in het Verenigd Koninkrijk en bleef in gebruik tot het eind van de jaren negentig.

Jaren zeventig: Resistieve touchscreens worden uitgevonden

Hoewel capacitieve touchscreens als eerste werden ontworpen, werden ze in de beginjaren van touch overschaduwd door resistieve touchscreens. De Amerikaanse uitvinder Dr. G. Samuel Hurst ontwikkelde resistieve aanraakschermen bijna per ongeluk. Het Berea College Magazine voor alumni beschreef het als volgt:

Om atoomfysica te bestuderen gebruikte het onderzoeksteam een overbelaste Van de Graff-versneller die alleen ’s nachts beschikbaar was. Vervelende analyses vertraagden hun onderzoek. Sam bedacht een manier om dat probleem op te lossen. Hij, Parks, en Thurman Stewart, een andere promovendus, gebruikten elektrisch geleidend papier om een paar x- en y-coördinaten af te lezen. Dat idee leidde tot het eerste aanraakscherm voor een computer. Met dit prototype konden zijn studenten in een paar uur berekenen wat anders dagen had gekost.

Hurst en het onderzoeksteam hadden gewerkt aan de universiteit van Kentucky. De universiteit probeerde namens hem een octrooi aan te vragen om deze toevallige uitvinding te beschermen tegen duplicatie, maar door de wetenschappelijke oorsprong leek het alsof deze niet zozeer buiten het laboratorium toepasbaar was.

Hurst had echter andere ideeën. “Ik dacht dat het nuttig zou kunnen zijn voor andere dingen,” zei hij in het artikel. In 1970, nadat hij weer aan het werk was gegaan bij het Oak Ridge National Laboratory (ORNL), begon Hurst met een experiment na sluitingstijd. In zijn kelder begonnen Hurst en negen vrienden uit verschillende andere vakgebieden te verfijnen wat per ongeluk was uitgevonden. De groep noemde zijn prille onderneming “Elographics”, en het team ontdekte dat een aanraakscherm op een computermonitor een uitstekende methode van interactie vormde. Het enige wat het scherm nodig had was een geleidend dekblad om contact te maken met het blad dat de X- en Y-as bevatte. Door druk op de afdekplaat vloeide er spanning tussen de X- en de Y-draden, die gemeten kon worden om coördinaten aan te geven. Deze ontdekking hielp bij de oprichting van wat we vandaag resistieve aanraaktechnologie noemen (omdat het puur op druk reageert in plaats van op elektrische geleiding, en zowel met een stylus als met een vinger werkt).

Als een klasse van technologie zijn resistieve aanraakschermen over het algemeen zeer betaalbaar om te produceren. De meeste apparaten en machines die deze aanraaktechnologie gebruiken, zijn te vinden in restaurants, fabrieken en ziekenhuizen, omdat ze duurzaam genoeg zijn voor deze omgevingen. Smartphonefabrikanten hebben in het verleden ook resistieve aanraakschermen gebruikt, maar deze zijn tegenwoordig alleen nog in het lagere segment te vinden.

Elographics beperkte zich echter niet tot resistieve aanraakschermen. De groep patenteerde uiteindelijk de eerste gebogen glazen aanraakinterface. Het patent was getiteld “elektrische sensor van vlakke coördinaten” en bevatte details over “een goedkope elektrische sensor van vlakke coördinaten” die gebruik maakte van “naast elkaar geplaatste vellen geleidend materiaal met elektrische equipotentiallijnen”. Na deze uitvinding werd Elographics verkocht aan “goede mensen in Californië” en werd het EloTouch Systems.

Tegen 1971 waren een aantal verschillende machines met aanraakfunctionaliteit op de markt gebracht, hoewel geen van alle drukgevoelig was. Een van de meest gebruikte apparaten met aanraakfunctionaliteit in die tijd was de PLATO IV terminal van de Universiteit van Illinois – een van de eerste algemene computerondersteunde instructiesystemen. De PLATO IV verving capacitieve of resistieve aanraakgevoeligheid ten gunste van een infrarood systeem (we zullen het zo uitleggen). PLATO IV was de eerste computer met aanraakscherm die in een klaslokaal werd gebruikt, waarbij leerlingen het scherm konden aanraken om vragen te beantwoorden.

De jaren 1980: Het decennium van de aanraking

In 1982 werd het eerste door mensen bestuurde multitouch-apparaat ontwikkeld aan de universiteit van Toronto door Nimish Mehta. Het was niet zozeer een aanraakscherm, maar eerder een aanraaktablet. De Input Research Group van de universiteit ontdekte dat een matglazen paneel met een camera erachter actie kon detecteren door de verschillende “zwarte punten” op het scherm te herkennen. Bill Buxton heeft een grote rol gespeeld in de ontwikkeling van multitouch-technologie (met name met de PortfolioWall, waarover later meer), en hij vond Mehta’s uitvinding belangrijk genoeg om op te nemen in zijn informele tijdlijn van computerinvoerapparaten:

Het aanraakoppervlak was een doorschijnend plastic filter dat over een glazen plaat was gemonteerd, met zijverlichting door een fluorescerende lamp. Een videocamera werd onder het aanraakoppervlak gemonteerd en registreerde optisch de schaduwen die op het doorschijnende filter verschenen. (Een spiegel in de behuizing werd gebruikt om het optische pad te verlengen.) De output van de camera werd gedigitaliseerd en voor analyse ingevoerd in een signaalprocessor.

Kort daarna werd gebareninteractie geïntroduceerd door Myron Krueger, een Amerikaanse computerkunstenaar die een optisch systeem ontwikkelde dat handbewegingen kon volgen. Krueger introduceerde Video Place (later Video Desk genoemd) in 1983, hoewel hij al sinds het eind van de jaren zeventig aan het systeem werkte. Het gebruikte projectoren en videocamera’s om handen, vingers en de mensen waartoe ze behoorden te volgen. In tegenstelling tot multitouch wist het systeem niet precies wie of wat de handen aanraakte, maar de software kon wel reageren op verschillende houdingen. Het display gaf een soort schaduwen weer in een gesimuleerde ruimte.

Hoewel de muur technisch gezien niet op aanraking was gebaseerd – hij was afhankelijk van de “verblijftijd” voordat er een actie werd uitgevoerd – beschouwt Buxton de muur als een van de technologieën die “het boek heeft geschreven” op het gebied van onbelemmerde… rijke gebareninteractie. Het werk was zijn tijd meer dan tien jaar vooruit en was enorm invloedrijk, maar nog niet zo erkend als het zou moeten zijn”. Later in zijn carrière verrichtte Krueger ook pionierswerk op het gebied van virtual reality en interactieve kunst.

Touchscreens werden vanaf het begin van de jaren tachtig op grote schaal gecommercialiseerd. HP (toen nog officieel bekend als Hewlett-Packard) deed in september 1983 een gooi met de HP-150. De computer gebruikte MS-DOS en was voorzien van een 9-inch Sony CRT omgeven door infrarood (IR) zenders en detectoren die konden detecteren waar de vinger van de gebruiker op het scherm terechtkwam. Het systeem kostte ongeveer 2.795 dollar, maar het werd niet onmiddellijk omarmd omdat het enkele problemen had met de bruikbaarheid. Als de gebruiker bijvoorbeeld op het scherm prikte, werden andere IR-stralen geblokkeerd die de computer konden vertellen waar de vinger naar wees. Dit resulteerde in wat sommigen de “Gorilla Arm” noemden, een verwijzing naar de spiervermoeidheid die ontstond doordat de gebruiker zijn of haar hand zo lang uitstak.

Een jaar later zette de multitouch-technologie een stap voorwaarts toen Bob Boie van Bell Labs de eerste transparante overlay voor multitouch-schermen ontwikkelde. Zoals Ars vorig jaar schreef:

…het eerste multitouch-scherm werd in 1984 ontwikkeld bij Bell Labs. meldt dat het scherm, gemaakt door Bob Boie, “gebruikmaakte van een transparante capacitieve array van aanraaksensoren over een CRT.” Het stelde de gebruiker in staat “grafische objecten met de vingers te manipuleren met een uitstekende responstijd.”

De ontdekking hielp de multitouch-technologie te creëren die we vandaag de dag gebruiken in tablets en smartphones.

Jaren ’90: Touchscreens voor iedereen!

In 1993 brachten IBM en BellSouth samen de Simon Personal Communicator op de markt, een van de eerste mobiele telefoons met touchscreen-technologie. Het toestel beschikte over paging-mogelijkheden, een e-mail- en agendatoepassing, een agenda, een adresboek, een rekenmachine en een pengebaseerd schetsblok. Het had ook een resistief aanraakscherm dat het gebruik van een stylus vereiste om door menu’s te navigeren en gegevens in te voeren.

Apple bracht dat jaar ook een PDA-apparaat met aanraakscherm op de markt: de Newton PDA. Hoewel het Newton-platform al in 1987 was opgestart, was de MessagePad de eerste in de reeks apparaten van Apple die van het platform gebruikmaakten. Zoals Time opmerkt, was de toenmalige CEO van Apple, John Sculley, de bedenker van de term “PDA” (of “personal digital assistant”). Net als IBM’s Simon Personal Communicator beschikte de MessagePad 100 over handschriftherkenningssoftware en werd hij bediend met een stylus.

De eerste recensies over de MessagePad waren vooral gericht op de nuttige functies. Zodra het in handen van de consumenten kwam, echter, werden zijn tekortkomingen duidelijker. De handschriftherkenningssoftware werkte niet al te best, en de Newton verkocht niet zo veel exemplaren. Dat hield Apple echter niet tegen: het bedrijf maakte de Newton nog zes jaar, tot de MP2000.

Drie jaar later volgde Palm Computing met zijn eigen PDA, genaamd de Pilot. Het was de eerste van de vele generaties persoonlijke digitale assistenten van het bedrijf. Net als de andere touchscreen gadgets die eraan voorafgingen, vereisten de Palm 1000 en Pilot 5000 het gebruik van een stylus.

Palm’s PDA gadget had iets meer succes dan IBM en Apple’s aanbiedingen. Zijn naam werd al snel synoniem met het woord “business”, mede geholpen door het feit dat zijn handschriftherkenningssoftware zeer goed werkte. Gebruikers gebruikten wat Palm “Graffiti” noemde om tekst, nummers en andere tekens in te voeren. Het was eenvoudig te leren en bootste na hoe iemand op een stuk papier schrijft. Het werd uiteindelijk geïmplementeerd op het Apple Newton-platform.

PDA-achtige apparaten waren niet noodzakelijkerwijs voorzien van het vinger-naar-scherm type touchscreens dat we vandaag de dag gewend zijn, maar de adoptie door de consument overtuigde de bedrijven dat er genoeg interesse was in het bezit van dit type apparaat.

Aan het eind van het decennium publiceerde promovendus Wayne Westerman van de Universiteit van Delaware een proefschrift getiteld “Hand Tracking, Finger Identification, and Chordic Manipulation on a Multi-Touch Surface”. In het proefschrift werden de mechanismen beschreven achter wat we vandaag kennen als multitouch-capacitieve technologie, die is uitgegroeid tot een belangrijke functie in moderne apparaten met aanraakschermen.

Westerman en zijn faculteitsadviseur, John Elias, richtten uiteindelijk een bedrijf op met de naam FingerWorks. De groep begon met de productie van een reeks op multitouchgebaren gebaseerde producten, waaronder een op gebaren gebaseerd toetsenbord met de naam TouchStream. Dit hielp mensen die leden aan handicaps zoals repetitieve overbelastingsblessures en andere medische aandoeningen. In dat jaar werd ook de iGesture Pad uitgebracht, waarmee het scherm met één hand kon worden bediend door te gebaren en te manoeuvreren. FingerWorks werd uiteindelijk in 2005 door Apple overgenomen, en velen schrijven technologieën zoals het multitouch Trackpad of het aanraakscherm van de iPhone aan deze overname toe.

De jaren 2000 en daarna

Met zoveel verschillende technologieën die zich in de voorgaande decennia hadden opgestapeld, waren de jaren 2000 de tijd waarin de aanraakschermtechnologieën echt tot bloei kwamen. We zullen hier niet al te veel specifieke toestellen behandelen (meer daarover in deze reeks over aanraakschermen), maar er waren in dit decennium ontwikkelingen die multitouch en gebarengebaseerde technologie bij de massa hebben helpen introduceren. De jaren 2000 waren ook het tijdperk waarin touchscreens het favoriete hulpmiddel werden voor samenwerking bij het ontwerpen.

2001: Alias|Wavefront’s op gebaren gebaseerde PortfolioWall

Toen het nieuwe millennium naderde, besteedden bedrijven steeds meer middelen aan de integratie van touchscreen-technologie in hun dagelijkse processen. 3D-animatoren en -ontwerpers werden speciaal benaderd met de komst van de PortfolioWall. Dit was een touchscreen van groot formaat, bedoeld als dynamische versie van de borden die ontwerpstudio’s gebruiken om projecten bij te houden. Hoewel de ontwikkeling begon in 1999, werd de PortfolioWall onthuld op SIGGRAPH in 2001 en werd gedeeltelijk geproduceerd door een gezamenlijke samenwerking tussen General Motors en het team van Alias|Wavefront. Buxton, die nu als hoofdonderzoeker bij Microsoft Research werkt, was de hoofdwetenschapper van het project. “We breken de muur af en veranderen de manier waarop mensen effectief communiceren op de werkplek en zaken doen,” zei hij destijds. “De gebareninterface van PortfolioWall stelt gebruikers in staat om volledig te interageren met een digitaal object. Het bekijken van beelden kan nu eenvoudig worden opgenomen in de dagelijkse workflow.”

De PortfolioWall maakte gebruik van een eenvoudige, gebruiksvriendelijke, op gebaren gebaseerde interface. Hiermee konden gebruikers afbeeldingen, animaties en 3D-bestanden inspecteren en manoeuvreren met alleen hun vingers. Het was ook gemakkelijk om afbeeldingen te schalen, 3D-modellen op te halen en video af te spelen. Een latere versie voegde schets- en tekstannotatie toe, de mogelijkheid om toepassingen van derden te starten, en een op Maya gebaseerd 3D weergavehulpmiddel om 3D modellen te pannen, te roteren, in te zoomen en te bekijken. Voor het grootste deel werd het product beschouwd als een digitaal kurkbord voor ontwerp-gerichte beroepen. Het kostte ook maar liefst 38.000 dollar om het hele systeem te installeren – 3.000 dollar voor de presenter zelf en 35.000 dollar voor de server.

De PortfolioWall speelde ook in op het feit dat traditionele media zoals kleimodellen en tekeningen op ware grootte nog steeds belangrijk waren voor het ontwerpproces, maar langzaamaan werden uitgebreid met digitale hulpmiddelen. Het apparaat bevatte add-ons die deze tastbare media virtueel nabootsten en dienden als presentatiemiddel voor ontwerpers om hun werk in uitvoering te tonen.

Een ander belangrijk voordeel van de PortfolioWall was de “awareness server”, die de samenwerking over een netwerk vergemakkelijkte, zodat teams niet in dezelfde ruimte hoefden te zijn om een project te beoordelen. Teams konden meerdere muren in verschillende ruimtes hebben en toch op afstand samenwerken.

De PortfolioWall werd uiteindelijk in 2008 te ruste gelegd, maar het was een uitstekend voorbeeld van hoe gebaren in wisselwerking met het aanraakscherm konden helpen een heel besturingssysteem te besturen.

2002: Wederzijdse capacitieve sensing in Sony’s SmartSkin

In 2002 introduceerde Sony een plat invoeroppervlak dat meerdere handposities en aanrakingspunten tegelijk kon herkennen. Het bedrijf noemde het SmartSkin. De technologie werkte door de afstand tussen de hand en het oppervlak te berekenen met capacitieve sensoren en een gaasvormige antenne. In tegenstelling tot het gebarenherkenningssysteem op basis van een camera in andere technologieën, waren de sensorelementen allemaal geïntegreerd in het aanraakoppervlak. Dit betekende ook dat het niet slecht zou werken in slechte lichtomstandigheden. Het uiteindelijke doel van het project was om oppervlakken die elke dag worden gebruikt, zoals een gemiddelde tafel of een muur, om te vormen tot een interactief oppervlak met behulp van een PC in de buurt. De technologie deed echter meer voor de capacitieve aanraaktechnologie dan misschien de bedoeling was, waaronder de introductie van meerdere contactpunten.

Jun Rekimoto van het Interaction Laboratory in Sony’s Computer Science Laboratories wees in een whitepaper op de voordelen van deze technologie. Volgens hem bieden technologieën zoals SmartSkin “natuurlijke ondersteuning voor handelingen met meerdere handen en meerdere gebruikers”. Meer dan twee gebruikers kunnen tegelijkertijd het oppervlak aanraken zonder enige interferentie. Er zijn twee prototypes ontwikkeld om de SmartSkin te laten zien als een interactieve tafel en een gebarenherkenningspad. Het tweede prototype maakte gebruik van fijnere mazen dan het eerste, zodat het preciezere coördinaten van de vingers in kaart kan brengen. Over het geheel genomen was de technologie bedoeld om een real-world gevoel van virtuele objecten te bieden, in wezen herscheppend hoe mensen hun vingers gebruiken om objecten op te pakken en te manipuleren.

2002-2004: Mislukte tablets en Microsoft Research’s TouchLight

Multitouch-technologie had het moeilijk in de mainstream, verscheen in speciale apparaten, maar kreeg nooit echt een grote doorbraak. Een doorbraak kwam er bijna in 2002, toen het in Canada gevestigde DSI Datotech het HandGear + GRT-apparaat ontwikkelde (het acroniem “GRT” verwees naar de Gesture Recognition Technology van het apparaat). Het meerpunts touchpad van het apparaat werkte een beetje zoals het eerder genoemde iGesture pad, in die zin dat het verschillende gebaren kon herkennen en gebruikers in staat stelde het te gebruiken als een invoerapparaat om hun computers te bedienen. “We wilden er zeker van zijn dat de HandGear gemakkelijk in het gebruik zou zijn,” zei VP of Marketing Tim Heaney in een persbericht. “Dus werd de technologie ontworpen om hand- en vingerbewegingen te herkennen die volledig natuurlijk of intuïtief zijn voor de gebruiker, of hij nu links- of rechtshandig is. Na een korte leerperiode zijn ze letterlijk in staat om zich te concentreren op het werk bij de hand, in plaats van op wat de vingers doen.”

HandGear stelde gebruikers ook in staat om driedimensionale objecten in realtime te “grijpen”, waardoor dat idee van vrijheid en productiviteit in het ontwerpproces nog verder werd uitgebreid. Het bedrijf stelde de API zelfs beschikbaar voor ontwikkelaars via AutoDesk. Helaas, zoals Buxton in zijn overzicht van multitouch vermeldt, had het bedrijf geen geld meer voordat het product op de markt kwam en sloot DSI zijn deuren.

Twee jaar later ontwikkelde Andrew D. Wilson, een medewerker van Microsoft Research, een op gebaren gebaseerd imaging-touchscreen en 3D-display. De TouchLight gebruikte een doorzichtprojectiedisplay om een plaat acrylplastic om te vormen tot een interactief oppervlak. Het display kon meerdere vingers en handen van meer dan één gebruiker waarnemen, en vanwege zijn 3D-mogelijkheden kon het ook worden gebruikt als een geïmproviseerde spiegel.

De TouchLight was een keurige demonstratie van technologie, en het werd uiteindelijk in licentie gegeven voor productie aan Eon Reality voordat de technologie te duur bleek om te worden verpakt in een consumentenapparaat. Dit zou echter niet Microsofts enige uitstapje naar multitouch display-technologie zijn.

2006: Multitouch-sensoren via “gefrustreerde totale interne reflectie”

In 2006 gaf Jeff Han de eerste publieke demonstratie van zijn intuïtieve, interfacevrije, aanraakgestuurde computerscherm op een TED-conferentie in Monterey, CA. Tijdens zijn presentatie bewoog en manipuleerde Han foto’s op een gigantische lichtbak met alleen zijn vingertoppen. Hij veegde foto’s aan, rekte ze uit en kneep ze weg, allemaal met een innemend natuurlijk gemak. “Dit is iets wat Google in hun lobby zou moeten hebben,” grapte hij. De demo toonde aan dat een schaalbaar aanraakscherm met hoge resolutie mogelijk was om te bouwen zonder al te veel geld uit te geven.

Han had ontdekt dat de “robuuste” multitouch-sensing mogelijk was met behulp van “gefrustreerde totale interne reflectie” (FTIR), een techniek uit de biometriegemeenschap die wordt gebruikt voor vingerafdrukbeeldvorming. FTIR werkt door licht door een stuk acryl of plexiglas te schijnen. Het licht (gewoonlijk wordt infrarood gebruikt) kaatst tijdens de reis heen en weer tussen de boven- en onderkant van het acrylaat. Wanneer een vinger het oppervlak raakt, verstrooien de stralen zich rond de rand waar de vinger is geplaatst, vandaar de term “gefrustreerd”. De beelden die worden gegenereerd zien eruit als witte klodders en worden opgepikt door een infraroodcamera. De computer analyseert waar de vinger de rand raakt, markeert de plaatsing en kent een coördinaat toe. De software kan vervolgens de coördinaten analyseren om een bepaalde taak uit te voeren, zoals het vergroten of verkleinen van objecten.

Nadat de TED-talk een hit werd op YouTube, startte Han een startup genaamd Perceptive Pixel. Een jaar na de toespraak vertelde hij Wired dat zijn multitouch-product nog geen naam had. En hoewel hij enkele geïnteresseerde klanten had, zei Han dat het allemaal “echt high-end klanten waren. Meestal defensie.”

Vorig jaar verkocht Hann zijn bedrijf aan Microsoft in een poging om de technologie meer mainstream en betaalbaar te maken voor consumenten. “Ons bedrijf heeft altijd in het teken gestaan van productiviteit use cases,” vertelde Han aan AllThingsD. “Dat is waarom we ons altijd hebben gericht op deze grotere displays. Office is waar mensen aan denken als ze aan productiviteit denken.

2008: Microsoft Surface

Voordat er een 10-inch tablet was, verwees de naam “Surface” naar Microsofts high-end grafische aanraakscherm, oorspronkelijk gebouwd in een echte IKEA-tafel met een gat in de bovenkant. Hoewel de Surface in 2007 voor het publiek werd gedemonstreerd, stamt het idee al uit 2001. Onderzoekers in Redmond hadden een interactief werkoppervlak voor ogen waarmee collega’s voorwerpen heen en weer konden bewegen. Jarenlang bleef het werk verborgen achter een geheimhoudingsovereenkomst. Er waren 85 prototypes nodig voordat Surface 1.0 klaar was voor gebruik.

Zoals Ars in 2007 schreef, was de Microsoft Surface in wezen een computer die was ingebed in een middelgrote tafel, met een groot, plat scherm erop. Het beeld van het scherm werd van achteren geprojecteerd op het schermoppervlak vanuit de tafel, en het systeem voelde waar de gebruiker het scherm aanraakte via camera’s die in de tafel waren gemonteerd en die omhoog keken in de richting van de gebruiker. Terwijl vingers en handen in aanraking kwamen met wat er op het scherm te zien was, traceerde de software van de Surface de aanraakpunten en activeerde de juiste acties. De Surface kon meerdere aanraakpunten tegelijk herkennen, evenals objecten met kleine “domino”-stickers erop geplakt. Later in de ontwikkelingscyclus kreeg de Surface ook de mogelijkheid om apparaten te identificeren via RFID.

De oorspronkelijke Surface werd onthuld op de All Things D-conferentie in 2007. Hoewel veel van de ontwerpconcepten niet nieuw waren, illustreerde het op zeer effectieve wijze hoe touchscreens geïntegreerd konden worden in iets dat zo groot was als een salontafel. Microsoft bracht vervolgens de 30-inch Surface mee om het te demonstreren op CES 2008, maar het bedrijf zei expliciet dat het zich richtte op de “entertainment retail space”. De Surface werd in de eerste plaats ontworpen voor gebruik door commerciële klanten van Microsoft om consumenten een voorproefje te geven van de hardware. Het bedrijf ging een samenwerking aan met verschillende hotelresorts van grote namen, zoals Starwood en Harrah’s Casino, om de technologie in hun lobby’s te laten zien. Bedrijven als AT&T gebruikten de Surface om de nieuwste handsets te laten zien aan consumenten die hun fysieke winkels binnenstapten.

In plaats van te verwijzen naar een grafische gebruikersinterface (GUI), noemde Microsoft de interface van de Surface een natuurlijke gebruikersinterface, of “NUI.” Deze uitdrukking suggereerde dat de technologie bijna instinctief zou aanvoelen voor de menselijke eindgebruiker, net zo natuurlijk als interactie met elk soort tastbaar object in de echte wereld. De uitdrukking verwees ook naar het feit dat de interface hoofdzakelijk werd aangestuurd door de aanraking van de gebruiker in plaats van door invoerapparaten. (Plus, NUI-“new-ey”-maakte een pittig, marketing-vriendelijk acroniem.)

In 2011 ging Microsoft een samenwerking aan met fabrikanten als Samsung om slankere, nieuwere Surface-tablethardware te produceren. De Samsung SUR40 heeft bijvoorbeeld een 40-inch 1080p LED en heeft de hoeveelheid interne ruimte die nodig is voor de aanraakgevoelige mechanismen drastisch verminderd. Met een dikte van 22 inch was hij dunner dan zijn voorgangers, en de kleinere afmetingen maakten het mogelijk om het scherm aan de muur te bevestigen in plaats van een tafel nodig te hebben om de camera en sensoren te herbergen. Het kostte ongeveer $ 8.400 ten tijde van de lancering en draaide op Windows 7 en Surface 2.0-software.

Vorig jaar heeft het bedrijf de technologie omgedoopt tot PixelSense toen Microsoft zijn niet-verwante Surface-tablet aan consumenten introduceerde. De naam “PixelSense” verwijst naar de manier waarop de technologie in werkelijkheid werkt: een aanraakgevoelig beschermingsglas wordt bovenop een infrarood achtergrondverlichting geplaatst. Wanneer het glas wordt geraakt, wordt het licht weerkaatst naar geïntegreerde sensoren, die dat licht omzetten in een elektrisch signaal. Dat signaal wordt een “waarde” genoemd, en die waarden vormen een beeld van wat er op het scherm te zien is. Het beeld wordt vervolgens geanalyseerd met behulp van beeldverwerkingstechnieken, en die output wordt verzonden naar de computer waarop het is aangesloten.

PixelSense heeft vier hoofdcomponenten die deel uitmaken van zijn technologie: het vereist geen muis en toetsenbord om te werken, meer dan één gebruiker kan er tegelijkertijd mee communiceren, het kan bepaalde objecten herkennen die op het glas zijn geplaatst, en het beschikt over meerdere contactpunten. De naam PixelSense is vooral aan dat laatste te danken: elke pixel kan voelen of er al dan niet aanraakcontact is geweest.

Hoewel het een geweldige toevoeging aan de woonkamer zou zijn, blijft Microsoft de Surface-hardware op de markt brengen als een zakelijk hulpmiddel in plaats van een consumentenproduct.

Touch today-and tomorrow?

Het kan niet worden onderschat – elk van deze technologieën had een monumentale invloed op de gadgets die we vandaag gebruiken. Alles van onze smartphones tot trackpads voor laptops en WACOM-tablets kan op de een of andere manier in verband worden gebracht met de vele uitvindingen, ontdekkingen en octrooien in de geschiedenis van de aanraakschermtechnologie. Android- en iOS-gebruikers moeten E.A. Johnson bedanken voor smartphones met capacitieve aanraakfunctionaliteit, terwijl restaurants de groeten mogen doen aan Dr. G. Samuel Hurst voor het resistieve aanraakscherm op hun Point of Sale (POS)-systeem.

In het volgende deel van onze serie duiken we dieper in op de apparaten van vandaag. (Hoe heeft het werk van FingerWorks eigenlijk invloed gehad op die iDevices?) Maar de geschiedenis eindigde ook niet met 2011. We zullen ook bespreken hoe sommige van de huidige grote spelers, zoals Apple en Samsung, blijven bijdragen aan de evolutie van touchscreen gadgets. Laat die vinger niet rollen, blijf kijken!