Kosketusnäytöistä Surfaceen: Kosketusnäyttöteknologian lyhyt historia

On vaikea uskoa, että vielä muutama vuosikymmen sitten kosketusnäyttöteknologiaa saattoi löytää vain tieteiskirjoista ja -elokuvista. Nykyään on lähes käsittämätöntä, miten aikoinaan selvisimme päivittäisistä tehtävistämme ilman luotettavaa tablettia tai älypuhelinta lähellä, mutta se ei jää tähän. Kosketusnäyttöjä on kaikkialla. Kodeissa, autoissa, ravintoloissa, kaupoissa, lentokoneissa, missä tahansa – ne täyttävät elämämme julkisissa ja yksityisissä tiloissa.

Kosketusnäytöt saavuttivat tällaisen läsnäolon vasta sukupolvien ja useiden merkittävien teknologisten edistysaskeleiden jälkeen. Vaikka kosketusnäyttöjen perustana oleva teknologia voidaan jäljittää 1940-luvulle asti, on paljon todisteita siitä, että kosketusnäytöt olivat toteutettavissa vasta ainakin vuonna 1965. Suosituissa scifi-televisiosarjoissa, kuten Star Trekissä, viitattiin tekniikkaan vasta Star Trek: The Next Generation -elokuvan ensi-illassa vuonna 1987, eli lähes kaksi vuosikymmentä sen jälkeen, kun kosketusnäyttötekniikkaa pidettiin mahdollisena. Kosketusnäytöt otettiin kuitenkin mukaan sarjaan samansuuntaisesti teknologiamaailman kehityksen kanssa, ja 1980-luvun loppupuolella kosketusnäytöt näyttivät vihdoin niin realistisilta, että kuluttajat saattoivat todella ottaa tekniikan käyttöön omissa kodeissaan.

Katso lisää

Tämä artikkeli on ensimmäinen kolmiosaisesta sarjasta, joka käsittelee kosketusnäyttöteknologian matkaa fiktiosta faktaksi. Kosketuksen kolmea ensimmäistä vuosikymmentä on tärkeää pohtia, jotta voimme todella arvostaa monikosketusteknologiaa, johon olemme nykyään niin tottuneita. Tänään tarkastelemme, milloin nämä teknologiat syntyivät ja kuka ne esitteli, ja lisäksi keskustelemme useista muista pioneereista, joilla oli suuri rooli kosketuksen edistämisessä. Sarjan tulevissa osissa tutkitaan, miten kosketusnäyttöjen muutokset johtivat nykypäivän elämämme kannalta olennaisiin laitteisiin ja mihin teknologia saattaa viedä meidät tulevaisuudessa. Mutta ensin laitetaan sormi näytölle ja matkustetaan 1960-luvulle.

1960-luku: Ensimmäinen kosketusnäyttö

Historioitsijat katsovat yleisesti, että ensimmäisen sormella ohjattavan kosketusnäytön keksi E.A. Johnson vuonna 1965 Malvernissa, Yhdistyneessä kuningaskunnassa sijaitsevassa kuninkaallisessa tutkalaitoksessa. Johnson kuvaili työtään alun perin Electronics Letters -lehdessä julkaistussa artikkelissa ”Touch display-a novel input/output device for computers”. Artikkelissa oli kaavio, jossa kuvattiin monissa älypuhelimissa nykyään käytössä oleva kosketusnäytön mekanismi, joka tunnetaan nykyään kapasitiivisena kosketuksena. Kaksi vuotta myöhemmin Johnson selvitti tekniikkaa tarkemmin valokuvien ja kaavioiden avulla artikkelissa ”Touch Displays: A Programmed Man-Machine Interface”, joka julkaistiin Ergonomics-lehdessä vuonna 1967.

Kapasitiivisessa kosketusnäyttöpaneelissa käytetään eristeenä, kuten lasia, joka on päällystetty läpinäkyvällä johtimella, kuten indiumtinaoksidilla (ITO). ”Johtava” osa on yleensä ihmisen sormi, joka muodostaa hienon sähköjohtimen. Johnsonin alkuperäinen teknologia pystyi käsittelemään vain yhden kosketuksen kerrallaan, ja se, mitä nykyään kutsumme ”multitouchiksi”, oli vielä hieman kaukana. Keksinnön tulkinta kosketuksesta oli myös kaksijakoinen: joko käyttöliittymä rekisteröi kosketuksen tai se ei rekisteröi kosketusta. Paineherkkyys tuli paljon myöhemmin.

Jopa ilman lisäominaisuuksia varhaisella kosketuskäyttöliittymäidealla oli joitakin ottajia. Johnsonin keksintö otettiin lopulta käyttöön Ison-Britannian lennonjohtajilla, ja se pysyi käytössä 1990-luvun lopulle asti.

1970-luku: Resistiiviset kosketusnäytöt keksitään

Vaikka kapasitiiviset kosketusnäytöt suunniteltiin ensin, resistiiviset kosketusnäytöt jättivät ne varjoonsa kosketuksen alkuvuosina. Amerikkalainen keksijä tohtori G. Samuel Hurst kehitti resistiiviset kosketusnäytöt lähes vahingossa. Berea Collegen alumnilehti kuvaili sitä näin:

Atomifysiikan tutkimiseen tutkimusryhmä käytti ylikuormitettua Van de Graff -kiihdytintä, joka oli käytettävissä vain öisin. Rasittavat analyysit hidastivat heidän tutkimustaan. Sam keksi keinon ratkaista tämä ongelma. Hän, Parks ja Thurman Stewart, toinen tohtoriopiskelija, käyttivät sähköä johtavaa paperia x- ja y-koordinaattiparin lukemiseen. Tämä idea johti ensimmäiseen tietokoneen kosketusnäyttöön. Tämän prototyypin avulla hänen opiskelijansa pystyivät laskemaan muutamassa tunnissa sen, mikä muuten olisi vienyt päiviä.

Hurst ja tutkimusryhmä olivat työskennelleet Kentuckyn yliopistossa. Yliopisto yritti hakea hänen puolestaan patenttia suojellakseen tätä sattumanvaraista keksintöä kopioinnilta, mutta sen tieteellinen alkuperä sai sen näyttämään siltä, ettei se ollut kovinkaan käyttökelpoinen laboratorion ulkopuolella.

Hurstilla oli kuitenkin muita ajatuksia. ”Ajattelin, että siitä voisi olla hyötyä muissakin asioissa”, hän sanoi artikkelissa. Vuonna 1970, palattuaan töihin Oak Ridgen kansalliseen laboratorioon (ORNL), Hurst aloitti virka-ajan jälkeisen kokeen. Kellarissaan Hurst ja yhdeksän eri aloilta kotoisin olevaa ystäväänsä ryhtyivät jalostamaan vahingossa keksimäänsä. Ryhmä kutsui aloittelevaa yritystään nimellä ”Elographics”, ja ryhmä huomasi, että tietokoneen näytön kosketusnäyttö oli erinomainen vuorovaikutusmenetelmä. Näyttö tarvitsi vain johtavan peitelevyn, joka oli kosketuksissa X- ja Y-akselin sisältävän levyn kanssa. Peitelevyä painamalla X- ja Y-johtimien välille saatiin virtaamaan jännite, joka voitiin mitata koordinaattien osoittamiseksi. Tämä löytö auttoi perustamaan sen, mitä nykyään kutsumme resistiiviseksi kosketustekniikaksi (koska se reagoi puhtaasti paineeseen eikä sähkönjohtavuuteen ja toimii sekä kynän että sormen kanssa).

Tekniikkaluokkana resistiiviset kosketusnäytöt ovat yleensä hyvin edullisia tuottaa. Useimmat tätä kosketustekniikkaa käyttävät laitteet ja koneet löytyvät ravintoloista, tehtaista ja sairaaloista, koska ne ovat riittävän kestäviä näihin ympäristöihin. Myös älypuhelinvalmistajat ovat aiemmin käyttäneet resistiivisiä kosketusnäyttöjä, joskin niiden läsnäolo matkapuhelimissa rajoittuu nykyään yleensä halvempiin puhelimiin.

EloTouch ei kuitenkaan rajoittunut vain resistiiviseen kosketukseen. Ryhmä patentoi lopulta ensimmäisen kaarevan lasisen kosketusliittymän. Patentti oli nimeltään ”tasokoordinaattien sähköinen anturi”, ja siinä annettiin yksityiskohtia ”edullisesta tasokoordinaattien sähköisestä anturista”, jossa käytettiin ”vierekkäin asetettuja johtavan materiaalin levyjä, joilla on sähköiset ekvipotentiaalilinjat”. Tämän keksinnön jälkeen Elographics myytiin ”hyville ihmisille Kaliforniassa”, ja siitä tuli EloTouch Systems.

Vuoteen 1971 mennessä oli tuotu markkinoille useita erilaisia kosketusnäyttöön kykeneviä koneita, joista yksikään ei kuitenkaan ollut paineherkkä. Yksi tuolloin yleisimmin käytetyistä kosketuskykyisistä laitteista oli Illinoisin yliopiston PLATO IV -päätteinen laite – yksi ensimmäisistä yleistetyistä tietokoneavusteisista opetusjärjestelmistä. PLATO IV ei käyttänyt kapasitiivista tai resistiivistä kosketusta vaan infrapunajärjestelmää (selitämme sen pian). PLATO IV oli ensimmäinen luokkahuoneessa käytetty kosketusnäytöllinen tietokone, jonka avulla oppilaat saattoivat koskettaa näyttöä vastatakseen kysymyksiin.

1980-luku: Kosketuksen vuosikymmen

Toronton yliopistossa kehitettiin vuonna 1982 Nimish Mehtan toimesta Toronton yliopistossa ensimmäinen ihmisen ohjaama multitouch-laite. Se ei ollut niinkään kosketusnäyttö kuin kosketusnäyttötabletti. Yliopiston Input-tutkimusryhmä keksi, että himmeä lasipaneeli, jonka takana oli kamera, pystyi havaitsemaan toiminnan, kun se tunnisti näytöllä näkyvät erilaiset ”mustat pisteet”. Bill Buxtonilla on ollut suuri rooli multitouch-teknologian kehittämisessä (erityisesti PortfolioWallilla, josta puhutaan hieman myöhemmin), ja hän piti Mehtan keksintöä tarpeeksi tärkeänä sisällyttääkseen sen tietokoneiden syöttölaitteiden epäviralliseen aikajanaan:

Kosketusnäyttöpinta oli läpikuultava muovisuodatin, joka oli asennettu lasilevyn päälle, ja se oli sivusuunnassa fluoresoivalla lampulla valaistu. Kosketuspinnan alle oli asennettu videokamera, joka kuvasi optisesti läpikuultavaan suodattimeen ilmestyvät varjot. (Kotelossa olevaa peiliä käytettiin pidentämään optista reittiä.) Kameran ulostulo digitalisoitiin ja syötettiin signaaliprosessoriin analysoitavaksi.

Pian tämän jälkeen esiteltiin gesturaalinen vuorovaikutus amerikkalaisen tietokonetaiteilijan Myron Kruegerin toimesta, joka kehitti optisen järjestelmän, joka pystyi seuraamaan käden liikkeitä. Krueger esitteli Video Placen (myöhemmin Video Desk) vuonna 1983, vaikka hän oli työskennellyt järjestelmän parissa jo 1970-luvun lopulta lähtien. Se käytti projektoreita ja videokameroita käsien, sormien ja niiden omistajien seuraamiseen. Toisin kuin multitouch, se ei ollut täysin tietoinen siitä, kuka tai mikä koskettaa, vaikka ohjelmisto pystyi reagoimaan erilaisiin asentoihin. Näyttö kuvasi ikään kuin varjoja simuloidussa tilassa.

Vaikka se ei ollut teknisesti kosketusnäyttöön perustuva – se tarvitsi ”viipymäaikaa” ennen kuin se suoritti toiminnon – Buxton pitää sitä yhtenä teknologioista, joka ”’kirjoitti kirjan’ esteettömän… rikkaan elein tapahtuvan vuorovaikutuksen osalta”. Työ oli yli vuosikymmenen aikaansa edellä, ja sillä oli valtava vaikutus, mutta sitä ei ole tunnustettu niin paljon kuin pitäisi.” Krueger oli uransa myöhemmässä vaiheessa uranuurtajana myös virtuaalitodellisuuden ja interaktiivisen taiteen alalla.

Kosketusnäyttöjä alettiin kaupallistaa voimakkaasti 1980-luvun alussa. HP (tuolloin vielä viralliselta nimeltään Hewlett-Packard) heitti hattunsa peliin HP-150:llä syyskuussa 1983. Tietokone käytti MS-DOS-käyttöjärjestelmää, ja siinä oli 9-tuumainen Sonyn kuvaputki, jota ympäröivät infrapunasäteilijät ja -ilmaisimet, jotka tunnistivat, mihin kohtaan käyttäjän sormi laskeutui näytöllä. Järjestelmä maksoi noin 2 795 dollaria, mutta sitä ei otettu heti vastaan, koska siinä oli joitakin käytettävyysongelmia. Esimerkiksi näytön tökkiminen esti muut IR-säteet, jotka kertoivat tietokoneelle, mihin sormi osoitti. Tämä johti siihen, mitä jotkut kutsuivat ”Gorillakädeksi”, viitaten lihasväsymykseen, joka johtui siitä, että käyttäjä työnsi kätensä ulos niin pitkään.

Vuotta myöhemmin monikosketustekniikka otti askeleen eteenpäin, kun Bob Boie Bell Labsista kehitti ensimmäisen läpinäkyvän monikosketusnäytön päällysteen. Kuten Ars kirjoitti viime vuonna:

…ensimmäinen monikosketusnäyttö kehitettiin Bell Labsissa vuonna 1984. raportoi, että Bob Boien luoma näyttö ”käytti läpinäkyvää kapasitiivista kosketusanturiryhmää kuvaputken päällä”. Sen avulla käyttäjä pystyi ”manipuloimaan graafisia kohteita sormilla erinomaisella vasteajalla.”

Löytö auttoi luomaan multitouch-teknologian, jota käytämme nykyään tableteissa ja älypuhelimissa.

1990-luku: Kosketusnäytöt kaikille!

Ilmoittivat yhdessä IBM:n ja BellSouthin kanssa vuonna 1993 Simon Personal Communicatorin, joka oli yksi ensimmäisistä kännyköistä, joissa oli kosketusnäyttötekniikka. Siinä oli hakutoiminnot, sähköposti- ja kalenterisovellus, tapaamisaikataulu, osoitekirja, laskin ja kynäpohjainen piirtoalusta. Siinä oli myös resistiivinen kosketusnäyttö, joka vaati kynän käyttöä valikoissa navigoimiseen ja tietojen syöttämiseen.

Apple toi samana vuonna markkinoille myös kosketusnäytöllisen kämmenmikrolaitteen: Newton PDA:n. Vaikka Newton-alusta oli saanut alkunsa jo vuonna 1987, MessagePad oli ensimmäinen Applen laitteista, jotka käyttivät alustaa. Kuten Time toteaa, Applen silloinen toimitusjohtaja John Sculley itse asiassa keksi termin ”PDA” (tai ”henkilökohtainen digitaalinen avustaja”). IBM:n Simon Personal Communicatorin tavoin MessagePad 100:ssa oli käsialan tunnistusohjelmisto, ja sitä ohjattiin kynällä.

Varhaiset arvostelut MessagePadista keskittyivät sen hyödyllisiin ominaisuuksiin. Kun laite kuitenkin päätyi kuluttajien käsiin, sen puutteet tulivat selvemmin esiin. Käsinkirjoituksen tunnistusohjelmisto ei toiminut kovin hyvin, eikä Newtonia myyty kovin montaa kappaletta. Se ei kuitenkaan pysäyttänyt Applea, vaan yhtiö valmisti Newtonia vielä kuusi vuotta, kunnes se päättyi MP2000:een.

Kolme vuotta myöhemmin Palm Computing seurasi perässä omalla kämmenmikrossa käytettävällä PDA:lla, joka sai nimekseen Pilot. Se oli ensimmäinen yrityksen monista henkilökohtaisten digitaalisten avustajien sukupolvista. Kuten muutkin edeltäjänsä kosketusnäytölliset vempaimet, Palm 1000 ja Pilot 5000 edellyttivät kynän käyttöä.

Palmin PDA-vempaimella oli hieman enemmän menestystä kuin IBM:n ja Applen tarjouksilla. Sen nimestä tuli pian synonyymi sanalle ”business”, mihin vaikutti osaltaan se, että sen käsialan tunnistusohjelmisto toimi erittäin hyvin. Käyttäjät syöttivät tekstiä, numeroita ja muita merkkejä Palmissa ”Graffitiksi” kutsutulla ohjelmalla. Se oli helppo oppia ja jäljitteli sitä, miten ihminen kirjoittaa paperille. Se otettiin lopulta käyttöön myös Applen Newton-alustalla.

PDA-tyyppisissä laitteissa ei välttämättä ollut nykyään tuttuja sormi-näyttö-tyyppisiä kosketusnäyttöjä, mutta kuluttajien hyväksyntä vakuutti yhtiöt siitä, että kiinnostusta tämäntyyppisen laitteen omistamiseen oli riittävästi.

Kymmenen vuoden lopulla Delawaren yliopiston jatko-opiskelija Wayne Westerman julkaisi väitöskirjan ”Hand Tracking, Finger Identification, and Chordic Manipulation on a Multi-Touch Surface”. Työssä selvitettiin yksityiskohtaisesti mekanismeja, jotka ovat sen taustalla, minkä nykyään tunnemme kapasitiivisena monikosketustekniikkana, josta on tullut keskeinen ominaisuus nykyaikaisissa kosketusnäytöllä varustetuissa laitteissa.

Westerman ja hänen tiedekuntaneuvojansa John Elias perustivat lopulta yrityksen nimeltä FingerWorks. Ryhmä alkoi valmistaa monikosketukseen perustuvia eleisiin perustuvia tuotteita, muun muassa TouchStream-nimistä eleisiin perustuvaa näppäimistöä. Tämä auttoi niitä, jotka kärsivät vammoista, kuten toistuvista rasitusvammoista ja muista sairauksista. Samana vuonna julkaistiin myös iGesture Pad, joka mahdollisti näytön ohjaamisen yhdellä kädellä eleillä ja liikkeillä. FingerWorks siirtyi lopulta Applen omistukseen vuonna 2005, ja monet liittävät monikosketukseen perustuvan Trackpadin tai iPhonen kosketusnäytön kaltaiset teknologiat tähän yritysostoon.

2000-luku ja sen jälkeen

Koska edellisinä vuosikymmeninä oli kertynyt niin paljon erilaisia teknologioita, 2000-luku oli kosketusnäyttötekniikoiden todellisen kukoistuksen aikaa. Emme käsittele tässä liian montaa tiettyä laitetta (niistä lisää, kun tämä kosketusnäyttösarja jatkuu), mutta tällä vuosikymmenellä tapahtui edistysaskeleita, jotka auttoivat tuomaan monikosketus- ja elepohjaisen teknologian massojen ulottuville. 2000-luku oli myös aikakausi, jolloin kosketusnäytöistä tuli suosikkityökalu suunnitteluyhteistyössä.

2001: Alias|Wavefrontin eleisiin perustuva PortfolioWall

Uuden vuosituhannen kynnyksellä yritykset käyttivät yhä enemmän resursseja kosketusnäyttöteknologian integroimiseen jokapäiväisiin prosesseihinsa. Erityisesti 3D-animaattorit ja -suunnittelijat joutuivat PortfolioWallin tulon kohteeksi. Kyseessä oli suurikokoinen kosketusnäyttö, joka oli tarkoitettu dynaamiseksi versioksi tauluista, joita suunnittelustudiot käyttävät projektien seurantaan. PortfolioWallia alettiin kehittää vuonna 1999, mutta se esiteltiin SIGGRAPH-messuilla vuonna 2001, ja se valmistettiin osittain General Motorsin ja Alias|Wavefront-tiimin yhteistyönä. Buxton, joka toimii nykyään johtavana tutkijana Microsoft Researchissa, oli projektin johtava tutkija. ”Puramme muuria ja muutamme tapaa, jolla ihmiset kommunikoivat tehokkaasti työpaikoilla ja tekevät liiketoimintaa”, hän sanoi tuolloin. ”PortfolioWallin elekielisen käyttöliittymän avulla käyttäjät voivat olla täysin vuorovaikutuksessa digitaalisen omaisuuden kanssa. Kuvien katselusta tulee nyt helposti osa jokapäiväistä työnkulkua.”

PortfolioWallissa käytettiin yksinkertaista, helppokäyttöistä, eleisiin perustuvaa käyttöliittymää. Sen avulla käyttäjät pystyivät tarkastelemaan ja liikuttelemaan kuvia, animaatioita ja 3D-tiedostoja pelkillä sormilla. Kuvia oli myös helppo skaalata, hakea 3D-malleja ja toistaa videoita. Myöhemmässä versiossa lisättiin luonnos- ja tekstimerkinnät, mahdollisuus käynnistää kolmannen osapuolen sovelluksia ja Mayaan perustuva 3D-katselutyökalu, jolla voit käyttää 3D-mallien panorointia, pyörittämistä, zoomausta ja katselua. Suurimmaksi osaksi tuotetta pidettiin digitaalisena korkkitauluna suunnittelupainotteisille ammateille. Koko laitteiston asentaminen maksoi myös huimat 38 000 dollaria – 3 000 dollaria itse esityslaitteesta ja 35 000 dollaria palvelimesta.

PortfolioWallilla otettiin huomioon myös se, että vaikka perinteiset välineet, kuten savimallit ja täysikokoiset piirustukset, olivat edelleen tärkeitä suunnitteluprosessin kannalta, digitaaliset työkalut olivat vähitellen täydentämässä niitä. Laite sisälsi lisäosia, jotka virtuaalisesti jäljittelivät näitä konkreettisia välineitä, ja se toimi suunnittelijoiden esittelytyökaluna, jonka avulla he pystyivät esittelemään keskeneräisiä töitään.

Muuten PortfolioWallin vetovoimatekijä oli sen ”tietoisuuspalvelin”, joka auttoi helpottamaan yhteistyötä verkon välityksellä niin, että tiimien ei tarvinnut olla samassa huoneessa tarkastellakseen projektia. Tiimeillä saattoi olla useita seiniä eri tiloissa ja silti tehdä yhteistyötä etänä.

PortfolioWall lopetettiin lopulta vuonna 2008, mutta se oli malliesimerkki siitä, miten kosketusnäytön kanssa vuorovaikutuksessa olevat eleet saattoivat auttaa hallitsemaan kokonaista käyttöjärjestelmää.

2002: Keskinäinen kapasitiivinen tunnistaminen Sonyn SmartSkinissä

Sony esitteli vuonna 2002 litteän syöttöpinnan, joka pystyi tunnistamaan useita käden asentoja ja kosketuspisteitä samanaikaisesti. Yhtiö nimesi sen SmartSkiniksi. Tekniikka toimi laskemalla käden ja pinnan välinen etäisyys kapasitiivisen tunnistuksen ja verkon muotoisen antennin avulla. Toisin kuin muissa tekniikoissa käytetty kamerapohjainen eleentunnistusjärjestelmä, kaikki tunnistuselementit oli integroitu kosketuspintaan. Tämä tarkoitti myös sitä, että se ei toimisi huonosti huonoissa valaistusolosuhteissa. Hankkeen perimmäisenä tavoitteena oli muuttaa päivittäin käytettävät pinnat, kuten tavallinen pöytä tai seinä, interaktiivisiksi käyttämällä lähellä olevaa tietokonetta. Tekniikka teki kuitenkin kapasitiiviselle kosketustekniikalle enemmän kuin ehkä oli tarkoitus, muun muassa ottamalla käyttöön useita kosketuspisteitä.

Jun Rekimoto Sonyn Computer Science Laboratoriesin vuorovaikutuslaboratoriosta huomautti tämän teknologian eduista whitepaperissa. Hänen mukaansa SmartSkinin kaltaiset teknologiat tarjoavat ”luonnollisen tuen usean käden ja usean käyttäjän toiminnoille”. Useampi kuin kaksi käyttäjää voi koskettaa pintaa samanaikaisesti ilman häiriöitä. Kehitettiin kaksi prototyyppiä, joissa SmartSkinia käytettiin interaktiivisena pöytänä ja eleitä tunnistavana alustana. Toisessa prototyypissä käytettiin edelliseen verrattuna hienompaa verkkoa, jotta se voi kartoittaa sormien tarkemmat koordinaatit. Kaiken kaikkiaan tekniikan oli tarkoitus tarjota reaalimaailman tuntumaa virtuaalisiin esineisiin ja jäljitellä sitä, miten ihmiset käyttävät sormiaan esineitä poimittaessa ja käsitellessään niitä.

2002-2004: Epäonnistuneet tabletit ja Microsoft Researchin TouchLight

Multitouch-teknologia kamppaili valtavirrassa, sitä esiintyi erikoislaitteissa, mutta se ei koskaan saanut suurta läpimurtoa. Yksi melkein onnistui vuonna 2002, kun kanadalainen DSI Datotech kehitti HandGear + GRT -laitteen (lyhenne ”GRT” viittasi laitteen eleentunnistusteknologiaan). Laitteen monipistekosketusalusta toimi vähän samaan tapaan kuin edellä mainittu iGesture-alusta, sillä se pystyi tunnistamaan erilaisia eleitä ja antamaan käyttäjille mahdollisuuden käyttää sitä syöttölaitteena tietokoneen ohjaamiseen. ”Halusimme varmistaa, että HandGear on helppokäyttöinen”, markkinoinnista vastaava varapuheenjohtaja Tim Heaney sanoi lehdistötiedotteessa. ”Niinpä teknologia suunniteltiin tunnistamaan käden ja sormien liikkeet, jotka ovat käyttäjälle täysin luonnollisia tai intuitiivisia, olivatpa he sitten vasen- tai oikeakätisiä. Lyhyen oppimisjakson jälkeen he pystyvät kirjaimellisesti keskittymään käsillä olevaan työhön eivätkä siihen, mitä sormet tekevät.”

HandGearin avulla käyttäjät voivat myös ”tarttua” kolmiulotteisiin objekteihin reaaliajassa, mikä laajentaa entisestään ajatusta vapaudesta ja tuottavuudesta suunnitteluprosessissa. Yhtiö jopa tarjosi API:n kehittäjille AutoDeskin kautta. Valitettavasti, kuten Buxton mainitsee monikosketusta käsittelevässä katsauksessaan, yritykseltä loppui rahat ennen tuotteen toimitusta, ja DSI sulki ovensa.

Kaksi vuotta myöhemmin Microsoft Researchin työntekijä Andrew D. Wilson kehitti eleisiin perustuvan kuvakosketusnäytön ja 3D-näytön. TouchLight käytti takaprojektionäyttöä muuttaakseen akryylimuovilevyn interaktiiviseksi pinnaksi. Näyttö pystyi havaitsemaan useamman kuin yhden käyttäjän useita sormia ja käsiä, ja 3D-ominaisuuksiensa ansiosta sitä voitiin käyttää myös tilapäisenä peilinä.

TouchLight oli siisti teknologiaesittely, ja se lisensoitiin lopulta tuotantoa varten Eon Realitylle, ennen kuin teknologia osoittautui liian kalliiksi kuluttajille suunnattavaksi laitteeksi. Tämä ei kuitenkaan jäisi Microsoftin ainoaksi kokeiluksi hienon monikosketusnäyttöteknologian parissa.

2006: Multitouch-tunnistus ”turhautuneen sisäisen kokonaisheijastuksen”

Vuonna 2006 Jeff Han esitteli ensimmäisen kerran julkisesti intuitiivisen, käyttöliittymättömän, kosketusnäytönsä TED-konferenssissa Montereyssa, Kaliforniassa. Esityksessään Han siirsi ja manipuloi valokuvia jättimäisessä valolaatikossa käyttäen vain sormenpäitään. Hän näpäytti valokuvia, venytti niitä ja nipisti niitä pois, ja kaikki tämä tapahtui valloittavan luontevasti. ”Tämän pitäisi olla Googlen aulassa”, hän vitsaili. Demo osoitti, että korkearesoluutioinen, skaalautuva kosketusnäyttö oli mahdollista rakentaa kuluttamatta liikaa rahaa.”

Han oli keksinyt, että ”vankka” monikosketustunnistus oli mahdollista käyttämällä ”turhautunutta sisäistä kokonaisheijastusta” (frustrated total internal reflection, FTIR), joka on biometriikan yhteisöstä peräisin oleva tekniikka, jota käytetään sormenjälkien kuvantamisessa. FTIR toimii siten, että valoa lähetetään akryyli- tai pleksilasin läpi. Valo (yleisesti käytetään infrapunavaloa) kimpoaa edestakaisin akryylin ylä- ja alapinnan välillä kulkiessaan. Kun sormi koskettaa pintaa, säteet hajoavat sen reunan ympärille, johon sormi on asetettu, mistä termi ”turhautunut” johtuu. Syntyvät kuvat näyttävät valkoisilta tahroilta, ja infrapunakamera havaitsee ne. Tietokone analysoi, mihin sormi koskettaa, ja merkitsee sen paikan ja määrittää koordinaatin. Ohjelmisto voi sitten analysoida koordinaatteja suorittaakseen tietyn tehtävän, kuten kohteiden koon muuttamisen tai kiertämisen.

Kun TED-puheesta tuli YouTube-hitti, Han perusti Perceptive Pixel -nimisen startup-yrityksen. Vuosi puheen jälkeen hän kertoi Wiredille, ettei hänen multitouch-tuotteellaan ollut vielä nimeä. Ja vaikka hänellä oli joitakin kiinnostuneita asiakkaita, Han sanoi, että he olivat kaikki ”todella kalliita asiakkaita”. Enimmäkseen puolustusta.”

Viime vuonna Hann myi yrityksensä Microsoftille yrittäessään tehdä teknologiasta valtavirtaa ja edullisempaa kuluttajille. ”Yrityksessämme on aina ollut kyse tuottavuuskäyttötapauksista”, Han kertoi AllThingsD:lle. ”Siksi olemme aina keskittyneet näihin suurempiin näyttöihin. Ihmiset ajattelevat Officea, kun he ajattelevat tuottavuutta.”

2008: Microsoft Surface

Ennen kuin 10-tuumaista tablettia oli olemassa, nimi ”Surface” viittasi Microsoftin huippuluokan graafiseen kosketusnäyttöön, joka oli alun perin rakennettu oikean IKEA-pöydän sisään, jonka yläosaan oli leikattu reikä. Vaikka sitä esiteltiin yleisölle vuonna 2007, idea syntyi jo vuonna 2001. Redmondin tutkijat visioivat interaktiivista työtasoa, jolla kollegat voisivat manipuloida esineitä edestakaisin. Monien vuosien ajan työ oli piilossa salassapitosopimuksen takana. Kesti 85 prototyyppiä, ennen kuin Surface 1.0 oli valmis.

Kuten Ars kirjoitti vuonna 2007, Microsoft Surface oli pohjimmiltaan keskikokoiseen pöytään upotettu tietokone, jonka päällä oli suuri, litteä näyttö. Näytön kuva heijastettiin taaksepäin näyttöpinnalle pöydän sisältä, ja järjestelmä tunnisti, missä käyttäjä kosketti näyttöä pöydän sisälle asennettujen kameroiden avulla, jotka katsoivat ylöspäin kohti käyttäjää. Kun sormet ja kädet olivat vuorovaikutuksessa näytön sisällön kanssa, Surface-ohjelmisto seurasi kosketuspisteet ja käynnisti oikeat toiminnot. Surface pystyi tunnistamaan useita kosketuspisteitä kerrallaan sekä esineitä, joihin oli kiinnitetty pieniä ”domino”-tarroja. Myöhemmin kehityssyklin aikana Surface sai myös kyvyn tunnistaa laitteita RFID:n avulla.

Alkuperäinen Surface esiteltiin All Things D -konferenssissa vuonna 2007. Vaikka monet sen suunnittelukonsepteista eivät olleet uusia, se havainnollisti erittäin tehokkaasti kahvipöydän kokoiseen laitteeseen integroitujen kosketusnäyttöjen reaalimaailman käyttömahdollisuuksia. Microsoft toi sitten 30-tuumaisen Surface-tietokoneen CES 2008 -tapahtumaan esittelemään sitä, mutta yhtiö sanoi nimenomaisesti, että se oli suunnattu ”viihdealan vähittäismyyntialueelle”. Surface suunniteltiin ensisijaisesti Microsoftin kaupallisten asiakkaiden käyttöön, jotta kuluttajat pääsisivät laitteiston makuun. Yhtiö teki yhteistyötä useiden nimekkäiden hotellikeskusten, kuten Starwoodin ja Harrah’s Casinon, kanssa esitelläkseen teknologiaa niiden auloissa. AT&T:n kaltaiset yritykset käyttivät Surfacea esittelemään uusimpia puhelimia kuluttajille, jotka astuivat niiden kivijalkamyymälöihin.

Mikäli Microsoft ei käyttänyt Surfacea graafisena käyttöliittymänä (Graphical User Interface, GUI), se nimitti sen käyttöliittymää luontevaksi käyttöliittymäksi (Natural User Interface, ”NUI”). Ilmaisu viittasi siihen, että teknologia tuntuisi loppukäyttäjästä lähes vaistomaiselta, yhtä luonnolliselta kuin vuorovaikutus minkä tahansa konkreettisen esineen kanssa reaalimaailmassa. Ilmaisu viittasi myös siihen, että käyttöliittymä perustuu ensisijaisesti käyttäjän kosketukseen eikä syöttölaitteisiin. (Lisäksi NUI – ”new-ey” – oli näppärä ja markkinointiin sopiva lyhenne.)

Vuonna 2011 Microsoft teki yhteistyötä Samsungin kaltaisten valmistajien kanssa tuottaakseen tyylikkäämpiä ja uudempia Surface-tablettilaitteita. Esimerkiksi Samsung SUR40:ssä on 40-tuumainen 1080p-LED, ja se vähensi tuntuvasti kosketustunnistusmekanismien vaatimaa sisäistä tilaa. Se oli 22 tuuman paksuudellaan edeltäjiään ohuempi, ja koon pienentäminen mahdollisti näytön kiinnittämisen seinälle sen sijaan, että kameran ja sensoreiden sijoittamiseen tarvittaisiin pöytä. Se maksoi lanseerauksen aikaan noin 8400 dollaria, ja siinä toimi Windows 7 ja Surface 2.0 -ohjelmisto.

Viime vuonna yhtiö brändäsi tekniikan uudelleen PixelSense-nimellä, kun Microsoft esitteli kuluttajille siihen liittymättömän Surface-tabletinsa. PixelSense-nimi viittaa tekniikan varsinaiseen toimintatapaan: infrapunataustavalon päälle asetetaan kosketusherkkä suojalasi. Kun valo osuu lasiin, se heijastuu takaisin integroituihin antureihin, jotka muuttavat valon sähköiseksi signaaliksi. Tätä signaalia kutsutaan ”arvoksi”, ja nämä arvot luovat kuvan näytön sisällöstä. Kuva analysoidaan sitten kuvankäsittelytekniikoiden avulla, ja tuloste lähetetään tietokoneeseen, johon se on liitetty.

PixelSense koostuu neljästä pääkomponentista, jotka muodostavat sen tekniikan: se ei vaadi hiirtä ja näppäimistöä toimiakseen, sen kanssa voi olla vuorovaikutuksessa useampi kuin yksi käyttäjä samanaikaisesti, se pystyy tunnistamaan tietyt lasille asetetut kohteet ja siinä on useita kosketuspisteitä. PixelSense-nimi voi johtua erityisesti tuosta viimeisestä kohdasta – jokainen pikseli voi itse asiassa aistia, oliko kosketuskosketusta vai ei.

Vaikka se olisi mahtava olohuoneen lisävaruste, Microsoft markkinoi Surface-laitteistoa edelleen pikemminkin yritystyökaluna kuin kuluttajatuotteena.

Kosketus tänään – ja huomenna?

Sitä ei voi vähätellä – kullakin näillä teknologioilla on ollut valtavan suuri vaikutus nykyisin käyttämiimme laitteisiin. Kaikki älypuhelimistamme kannettavien tietokoneiden ohjauslevyihin ja WACOM-tableteihin voidaan jotenkin liittää kosketusnäyttöteknologian historian moniin keksintöihin, keksintöihin ja patentteihin. Android- ja iOS-käyttäjät saavat kiittää E.A. Johnsonia kapasitiivisen kosketuksen mahdollistavista älypuhelimista, kun taas ravintolat voivat lähettää terveisiä tohtori G. Samuel Hurstille POS-järjestelmänsä resistiivisestä kosketusnäytöstä.

Sarjamme seuraavassa osassa sukellamme syvemmälle tämän päivän laitteisiin. (Miten FingerWorksin työ on muutenkaan vaikuttanut näihin iLaitteisiin?) Mutta historia ei päättynyt myöskään vuoteen 2011. Keskustelemme myös siitä, miten jotkut nykyisistä suurista toimijoista – kuten Apple ja Samsung – jatkavat panostustaan kosketusnäyttölaitteiden kehitykseen. Älä vieritä sormea, pysy kuulolla!