Od wyświetlaczy dotykowych do Surface: Krótka historia technologii ekranów dotykowych

Trudno uwierzyć, że zaledwie kilkadziesiąt lat temu technologię ekranów dotykowych można było znaleźć tylko w książkach i filmach science fiction. W dzisiejszych czasach, to prawie niepojęte, jak kiedyś udało nam się przejść przez nasze codzienne zadania bez zaufanego tabletu lub smartfona w pobliżu, ale to nie koniec. Ekrany dotykowe są naprawdę wszędzie. Domy, samochody, restauracje, sklepy, samoloty, gdziekolwiek – wypełniają nasze życie w miejscach publicznych i prywatnych.

Trzeba było pokoleń i kilku dużych postępów technologicznych, aby ekrany dotykowe osiągnęły taki rodzaj obecności. Chociaż technologia, na której opierają się ekrany dotykowe, sięga lat 40. ubiegłego wieku, istnieje wiele dowodów na to, że ekrany dotykowe nie były wykonalne do co najmniej 1965 roku. Popularne programy telewizyjne science fiction, takie jak Star Trek, nie nawiązywały nawet do tej technologii aż do czasu, gdy Star Trek: Następne pokolenie zadebiutował w 1987 roku, prawie dwie dekady po tym, jak technologia ekranów dotykowych została uznana za możliwą. Jednak ich włączenie do serialu szło w parze z postępem w świecie technologii, a pod koniec lat 80. ekrany dotykowe w końcu okazały się na tyle realistyczne, że konsumenci mogli faktycznie zastosować tę technologię w swoich domach.

Zobacz więcej

Ten artykuł jest pierwszym z trzyczęściowej serii dotyczącej podróży technologii ekranów dotykowych od fikcji do faktów. Pierwsze trzy dekady dotyku są ważne, aby zastanowić się nad nimi, aby naprawdę docenić technologię multitouch, do której jesteśmy dziś tak przyzwyczajeni. Dzisiaj przyjrzymy się, kiedy te technologie pojawiły się po raz pierwszy i kto je wprowadził, a także omówimy kilku innych pionierów, którzy odegrali dużą rolę w rozwoju technologii dotykowych. Przyszłe wpisy w tej serii będą badać, w jaki sposób zmiany w wyświetlaczach dotykowych doprowadziły do powstania urządzeń niezbędnych dla naszego życia dzisiaj i gdzie technologia ta może nas zaprowadzić w przyszłości. Ale najpierw przyłóżmy palec do ekranu i przenieśmy się do lat 60. ubiegłego wieku.

Lata 60: Pierwszy ekran dotykowy

Historycy powszechnie uważają, że pierwszy ekran dotykowy obsługiwany palcem został wynaleziony przez E.A. Johnsona w 1965 roku w Royal Radar Establishment w Malvern w Wielkiej Brytanii. Johnson pierwotnie opisał swoją pracę w artykule zatytułowanym „Touch display-a novel input/output device for computers” opublikowanym w Electronics Letters. Praca zawierała diagram opisujący typ mechanizmu ekranu dotykowego, który jest obecnie wykorzystywany w wielu smartfonach – to, co obecnie znamy jako dotyk pojemnościowy. Dwa lata później Johnson rozwinął tę technologię za pomocą zdjęć i diagramów w pracy „Touch Displays: A Programmed Man-Machine Interface”, opublikowanym w Ergonomics w 1967 roku.

Panel pojemnościowego ekranu dotykowego wykorzystuje izolator, taki jak szkło, który jest pokryty przezroczystym przewodnikiem, takim jak tlenek cyny indu (ITO). Częścią „przewodzącą” jest zazwyczaj ludzki palec, który jest doskonałym przewodnikiem elektrycznym. Początkowa technologia Johnsona mogła przetwarzać tylko jeden dotyk na raz, a do tego, co dziś określamy mianem „multitouch”, było jeszcze trochę daleko. Wynalazek ten był również binarny w swojej interpretacji dotyku – interfejs rejestrował dotyk lub go nie rejestrował. Czułość na nacisk pojawiła się znacznie później.

Nawet bez dodatkowych funkcji, pomysł wczesnego interfejsu dotykowego miał kilku zwolenników. Odkrycie Johnsona zostało ostatecznie przyjęte przez kontrolerów ruchu lotniczego w Wielkiej Brytanii i pozostało w użyciu do późnych lat 90-tych.

Lata 70-te: Rezystancyjne ekrany dotykowe zostają wynalezione

Ale chociaż pojemnościowe ekrany dotykowe zostały zaprojektowane jako pierwsze, zostały one przyćmione we wczesnych latach dotyku przez rezystancyjne ekrany dotykowe. Amerykański wynalazca Dr. G. Samuel Hurst opracował rezystancyjne ekrany dotykowe prawie przypadkowo. Berea College Magazine dla absolwentów opisał to tak:

Do badania fizyki atomowej zespół badawczy używał przepracowanego akceleratora Van de Graff, który był dostępny tylko w nocy. Żmudne analizy spowalniały ich badania. Sam wymyślił sposób na rozwiązanie tego problemu. On, Parks i Thurman Stewart, inny doktorant, użyli elektrycznie przewodzącego papieru do odczytania pary współrzędnych x i y. Pomysł ten doprowadził do powstania pierwszego ekranu dotykowego. Ten pomysł doprowadził do powstania pierwszego ekranu dotykowego dla komputera. Dzięki temu prototypowi jego studenci mogli w ciągu kilku godzin obliczyć to, co w przeciwnym razie zajęłoby im kilka dni.

Hurst i jego zespół badawczy pracowali na Uniwersytecie Kentucky. Uniwersytet próbował złożyć patent w jego imieniu, aby chronić ten przypadkowy wynalazek przed powielaniem, ale jego naukowe pochodzenie sprawiało, że wydawało się, że nie ma on zastosowania poza laboratorium.

Hurst miał jednak inne pomysły. „Pomyślałem, że to może być przydatne do innych rzeczy”, powiedział w artykule. W 1970 roku, po powrocie do pracy w Oak Ridge National Laboratory (ORNL), Hurst rozpoczął eksperyment po godzinach. W swojej piwnicy Hurst i dziewięciu przyjaciół z różnych dziedzin postanowili udoskonalić to, co zostało przypadkowo wynalezione. Grupa nazwała swoje raczkujące przedsięwzięcie „Elographics” i odkryła, że ekran dotykowy na monitorze komputera stanowi doskonałą metodę interakcji. Wszystko, czego potrzebował ekran, to przewodząca okładka, która stykała się z arkuszem zawierającym oś X i Y. Nacisk na nią pozwalał na podanie napięcia na ekran. Nacisk na okładkę pozwalał na przepływ napięcia pomiędzy przewodami X i Y, które mogły być mierzone w celu wskazania współrzędnych. To odkrycie pomogło stworzyć to, co dziś określamy mianem rezystancyjnej technologii dotykowej (ponieważ reaguje ona wyłącznie na nacisk, a nie przewodnictwo elektryczne, współpracując zarówno z rysikiem, jak i palcem).

Jako klasa technologii, rezystancyjne ekrany dotykowe są zazwyczaj bardzo przystępne w produkcji. Większość urządzeń i maszyn wykorzystujących tę technologię dotykową można znaleźć w restauracjach, fabrykach i szpitalach, ponieważ są one wystarczająco trwałe dla tych środowisk. Producenci smartfonów również używali rezystywnych ekranów dotykowych w przeszłości, chociaż ich obecność w przestrzeni mobilnej obecnie ma tendencję do ograniczania się do telefonów z niższej półki.

Elographics nie ograniczył się tylko do dotyku rezystancyjnego, choć. Grupa w końcu opatentowała pierwszy interfejs dotykowy z zakrzywionego szkła. Patent nosił tytuł „elektryczny czujnik współrzędnych płaskich” i zawierał szczegóły na temat „niedrogiego elektrycznego czujnika współrzędnych płaskich”, który wykorzystywał „zestawione ze sobą arkusze materiału przewodzącego, posiadające linie ekwipotencjalne”. Po tym wynalazku firma Elographics została sprzedana „dobrym ludziom w Kalifornii” i stała się EloTouch Systems.

Do 1971 roku wprowadzono wiele różnych maszyn obsługujących dotyk, ale żadna z nich nie była wrażliwa na nacisk. Jednym z najczęściej używanych urządzeń dotykowych w tym czasie był terminal PLATO IV Uniwersytetu Illinois – jeden z pierwszych uogólnionych systemów komputerowego wspomagania nauczania. PLATO IV zrezygnował z dotyku pojemnościowego lub rezystancyjnego na rzecz systemu podczerwieni (zaraz to wyjaśnimy). PLATO IV był pierwszym komputerem z ekranem dotykowym używanym w klasie, który pozwalał uczniom dotykać ekranu, aby odpowiadać na pytania.

Lata 80: Dekada dotyku

W 1982 roku na Uniwersytecie w Toronto Nimish Mehta opracował pierwsze urządzenie wielodotykowe sterowane przez człowieka. Był to nie tyle ekran dotykowy, co raczej tablet dotykowy. Grupa badawcza Input Research Group na tym uniwersytecie odkryła, że panel z matowego szkła z umieszczoną za nim kamerą może wykrywać działanie, rozpoznając różne „czarne punkty” pojawiające się na ekranie. Bill Buxton odegrał ogromną rolę w rozwoju technologii multitouch (przede wszystkim z PortfolioWall, do omówienia nieco później), a on uznał wynalazek Mehty za wystarczająco ważny, aby włączyć go do swojej nieformalnej osi czasu urządzeń wejściowych komputera:

Powierzchnia dotykowa była półprzezroczystym plastikowym filtrem zamontowanym na tafli szkła, oświetlonym z boku przez lampę fluorescencyjną. Kamera wideo została zamontowana poniżej powierzchni dotykowej i optycznie uchwyciła cienie, które pojawiły się na półprzezroczystym filtrze. (Wyjście z kamery było digitalizowane i wprowadzane do procesora sygnałowego w celu analizy.

Niedługo potem interakcja gestowa została wprowadzona przez Myrona Kruegera, amerykańskiego artystę komputerowego, który opracował system optyczny mogący śledzić ruchy dłoni. Krueger zaprezentował Video Place (później nazwane Video Desk) w 1983 roku, choć pracował nad tym systemem od końca lat 70. Wykorzystywał on projektory i kamery wideo do śledzenia dłoni, palców i osób, do których one należały. W przeciwieństwie do multitouch, system nie był w pełni świadomy tego, kto lub co dotyka, choć oprogramowanie mogło reagować na różne pozy. Wyświetlacz przedstawiał to, co wyglądało jak cienie w symulowanej przestrzeni.

Chociaż nie był on technicznie oparty na dotyku – opierał się na „czasie przebywania”, zanim wykonałby działanie – Buxton uważa go za jedną z technologii, które „napisały książkę” w zakresie nieobciążonej… bogatej interakcji gestowej. Praca ta wyprzedziła swoje czasy o ponad dekadę i była niezwykle wpływowa, a mimo to nie została doceniona tak, jak powinna.” Krueger był również pionierem wirtualnej rzeczywistości i sztuki interaktywnej w późniejszym okresie swojej kariery.

Ekrany dotykowe zaczęły być intensywnie komercjalizowane na początku lat 80-tych. HP (wtedy jeszcze formalnie znany jako Hewlett-Packard) rzucił swój kapelusz w z HP-150 we wrześniu 1983 roku. Komputer korzystał z MS-DOS i posiadał 9-calowy kineskop Sony otoczony emiterami podczerwieni (IR) i detektorami, które wyczuwały, gdzie palec użytkownika spoczywa na ekranie. System kosztował około $2,795, ale nie został natychmiast przyjęty, ponieważ miał pewne problemy z użytecznością. Na przykład, szturchanie w ekran blokowało inne promienie podczerwieni, które mogły informować komputer, gdzie palec jest skierowany. Skutkowało to tym, co niektórzy nazywali „Gorilla Arm”, odnosząc się do zmęczenia mięśni, które pochodziło od użytkownika wystawiającego rękę na tak długo.

Rok później technologia multitouch zrobiła krok naprzód, gdy Bob Boie z Bell Labs opracował pierwszą przezroczystą nakładkę na ekran multitouch. Jak Ars napisał w zeszłym roku:

…pierwszy ekran multitouch został opracowany w Bell Labs w 1984 roku. donosi, że ekran, stworzony przez Boba Boie, „używał przezroczystej pojemnościowej matrycy czujników dotykowych nałożonej na CRT.” Pozwalał on użytkownikowi „manipulować obiektami graficznymi za pomocą palców z doskonałym czasem reakcji.”

Odkrycie to pomogło stworzyć technologię multitouch, której używamy dziś w tabletach i smartfonach.

Lata 90: Ekrany dotykowe dla każdego!

W 1993 roku firmy IBM i BellSouth połączyły siły, aby wprowadzić na rynek Simon Personal Communicator, jeden z pierwszych telefonów komórkowych z technologią ekranu dotykowego. Zawierał on funkcję przywoływania, aplikację poczty elektronicznej i kalendarza, terminarz, książkę adresową, kalkulator i szkicownik oparty na piórze. Posiadał również rezystancyjny ekran dotykowy, który wymagał użycia rysika do poruszania się po menu i wprowadzania danych.

Apple wprowadziła również w tym samym roku urządzenie PDA z ekranem dotykowym: Newton PDA. Choć platforma Newton została zapoczątkowana w 1987 roku, MessagePad był pierwszym z serii urządzeń firmy Apple wykorzystujących tę platformę. Jak zauważa Time, ówczesny dyrektor generalny Apple, John Sculley, ukuł termin „PDA” (czyli „osobisty asystent cyfrowy”). Podobnie jak IBM Simon Personal Communicator, MessagePad 100 wyposażony był w oprogramowanie do rozpoznawania pisma ręcznego i był kontrolowany za pomocą rysika.

Wczesne recenzje MessagePad koncentrowały się na jego użytecznych funkcjach. Kiedy jednak urządzenie trafiło w ręce konsumentów, jego wady stały się bardziej widoczne. Oprogramowanie do rozpoznawania pisma ręcznego nie działało zbyt dobrze, a Newton nie sprzedał tak wielu jednostek. To jednak nie powstrzymało Apple; firma produkowała Newtona przez sześć kolejnych lat, kończąc na MP2000.

Trzy lata później, Palm Computing poszedł za przykładem z własnym PDA, nazwanym Pilot. Był to pierwszy z wielu generacji osobistych asystentów cyfrowych tej firmy. Podobnie jak inne gadżety z ekranem dotykowym, które je poprzedziły, Palm 1000 i Pilot 5000 wymagały użycia rysika.

Gadżet PDA firmy Palm odniósł nieco większy sukces niż oferty IBM i Apple. Jego nazwa szybko stała się synonimem słowa „biznes”, częściowo dzięki temu, że jego oprogramowanie do rozpoznawania pisma odręcznego działało bardzo dobrze. Użytkownicy używali tego, co Palm nazwał „Graffiti” do wprowadzania tekstu, liczb i innych znaków. Było to łatwe do nauczenia i naśladowało sposób pisania na kartce papieru. To w końcu został wdrożony na platformie Apple Newton.

PDA typu urządzenia niekoniecznie wyposażone palec do ekranu typu ekranów dotykowych, że jesteśmy przyzwyczajeni do dzisiaj, ale przyjęcie konsumentów przekonał firmy, że było wystarczająco dużo zainteresowania w posiadaniu tego typu urządzenia.

Na koniec dekady, absolwent Uniwersytetu Delaware, Wayne Westerman opublikował pracę doktorską zatytułowaną „Hand Tracking, Finger Identification, and Chordic Manipulation on a Multi-Touch Surface.” Praca szczegółowo opisywała mechanizmy stojące za tym, co dziś znamy jako technologię pojemnościową multitouch, która stała się podstawową cechą nowoczesnych urządzeń wyposażonych w ekrany dotykowe.

Westerman i jego doradca z wydziału, John Elias, ostatecznie założyli firmę o nazwie FingerWorks. Grupa zaczęła produkować linię produktów opartych na gestach multitouch, w tym klawiaturę opartą na gestach o nazwie TouchStream. Pomogło to osobom cierpiącym z powodu niepełnosprawności, takich jak urazy związane z powtarzającym się napięciem oraz inne schorzenia. W tym samym roku wydano również iGesture Pad, który umożliwiał gestykulowanie jedną ręką i manewrowanie w celu sterowania ekranem. Firma FingerWorks została ostatecznie przejęta przez Apple w 2005 roku, a wielu przypisuje technologie takie jak wielodotykowy Trackpad lub ekran dotykowy iPhone’a temu przejęciu.

Lata 2000 i dalej

Przy tak wielu różnych technologiach zgromadzonych w poprzednich dekadach, lata 2000 były czasem prawdziwego rozkwitu technologii ekranów dotykowych. Nie będziemy tutaj omawiać zbyt wielu konkretnych urządzeń (więcej na ich temat w dalszej części tej serii dotyczącej ekranów dotykowych), ale w tej dekadzie nastąpił postęp, który pomógł wprowadzić technologię multitouch i technologię opartą na gestach do mas. Lata 2000 były również erą, w której ekrany dotykowe stały się ulubionym narzędziem do współpracy projektowej.

2001: Alias|Wavefront’s gesture-based PortfolioWall

As the new millennium approached, companies were pouring more resources into integrating touchscreen technology into their daily processes. Animatorzy i projektanci 3D byli szczególnie zainteresowani pojawieniem się PortfolioWall. Był to wielkoformatowy ekran dotykowy, który miał być dynamiczną wersją tablic, jakich studia projektowe używają do śledzenia projektów. Chociaż prace nad nim rozpoczęły się w 1999 roku, PortfolioWall został zaprezentowany na targach SIGGRAPH w 2001 roku i został wyprodukowany częściowo w ramach współpracy pomiędzy General Motors i zespołem Alias|Wavefront. Buxton, który obecnie pełni funkcję głównego badacza w Microsoft Research, był głównym naukowcem w tym projekcie. „Burzymy mur i zmieniamy sposób, w jaki ludzie skutecznie komunikują się w miejscu pracy i prowadzą interesy” – powiedział wtedy. „Gesturalny interfejs PortfolioWall pozwala użytkownikom na pełną interakcję z zasobami cyfrowymi. Oglądanie obrazów staje się teraz z łatwością częścią codziennego przepływu pracy.”

W PortfolioWall zastosowano prosty, łatwy w użyciu, oparty na gestach interfejs. To pozwoliło użytkownikom do kontroli i manewrowania obrazów, animacji i plików 3D z tylko ich palców. Było to również łatwe do skalowania obrazów, pobrać modele 3D, i odtwarzanie wideo. W późniejszej wersji dodano możliwość dodawania szkiców i adnotacji tekstowych, uruchamiania aplikacji innych firm oraz narzędzie do przeglądania 3D oparte na programie Maya, umożliwiające przesuwanie, obracanie, powiększanie i oglądanie modeli 3D. W przeważającej części, produkt ten był uważany za cyfrową tablicę korkową dla zawodów skupionych na projektowaniu. Kosztował również 38 000 $, aby zainstalować cały zestaw – 3 000 $ za sam prezenter i 35 000 $ za serwer.

The PortfolioWall również adresowane fakt, że podczas gdy tradycyjne media, takie jak modele gliny i pełnowymiarowe rysunki były nadal ważne w procesie projektowania, były one powoli rozszerzane przez narzędzia cyfrowe. Urządzenie zawierało dodatki, które wirtualnie emulowane tych namacalnych mediów i służył jako narzędzie prezentacji dla projektantów, aby pokazać swoją pracę w toku.

Innym głównym rysunek PortfolioWall był jego „serwer świadomości”, który pomógł ułatwić współpracę w sieci tak, że zespoły nie muszą być w tym samym pokoju, aby przejrzeć projekt. Zespoły mogły mieć wiele ścian w różnych miejscach i nadal współpracować zdalnie.

The PortfolioWall został ostatecznie położony na odpoczynek w 2008 roku, ale to był najlepszy przykład tego, jak gesty interakcji z ekranem dotykowym może pomóc kontrolować cały system operacyjny.

2002: Wzajemne wykrywanie pojemnościowe w SmartSkin firmy Sony

W 2002 roku firma Sony wprowadziła płaską powierzchnię wejściową, która mogła jednocześnie rozpoznawać wiele pozycji dłoni i punktów dotyku. Firma nazwała ją SmartSkin. Technologia ta działała na zasadzie obliczania odległości między dłonią a powierzchnią za pomocą czujników pojemnościowych i anteny w kształcie siatki. W przeciwieństwie do systemu rozpoznawania gestów opartego na kamerze w innych technologiach, wszystkie elementy detekcji były zintegrowane z powierzchnią dotykową. Oznaczało to również, że nie będzie on działał nieprawidłowo w słabych warunkach oświetleniowych. Ostatecznym celem projektu było przekształcenie powierzchni, z których korzystamy na co dzień, takich jak przeciętny stół czy ściana, w powierzchnię interaktywną przy użyciu znajdującego się w pobliżu komputera. Jednakże technologia ta zrobiła więcej dla pojemnościowej technologii dotykowej niż mogła być zamierzona, w tym wprowadziła wiele punktów styku.

Jun Rekimoto z Laboratorium Interakcji w Computer Science Laboratories firmy Sony zauważył zalety tej technologii w dokumencie Whitepaper. Powiedział on, że technologie takie jak SmartSkin oferują „naturalne wsparcie dla operacji wykonywanych wieloma rękami i przez wielu użytkowników”. Więcej niż dwóch użytkowników może jednocześnie dotykać powierzchni w tym samym czasie bez żadnych zakłóceń. Opracowano dwa prototypy, aby pokazać SmartSkin jako interaktywny stół i podkładkę rozpoznającą gesty. W drugim prototypie zastosowano drobniejszą siatkę w porównaniu do pierwszego, dzięki czemu może on odwzorowywać bardziej precyzyjne współrzędne palców. Ogólnie rzecz biorąc, technologia ta miała oferować rzeczywiste odczucie wirtualnych obiektów, zasadniczo odtwarzając to, jak ludzie używają swoich palców do podnoszenia obiektów i manipulowania nimi.

2002-2004: Nieudane tablety i TouchLight firmy Microsoft Research

Technologia wielodotykowa zmagała się z głównym nurtem, pojawiając się w specjalistycznych urządzeniach, ale nigdy nie zdobywając wielkiego sukcesu. Jeden prawie nadszedł w 2002 roku, kiedy kanadyjska firma DSI Datotech opracowała urządzenie HandGear + GRT (skrót „GRT” odnosił się do technologii rozpoznawania gestów). Wielopunktowy touchpad tego urządzenia działał trochę jak wspomniany wcześniej iGesture pad, ponieważ był w stanie rozpoznawać różne gesty i pozwalał użytkownikom używać go jako urządzenia wejściowego do sterowania komputerem. „Chcieliśmy mieć pewność, że HandGear będzie łatwy w użyciu,” powiedział wiceprezes ds. marketingu Tim Heaney w komunikacie prasowym. „Technologia została zaprojektowana tak, aby rozpoznawać ruchy dłoni i palców, które są całkowicie naturalne lub intuicyjne dla użytkownika, niezależnie od tego, czy jest on prawo- czy leworęczny. Po krótkim okresie nauki, są oni dosłownie w stanie skupić się na pracy, a nie na tym, co robią palce.”

HandGear umożliwił również użytkownikom „chwytanie” trójwymiarowych obiektów w czasie rzeczywistym, co jeszcze bardziej rozszerzyło ideę wolności i produktywności w procesie projektowania. Firma udostępniła nawet API dla programistów za pośrednictwem AutoDesk. Niestety, jak wspomina Buxton w swoim przeglądzie multitouch, firmie skończyły się pieniądze zanim ich produkt trafił na rynek i DSI zamknęło swoje drzwi.

Dwa lata później Andrew D. Wilson, pracownik Microsoft Research, opracował oparty na gestach obrazowy ekran dotykowy i wyświetlacz 3D. TouchLight używał tylnego wyświetlacza projekcyjnego do przekształcenia arkusza akrylowego plastiku w interaktywną powierzchnię. Wyświetlacz mógł wyczuwać wiele palców i dłoni więcej niż jednego użytkownika, a ze względu na swoje możliwości 3D, mógł być również używany jako prowizoryczne lustro.

The TouchLight był zgrabną demonstracją technologii, i ostatecznie został licencjonowany do produkcji do Eon Reality, zanim technologia okazała się zbyt kosztowna, aby być opakowana w urządzenie konsumenckie. Jednak to nie będzie jedyny wypad Microsoftu w kierunku wymyślnej technologii wyświetlania wielodotykowego.

2006: Multitouch sensing through „frustrated total internal reflection”

W 2006 roku, Jeff Han dał pierwszą publiczną demonstrację swojego intuicyjnego, pozbawionego interfejsu, dotykowego ekranu komputerowego na konferencji TED w Monterey, CA. W swojej prezentacji Han przesuwał i manipulował zdjęciami na gigantycznym lightboxie używając jedynie opuszków palców. Przesuwał zdjęcia, rozciągał je i uszczypnął, a wszystko to z urzekającą, naturalną łatwością. „To jest coś, co Google powinno mieć w swoim lobby” – zażartował. Demo pokazało, że skalowalny ekran dotykowy o wysokiej rozdzielczości jest możliwy do zbudowania bez wydawania zbyt wielu pieniędzy.

Han odkrył, że „solidny” multitouch sensing był możliwy przy użyciu „sfrustrowanego całkowitego wewnętrznego odbicia” (FTIR), techniki ze środowiska biometrycznego używanej do obrazowania odcisków palców. FTIR działa poprzez świecenie światłem przez kawałek akrylu lub pleksiglasu. Światło (powszechnie używana jest podczerwień) odbija się od górnej i dolnej części akrylu podczas podróży. Kiedy palec dotyka powierzchni, promienie rozpraszają się wokół krawędzi, na której znajduje się palec, stąd termin „sfrustrowany”. Obrazy, które są generowane wyglądają jak białe plamy i są odbierane przez kamerę na podczerwień. Komputer analizuje miejsce dotknięcia palca, aby zaznaczyć jego położenie i przypisać mu współrzędną. Oprogramowanie może następnie przeanalizować te współrzędne, aby wykonać określone zadanie, takie jak zmiana rozmiaru lub obrót obiektów.

Po tym, jak wykład TED stał się hitem YouTube, Han rozpoczął działalność firmy o nazwie Perceptive Pixel. Rok po wykładzie, powiedział Wired, że jego produkt multitouch nie ma jeszcze nazwy. I chociaż miał kilku zainteresowanych klientów, Han powiedział, że wszyscy oni byli „naprawdę wysokiej klasy klientami. Głównie obrony.”

W zeszłym roku, Hann sprzedał swoją firmę do Microsoftu w celu uczynienia technologii bardziej mainstream i przystępne dla konsumentów. „Nasza firma zawsze była o przypadkach użycia produktywności,” Han powiedział AllThingsD. „Dlatego też zawsze skupialiśmy się na tych większych wyświetlaczach. Office jest tym, o czym ludzie myślą, gdy myślą o produktywności.

2008: Microsoft Surface

Zanim pojawił się 10-calowy tablet, nazwa „Surface” odnosiła się do wysokiej klasy tabletowego graficznego ekranu dotykowego firmy Microsoft, pierwotnie zbudowanego wewnątrz rzeczywistego stołu IKEA z otworem wyciętym w blacie. Choć urządzenie zostało zaprezentowane publicznie w 2007 roku, pomysł narodził się już w 2001 roku. Naukowcy z Redmond wyobrazili sobie interaktywną powierzchnię roboczą, którą współpracownicy mogliby wykorzystywać do manipulowania obiektami tam i z powrotem. Przez wiele lat prace te były ukryte za umową o zachowaniu poufności. Zajęło to 85 prototypów, zanim Surface 1.0 był gotowy, aby przejść.

Jak Ars napisał w 2007 roku, Microsoft Surface był w zasadzie komputer wbudowany w średniej wielkości stół, z dużym, płaskim wyświetlaczem na górze. Obraz z ekranu był wyświetlany na powierzchni wyświetlacza od wewnątrz stołu, a system wyczuwał, gdzie użytkownik dotykał ekranu przez kamery zamontowane wewnątrz stołu patrząc w górę w kierunku użytkownika. Gdy palce i dłonie wchodziły w interakcję z tym, co jest na ekranie, oprogramowanie urządzenia Surface śledziło punkty dotyku i uruchamiało odpowiednie działania. Surface mógł rozpoznawać kilka punktów dotyku jednocześnie, a także obiekty z przyklejonymi do nich małymi naklejkami „domino”. Później w swoim cyklu rozwoju, Surface zyskał również zdolność do identyfikacji urządzeń poprzez RFID.

Oryginalny Surface został zaprezentowany na konferencji All Things D w 2007 roku. Chociaż wiele z jego koncepcji projektowych nie było nowych, bardzo skutecznie zilustrował przypadek użycia w świecie rzeczywistym ekranów dotykowych zintegrowanych z czymś wielkości stolika do kawy. Microsoft następnie przyniósł 30-calowy Surface, aby zademonstrować go na targach CES 2008, ale firma wyraźnie powiedziała, że jest on skierowany do „przestrzeni detalicznej rozrywki”. Surface został zaprojektowany głównie do użytku przez komercyjnych klientów Microsoftu, aby dać konsumentom smak sprzętu. Firma nawiązała współpracę z kilkoma dużymi ośrodkami hotelowymi, takimi jak Starwood i Harrah’s Casino, aby zaprezentować technologię w ich lobby. Firmy takie jak AT&T używane Surface pokazać najnowsze telefony do konsumentów wchodzących ich cegły i zaprawy miejsc sprzedaży detalicznej.

Raczej niż odnoszą się do niego jako graficzny interfejs użytkownika (GUI), Microsoft denoted interfejsu Surface jako naturalny interfejs użytkownika, lub „NUI”. Zwrot sugerował, że technologia będzie czuć się niemal instynktownie do człowieka użytkownika końcowego, tak naturalne, jak interakcji z dowolnego rodzaju namacalnego obiektu w świecie rzeczywistym. Wyrażenie to odnosiło się również do faktu, że interfejs był sterowany głównie przez dotyk użytkownika, a nie przez urządzenia wejściowe. (Plus, NUI – „new-ey” – tworzył zgrabny, przyjazny marketingowi akronim.)

W 2011 roku Microsoft nawiązał współpracę z producentami takimi jak Samsung, aby produkować zgrabniejsze, nowsze tablety Surface. Na przykład Samsung SUR40 ma 40-calowy ekran LED 1080p i drastycznie zmniejszył ilość miejsca wewnątrz wymaganego dla mechanizmów dotykowych. Przy grubości 22 cali, był cieńszy niż jego poprzednicy, a zmniejszenie rozmiaru umożliwiło zamontowanie wyświetlacza na ścianie, a nie wymagało stołu do umieszczenia kamery i czujników. Kosztował około 8 400 dolarów w momencie premiery i działał pod kontrolą systemu Windows 7 i oprogramowania Surface 2.0.

W zeszłym roku firma przemianowała technologię na PixelSense, gdy Microsoft przedstawił konsumentom swój niepowiązany tablet Surface. Nazwa „PixelSense” odnosi się do sposobu, w jaki technologia faktycznie działa: wrażliwe na dotyk szkło ochronne jest umieszczone na górze podświetlenia podczerwienią. Gdy światło uderza w szkło, jest ono odbijane z powrotem do zintegrowanych czujników, które przekształcają je w sygnał elektryczny. Sygnał ten jest określany jako „wartość”, a wartości te tworzą obraz tego, co znajduje się na wyświetlaczu. Obraz ten jest następnie analizowany przy użyciu technik przetwarzania obrazu, a dane wyjściowe są wysyłane do komputera, do którego jest podłączony.

PixelSense posiada cztery główne komponenty, które składają się na jego technologię: nie wymaga myszy i klawiatury do pracy, więcej niż jeden użytkownik może wchodzić w interakcję z nim w tym samym czasie, może rozpoznać pewne obiekty umieszczone na szkle i posiada wiele punktów styku. Nazwa PixelSense może być również przypisana temu ostatniemu elementowi – każdy piksel może faktycznie wyczuć, czy doszło do kontaktu dotykowego, czy też nie.

Mimo że byłby to wspaniały dodatek do salonu, firma Microsoft nadal sprzedaje sprzęt Surface jako narzędzie biznesowe, a nie produkt konsumencki.

Dotyk dziś i jutro?

Nie można tego nie zauważyć – każda z tych technologii miała ogromny wpływ na gadżety, których używamy dzisiaj. Wszystko, od naszych smartfonów po gładziki laptopów i tablety WACOM, może być w jakiś sposób powiązane z wieloma wynalazkami, odkryciami i patentami w historii technologii ekranów dotykowych. Użytkownicy Androida i iOS powinni podziękować E.A. Johnsonowi za pojemnościowe smartfony z obsługą dotyku, podczas gdy restauracje mogą przesłać swoje pozdrowienia dr G. Samuelowi Hurstowi za rezystancyjny ekran dotykowy w ich systemie Point of Sale (POS).

W następnej części naszej serii, zanurzymy się głębiej w dzisiejszych urządzeniach. (W jaki sposób praca firmy FingerWorks wpłynęła na te urządzenia iDevices?) Ale historia nie skończyła się w 2011 roku. Omówimy również, w jaki sposób niektórzy z obecnych głównych graczy, tacy jak Apple i Samsung, nadal przyczyniają się do ewolucji gadżetów z ekranami dotykowymi. Nie przewijaj tego palca, bądź na bieżąco!

.