OmniTouch

Una delle grandi rivoluzioni nell'informatica sono state i touch screen. Hanno introdotto un nuovo modo di interagire con il computer, con un puntatore speciale o con il dito. Nel 2011, Microsoft è andata oltre con l'introduzione di OmniTouch, un progetto che ha reso qualsiasi superficie toccabile. L'idea di base è quella di montare sulla spalla un dispositivo telecamera e proiettore, che proietta lo schermo e legge i tasti premuti dall'utente. Le possibilità sono infinite, permettendoci di trasformare la nostra mano, il muro, un foglio o qualsiasi altra superficie in un touch screen.

Come funziona OmniTouch: riconoscere i tasti premuti

La parte più importante del progetto OmniTouch è il tracciamento della posizione e della profondità delle dita, per sapere dove l'utente sta toccando. Per questo, nel prototipo è stata utilizzata una fotocamera PrimeSense sensibile alla profondità. A differenza di una normale fotocamera che misura i colori, PrimeSense misura la distanza di ogni punto dell'immagine dall'obiettivo della fotocamera. La precisione di 1 mm e la portata minima di 20 cm sono i principali vantaggi rispetto alla fotocamera Kinect, originariamente utilizzata nel progetto.

"

Per individuare le dita, OmniTouch acquisisce prima la mappa di profondità (A). Quindi, viene calcolata la mappa di inclinazione>"

In (B) puoi vedere quella mappa tradotta in colori: rosso significa che c'è meno profondità nella direzione positiva dell'asse X o Y (verso l' alto o verso destra) e blu significa che c'è è la profondità minore nella direzione negativa dell'asse X o Y (in basso oa sinistra).Il viola significa che non c'è quasi nessun cambiamento di profondità.

Con questa mappa, il software cerca sezioni cilindriche verticali, una superficie che si avvicina alla telecamera, poi si ferma e infine si allontana. Cos'è stato un dito se lo fai scorrere da una parte all' altra, wow. Sulla mappa dei colori, cerca una sezione rossa, poi una sezione viola, quindi una sezione blu, tutte sullo stesso asse verticale.

I possibili candidati vengono filtrati in base all' altezza, per filtrare tutto ciò che non può essere un dito (ad esempio, un cilindro alto 2 millimetri non può essere riconosciuto come un dito, quindi viene scartato). Nella figura (C) si possono vedere tutte le sezioni delle dita identificate.

Fatto questo, tutte le sezioni verticali vengono unite a formare il dito (figura D). Le dita che potrebbero essere troppo corte vengono scartate e si presume che, poiché l'utente è destrorso, la parte più a sinistra del dito sia la punta.E voilà, ora sappiamo dove punta l'utente .

Ora, come facciamo a sapere se il dito sta toccando la superficie? Lo chiamano riempimento alluvione, ma ti sembrerà più familiare se ti dico che è come riempire con il secchio di vernice di Paint.

La tecnica è semplice: individua il punto medio del dito e inizia a riempire i pixel in alto, a sinistra ea destra, con una tolleranza di 13 millimetri. Cioè, riempiono un pixel solo se la differenza tra la sua profondità e quella del punto medio del dito è inferiore a 13 millimetri.

In questo modo, se il tuo dito non tocca nulla, verranno riempiti solo i pixel corrispondenti al tuo dito. Se stai toccando la mano, molti altri saranno riempiti. Nell'immagine puoi vedere cosa succede se il dito è in aria (a sinistra) o tocca la mano (a destra). Quando viene superato un certo margine di pixel riempiti, il software invierà un tocco o un clic nel punto corrispondente.

Come funziona OmniTouch: Proiezione dell'immagine

Sebbene il riconoscimento delle dita sia la parte centrale, non possiamo dimenticare che OmniTouch deve anche proiettare un'immagine su qualsiasi superficie. La camera di profondità viene utilizzata anche per questo. Tutte le superfici nell'immagine vengono rilevate utilizzando un algoritmo di componente connesso, che rileva in modo molto efficiente i punti interconnessi nell'immagine.

Una volta scartate le superfici più piccole di una mano, si procede a fissare un centro o punto di riferimento per proiettare l'immagine. Questo punto aiuta a rilevare l'orientamento della superficie e quindi permette di creare un'immagine che non sembri distorta.

Il prossimo punto difficile arriva quando si tratta di rilevare le dimensioni della superficie.Poiché i bordi delle superfici non possono essere riconosciuti abbastanza bene, OmniTouch utilizza la media e la deviazione standard dei punti componenti per classificarli in cinque punti: mano, braccio, notebook, parete e tavolo. Ognuno di loro ha una certa dimensione e un centro per l'immagine.

Il software genera l'immagine da proiettare con tutti i dati, distorcendola in modo che appaia correttamente in superficie. Quindi passa l'immagine al proiettore, che visualizzerà l'immagine su qualunque superficie sia.

Tecnologia precisa con molte possibilità

Test utilizzati per misurare la precisione di OmniTouch.

Nei test, OmniTouch si è rivelato una tecnologia molto precisa. Precisione del 96,5% quando si tratta di riconoscere un clic, un dato molto buono e ancora di più considerando che si tratta di un prototipo.Per quanto riguarda le dimensioni dell'interfaccia, con pulsanti di 2 centimetri di diametro, verrebbe riconosciuto il 95% dei tasti premuti.

Questa dimensione massima è necessaria per un'interfaccia proiettata nella mano. Su altre superfici più lontane, come un tavolo o una parete, potrebbe ridursi a 15 millimetri, più o meno la stessa dimensione consigliata per un pulsante su un touch screen convenzionale.

"

Per quanto riguarda le possibilità, sono infinite. Con il prototipo è stato realizzato un leggio da dipingere: sul muro si disegnava e con la mano sinistra si sceglievano i colori. Utilizzato anche come evidenziatore>"

Ma la cosa più interessante è ciò che menzionano alla fine del documento: le possibilità che OmniTouch apre quando smettiamo di considerare le superfici bidimensionali, sfruttando le forme del corpo per cambiare il modo interagiamo con il computer.

"

OmniTouch è un progetto davvero entusiasmante, sia nella sua tecnica che nelle sue possibilità. Torneremo presto a parlare di lui nello speciale Il futuro secondo Microsoft>"

In Xataka Windows | Il futuro secondo Microsoft Maggiori informazioni | OmniTouch