Un'app di traduzione linguistica dei segni diventerà mai realtà?

Immagina un mondo in cui le barriere tra i non udenti e l'udito sono finite. Un mondo in cui le conversazioni fluiscono fluidamente tra coloro che ascoltano il suono e coloro che non lo ascoltano. Potrebbe quel mondo diventare reale nel prossimo futuro?

A giugno, un gruppo di studenti di marketing della Berghs School of Communication ha sviluppato un video concettuale per un prodotto immaginario chiamato Google Gesture. Il prodotto includeva una fascia da polso indossabile e un'app mobile che utilizzava l'elettromiografia per leggere i movimenti muscolari di una persona sorda facendo il linguaggio dei segni. Il sistema ha poi passato quei segnali all'app, che ha tradotto quei segnali in una voce digitalizzata e avrebbe parlato per la persona.

Guardare il falso video di marketing è stato piuttosto eccitante. È così eccitante, infatti, che i principali siti di tecnologia come Mashable, Slashgear e altri hanno originariamente annunciato il prodotto come reale, e successivamente hanno dovuto ricontare il reclamo e scusarsi per il loro errore. È stato un errore strano, considerando che c'è davvero è un prodotto Google chiamato Google Gesture Search [Non più disponibile], che consente di disegnare gesti sullo schermo del cellulare per cercare contatti, segnalibri e altro.

Indipendentemente da ciò, il concetto di studenti di Berghs ha presentato un'idea notevole, portando alla domanda: potrebbe essere possibile creare una tale app per davvero?

È possibile tradurre la lingua dei segni?

Sezionare il concetto di marketing a livello tecnico rivela che la tecnologia che utilizza l'elettromiografia (EMG) a “senso” la lingua dei segni non è poi così inverosimile. Già nel 2009, i ricercatori dell'Università di Washington sono stati in grado di utilizzare più sensori EMG per decodificare i movimenti muscolari e convertirli in gesti reali di braccio e mano.

I ricercatori hanno effettivamente costruito un completo “libreria di riconoscimento gestuale”, identificare quali segnali muscolari rappresentavano quale gesto. La ricerca dimostra che questo tipo di tecnologia è disponibile e pronta per essere implementata nel tipo di applicazione previsto dagli studenti di Berghs.

Quindi qualcuno ha già realizzato questo? In caso contrario, perché nessuno lo fa e fornisce ai non udenti e ai non udenti la capacità di comunicare con chiunque nel mondo attraverso il linguaggio dei segni?

Il futuro della tecnologia di traduzione in tempo reale

La verità è che qualcuno sta effettivamente lavorando su una tecnologia di traduzione in lingua dei segni in tempo reale.

C'è una società chiamata SpeechTrans, che ha spinto i limiti delle tecnologie di traduzione 3 I migliori strumenti di traduzione basati su Google Translate 3 I migliori strumenti di traduzione basati su Google Translate Ulteriori informazioni negli ultimi anni. SpeechTrans lavora con i partner tecnologici per produrre alcuni dei più notevoli servizi di traduzione linguistica in tempo reale attualmente disponibili sul mercato. Si tratta di servizi che traducono la chat di testo in chat di testo, voice-to-text e persino la conversione della lingua vocale in tempo reale tramite applicazioni di telefonia mobile e desktop.

Per scoprire se una tecnologia dei linguaggi dei segni potrebbe diventare una realtà nel prossimo futuro, MakeUseOf ha intervistato il CEO di SpeechTrans John Frei e il COO Yan Auerbach per discutere questa innovativa tecnologia di traduzione Comprendere qualsiasi lingua con questi 5 siti Web di traduzione linguistica Comprendere qualsiasi lingua con questi 5 siti web di traduzione linguistica La tecnologia ha reso il mondo un posto più piccolo. Persone da ogni parte di questo pianeta usano molti degli stessi strumenti, visitano alcuni degli stessi siti web e si mescolano in varie chat room online. Il ... Leggi di più e quanto può essere lontano nel futuro.

Sviluppo di un'applicazione di traduzione delle lingue dei segni

MUO: È possibile fare il tipo di linguaggio dei segni alla traduzione vocale che gli studenti di Berghs hanno ritratto in questo video concettuale di Google Gesture?

John: Direi che la tecnologia è disponibile per svilupparlo. Attualmente stiamo lavorando con Microsoft e Intel per esplorare alcune delle tecnologie con cui stanno uscendo, in termini di hardware e software. Prevediamo la possibilità di utilizzare quella tecnologia per riconoscere il linguaggio dei segni e quindi convertirla in output vocale e audio.

MUO: Stai lavorando attivamente allo sviluppo di questa tecnologia in questo momento?

Yan: Quindi, c'era un cliente che stava usando il nostro software, e ho pensato che sarebbe meraviglioso se potessimo modificarlo in modo che le persone con problemi di udito possano usarlo per fare telefonate dalla nostra app, per comunicare senza la necessità di firmare lingua quando sono di persona o senza bisogno di un servizio di tipo TTY per le chiamate telefoniche. Abbiamo sviluppato questo prodotto e, con i finanziamenti di Microsoft e Intel, abbiamo lanciato SpeechTrans per i non udenti su Windows 8.1, che elimina la necessità del linguaggio dei segni.

MUO: Come fa il “di persona” lavoro app?

Yan: C'è una modalità di ascolto e c'è una modalità di input. Quindi, quando qualcuno ti sta parlando, tu metti la modalità di ascolto e digita tutto ciò che stanno dicendo sullo schermo nel testo. Quindi, quando rispondi, lo digiti e poi pronuncia ad alta voce ciò che scrivi. Con il telefono basta digitare il numero di telefono di una persona e quando risponde al telefono diventa un messaggio istantaneo. Qualunque cosa parlino, ricevi come un IM. Quindi, qualsiasi cosa tu usi, viene pronunciata ad alta voce tramite il telefono. Questa è la prima fase.

Vicino a Future Sign Language Translation

MUO: Quali tecnologie le persone possono aspettarsi di vedere nel prossimo futuro? Qual è la fase successiva?

John: Immaginiamo - per qualcuno che ha solo la capacità di usare il linguaggio dei segni - di essere in grado di farlo davanti a un dispositivo come un telefono, un PC o un laptop. Intel ha un nuovo sistema di telecamere e Microsoft fa altrettanto con Kinect, che riconosce i gesti.

MUO: Come va meglio del concetto di bracciale proposto dagli studenti di Berghs?

Yan: Fondamentalmente, il nostro funzionerà in un modo in cui non richiede di mettere nulla sul braccio. Riconosce 64 punti sulla tua mano. Stiamo usando la versione beta della fotocamera RealSense di Intel. Quindi non solo saremo in grado di riconoscere tutto il linguaggio dei segni e più dialetti del linguaggio dei segni, ma saremo anche in grado di riconoscere le emozioni, le espressioni facciali e altre piccole sfumature e poi convertirle anche in parole pronunciate.

Questo non ti richiederà di indossare guanti o altro. Ci stiamo concentrando su quel mercato in particolare perché ci piace aiutare le persone in generale. Non vogliamo solo aiutare le persone che vogliono parlare in molte lingue diverse, ma vogliamo anche aiutare le persone che non sanno parlare in nessuna lingua. La tecnologia esiste, e non c'è ragione per cui la loro qualità della vita dovrebbe essere diversa dalla nostra.

John: È un concetto fattibile. È solo un input e output diverso. Alcune delle conversazioni che abbiamo avuto con Microsoft su alcune delle tecnologie future sono quelle in cui qualcuno potrebbe effettivamente impiantare un microchip nel loro collo e legge direttamente i loro modelli di onde cerebrali. Quindi, se stai aiutando le persone che non possono comunicare, in realtà vedremmo qualcosa di simile a una distribuzione di fase tre.

L'anno scorso, c'era un gruppo di studenti che uscì con un prototipo funzionante di un guanto che era collegato a un computer. I gesti che hai fatto con il guanto sarebbero quindi stati riconosciuti e convertiti in linguaggio dei segni. Quindi hanno già la capacità con la tecnologia attuale.

La nostra visione è che non vogliamo veramente creare gli accessori come le armband che devi indossare. Dovrebbe essere solo naturale e libero per loro [persone che parlano la lingua dei segni] per farlo davanti alla loro videocamera. Il 90% di ciò che le persone dicono nella comunicazione è in realtà nel loro linguaggio del corpo. Potendo accedere al riconoscimento facciale, ai gesti e alle emozioni, saremo in grado di utilizzare anche questi dati per assicurarci che la traduzione e ciò che stanno cercando di trasmettere sia espressa nella giusta forma.

MUO: Intel è tra i 5 anni in cui dispone della tecnologia di riconoscimento della lingua dei segni?

John: Intel ha sicuramente molte risorse disponibili. La loro tecnologia e il loro software stanno arrivando ad un ritmo in cui possiamo farlo accadere abbastanza velocemente.

MUO: Hai un lasso di tempo per quando speri di ottenere questa tecnologia sul mercato?

John: Per la lingua dei segni, è di circa 12 a 18 mesi.

MUO: Qualcun altro là fuori ha qualcos'altro come questo per la traduzione della lingua dei segni?

John: Ho visto un video di YouTube di IBM che realizzava un prototipo in cui qualcuno stava facendo il linguaggio dei segni, ma era una prova di concetto e aveva solo tre o quattro parole che riconosceva. Abbiamo oltre cinquecentomila parole con le quali intendiamo implementarlo, quindi lo porteremo a un altro livello.

Conclusione

Mentre la visione che gli studenti di Berghs hanno immaginato potrebbe non diventare l'app di traduzione del linguaggio dei segni del futuro, ciò non significa che un tale concetto non accadrà. Quello che il lavoro svolto a SpeechTran, Intel e Microsoft dimostra è che la traduzione della lingua dei segni è quasi certa che diventerà una vera tecnologia nel giro di pochi anni. Molto probabilmente non comporterà braccialetti ingombranti, ma nient'altro che una videocamera speciale e un'app mobile.

Attraverso la magia del gesto e del riconoscimento facciale, questa app di traduzione del linguaggio dei segni del futuro promette di rivoluzionare completamente le comunicazioni interpersonali per centinaia di migliaia di non udenti 5 Migliori risorse per utenti Mac e Apple con disabilità 5 Migliori risorse per Mac e utenti Apple con disabilità Leggi di più o persone con problemi di udito in tutto il mondo.

Scopri di più su: Bionic Technology.