Станет ли когда-нибудь приложение для перевода на язык жестов реальностью?

Представьте себе мир, где барьеры между глухим и слухом исчезли. Мир, где разговоры текут среди тех, кто слышит звук, и тех, кто не слышит. Может ли этот мир стать реальностью в ближайшем будущем?

Еще в июне группа студентов-маркетологов в Berghs School of Communication разработала концептуальное видео для вымышленного продукта под названием Google Gesture. Продукт включал в себя носимый браслет и мобильное приложение, которое использовало электромиографию для считывания движений мышц глухого человека, делающего язык жестов. Затем система передает эти сигналы в приложение, которое переводит эти сигналы в оцифрованный голос и будет говорить от лица.

Смотреть фальшивое маркетинговое видео было довольно увлекательно. Фактически настолько захватывающим, что крупные технические сайты, такие как Mashable, Slashgear и другие, первоначально объявили продукт реальным, а затем пришлось пересчитать претензию и извиниться за свою ошибку. Это была странная ошибка, учитывая, что на самом деле является продукт Google под названием Google Gesture Search [больше не доступен], который позволяет рисовать жесты на экране мобильного телефона для поиска контактов, закладок и т. д..

Несмотря на это, концепция студентов Берга представила замечательную идею, которая привела к вопросу - возможно ли создать такое приложение для реального?

Возможен ли перевод на язык жестов??

Анализ маркетинговой концепции на техническом уровне показывает, что технология, использующая электромиографию (ЭМГ) для “смысл” язык жестов на самом деле не так уж и надуман. Еще в 2009 году исследователи из Вашингтонского университета смогли использовать несколько датчиков EMG для декодирования мышечных движений и преобразования их в настоящие жесты рук и кистей рук..

Исследователи фактически построили полный “библиотека распознавания жестов”, определение того, какие мышечные сигналы представляют какой жест. Исследование доказывает, что этот вид технологии доступен и готов к внедрению в приложениях, предусмотренных студентами Берга..

Так кто-нибудь на самом деле достиг этого? Если нет, то почему никто этого не делает, и предоставляя глухим и слабослышащим возможность общаться с кем-либо в мире с помощью языка жестов?

Будущее технологий перевода в реальном времени

Правда в том, что кто-то на самом деле работает над такой технологией перевода языка жестов в реальном времени.

Существует компания под названием SpeechTrans, которая раздвигает границы технологий перевода. 3 Лучшие инструменты перевода на основе Google Translate 3 Лучшие инструменты перевода на основе Google Translate в последние годы. SpeechTrans работает с технологическими партнерами, чтобы производить некоторые из самых замечательных услуг языкового перевода в реальном времени на рынке сегодня. Это сервисы, которые переводят текстовый чат в текстовый чат, голос в текст и даже в режиме реального времени голосовой перевод с помощью мобильных телефонов и настольных приложений..

Чтобы выяснить, может ли технология жестового языка стать реальностью в ближайшем будущем, MakeUseOf встретился с генеральным директором SpeechTrans Джоном Фреем и главным операционным директором Яном Ауэрбахом, чтобы обсудить эту революционную новую технологию перевода. Понимание любого языка с помощью этих 5 веб-сайтов перевода языка. Понимание любого языка с помощью этих 5 веб-сайтов для языковых переводов Технология сделала мир меньше. Люди со всех уголков планеты используют одни и те же инструменты, посещают одни и те же веб-сайты и общаются в разных чатах онлайн. ... и насколько далеко это может быть в будущем.

Разработка приложения для перевода на язык жестов

MUO: Можно ли выполнить перевод языка жестов в речь, который студенты Берга изобразили в этом видео о концепции Google Gesture??

ДжонЯ бы сказал, что технология доступна для разработки. В настоящее время мы работаем с Microsoft и Intel над изучением некоторых технологий, которые они предлагают, с точки зрения аппаратного и программного обеспечения. Мы предполагаем возможность использовать эту технологию для распознавания языка жестов, а затем преобразовать его в речевой и аудио выход.

MUO: Вы сейчас активно работаете над развитием этой технологии?

ЯнТаким образом, был клиент, который использовал наше программное обеспечение, и подумал, что было бы замечательно, если бы мы могли изменить его так, чтобы люди с нарушениями слуха могли использовать его для телефонных звонков из нашего приложения, чтобы общаться без необходимости подписывать язык, когда они лично, или без необходимости услуги типа TTY для телефонных звонков. Мы разработали этот продукт и при финансовой поддержке Microsoft и Intel запустили SpeechTrans для слабослышащих в Windows 8.1, что устраняет необходимость в языке жестов.

MUO: Как “лично” работа приложения?

Ян: Есть режим прослушивания и режим ввода. Итак, когда кто-то говорит с вами, вы включаете режим прослушивания, и он печатает все, что они говорят, на экране в тексте. Затем, когда вы отвечаете в ответ, вы печатаете его, а затем он говорит вслух, что вы печатаете. С помощью телефона вы просто набираете номер телефона любого человека, и когда он отвечает на звонок, он становится мгновенным сообщением. Что бы они ни говорили, вы получаете в качестве мгновенного сообщения. Затем все, что вы печатаете, произносится вслух по телефону. Это первый этап.

Ближайшее будущее

MUO: Какие технологии могут ожидать люди в ближайшем будущем? Какой следующий этап?

ДжонМы предполагаем - для того, кто имеет возможность использовать только язык жестов, - сделать это перед устройством, таким как телефон, компьютер или ноутбук. У Intel новая система камер, а у Microsoft - Kinect, которая распознает жесты..

MUO: Как это лучше, чем концепция повязки, предложенная студентами Берга?

Ян: По сути, наши будут работать таким образом, что вам не нужно ничего класть на руку. Он распознает 64 очка на вашей руке. Мы используем бета-версию камеры Intel RealSense. Таким образом, мы не только сможем распознавать весь язык жестов и множество различных диалектов языка жестов, но мы также сможем распознавать эмоции, выражения лица и другие мелкие нюансы, а затем преобразовывать их в произнесенные слова..

Это не потребует от вас носить какие-либо перчатки или что-нибудь. Мы ориентируемся на этот рынок именно потому, что нам просто нравится помогать людям в целом. Мы хотим не только помогать людям, которые хотят говорить на разных языках, но мы также хотим помогать людям, которые не говорят ни на одном языке. Технология существует, и нет причин, по которым качество их жизни должно отличаться от нашего..

Джон: Это осуществимая концепция. Это просто другой вход и выход. Некоторые из разговоров, которые мы провели с Microsoft о некоторых будущих технологиях, - это то, где кто-то может на самом деле имплантировать микрочип в шею, и он прямо читает их мозговые волны. Так что, если вы помогаете людям, которые не могут общаться, мы бы увидели нечто подобное как развертывание на третьем этапе.

В прошлом году была группа студентов, которые выпустили рабочий прототип перчатки, которая была подключена к компьютеру. Жесты, которые вы делали с перчаткой, будут затем распознаваться и преобразовываться в язык жестов. Таким образом, они уже имеют возможности с современными технологиями.

Наше видение заключается в том, что мы не хотим создавать аксессуары, такие как повязки, которые вы должны надеть. Для них [людей, делающих язык жестов) должно быть естественным и свободным делать это перед своей видеокамерой. 90% того, что люди говорят в общении, на самом деле на языке их тела. Будучи в состоянии получить доступ к распознаванию лиц, жестам и эмоциям, мы также сможем использовать эти данные, чтобы убедиться, что перевод и то, что они пытаются передать, выражены в правильной форме..

MUO: Есть ли у Intel 5-летний срок использования этой технологии распознавания языка жестов?

Джон: У Intel определенно есть много доступных ресурсов. Их технологии и программное обеспечение развиваются такими темпами, когда мы можем сделать это довольно быстро.

MUO: Есть ли у вас временные рамки, когда вы надеетесь вывести эту технологию на рынок?

Джон: Для языка жестов, это около 12-18 месяцев.

MUO: Есть ли у кого-нибудь еще что-нибудь подобное для перевода на язык жестов??

ДжонЯ видел на YouTube видео о том, как IBM делает прототип, где кто-то делал язык жестов, но это было доказательством концепции, и в нем было всего три или четыре слова, которые он узнал. У нас есть более пятисот тысяч слов, которые мы планируем выпустить, поэтому он поднимется на совершенно другой уровень..

Заключение

Хотя видение, которое придумали студенты в Бергсе, может и не стать приложением для перевода на язык жестов в будущем, это не означает, что такой концепции не произойдет. Работа, проделанная в SpeechTran, Intel и Microsoft, доказывает, что перевод на язык жестов почти наверняка станет настоящей технологией всего через несколько лет. Скорее всего, он не будет включать громоздкие повязки на руку, а вместо этого - не что иное, как специальную видеокамеру и мобильное приложение..

Благодаря волшебству жестов и распознавания лиц, это приложение будущего для перевода на язык жестов обещает полностью революционизировать межличностные коммуникации для сотен тысяч людей с нарушениями слуха. 5 лучших ресурсов для пользователей устройств Mac и Apple с ограниченными возможностями. 5 лучших ресурсов для пользователей устройств Mac и Apple. с ограниченными возможностями или слабослышащих людей по всему миру.