Умные очки eSight подарят зрение слепым. Учёные испытали звуковые очки для незрячих

Практически 90 процентов всей информации об окружающем мире человек получает через зрительные органы. В современном мире нагрузка на зрение существенно возросла, поэтому постоянно увеличивается количество людей, которые имеют определенные нарушения зрения. Если задача полного восстановления зрения пока нерешаема, то помощь пациентам, испытывающим подобные проблемы, для того, чтобы они могли вернуться к полноценной жизни, вполне возможна. В настоящее время этим людям могут помочь электронные очки, трансформирующие визуальную информацию в образы или сигналы, которые могли бы распознаваться пользователем. О таких уникальных очках и пойдет речь в данной статье.

Пожалуй, одно из самых интересных устройств в этом направлении – это виртуальные очки E-sight, разработанные одноименной канадской компанией. Данная система включает в себя очки и ручной пульт управления. В самих очках установлена камера с возможностью 14-кратного увеличения, которая записывает все происходящее напротив человека, и тут же передает данные в блок управления. Далее эта информация преобразуется к индивидуальным особенностям слабовидящего человека с помощью специальных алгоритмов, после чего отправляется обратно в очки.

Линзы электронных очков E-sight представляют собой OLED-экраны с высоким разрешением. Поскольку процессы передачи и обработки данных осуществляются быстро, то человек начинает видеть картинку практически в режиме реального времени.

Очки E-sight не смогут помочь полностью слепым людям, но они могут быть полезным инструментом для слабовидящих пользователей. С помощью пульта человек может работать с полученной визуальной картинкой, в частности, приближая ее до 14 раз. Это позволяет ему взглянуть на далеко расположенные объекты или прочитать страницу книги.

Также с помощью блока управления можно менять контрастность и яркость картинки. Виртуальные очки E-sight уже успешно применяются на практике. Например, с их помощью канадка Кэтти Бейтц, имеющая серьезные проблемы со зрением, которые начали проявляться еще в детстве, сумела увидеть лицо своего новорожденного сына.

Однако до широкого распространения электронных очков E-sight пока еще очень далеко. Во-первых, они способны помочь не всем пациентам. А самое главное – это очень высокая стоимость устройства (порядка 10 – 15 тысячи долларов). Ведь фактически очки делаются на заказ, с учетом индивидуальных особенностей зрения для того, чтобы видеосигнал можно было преобразовать в хорошо различимые и видимые человеку образы.

Smart-очки

Вышеупомянутые очки E-sight являются попыткой использовать остаточное зрение, сохранившееся у человека. Поскольку многие люди, которые считаются незрячими, в действительности могут воспринимать свет. Этот же принцип заложен и в других технологических разработках последнего времени. В частности, профессор Стивен Хикс из Оксфордского университета создал специальные очки с двумя миниатюрными камерами и инфракрасным проектором, способным определять расстояние до предметов. КПК анализирует и преобразует поступающие с камер данные, после чего отображает их на линзах очков в видимой для слабовидящего человека форме.

Линзы здесь также представляют собой прозрачные OLED-дисплеи. Информация с камер и проектора трансформируется в полезные, понятные человеку образы.

Например, дистанция до препятствия может определяться посредством разной яркости картинки. Пилотные тесты новинки уже завершены, Для внедрения и коммерческого распространения своего изобретения Хикс создал компанию Assisted Vision. В ближайшем будущем предполагается начало производства и продажи электронных очков. Разумеется, в полной мере воспроизвести функции органов зрения данное устройство не в состоянии, но оно способно помочь слабовидящим людям самостоятельно ходить по магазинам и пользоваться общественным транспортом.

Звуковые очки

Другой вариант очков для незрячих людей предложил Амир Амеди из университета в Иерусалиме. Он сумел создать, так называемое, устройство подмены восприятия (SSD), позволяющее незрячим людям «видеть» ближайшие объекты. Правда, достигается это не использованием набора образов, как в предыдущих устройствах, а набором звуков.

В эти электронные очки встроена небольшая камера, которая подключается к КПК или смартфону. С помощью специальной программы визуальная информация об окружающих объектах, поступающая с камеры, преобразуется в звуковые сигналы. В частности, контрастная линия, которая идет вверх, передается нарастающим звуковым сигналом, а та что идет вниз – с понижающим тоном. После недолгой практики незрячий человек может легко запомнить этот набор звуков, чтобы научиться понимать их.

Испытания устройства показали, что даже слепой человек посредством электронных очков становится способен находить людей, распознавать те или иные объекты, читать надписи. Кстати, было установлено, что люди с абсолютной слепотой гораздо более ловко обращаются с очками, чем здоровые пользователи с повязкой на руках или просто слабовидящие люди. Причина понятна: у слепых людей слух развивается сильнее, они лучше чувствуют тонкие вариации в звуке, различные тональности.

Электронные очки, дополняющие реальность, это, конечно, хорошо, однако некоторые исследовательские организации и компании ставят перед собой куда более амбициозные задачи. Речь идет о создании настоящего бионического глаза, способного практически полностью заменить наши зрительные органы.

Компания Second Sight давно работает в этом направлении. Ей удалось создать искусственную сетчатку. Прибор под названием Argus II функционирует следующим образом. На поврежденную сетчатку глаза человеку вживляют набор электродов. Компактная камера на очках записывает окружающее пространство, далее полученная картинка обрабатывается портативным ПК. Наконец, по беспроводной связи информация передается на искусственную сетчатку, которая за счет встроенных электродов стимулирует клетки фоторецепторов. В результате, человеку становится доступно хоть и примитивное, но зрение.

Благодаря данному прибору слепые могут увидеть, что перед ними находится тот или иной объект, могут заметить движение. Впрочем, о массовом производстве устройства пока также говорить не приходится, ведь стоимость Argus II в настоящее время превышает 100 тысяч долларов. Однако появление подобных приборов все же дает определенную надежду слепым людям, что они когда-нибудь смогут увидеть дневной свет и насладиться красотой окружающего мира.

Новый прибор использует своего рода обман или иллюзию. Он помогает слепому человеку выстраивать картину мира по набору звуков. Изобретение это раскрыло перед исследователями новые грани пластичности мозга человека.

Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).

Амир и его коллеги задались целью не просто создать разные электронные помощники для инвалидов, а разобраться, как они взаимодействуют с мозгом владельца. В частности, учёных интересовала… зрительная кора .

Один из феноменов, изучаемых группой Амеди, – мультисенсорное восприятие. Это интегрированная обработка разных каналов информации, помогающая формировать целую картину мира. Особенности взаимодействия разных зон мозга в этом процессе до сих пор не поняты в полной мере.

В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Нейрофизиологам известно, что визуальная обработка в мозге идёт двумя параллельными путями. В коре имеется затылочно-височной путь, или «вентральный поток», связанный с обработкой форм, идентификацией объектов, их цвета. Он отвечает на вопрос «что я вижу?».

И ещё есть затылочно-теменной путь («дорсальный поток»), который анализирует пространственную информацию о месте расположения объекта (вопросы «где?» и «как?»).

Работа Амеди не первая, в которой инженеры и учёные попробовали формировать в голове слепого человека «зрительную картину» при помощи звуков. Вспомним европейский опытный проект CASBLiP , в 2009 году (фото CASBLiP/ Universitat Politècnica de València).

Амеди и его коллеги провели сканирование мозга 9 зрячих людей и 11 слепых от рождения. Зрячие выполняли задачи на визуальное распознавание, а слепые – аналогичные упражнения с использованием SSD.

Проект SSD вообще-то объединяет несколько вариантов помощников для слепых. Это и уже упоминавшаяся карманная «виртуальная трость», и различные прототипы систем ориентации с очками-камерами и стереонаушниками, получившие также имя vOICe (фото Hebrew University of Jerusalem, Amir Amedi’s Lab).

К удивлению экспериментаторов, у слепых активировались те же два потока. То есть зрительная кора точно так же начинала расшифровывать форму вещей и их пространственное расположение, когда человек пользовался «слуховым зрением».

(Об этом исследовании рассказывает в журнале Cerebral Cortex.)

Выходило, что такое фундаментальное разделение объёма работ может возникать даже без всякого предшествующего зрительного опыта. И что это разделение – не визуальное по своей природе.

Израильтяне сделали вывод, что мозг организует зоны коры по принципу специфики обработки информации (условно – по типу необходимых вычислений), вне зависимости от вида сенсорных каналов — зрительного, слухового или тактильного. О последнем стоит рассказать особо.

Перекладка на зрительную зону коры обязанности по составлению «визуальной картины» по одному лишь звуку – ещё один пример потрясающей нейропластичности мозга (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Четыре десятка лет назад американский нейрофизиолог Пол Бачирита (

Незрячие люди часто пользуются прикосновениями – тактильным чувством для ориентации во внешнем мире. Но кто бы мог подумать, что теперь с его помощью они смогут не только определять структуру материала или читать брайлевский текст, но и видеть окружающие предметы и людей, не касаясь их!

Главные достоинства Forehead Retina System – компактность и незаметность для окружающих (фото с сайта eyeplus2.com).

Когда обычным людям приходится что-то делать, тактильное чувство будто бы исчезает – оно настолько игнорируется, что о нём специально не думают. Совсем другая ситуация у людей со зрительными нарушениями - как известно, прикосновения для них очень важны. Но у этого чувства есть главный недостаток – оно "работает" только при контакте с объектом.

Однако ситуацию может изменить устройство Forehead Retina System (FRS), которое демонстрировалось на конференции-выставке по компьютерной графике и интерактивной технике SIGGRAPH 2006, проходившей на днях в Бостоне. Это приспособление не передаёт визуальное изображение, но позволяет получить незрячему человеку подробное представление об окружающем мире.

Система FRS тоже умеет передавать изображение, но, как вы уже, возможно, догадываетесь, с помощью прикосновений. Делает это она довольно неожиданным способом – передавая изображения на лоб (откуда в названии и появилось английское слово "forehead"). Однажды мы уже рассказывали о приборе, который работает очень похоже - транслирует изображения на язык, но всё-таки давайте разберёмся, в чём особенности FRS, и как оно вообще действует.

Вот так выглядит вся аппаратура FRS. C виду – ничего интригующего (фото с сайта eyeplus2.com).

Слева: электрические платы FRS. Справа: накладка с электродами (фото с сайта eyeplus2.com).

Датчик Forehead Retina System – миниатюрная камера, которая принимает изображение объектов, находящихся перед человеком. Для удобства она вмонтирована в тёмные очки, самые обыкновенные на вид.

Полученное изображение обрабатывается и превращается в тактильные импульсы. На первом этапе обработки специальный алгоритм определяет очертания объектов – то есть, идентифицируются их края. На втором происходит широкополосная фильтрация меняющейся во времени информации.

В процессе обработки изображение разбивается на "пиксели", которым будут соответствовать заряды на матрице с электродами (иллюстрация с сайта eyeplus2.com).

Наконец, обработанный визуальный образ трансформируется в электрические импульсы. При этом электроды в матрице заряжаются в таком порядке, что они повторяют упрощённый контур изображения. Разряд раздражает рецепторы кожи лба, и человек "чувствует" форму объекта безо всяких прикосновений.

Так зрительная картинка, превращаясь в электрические импульсы, становится тактильным ощущением. Однако FRS не обходится одними лишь контурами, а умеет передавать даже цвета. Как же такое возможно?

Примерно так принимаемое изображение огрубляется до контуров – изображение без лишних деталей легче передаётся (фото с сайта eyeplus2.com).

Создатели системы обратили внимание на то, что за кожное ощущение "отвечают" клетки разных видов, и решили использовать эту особенность.

Цвета здесь передаются в схеме RGB. Решение проще некуда – каждый тип рецепторов сопоставили с определённым цветом.

В зависимости от передаваемых импульсов раздражаются различные типы рецепторов. Соответствующие ощущения ассоциируются с различными цветами (иллюстрация с сайта eyeplus2.com).

Различные электрические импульсы подобраны так, что они вызывают различные ощущения (вибрации или давления). Пользователю же только остаётся разобраться, какие цвета и с чем должны ассоциироваться. Остальное – дело обучения, и в скором времени можно без особого труда опознавать также промежуточные цвета: фиолетовый, зелёный, оранжевый и белый.

Один из разработчиков FRS Хироюки Каджимото (Hiroyuki Kajimoto), похоже, и сам удивляется эффективности аппарата (фото с сайта eyeplus2.com).

Хотя различные заменители глаз разрабатывались еще с 1960-х годов, подход с использованием кожи лба относительно нов, однако, он вполне разумен. FRS удобно носить, снимать и надевать, аппарат практически незаметен. К тому же, мозгу легче обработать визуальное изображение, "спроецированное" на лоб, чем на другую часть тела, не говоря о том, что роговой слой кожи здесь достаточно тонкий, что обеспечивает большую чувствительность.

Пока что трудно сказать, какое будущее ожидает новое изобретение, но FRS уже прошло успешные тесты в японских и американских заведениях для людей с нарушениями зрения. Стало быть, перспективы просматриваются.

У людей со зрительными нарушениями прикосновения очень важны. Но у этого чувства есть главный недостаток – оно "работает" только при контакте с объектом.

Однако ситуацию может изменить устройство, которое демонстрировалось на выставке в Бостоне. Это приспособление не передаёт визуальное изображение, но позволяет получить незрячему человеку подробное представление об окружающем мире.

Система FRS умеет передавать изображение с помощью прикосновений, передавая изображения на лоб. Миниатюрная камера вмонтирована в тёмные очки . Изображение обрабатывается и трансформируется в электрические импульсы. Разряд раздражает рецепторы кожи лба, и человек "чувствует" форму объекта безо всяких прикосновений.

Так зрительная картинка, превращаясь в электрические импульсы, становится тактильным ощущением. Система умеет передавать даже цвета.

Систему FRS удобно носить, снимать и надевать, аппарат практически незаметен. К тому же, мозгу легче обработать визуальное изображение, "спроецированное" на лоб, чем на другую часть тела, не говоря о том, что роговой слой кожи здесь достаточно тонкий, что обеспечивает большую чувствительность. Система FRS уже прошла успешные тесты в японских и американских заведениях для людей с нарушениями зрения.

3D очки для незрячих

Совсем скоро должно начаться серийное производство трехмерных очков для людей с проблемным зрением. В комплект входят: обычные очки, к которым прикреплена пара миниатюрных камер; навигационный блок, аккумулятор и маленький компьютер.

Благодаря функции распознавания объектов система рассчитывает расстояние от человека до препятствия, стоящего на пути незрячего, и дает голосовые и звуковые подсказки. Также программа способна различать цвета светофора, считывать штриховой код, нанесенный на упаковку товара. Информация, улавливаемая камерами, отправляется на компьютер, который обрабатывает данные, впоследствии передавая их на динамик в голосовой форме. Прибор позволяет невидящему человеку избежать столкновений с препятствиями.

Звуковые очки для незрячих

Звуковые очки созданы в Израйле. Это устройство подмены восприятия, позволяющее незрячим людям «видеть» ближайшие предметы, достигается это с помощью звуков.
В электронные очки вставлена камера, которая подключается к смартфону. Далее визуальная информация с камеры преобразуется в звуковые сигналы. После недолгой практики незрячий человек может легко запомнить наборы звуков и научиться понимать их.