Новая технология на базе искусственного интеллекта, разработанная в Калифорнийском технологическом институте, позволяет людям с нарушениями зрения по-новому воспринимать окружающий мир. Исследователи из Калифорнийского технологического института создали инновационную систему, использующую дополненную реальность и искусственный интеллект для помощи слабовидящим. Система, интегрированная в гарнитуру смешанной реальности Microsoft HoloLens 2, способна идентифицировать объекты в поле зрения пользователя, такие как люди, стулья или вывески, и озвучивать их местоположение. Это позволяет пользователям легче ориентироваться в пространстве и взаимодействовать с окружением. Технология работает, проецируя цветные контуры и метки на объекты, что помогает людям с частичной потерей зрения лучше их различать. Для пользователей с более серьезными нарушениями система использует пространственный звук, чтобы голосом указать направление и расстояние до объекта. Алгоритмы ИИ способны быстро распознавать и классифицировать предметы, предоставляя информацию в режиме реального времени. Разработка была протестирована в реальных условиях, в том числе во время экскурсии по кампусу, и показала многообещающие результаты. Пользователи отметили, что технология значительно повысила их уверенность при навигации в незнакомой обстановке. В будущем команда планирует расширить словарный запас системы и улучшить ее способность описывать сложные сцены, открывая новые возможности для самостоятельности людей с нарушениями зрения.