5 марта, «Жэньминь жибао» онлайн -- Недавно усилиями преподавателей и студентов Лаборатории обработки естественного языка Университета Фудань /FudanNLP/ было создано приложение «Услышать мир», разработанное специально для слабовидящих на основе мультимодальной базовой модели MouSi. С помощью камеры и пары наушников приложение преобразовывает изображение в речь, описывает окружение и указывает на возможные риски. Приложение «Услышать мир» призвано сделать жизнь слабовидящих удобнее и безопаснее.

Приложение «Услышать мир» функционирует в трех режимах: режиме передвижения, режиме свободного диалога и режиме поиска. В режиме передвижения приложение выполняет роль гида: оно может детально сканировать дорожные условия, предупреждать о потенциальных рисках и сопровождать слабовидящих, чтобы они могли безопасно добраться до места назначения.

В режиме свободного диалога приложение «Услышать мир» становится для людей с дефектами зрения заботливым другом, который помогает рассмотреть каждую деталь окружающей обстановки и описать ее. Приложение в режиме поиска – надежный помощник, который может облегчить людям с нарушениями зрения процесс поиска предметов повседневного обихода.

Профессор Лаборатории обработки естественного языка Университета Фудань Чжан Ци отметил, что сегодня технологии искусственного интеллекта стремительно развиваются, и они изменят жизнь огромного числа людей. «Я надеюсь, что наше приложение поможет людям с проблемами со зрением чаще выходить из дома, работать и открыть для себя больше возможностей», – поделился профессор. Согласно имеющимся данным, все руководители проекта – студенты Университета Фудань. Молодые люди выступают с новаторскими идеями и находят альтернативные решения.