20.04.2016

Facebook научился описывать картинки для незрячих пользователей

image_accessibility_teamЗапущенный пока только в iOS-приложении инструмент Automatic Alternative Text распознает содержание изображения и описывает его в текстовом виде. Функция была разработана под руководством первого слепого инженера в команде разработчиков FB.

Запущенный в мобильном приложении Facebook инструмент AAT (“автоматический альтернативный текст”) призван помочь незрячим и пользователям со слабым зрением. Теперь люди, использующие скрин-ридеры, смогут не только “читать” текст, но и “видеть” картинки.
Разработка AAT велась специальной командой Facebook, которая занимается проблемой доступности соцсети для разных категорий пользователей, и длилась около полугода.
«Только задумайтесь над тем, сколько в вашей новостной ленте визуального контента — вероятно, он существенно преобладает над текстовым. Конечно, люди часто подписывают публикуемые фото, а другие люди их комментируют, но подписи и комментарии ничего не говорят о самом содержании изображения, — рассказывает Метт Кинг, первый незрячий инженер FB. — Поэтому для человека вроде меня все это выглядит как “Окей, что же здесь происходит? Что они на самом деле там обсуждают?”»
До того, как был запущен AAT, использующие скрин-ридеры люди могли услышать только имя человека, запостившего фото, и сопровождающий картинку текст. Теперь слепые и слабовидящие пользователи дополнительно смогут услышать, что на фото изображены, к примеру, три улыбающихся человека, которые находятся на открытом воздухе.
Распознавание в AAT базируется на работе нейронной сети, которая содержит миллиарды параметров, каждый из которых обучен на основании миллионов примеров. Нейронные сети являются одним из методов обучения машин. Когда речь заходит об изображениях, то нейронная система используется как инструмент распознавания образов.
Технология, использованная Фейсбуком при разработке AAT, умеет распознавать транспорт (“автомобиль”, “лодка”, “мотоцикл” и т.д.), природу (“открытое пространство”, “горы”, “вода”, “солнце”, “трава” и т.д.), спорт (“теннис”, “плавание”, “стадион” и т.д.), еду (“мороженное”, “суши”, “пицца” и т.д.), а также применяет описывающие слова для передачи внешнего вида (“ребенок”, “очки”, “улыбка”, “украшения”, “селфи” и прочие).
На данный момент AAT доступен только на ОС IOS и только на английском языке. Функциональные возможности для других платформ и языков будут добавлены позже.

Источник: http://www.soobshestva.ru/news/facebook-nauchilsja-opisyvat-kartinki-dlja-nezrjachikh-polzovatelejj/