Google выводит языковые технологии на основе искусственного интеллекта за рамки перевода текстов, сосредоточившись на понимании тона, эмоций, контекста, сленга и культурных нюансов речи. Сегодня технологии и продукты компании обеспечивают повседневное взаимодействие более 7 миллиардов человек на более чем 300 языках — это 86 % населения мира. Сервис Google Translate, запущенный в 2006 году, расширил поддержку с нескольких языков до более чем 250.
Google отмечает, что традиционные системы распознавания речи теряют важные элементы коммуникации, поскольку сначала преобразуют звук в текст, а затем снова в звук. Поэтому компания обучает такие модели, как Gemini, непосредственно обрабатывать звук и понимать как смысл, так и манеру речи. Это должно позволить распознавать смех, паузы, одновременную речь и смешение языков, например Spanglish или Hinglish.
Поскольку доминирующие в интернете языки представлены непропорционально широко, компания развивает партнерства с местными сообществами по созданию открытых данных для недостаточно представленных языков. Новый инструмент Language Explorer визуализирует LinguaMeta, крупнейшее в мире хранилище языковых данных с открытым исходным кодом, и непрерывно наносит на карту более 7 000 разговорных, письменных и жестовых языков. Centre for Digital Language Inclusion при поддержке Google.org и AI Singapore’s Project Aquarium также помогают сделать многоязычные инструменты доступными для фермеров, медицинских работников, учителей и других работников жизненно важных служб.
Для более чем 3 миллиардов человек, не имеющих доступа к надежному интернету, разработано TranslateGemma — семейство легких открытых моделей перевода на базе Gemini, обученных на 55 языках. Работающая непосредственно на устройстве система не требует подключения к интернету или облаку. Google также поддерживает сервис Viamo «Ask Viamo Anything» (AVA), который предоставляет владельцам обычных мобильных телефонов доступ к голосовому помощнику на базе Gemini. В рамках пилотного проекта в Руанде AVA ответил более чем на 2 миллиона вопросов.
Sign Language-to-Text (SL2T), обученная на более чем 50 жестовых языках, обеспечивает на Pixel 11 преобразование жестов в текст через Gboard и Live Transcribe; на первом этапе American Sign Language (ASL) переводится на английский язык. Проект призван повысить доступность технологий для 70 миллионов людей, использующих жестовый язык. В Новой Зеландии совместно со специалистами по языку маори было улучшено произношение географических названий в Google Maps. Языковые технологии Google также объединяют более пяти миллиардов человек на девяти платформах, включая Search, Android, Chrome, YouTube и Google Play.
Почему это важно
Этот подход предполагает, что сервисы перевода выходят за рамки подбора словесных соответствий и учитывают также манеру речи и культурный контекст, что призвано сократить потери важных элементов при общении. Облегчённые модели, работающие непосредственно на устройстве, устраняют необходимость подключения к облаку как условие доступа для людей, не имеющих надёжного интернета, а перенос голосовых помощников на обычные телефоны снижает потребность в смартфонах. Добавление поддержки жестового языка непосредственно в клавиатуру и инструменты транскрибирования делает доступность частью массовых продуктов, а не отдельной услугой. Партнёрства с местными сообществами в сфере открытых данных призваны восполнить нехватку данных, необходимую для включения в системы языков, мало представленных в интернете. Вместе с тем тот факт, что первоначально преобразование жестов в текст предлагается только с ASL на английский язык, оставляет открытым вопрос о том, в какой степени будут поддерживаться другие жестовые языки.