Amazon объясняет, как Alexa изучает новые языки

Ассистент Amazon по Alexa недавно научился говорить на новых языках по всему миру: хинди, американский испанский и бразильский португальский. Синтетические данные существенно помогли в этом, объяснила старший менеджер Amazon по научным исследованиям Джанет Слифка в посте на блоге Alexa сегодня утром, но это не было окончательным решением для всех. Языки требовали новых инструментов начальной загрузки, больше информации на сайте izhytomyryanyn.com

Один из рассматриваемых инструментов был разработан группой Amazon AI по прикладному моделированию и науке данных Amazon и использует технику, называемую «индукция грамматики», для анализа «золотых высказываний» (т. Е. Канонических примеров запросов клиентов, предложенных функциональными группами Alexa) и создания серия выражений, которые могут генерировать похожие предложения. Другой — «управляемая повторная выборка» — создает новые предложения путем объединения слов и фраз из примеров в доступных данных с акцентом на оптимизацию объема и распределения типов предложений.Рекомендуемые видеоРаботает на AnyClipExperience Choose Your Own Adventure On Amazon AlexaPauseUnmuteПродолжительность 0:39/Текущее время 0:22Загружен : 100.00% ПолноэкранныйСледующий

Слифка отмечает, что когда новая версия Alexa находится в стадии активной разработки, команды собирают данные обучения для систем, которые выясняют намерения клиентов. Часть поступает из существующих языков, переведенных моделями AI, а остальные, как правило, взяты из толпы работников и Cleo, голосового приложения Alexa, которое поручает клиентам предоставлять ответы на запросы.

В системе грамматик используется метод, известный как объединение байесовской модели, для генерации репрезентативной грамматики или набора правил перезаписи для варьирования базовых предложений шаблона путем вставки, удаления и замены слов. Обычно процесс может занимать вычислительного лингвиста в день, учитывая 50 золотых высказываний, но инструмент сокращает процесс до секунд, идентифицируя шаблоны в списках высказываний и используя их для получения более 100 правил-кандидатов для тысяч шаблонов. Например, если два слова (скажем, «pop» и «rock») постоянно встречаются в сходных синтаксических позициях, но фразы вокруг них различаются, это может означать правило кандидата, согласно которому «pop» и «rock» взаимозаменяемы в некоторых контекстах.

Полезно, что грамматическая система может автоматически определять, какие правила учитывают наибольшую дисперсию в выборочных данных (без чрезмерной генерализации), которые становятся приемлемыми переменными в последующих итерациях процесса. В качестве дополнительного бонуса, он может использовать существующие каталоги Alexa часто встречающихся терминов или фраз. Например, если золотые высказывания были связаны со спортом, и это определило, что слова «Селтикс» и «Лейкерс» были взаимозаменяемыми, это сделало бы вывод, что они также были взаимозаменяемы с «Воинами», «Шпорами», «Никсами» и всеми другие имена команд НБА известны Алексе.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *