AI Radar — лентаSalesforce сделала голосовую модель для живых диалогов
Salesforce AI Research представила Launa-Omni — модель для двусторонних разговоров в реальном времени. В Audio MultiChallenge она набрала 59,69% за три запуска, а в VoiceBench — 90,60%.
Что внутри. Основная модель объединяет речь и язык в едином аудиоадаптированном текстовом пространстве. Ответ сначала остаётся текстом, а затем его озвучивает отдельная TTS-модель Salesforce. Упрощённая версия уже работает в Slack как функция диктовки Slackbot Voice Dictation.
Цифры. В Audio MultiChallenge средний результат Launa-Omni составил 59,69% по трём запускам. Для сравнения, показанный публичный лидерский результат — 60,40%. В VoiceBench модель получила 90,60% на девяти наборах данных, а в τ³-Voice — 72,9%.
Зачем это. Текстовый ответ виден до озвучивания, поэтому команда может проверить его и поправить под человеческим контролем. Модель также можно дообучать под именованные сущности, даты, буквенно-цифровые идентификаторы и отраслевые термины.
Результаты опубликовала Salesforce AI Research без независимой проверки в тексте материала.
Что это значит: Salesforce показывает способ сделать речь и текст единым рабочим контуром, но пока только в упрощённой функции Slack.
Оригинальная публикация в Telegram