Сбер разрабатывает голосовой ИИ, который сможет слушать и говорить одновременно

Сбер разрабатывает голосовой ИИ, который сможет слушать пользователя даже во время собственного ответа.

Как работает Full Duplex

Технология называется Full Duplex. Она позволяет нейросети одновременно слушать и говорить, распознавать перебивания и сразу реагировать на них.

Зачем нужен такой формат общения

В обычном разговоре люди постоянно перебивают друг друга, делают паузы, вставляют короткие реплики вроде «угу» и могут менять мысль прямо во время фразы. Современным голосовым ассистентам такой формат даётся сложнее, поскольку им сначала нужно определить, что пользователь закончил говорить, и только после этого подготовить ответ.

ИИ хотят приблизить к темпу человеческого разговора

Full Duplex должен отказаться от привычной последовательности «приём-передача». Разработчики рассчитывают сократить задержку ответа до 160–320 миллисекунд, чтобы диалог ощущался более естественным.

ИИ научат работать сразу с несколькими форматами

Сбер также работает над омнимодальной версией системы. Она должна одновременно обрабатывать речь, текст и изображения, чтобы пользователь мог взаимодействовать с ИИ сразу в нескольких форматах.