Что нужно было сделать
Референсное решение: типовая задача, которую мы закрываем голосовым агентом. Ниже — архитектура и параметры такого внедрения, а не отчёт по конкретному заказчику.
Отдел продаж застройщика тонет в первичных звонках. Девять из десяти — одни и те же вопросы: что есть в этом ЖК, сколько стоит двушка до определённой суммы, какой будет платёж по ипотеке, когда сдача. Менеджер тратит на них день, а на звонок готового к сделке клиента выходит уставшим и не сразу.
Текстовый бот здесь не выручает: человек за рулём или на объекте не будет переписываться.
Как мы это видим
Агент говорит с клиентом голосом через один вебсокет: речь сразу в речь, без цепочки «распознали — подумали — озвучили». Конец фразы определяет сервер, поэтому агента можно перебить на полуслове — он замолкает и слушает, а прерванная реплика честно обрезается в истории, чтобы он не продолжал с того места, которого клиент не слышал.
Квартиры агент не выдумывает: подбор, карточка лота, обзор комплексов и расчёт ипотеки идут через инструменты в базу застройщика. Ипотечный платёж считается формулой, а не моделью — в уме такие вещи ей считать нельзя.
Отдельно вылизан разговорный тон: не больше двух вариантов за реплику, цены округлённо и словами, никаких списков и разметки, которую невозможно произнести вслух.
Как мы это строили
Браузер шлёт звук с микрофона одним потоком, тем же форматом, в котором его ждёт распознавание, — без перекодирования и лишних библиотек. Обратно приходит синтезированная речь по кускам, чтобы агент начинал говорить, не дожидаясь конца фразы.
Предусмотрены два режима. Основной — речь в речь одним соединением: конец фразы определяет сервер, задержка минимальная. Запасной собирает ответ по цепочке «распознали — подумали — озвучили»: медленнее и без перебивания, зато работает на любой модели каталога, а не только на голосовой.
Промпт и схемы инструментов у режимов общие — расходятся только правила разговора.
Что получилось
Клиент получает ответ голосом в любое время суток, а менеджер — заявку на показ с параметрами, которые агент уже выяснил: бюджет, комнатность, район, срок сдачи.
Решение разворачивается на инфраструктуре Yandex Cloud, речь и модель остаются в российском контуре. Голос, темп и амплуа подбираются под бренд застройщика.
