Как объединить конечный автомат и LLM для удешевления диалогового агента
Представлен подход к созданию агента, где логику маршрута ведет конечный автомат, а LLM отвечает за понимание реплик и генерацию текста. За счет ограничения числа вызовов недорогой модели стоимость одного диалога составила около трех рублей. Решение протестировали в ходе пилотного проекта с участием 88 пользователей.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Расчет реальной стоимости секунды ИИ-видео с учетом отбора дублей
При генерации видео с помощью нейросетей фактические затраты часто превышают базовый тариф из-за оплаты отбракованных дублей. Автор предложил методику учета расходов через Python и CSV на примере работы с Gemini API и OpenRouter. Способ позволяет рассчитать итоговую цену принятых секунд по сценам на основе данных реальных проектов.
Изоляция выполнения кода AI-менеджера маркетплейсов в браузере
Разработчики реализовали запуск кода AI-менеджера маркетплейсов внутри Web Worker в браузере владельца, настроив обращение к сервисам через прокси. В статье разбираются ответы песочницы на атаки с инъекциями промптов, статистика с продакшна и сценарии обхода созданной защиты. Решение нацелено на предотвращение доступа ИИ-ассистента к переменным окружения и серверной инфраструктуре.
Влияние контекста диалога на рекомендации ChatGPT, Perplexity и Алисы AI
Автор протестировал, как предыстория переписки влияет на подбор CRM-систем в ChatGPT, Perplexity и Алисе AI. В ходе эксперимента было проведено 45 диалогов по пяти сценариям, где целевой вопрос задавался сразу или после обсуждения задач компании. Исследование показало зависимость финальных рекомендаций языковых моделей от контекста предварительной беседы.
Энтузиаст сгенерировал 220 часов русской нейроозвучки для GTA V
Разработчик создал полную русскую озвучку для GTA V с помощью нейросетей, обработав более 260 тысяч аудиофайлов игры. В проекте использовались модели для распознавания речи, разделения голосов по полу и синтеза русской речи, которая была интегрирована обратно в игру в виде мода.