Как организовать маршрутизацию LLM и контроль затрат в шлюзе Keystone
Разработчики описали подход к отказу от прямого указания конкретных LLM в коде микросервисов. Система опирается на правила маршрутизации, автоматический выбор сложности, обработку сбоев вендоров и лимиты расходов. Подход реализован на примере open-source шлюза Keystone на Go.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Открытый инструмент vps-forge защищает AI-агентов от потери доступа к VPS
При настройке серверов AI-агенты могут случайно заблокировать собственный IP-адрес, например, через утилиту fail2ban. Для решения этой проблемы разработан vps-forge — открытый набор инструкций и скриптов с функцией автоматического отката для Claude Code, Cursor и других систем.
Сбер внедрил модель GigaChat Audio в контакт-центр для обработки сложных запросов
Audio-native модель GigaChat Audio протестировали на рутинных задачах разработчиков вроде создания саммари встреч и анализа речи. После этого команда Сбера интегрировала аудиомодель в работу ИИ-оператора контакт-центра для помощи с нестандартными клиентскими обращениями.
Из чего складывается стоимость внедрения и поддержки решений с ИИ
Специалисты компании SL Soft разобрали структуру бюджетов на создание и эксплуатацию интеллектуальной автоматизации на примере четырех реальных задач. Итоговая стоимость зависит не только от разработки, но и от инфраструктуры, включая серверы с GPU, вычислительные ресурсы распознавания речи и языковые модели. Также необходимо учитывать регулярные расходы на доработку систем и исправление ошибок ИИ на новых данных после запуска.
Влияние ИИ на скорость написания кода и технический долг в разработке
В материале рассматривается соотношение скорости написания кода и общей скорости разработки, а также вероятность формирования «техдолгового пузыря». Автор рассуждает о переменах под воздействием искусственного интеллекта в кодинге и ставит вопрос о том, какова AI-разработка на самом деле.