Выпущен LLM-шлюз Keystone 1.0 с открытым исходным кодом
Представлен Keystone 1.0 — шлюз для динамической маршрутизации запросов к LLM и локальным GPU. Вместе со шлюзом вышли веб-консоль ktms-admin и инструмент учёта расходов light-tokenmeter, написанные на Go под лицензией Apache 2.0. Инструмент устраняет необходимость жестко прописывать модели и ключи вендоров в коде сервисов.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Тонкости настройки и решения проблем RAG-систем в корпоративном продакшене
Специалист компании KTS поделилась опытом вывода RAG-ассистентов в продакшен при работе с зашумленными корпоративными базами знаний. В статье разбираются нюансы настройки пайплайна от чанкинга до генерации, а также способы устранения типичных ошибок при масштабировании. Автор отмечает, что частой причиной галлюцинаций в реальных проектах оказывается качество данных, а не сама модель.
Запуск локального LLM-агента для кода со скоростью 125 токенов/с на RTX 4070 Ti SUPER
Энтузиаст оптимизировал запуск локальной языковой модели в качестве кодинг-агента на видеокарте NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ памяти. Ему удалось достичь скорости 125 токенов в секунду, тогда как стандартные тяжелые модели выдают лишь 10–20 токенов в секунду. Такая производительность делает работу локального ИИ-ассистента для программирования комфортной.
Опыт создания программы для сравнения апскейлинга с помощью ИИ-агентов
Автор рассказал о разработке инструмента для параллельного сравнения результатов апскейлинга изображений. Процесс создания софта перерос в длительный проект, в котором для написания кода задействовалась армия ИИ-агентов.
Математическое сообщество обсуждает роль человека на фоне развития ИИ
Математик По-Шен Ло опубликовал эссе о кризисе в математике, вызванном развитием искусственного интеллекта. Поводом для дискуссий и петиций стало заявление OpenAI о решении варианта задачи Навье — Стокса. Ученые и представители технологической сферы спорят о необходимости адаптации исследователей к новым инструментам и сохранении контроля за людьми.