Опыт эксплуатации open-source LLM-шлюза Keystone в продакшене
Представлен практический опыт эксплуатации open-source LLM-шлюза Keystone (KTMS) на языке Go. В материале рассматриваются вопросы подключения собственных GPU, поведения системы при отказах зависимостей, ротации ключей шифрования и обновлений без простоя.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Ozon рассказал о переносе ML-экспериментов между кластерами
Команда ML-платформы Ozon разработала инструмент для бесшовного переноса экспериментов из лабораторного кластера в промышленный. Механизм позволяет автоматически собирать код и зависимости в одном окружении и быстро воспроизводить их в другом. Это решение помогает эффективнее использовать вычислительные мощности GPU на разных стадиях работы дата-сайентистов.
Wikimedia призвала суды разрешить обучение ИИ на материалах с авторским правом
Фонд Wikimedia Foundation обозначил компромиссную позицию в судебных процессах об авторском праве в сфере ИИ. Организация предлагает юридически защитить обучение языковых моделей на материалах с копирайтом, но запретить чат-ботам напрямую воспроизводить этот контент пользователям. По мнению фонда, слишком категоричное судебное решение может лишить участников проектов полезных инструментов или поставить под угрозу открытый веб.
Влияние искусственного интеллекта на рынок труда в ИТ и производстве к 2027 году
Глава компании-разработчика систем «Мегаплан» и Collabis Сергей Козлов рассмотрел перспективы автоматизации профессий с помощью искусственного интеллекта. По его оценке, заменить специалистов на производстве сложнее, чем в ИТ, из-за потребности в дорогостоящем оборудовании и коммуникативных навыках.
Зашумление эмбеддингов не защищает от сопоставления документов
Добавление шума к эмбеддингам не обеспечивает защиту данных от сопоставления записей с документами. Эксперимент показал, что если атакующему известно 100 пар соответствий (2% корпуса), удается идентифицировать около 90% документов. При 1000 известных парах распознается 99% записей, даже если качество поиска снижено вдвое.