Как устроена инфраструктура Битрикс24 для работы с LLM на 1T параметров
Специалисты Битрикс24 рассказали об инфраструктурных сложностях развертывания большой языковой модели на триллион параметров. Архитектура платформы решает задачи распределения вычислительных мощностей между агентами, чатами и обработкой документов, а также балансировки пиковых нагрузок и контроля качества ответов после оптимизаций.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Обзор 18 российских ИИ-агентов для генерации кода после блокировок зарубежных сервисов
После ограничений со стороны Cursor на российском рынке выделили 18 отечественных ИИ-агентов для работы с кодом, 12 из которых доступны бесплатно. Решения разделяются на три типа: собственные модели, open-source на локальных серверах и сторонние зарубежные модели под локальной оболочкой. Это напрямую влияет на безопасность данных и то, покидает ли код страну.
Разработчик воссоздал софт Adobe с помощью искусственного интеллекта
С помощью ИИ разработчик полностью воссоздал программное обеспечение Adobe в рамках проекта ArtCraft. Данный случай показал, что популярные программы не защищены от точного воспроизведения, что создает риски для софтверных корпораций.
Использование LLM для умной автокоррекции текста на ПК
На смартфонах давно работает автоматическое исправление слов, тогда как на компьютерах проверка текста по-прежнему сводится к обычному подчеркиванию ошибок. В материале рассматриваются причины такого отставания десктопных платформ и возможности применения LLM для решения этой задачи.
Представлен конвейер МАЯК для анализа ТЗ и автоматизации тест-дизайна
Разработчик собрал систему МАЯК из 58 блоков для цепочки от обработки ТЗ до прогона тестов с проверкой критериев приёмки. На синтетическом задании инструмент выявил 9 из 10 скрытых проблем и сгенерировал 37 BDD-сценариев за 26 минут. В материале также разбираются текущие ограничения и ошибки платформы.