Подготовка корпуса текстов для дистилляции эмбеддингов в 29M-модель
Описан процесс формирования базового корпуса текстов для дистилляции представлений модели-учителя. В качестве основы общей семантики использован дамп Википедии, дополненный доменными текстами по психологии, психиатрии и психотерапии. Данные были спарсены и предварительно очищены для устранения явных дефектов.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Влияние искусственного интеллекта на рынок труда в ИТ и производстве к 2027 году
Глава компании-разработчика систем «Мегаплан» и Collabis Сергей Козлов рассмотрел перспективы автоматизации профессий с помощью искусственного интеллекта. По его оценке, заменить специалистов на производстве сложнее, чем в ИТ, из-за потребности в дорогостоящем оборудовании и коммуникативных навыках.
Опыт эксплуатации open-source LLM-шлюза Keystone в продакшене
Представлен практический опыт эксплуатации open-source LLM-шлюза Keystone (KTMS) на языке Go. В материале рассматриваются вопросы подключения собственных GPU, поведения системы при отказах зависимостей, ротации ключей шифрования и обновлений без простоя.
Зашумление эмбеддингов не защищает от сопоставления документов
Добавление шума к эмбеддингам не обеспечивает защиту данных от сопоставления записей с документами. Эксперимент показал, что если атакующему известно 100 пар соответствий (2% корпуса), удается идентифицировать около 90% документов. При 1000 известных парах распознается 99% записей, даже если качество поиска снижено вдвое.
Microsoft Research изучила самоорганизацию роя из тысячи ИИ-агентов
Исследователи из Microsoft Research протестировали совместную работу роя из 1024 ИИ-агентов над одной задачей без централизованного управления. За шесть часов группа показала результаты лучше одиночной модели, самостоятельно распределив роли интеграторов, ревьюеров и внутренние регламенты.