Дистилляция 29M модели для изотропных эмбеддингов: выбор базы и первые тесты
Представлена первая часть цикла материалов о создании 29M модели с изотропными эмбеддингами через дистилляцию знаний. В публикации описаны анализ слоев моделей, предварительные тесты и процесс выбора базовой архитектуры.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Microsoft предлагает добровольное увольнение 60 тысячам сотрудников на фоне развития ИИ
Microsoft предложила программы добровольного увольнения с компенсацией около 60 000 сотрудников в США, Великобритании, Канаде и ряде других стран. Руководство компании во главе с Satya Nadella связывает трансформацию численности персонала с развитием искусственного интеллекта. Этот шаг стал сигналом фундаментальных изменений в структуре рабочей силы корпорации.
Открытая модель Kimi K3 обошла закрытые решения на ряде бенчмарков
Разработчики опубликовали официальный отчет о модели Kimi K3, чьи веса доступны для скачивания и локального развертывания. На части независимых бенчмарков эта открытая система показала результаты выше закрытых решений от GPT и Anthropic.
На GitHub набрал популярность проект для автомонтажа видео с помощью Claude
На GitHub набрал более 30 000 звезд проект для автоматического монтажа видео с использованием Claude. Инструмент удаляет паузы, оговорки, отбирает дубли и добавляет субтитры по текстовому запросу. При этом языковая модель формирует результат без непосредственного просмотра видеофайла.
В приложении NYT Cooking тестируют модификацию рецептов с помощью ИИ
The New York Times тестирует в приложении NYT Cooking новую функцию на базе искусственного интеллекта для модификации рецептов. Инструмент может предлагать замену ингредиентов и кухонной утвари, а также масштабировать объемы блюд на любое число порций. Анонс функции вызвал споры среди пользователей сервиса.