Метод Concertina позволил сжать LLM почти вдвое и сохранить 85% качества
Исследователи представили подход Concertina, позволяющий сжать большую языковую модель почти в два раза без обучения с нуля. Модель на 2,27 млрд параметров прошла дистилляцию на 22 млрд токенов и превзошла Qwen3-1.7B, обученную на 36 трлн токенов. Веса новой модели выложены в открытый доступ на Hugging Face под лицензией Apache 2.0.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Взгляд разработчика на ограничения общения с нейросетями и неизменяемость моделей
Автор рассуждает о невозможности полноценного двустороннего общения человека с современными нейросетями. Модели функционируют по инструкциям и сохраняют исходные веса после закрытия диалога, поэтому взаимодействие не приводит к изменениям с их стороны. В связи с этим поднимается вопрос о принципиальной возможности диалога человека и ИИ на равных.
Anthropic блокирует аккаунты Claude без указания конкретных нарушений
Сервис Claude отзывает доступ пользователей, ссылаясь на автоматическое обнаружение сигналов о нарушении правил использования платформы. Компания Anthropic не уточняет характер нарушений, из-за чего клиенты теряют доступ к истории чатов и оплаченным подпискам с возможностью только подать апелляцию.
Сравнение пяти ИИ-инструментов при исправлении бага с публикацией сайта
В рамках эксперимента пять нейросетей получили одинаковую задачу по устранению ошибки публикации сайта на сервер. С проблемой справились только Claude Code и Codex, а остальные три модели вызвали сбои в ранее работавшем коде. Тест показал опасность скрытых поломок при некритичном принятии правок от ИИ.
Мир Квестов внедрил гибридный поиск с LLM-классификаторами и системой подсказок
Сервис Мир Квестов разработал поисковую систему для каталога в условиях нехватки данных о пользователях. Решение объединяет дерево решений для сокращения анкеты предпочтений и шесть LLM-классификаторов, разбирающих сложные запросы на лету.