· Хабр

Влияние токенизации и эмбеддингов на поведение и безопасность LLM

В материале рассматривается, как механизмы токенизации и эмбеддингов влияют на поведение больших языковых моделей и почему минимальные изменения во вводе способны изменить язык ответа. Также анализируются возникающие на этих этапах риски безопасности и специфика методов векторного анализа.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Модели · Исследования

Сравнение пяти ИИ-инструментов при исправлении бага с публикацией сайта

В рамках эксперимента пять нейросетей получили одинаковую задачу по устранению ошибки публикации сайта на сервер. С проблемой справились только Claude Code и Codex, а остальные три модели вызвали сбои в ранее работавшем коде. Тест показал опасность скрытых поломок при некритичном принятии правок от ИИ.

Метод Concertina позволил сжать LLM почти вдвое и сохранить 85% качества

Исследователи представили подход Concertina, позволяющий сжать большую языковую модель почти в два раза без обучения с нуля. Модель на 2,27 млрд параметров прошла дистилляцию на 22 млрд токенов и превзошла Qwen3-1.7B, обученную на 36 трлн токенов. Веса новой модели выложены в открытый доступ на Hugging Face под лицензией Apache 2.0.

· Хабр · Продукты · Модели

Мир Квестов внедрил гибридный поиск с LLM-классификаторами и системой подсказок

Сервис Мир Квестов разработал поисковую систему для каталога в условиях нехватки данных о пользователях. Решение объединяет дерево решений для сокращения анкеты предпочтений и шесть LLM-классификаторов, разбирающих сложные запросы на лету.

· Хабр · Бизнес

Проверка обещаний курсов по созданию вирусных нейровидео на автопилоте

Автор протестировал обещания курсов о создании вирусных нейровидео, якобы набирающих миллионы просмотров в автоматическом режиме. Проверка эффективности формата коротких видео проводилась в рамках серии экспериментов после тестирования Threads и SEO.