Создание 29M модели-ученика для получения изотропных эмбеддингов
Описан процесс проектирования модели-ученика на 29M параметров, предназначенной для заимствования представлений учителя. В материале представлена сборка архитектуры из нужных слоев и проведение первых тестов для проверки работоспособности модели.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Особенности применения шума в SDE-сэмплерах flow-matching моделей
Автор материала исследовал поведение и влияние шума в SDE-сэмплерах, используемых во flow-matching моделях. В статье рассматриваются технические нюансы направления зашумления при генерации.
Тестирование локальных моделей на замену облачным LLM от Anthropic и OpenAI
Автор протестировал запуск локальных моделей на MacBook, игровом ноутбуке и DGX Spark как альтернативу облачным сервисам уровня Opus и Codex. Поводом для проверки стали лицензионные ограничения Anthropic на коммерческое использование подписок, а также блокировки со стороны OpenAI за анализ прошивок.
Основы глубокого обучения: разбор свёрточных нейросетей
Вышла вторая статья из серии обучающих материалов об основах глубокого обучения. Данный выпуск посвящен подробному разбору свёрточных нейронных сетей.
Влияние ИИ и вайбкодинга на профессию веб-дизайнера
Индустрия веб-дизайна разделилась на сторонников классического подхода и тех, кто генерирует сайты с помощью искусственного интеллекта без фундаментальной базы. При этом работодатели все чаще требуют от соискателей навыков работы с нейросетями, несмотря на критику таких решений со стороны опытных специалистов.