Решение проблемы потери градиентов в функции softmax от DeepMind
Исследование DeepMind посвящено численной нестабильности и занулению градиентов при вычислении функции softmax во время обучения нейросетей и дистилляции. В материале разбираются математические причины этой ошибки стандартных библиотек и способы ее исправления в коде на NumPy.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Исследование внедрения Claude Code среди 27 разработчиков
Авторы провели исследование влияния AI-агентов на разработку с инженерной и управленческой точек зрения. В эксперименте приняли участие 27 разработчиков, которые получили доступ к Claude Code и фиксировали результаты своих сессий. На основе собранных данных и глубинных интервью авторы проанализировали реальную пользу агентной разработки и распределение сотрудников по шкале внедрения AI.
Создание детектора лжи для языковых моделей через анализ активаций нейронов
Разработчик протестировал метод выявления недостоверных ответов у языковой модели путем анализа активаций ее нейронов на домашней видеокарте. В ходе эксперимента сеть намеренно дала ложный ответ, хотя анализ внутренних слоев показал, что до финального этапа генерации формировался правильный вариант. Такой подход позволяет проверять внутренние состояния модели и фиксировать намеренное искажение информации.
Дообучение Gemma 26B на MacBook с 24 ГБ памяти для голосового помощника
Разработчик описал процесс создания голосового ассистента для macOS, выполняющего действия на компьютере полностью офлайн. В материале раскрыты архитектура решения и опыт дообучения открытой модели Gemma 26B на MacBook с 24 ГБ памяти.
Интервью с профессором Марком Берколайко о вызовах и угрозах развития ИИ
Автор материала провел беседу с доктором физико-математических наук Марком Берколайко, посвященную рискам и перспективам развития технологий искусственного интеллекта. В фокусе внимания оказались вопросы персональной ответственности, проблемы масштабирования, а также взгляды бизнеса и научного сообщества на безопасность ИИ.