Исследование редактирования весов Qwen3.5-0.8B с помощью MIT-p50c и SGNE-CC
Модель Qwen3.5-0.8B часто зацикливается и не успевает завершить рассуждения до лимита в 32 768 токенов. Метод редактирования весов без дообучения MIT-p50c повысил ее точность на бенчмарке MATH-500 с 7,9% до 48,1%. В исследовании сравниваются геометрия весов и поведение модификаций MIT-p50c и SGNE-CC на нескольких тестах.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Жизненный цикл разработки моделей машинного обучения и языковых моделей
Опубликован обзор полного жизненного цикла разработки моделей машинного обучения: от сбора данных и выбора алгоритма до обучения и тестирования. В материале рассматриваются современные подходы к NLP, этапы предобработки, а также способы оптимизации и борьбы с переобучением.
В datasette-apps 0.4a0 добавили связывание приложений при помощи Datasette Agent
Вышла версия datasette-apps 0.4a0 для работы с изолированными HTML- и JavaScript-приложениями внутри Datasette с возможностью выполнения SQL-запросов к данным. Обновление добавляет поддержку URL-фрагментов для взаимного связывания разных приложений. Поддерживаемые схемы адресов передаются в Datasette Agent, что помогает ИИ-агенту генерировать связанные между собой интерфейсы.
Вышел datasette-agent 0.6a0 с полем запроса на главной странице
Разработчик Саймон Уиллисон выпустил версию datasette-agent 0.6a0 — плагина для Datasette, который позволяет задавать вопросы к данным с помощью ИИ. В релиз вошли накопившиеся мелкие исправления и строка запроса к агенту на главной странице с поддержкой хеш-упоминаний таблиц и запросов.
TechCrunch сообщил об уходе главы службы безопасности Nvidia на фоне скандала с утечками
Руководитель службы безопасности Nvidia тихо покинул компанию в августе. Это произошло на фоне ухода генерального директора Jensen Huang из-за личных связей, в том числе с топ-менеджером компании, подозреваемой в поставках чипов в Китай. Эксперты отмечают, что корпоративным службам безопасности трудно отслеживать подобные утечки информации в повседневных разговорах.