Предложен метод ускорения 8-битных нейросетей через усреднение по дереву
Разработчики системы Smart Document Engine предложили алгоритм усреднения по дереву вместо точного суммирования для 8-битных нейросетей. Подход позволяет дольше сохранять промежуточные результаты в 16-битном формате и эффективнее задействовать SIMD-регистры. В экспериментах на архитектуре ARM NEON метод помог сократить время матричного умножения при сохранении точности.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Метод пошаговой отладки многоэтапных воркфлоу AI-агентов
Многоэтапные AI-агенты могут генерировать убедительные ответы, даже если сбой произошел в самом начале выполнения цепочки. В материале описан подход с поэтапными проверками, который помогает локализовать ошибки и находить баги в механизмах оценки.
19-летний сооснователь Cal AI привлек $10 млн на стартап персональных ИИ-агентов
Сооснователь приложения для подсчета калорий Cal AI Зак Ядегари привлек 10 млн долларов на запуск нового проекта. Стартап создает персональных ИИ-агентов и конкурирует с Instinct, Muse и Bee.
Развитие потребительских ИИ-агентов обсудили в подкасте Decoder
В подкасте Decoder обсудили новую волну потребительских ИИ-агентов, включая решения от Meta и OpenAI. Энтузиасты уже некоторое время используют подобные системы, что ранее даже привело к росту продаж Mac Mini для самодельных сборок вроде OpenClaw.
Представлена FRIDA Decisions: открытая модель классификации и судейства для русского языка
Выпущена открытая модель FRIDA Decisions, предназначенная для быстрого выбора вариантов, оценки, ранжирования и бинарных ответов на русском языке без генерации текста. Архитектура выполняет задачи за один проход энкодера за десятки миллисекунд на потребительской видеокарте RTX 5060 Ti. В бенчмарке razvilka модель показала результат на уровне коммерческого API TypeSafe Jev и LLM Qwen3.5-35B-A3B, превосходящей ее по размеру в 40 раз.