· Хабр

Тестирование Qwen3.8 Flash на видеокарте RTX 4090

Исследователь Kwangju Shin протестировал запуск модели Qwen3.8-Flash-Next на локальном ПК с RTX 4090. Ранее в связке с технологией спекулятивного декодирования DFlash2 удалось разогнать Qwen3.8-27B до скорости около 100 токенов в секунду. Цель нового эксперимента состояла в улучшении качества ответов без замедления работы и с сохранением вычислительных ресурсов.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Продукты

Vercel показала, как оценивать работу ИИ-агентов с помощью Harbor

Авторы Vercel объяснили методику сквозной оценки ИИ-агентов, которые используют API и внешние инструменты от лица пользователей. На примере заказа кофе они продемонстрировали выбор метрик, настройку оценки с помощью Harbor и анализ результатов.

· Хабр · Железо · Модели

Как эффективно масштабировать обучение ML-моделей на Multi-GPU

При обучении ML-моделей нехватка видеопамяти и долгое время расчетов вынуждают переходить на конфигурации с несколькими GPU. Однако накладные расходы на синхронизацию градиентов и передачу данных между устройствами снижают ожидаемый прирост скорости. В статье рассматриваются четыре подхода к параллелизму и методы оценки эффективности масштабирования.

· Хабр · Модели

Сравнение видеомоделей Seedance 2.5 Flash и флагмана от ByteDance

Быстрая версия видеомодели Seedance 2.5 Flash от ByteDance генерирует ролики втрое быстрее флагмана и расходует на 35% меньше токенов. Тестирование на тестовых сценах показало сопоставимое качество, при этом в части задач Flash превзошла флагман. Автор материала рекомендует использовать облегченную версию для черновиков, а финальные ролики доверять флагманской модели.

· Хабр · Модели · Исследования

Взгляд разработчика на ограничения общения с нейросетями и неизменяемость моделей

Автор рассуждает о невозможности полноценного двустороннего общения человека с современными нейросетями. Модели функционируют по инструкциям и сохраняют исходные веса после закрытия диалога, поэтому взаимодействие не приводит к изменениям с их стороны. В связи с этим поднимается вопрос о принципиальной возможности диалога человека и ИИ на равных.