· Хабр

Wildberries ускорил ИИ-ассистента покупателя с помощью спекулятивного декодинга

Wildberries протестировал семь методов спекулятивного декодинга для ускорения собственной языковой модели BerryLM в ИИ-ассистенте покупателя. На одно сообщение пользователя сервис делает в среднем около 26 вызовов модели, поэтому скорость генерации напрямую влияет на время ожидания ответа. По результатам сравнительных тестов в продакшн был выбран и внедрен метод DFlash 2.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Бизнес · Исследования

Опыт замера упоминаемости бренда в ChatGPT и эффективности методов GEO

Автор разработал скрипт для регулярной проверки того, упоминает ли ChatGPT его бренд при ответах на запросы потенциальных клиентов. В материале раскрывается техническое устройство системы мониторинга и объясняется, почему популярные практики оптимизации под LLM, включая llms.txt, не показывают ожидаемого результата.

· Хабр · Модели · Продукты

Представлена модель Gemini 4 Hydrogen для агентных задач и работы с кодом

Представлена модель Gemini 4 Hydrogen, созданная для эффективной повседневной работы с кодом и быстрого выполнения разнообразных агентных процессов. Она превосходит версию Argon в тесте Artificial Analysis Intelligence Index и становится доступна в Google AI Studio, Gemini API и других сервисах компании. Модель получила контекстное окно в 1 миллион токенов со стоимостью 1,50 доллара за миллион входных и 7,50 доллара за миллион выходных токенов.

· Хабр · Продукты

Microsoft представила платформу Classroom с ИИ-помощником Copilot

Microsoft анонсировала образовательную платформу Classroom для начальных, средних и старших классов в экосистеме Microsoft 365. Сервис объединяет управление заданиями, выставление оценок, записные книжки OneNote и аналитику с ИИ-помощником Copilot. Новая площадка создана, чтобы избавить учеников и преподавателей от необходимости переключаться между разными приложениями.

· Хабр · Исследования

Как меняется идентичность инженера в эпоху agentic coding

Леонид Новожилов и Яна Венерина подготовили материал о влиянии агентного программирования на работу разработчиков. В публикации рассматриваются технические и организационные аспекты ИИ-трансформации, а также связанные с ней психологические механизмы с точки зрения исследований взаимодействия человека и компьютера.