Wildberries ускорил ИИ-ассистента покупателя с помощью спекулятивного декодинга
Wildberries протестировал семь методов спекулятивного декодинга для ускорения собственной языковой модели BerryLM в ИИ-ассистенте покупателя. На одно сообщение пользователя сервис делает в среднем около 26 вызовов модели, поэтому скорость генерации напрямую влияет на время ожидания ответа. По результатам сравнительных тестов в продакшн был выбран и внедрен метод DFlash 2.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опыт замера упоминаемости бренда в ChatGPT и эффективности методов GEO
Автор разработал скрипт для регулярной проверки того, упоминает ли ChatGPT его бренд при ответах на запросы потенциальных клиентов. В материале раскрывается техническое устройство системы мониторинга и объясняется, почему популярные практики оптимизации под LLM, включая llms.txt, не показывают ожидаемого результата.
Представлена модель Gemini 4 Hydrogen для агентных задач и работы с кодом
Представлена модель Gemini 4 Hydrogen, созданная для эффективной повседневной работы с кодом и быстрого выполнения разнообразных агентных процессов. Она превосходит версию Argon в тесте Artificial Analysis Intelligence Index и становится доступна в Google AI Studio, Gemini API и других сервисах компании. Модель получила контекстное окно в 1 миллион токенов со стоимостью 1,50 доллара за миллион входных и 7,50 доллара за миллион выходных токенов.
Microsoft представила платформу Classroom с ИИ-помощником Copilot
Microsoft анонсировала образовательную платформу Classroom для начальных, средних и старших классов в экосистеме Microsoft 365. Сервис объединяет управление заданиями, выставление оценок, записные книжки OneNote и аналитику с ИИ-помощником Copilot. Новая площадка создана, чтобы избавить учеников и преподавателей от необходимости переключаться между разными приложениями.
Как меняется идентичность инженера в эпоху agentic coding
Леонид Новожилов и Яна Венерина подготовили материал о влиянии агентного программирования на работу разработчиков. В публикации рассматриваются технические и организационные аспекты ИИ-трансформации, а также связанные с ней психологические механизмы с точки зрения исследований взаимодействия человека и компьютера.