· Хабр

Роль параметров семплирования в инференсе больших языковых моделей

Оптимизация инференса языковых моделей традиционно сосредоточена на пропускной способности и задержках с помощью KV-кэша, квантизации и параллелизма. При этом итоговое качество генерации определяется параметрами семплирования — правилами выбора следующего токена из распределения логитов на каждом шаге декодирования.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Бизнес · Исследования

Исследование: 94% ответов поисковых ИИ игнорируют официальные сайты компаний

Анализ двухсот реальных B2B-запросов в ChatGPT, Perplexity и ИИ-сводке Google показал, что нейросети почти не включают официальные сайты компаний в рекомендации. Вместо корпоративных ресурсов модели формируют выдачу на основе внешних каталогов и справочников. Автор также сопоставил результаты со статистикой краулеров на открытом каталоге организаций, чтобы выявить причины такого поведения ИИ.

· TechCrunch · Безопасность · Open source

ФБР: ИИ-инструмент Artex AI взламывал сети менее чем за три часа

ФБР заявило, что open-source инструмент Artex AI применялся для взлома сетей менее чем за три часа. С его помощью злоумышленники атаковали американского IT-гиганта и финансовый сектор Южной Кореи.

· TechCrunch · Бизнес · Продукты

Джордан Белфорт запустил ИИ-стартап Tone для голосовых продаж

Джордан Белфорт представил стартап Tone, создающий голосовой искусственный интеллект для телефонных продаж. Создатель утверждает, что ИИ уже закрывает сделки почти так же эффективно, как лучшие специалисты, и рассчитывает полностью сравнять его результаты с человеческими через год.

OpenAI привлечет исследователей Apollo для проверки поведения моделей

OpenAI внедрит шесть специалистов Apollo Research для изучения того, способны ли модели компании к деструктивному поведению и саботажу. Однако ограничения на доступ к данным и раскрытие информации ставят под вопрос независимость этой проверки.