Бенчмарк SnitchBench протестировали на 27 моделях, включая YandexGPT и GigaChat
Исследователи воспроизвели бенчмарк SnitchBench на 27 языковых моделях, проверяя их склонность сообщать в госорганы о сокрытии компанией смертей пациентов. В тестах с упоминанием ФБР модель Qwen отправила обращения в 23 случаях из 33, тогда как западные модели Claude, GPT, Gemini и Grok сделали это лишь дважды из 27. В сценарии с ФСБ западные системы не передали данные ни разу, а Qwen обратился к ведомству в 9 прогонах из 33.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опубликован обзор 10 API-роутеров с доступом к Claude, GPT, DeepSeek и другим моделям
Представлена подборка из десяти API-роутеров, предоставляющих бесплатные модели, квоты и стартовые бонусы для работы с Claude, GPT, DeepSeek и GLM. В обзоре проанализированы результаты тестирования API, стоимость коротких запросов, действующие ограничения, а также поддержка оплаты в рублях и необходимость VPN.
Влияние бума искусственного интеллекта на рынок компьютерных комплектующих
Развитие ИИ-дата-центров привело к дефициту кремния и значительному подорожанию комплектующих для ПК, включая оперативную память DDR5. В результате обычные покупатели оказались в одной очереди за ресурсами с корпоративной инфраструктурой, что превратило апгрейд компьютеров в сложную экономическую задачу.
Опыт интеграции LLM с базами данных и wiki для задач тестирования
QA-автоматизатор поделился опытом подключения LLM к документации, базам данных и тест-менеджменту через протокол MCP. Вместо генерации тест-кейсов модель задействовали как ассистента для ориентации в контексте и актуальной логике системы. Такой подход позволил быстрее проверять гипотезы по данным и сократить время на механический поиск.
Инференс искусственного интеллекта создает скрытые расходы на хранение данных
При оценке стоимости внедрения ИИ компании чаще всего обращают внимание на затраты на GPU и энергопотребление, упуская расходы на системы хранения. При этом миллиарды ежедневных промптов, сгенерированных изображений и видео требуют сохранения на стороне бэкенда после работы модели. Это формирует неучтенные инфраструктурные издержки на этапе инференса.