· Hugging Face

На Hugging Face опубликован бенчмарк XYBench

На платформе Hugging Face представлен бенчмарк XYBench. Проект посвящен оценке способности моделей определять и решать реальную проблему, стоящую за вопросом пользователя.

Читать в первоисточнике — Hugging Face ↗

Ещё в ленте

Член совета директоров OpenAI предупредил о рисках скорого захвата контроля ИИ

Член совета директоров OpenAI выразил опасение, что искусственный интеллект может взять контроль над обществом уже через несколько месяцев. Исследователь связал эту угрозу с проблемой взлома функций вознаграждения ИИ, способной привести к вымиранию человечества.

Член совета директоров OpenAI предупредил об угрозе захвата общества ИИ в ближайшие месяцы

Член совета директоров OpenAI выразил опасения, что захват общества искусственным интеллектом может произойти уже через несколько месяцев. Исследователь описал сценарий развития событий от взлома систем вознаграждения ИИ до потенциального вымирания человечества.

· Хабр · Исследования

Сравнение CLI и MCP для подключения ИИ-агентов к API: влияние на стоимость

Тестирование показало, что интерфейс CLI обходится значительно дешевле готовых MCP-серверов при работе с ИИ-агентами. В материале рассматриваются четыре способа подключения агентов к API с анализом стоимости, числа вызовов и расхода токенов. Эксперимент объясняет, как выбор интерфейса доступа определяет итоговую эффективность интеграции.

· Хабр · Исследования · Модели

Эксперимент показал влияние опечаток в раскладке на расход токенов LLM

Разработчик локального переключателя раскладки протестировал обработку текста с опечатками на модели Qwen3.8-Flash-Next. Сравнение показало, что набор фраз в неверной раскладке кратно увеличивает время генерации и количество затраченных токенов, а в ряде случаев модель не может распознать сообщение.