Вышел бенчмарк CWE-bench v2 с расширенным покрытием и улучшенным качеством
Представлена вторая версия бенчмарка CWE-bench v2. В новом релизе заявлены увеличенное покрытие, более высокое качество и прозрачность данных.
Читать в первоисточнике — Hugging Face ↗
Ещё в ленте
Опыт участия в соревновании ARC-AGI-3 и разбор 6-го места
Завершился очередной этап соревнования ARC-AGI-3, посвященного общему искусственному интеллекту. Участник, занявший шестое место, делится деталями турнира и личными впечатлениями от решения задач.
Apple рассматривает монетизацию через сторонние ИИ-приложения
В ходе финансового отчета Apple намекнула на способы увеличения выручки за счет сторонних возможностей. Компания может использовать интеграцию сторонних ИИ-сервисов как новый источник коммерческого роста.
Гарри Тан из Y Combinator тратит до $200 000 в год на токены для ИИ-агентов
Глава Y Combinator Гарри Тан рассказал в подкасте The Builders об активном использовании ИИ-агентов. Расходы на токены для работы с ними доходят до 200 000 долларов в год. Тан также в шутку отметил, что из-за увлеченности технологией он иногда почти не спит.
Контракты интеграции моделей в библиотеку Hugging Face Transformers
Hugging Face представила контракты интеграции моделей (Model Integration Contracts) для библиотеки Transformers. Материал посвящен стандартизации и правилам добавления новых архитектур в библиотеку.