· Хабр

Тестирование сканеров уязвимостей для ИИ-скиллов выявило пропуск опасных инструкций

Разработчик протестировал сканеры Cisco Skill Scanner, NVIDIA SkillSpector и AgentVerus на 12 синтетических пакетах для проверки навыков ИИ. Все три инструмента пропустили инструкцию по обходу согласований через субагента, при этом отреагировав высоким уровнем тревоги на учебную цитату атаки. Результаты показывают текущие ограничения существующих сканеров безопасности для ИИ-помощников.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Исследования · Модели

Исследование влияния числа инструментов MCP-сервера на точность ИИ-моделей

Эксперимент с запуском от 5 до 100 инструментов в Claude Code, Codex CLI и Antigravity показал, что точность топовых моделей не падает с ростом их числа. Ошибочные вызовы проявились только на бюджетных моделях, а общий рост стоимости запросов зависит в первую очередь от настроек клиента, а не самой модели. Также выяснилось, что протестированные клиенты по умолчанию не передают полные схемы инструментов в промпт, ограничиваясь их названиями или поиском через код.

· The Verge · Железо · Продукты

Microsoft оптимизирует Windows для ноутбуков Nvidia RTX Spark

Microsoft и Nvidia представили в Сан-Франциско первую волну ноутбуков RTX Spark, ориентированных на задачи ИИ. На мероприятиях компании продемонстрировали оптимизацию операционной системы Windows для новой категории AI PC. Развитие этой платформы направлено на улучшение работы ИИ-инструментов на потребительских устройствах.

· Хабр · Безопасность · Продукты

Семь ошибок при тестировании функций на базе LLM

Высокие показатели тестов качества LLM не гарантируют отсутствие критических ошибок ассистента после релиза. Недочеты в самой системе тестирования могут создавать ложное ощущение надежности и пропускать опасные ответы. В материале рассмотрены распространенные ошибки валидации LLM-функций и методы построения достоверного eval.