Протокол MCP для связи ИИ-агентов может распространять вредоносные промпты
Новый протокол MCP, предназначенный для взаимодействия ИИ-агентов между собой, содержит бреши в системе доверия. Из-за этих уязвимостей вредоносные промпты могут передаваться от одного агента к другому.
Читать в первоисточнике — Ars Technica ↗
Ещё в ленте
Библиотека нормализации чисел для русскоязычных голосовых ИИ-агентов
Разработчик представил библиотеку на 155 строк для корректного чтения чисел системами синтеза речи. Решение помогает голосовым ассистентам правильно произносить даты, телефоны, деньги, проценты и номера заказов на русском языке. Это устраняет неестественные ошибки озвучки, выдающие бота в телефонном разговоре.
Предложена методология выявления скрытых ошибок ИИ-агентов при вызове функций
Разработана методология тестирования ИИ-агентов с поддержкой вызова функций (tool use), выявляющая выполнение действий при несоблюдении неявных условий. Обычные защитные механизмы, проверки схем и подтверждения оператора пропускают такие сбои. Подход протестировали более чем в 4200 испытаниях на моделях Gemini и Claude.
OpenAI начнет маркировать тексты ChatGPT водяными знаками в ЕС
OpenAI внедрит водяные знаки для текстов ChatGPT и Codex в Евросоюзе, чтобы соответствовать требованиям AI Act. Компания отмечает, что невидимые метки будет сложнее обнаружить, если текст подвергнется редактированию.