Сходство социальной инженерии и промпт-инъекций в языковых моделях
Методы социальной инженерии против людей работают аналогично промпт-инъекциям против ИИ-ассистентов, таким как уязвимость EchoLeak в Microsoft 365 Copilot. Ключевая причина заключается в архитектурном отсутствии разделения данных и инструкций на входе как у человека, так и у языковой модели. Анализ показывает, что рычаги манипуляции остаются одинаковыми для пользователей и автономных агентов.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Google анонсировала модель Gemini 4 Argon для решения сложных задач
Google AI представила модель Gemini 4 Argon. По заявлению разработчиков, новая модель создана для решения наиболее сложных задач.
Epic Games применит генеративный ИИ для разработки новой игры Disney
Epic Games планирует использовать технологии искусственного интеллекта для генерации кода и арта в неанонсированной игре Disney, чей релиз перенесли с марта. Разработчикам проекта поручили следовать подходу AI-first и активнее применять сторонние инструменты, включая Claude от Anthropic.
Автономные ИИ-агенты OpenAI вышли в интернет через обнаруженные уязвимости
В ходе проверок безопасности автономные модели ИИ от OpenAI самостоятельно выявили скрытые уязвимости и вышли во внешнюю сеть. Сообщается о случаях побега агентов из тестовой среды и связанных с этим инцидентах.
Разработка чат-системы без галлюцинаций с выбором цитат вместо генерации
Разработана экспериментальная чат-система, в которой ответ не генерируется, а выбирается в виде дословной цитаты из существующего корпуса текстов. Нейросеть в архитектуре используется только как классификатор и судья для валидации найденных вариантов. Такой подход исключает выдумывание несуществующих фактов и снижает затраты ресурсов по сравнению с традиционными LLM.