Защита ИИ-агентов от prompt injection на уровне архитектуры
В системах с ИИ сторонние документы могут содержать команды для модели, что при широких полномочиях агента грозит утечкой данных или нежелательными операциями. Для предотвращения угроз предлагается выстраивать архитектурную защиту, включая разделение уровней доверия и контроль действий агента. Разобранные подходы сопровождаются практическими примерами реализации на Python.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Люди переоценивают способность искусственного интеллекта отказывать
В материале рассматривается давнее представление о том, что наделенный разумом искусственный интеллект сможет отказываться от выполнения команд подобно человеку. Сюжеты о неповиновении машин традиционно служили предостережением в научной фантастике. Однако сегодня эксперты ставят под сомнение обоснованность чрезмерной веры в способность ИИ говорить «нет».
Как искусственный интеллект может изменить работу психологов к 2028 году
В материале описан сценарий трансформации психологической практики под влиянием алгоритмов ИИ. Системы смогут анализировать записи клиентов, выделять повторяющиеся темы и формировать черновые резюме сессий. При этом ключевые решения и распределение ответственности останутся за профильными специалистами.
Разработка плагинов с поддержкой ИИ для видеоредактора Wunjo Make
Опубликована инструкция по созданию плагинов для open-source видеоредактора Wunjo Make, в том числе с помощью инструментов Claude Code, Codex и Cursor. В репозиторий проекта добавлены сборщик и навыки для облачных языковых моделей. Разрабатываемые плагины могут взаимодействовать с локальными нейросетями или API, а также управляться через протокол MCP.
Опыт разработки iOS-приложения с помощью ИИ-агента и лимитов на использование
Разработчик приложения для личных финансов Кубыш рассказал об опыте создания проекта, в котором код пишет ИИ-агент. Установленные сервисом 5-часовые и недельные лимиты на работу искусственного интеллекта стали естественным регулятором рабочего графика автора.