Безопасность LLM-агентов: угрозы по классификации OWASP и методы защиты
Специалист по безопасности Авито описал ключевые уязвимости генеративных продуктов и LLM-агентов, возникающие из-за неспособности моделей различать пользовательские данные и инструкции. В материале рассмотрены сценарии атак категорий от LLM01 до LLM09 по методологии OWASP Top 10 for LLM Applications и представлены методы защиты от них.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
ПСБ организует конференцию «Нейродень» в Ярославле
28 ноября ПСБ проведет в Ярославле ИТ-конференцию «Нейродень: ИИ, тренды, нетворкинг». Разработчики, аналитики и архитекторы обсудят задачи для ИИ-агентов, проверку результатов их работы и роль человека в принятии решений.
Автоматизация расстановки ударений в TTS с помощью GigaChat и GigaAM
Автор материала автоматизировал исправление ударений при синтезе русской речи с использованием моделей GigaChat и GigaAM от Сбера. Ранее для устранения ошибок в работе TTS-движков приходилось применять библиотеку ruaccent и вручную составленный словарь замен.
Создатель The Sims Уилл Райт разрабатывает игру MyMems на базе ИИ
Создатель франшиз SimCity и The Sims Уилл Райт работает над новой игрой MyMems, построенной вокруг искусственного интеллекта. Проект сфокусирован на воспоминаниях пользователей и предлагает игрокам новый способ исследования созданных ими миров.
Как целевые функции рекомендательных систем отражают политическую философию
В публикации рассматривается связь между математическими метриками рекомендательных систем и этическими концепциями блага пользователя. Автор демонстрирует, что оптимизация CTR, времени просмотра или опросов удовлетворенности формирует разные подходы к ранжированию контента. Это показывает, что выбор целевой функции в алгоритмах является не нейтральным техническим решением, а внедрением определенной философской теории.