· Хабр

Безопасность LLM-агентов: угрозы по классификации OWASP и методы защиты

Специалист по безопасности Авито описал ключевые уязвимости генеративных продуктов и LLM-агентов, возникающие из-за неспособности моделей различать пользовательские данные и инструкции. В материале рассмотрены сценарии атак категорий от LLM01 до LLM09 по методологии OWASP Top 10 for LLM Applications и представлены методы защиты от них.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Бизнес

ПСБ организует конференцию «Нейродень» в Ярославле

28 ноября ПСБ проведет в Ярославле ИТ-конференцию «Нейродень: ИИ, тренды, нетворкинг». Разработчики, аналитики и архитекторы обсудят задачи для ИИ-агентов, проверку результатов их работы и роль человека в принятии решений.

· Хабр · Модели · Продукты

Автоматизация расстановки ударений в TTS с помощью GigaChat и GigaAM

Автор материала автоматизировал исправление ударений при синтезе русской речи с использованием моделей GigaChat и GigaAM от Сбера. Ранее для устранения ошибок в работе TTS-движков приходилось применять библиотеку ruaccent и вручную составленный словарь замен.

· The Verge · Продукты

Создатель The Sims Уилл Райт разрабатывает игру MyMems на базе ИИ

Создатель франшиз SimCity и The Sims Уилл Райт работает над новой игрой MyMems, построенной вокруг искусственного интеллекта. Проект сфокусирован на воспоминаниях пользователей и предлагает игрокам новый способ исследования созданных ими миров.

Как целевые функции рекомендательных систем отражают политическую философию

В публикации рассматривается связь между математическими метриками рекомендательных систем и этическими концепциями блага пользователя. Автор демонстрирует, что оптимизация CTR, времени просмотра или опросов удовлетворенности формирует разные подходы к ранжированию контента. Это показывает, что выбор целевой функции в алгоритмах является не нейтральным техническим решением, а внедрением определенной философской теории.