Особенности пентеста AI-компонентов и риски их внедрения в корпоративные системы
В материале рассмотрены сценарии атак и специфика уязвимостей, возникающих при подключении языковых моделей к корпоративным базам данных, CRM и внутренним документам. Наличие у AI-компонентов доступа к внешним инструментам позволяет злоумышленникам манипулировать моделью для совершения действий и кражи данных в обход традиционных проверок.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Smart Engines: генеративный ИИ упростил создание поддельных документов для мошенников
Компания Smart Engines выпустила отчет о мошенничестве с поддельными документами, которое стало системной угрозой для бизнеса. Генеративный искусственный интеллект сделал подобные атаки технологичнее и доступнее для злоумышленников. Подделки применяются в банковском фроде, захвате аккаунтов, незаконной легализации и создании фиктивных личностей.
Яндекс Практикум и getMatch оценили спрос на ИИ-навыки в диджитал-сфере
Анализ 2 000 диджитал-вакансий показал, что 42,9% работодателей требуют от специалистов владения навыками работы с искусственным интеллектом. При этом растет спрос на кандидатов, способных не только применять готовые нейросети, но и создавать ИИ-решения под задачи бизнеса.
Подготовка датасета для contrastive-обучения модели эмбеддингов
Опубликована третья часть серии материалов о создании изотропных эмбеддингов для модели на 29 млн параметров. В ней описаны обоснование выбора подходов, примеры и методика экономной сборки датасета для contrastive-обучения. Материал завершает этап подготовки к реализации тренировки модели.
Open source маршрутизатор FAIRouter для C# опубликован на NuGet
Маршрутизатор ИИ-моделей FAIRouter для языка C# стал доступен в репозитории NuGet. Проект с открытым исходным кодом предназначен для подбора языковых моделей и агентов под задачи с учетом баланса скорости, стоимости и качества генерации. Инструмент позволяет обучать систему маршрутизации на отзывах и подключать собственные модели.