Угроза slopsquatting: как галлюцинации LLM создают уязвимости в коде
При генерации кода большие языковые модели нередко предлагают несуществующие пакеты зависимостей. Злоумышленники используют явление slopsquatting, регистрируя выдуманные библиотечные имена для внедрения вредоносного кода. Материал рассматривает частоту подобных галлюцинаций у LLM и способы защиты от таких угроз.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опыт классификации 15 млн товаров с помощью правил вместо ML
Команда проекта классифицировала более 15 млн товаров металлопроката по 1100 категориям за месяц без использования LLM. В материале рассматривается кейс, в котором система простых бизнес-правил оказалась эффективнее машинного обучения на зашумленных данных из CRM.
Особенности внедрения Edge AI в промышленные сети и АСУ ТП
Зависимость от облака создает сложности для промышленной автоматизации в условиях, когда решения необходимо принимать за десятки миллисекунд. Технология Edge AI позволяет обрабатывать данные непосредственно на оборудовании, однако требует учета ограничений аппаратного обеспечения и интеграции с системами управления.
Эксперимент: модели заявляют об уверенности в коде даже при наличии ошибок
Автор протестировал три языковые модели на 20 задачах по программированию на Python, попросив их указывать уверенность в своих решениях. Во всех 179 случаях модели указали статус SURE, проигнорировав вариант UNSURE, однако четыре решения не прошли скрытые тесты. Эксперимент показал, что самооценка моделей не позволяет надежно фильтровать ошибочный код.
Метод Gauntlet Loop для решения прикладных задач с помощью ИИ
В материале описан подход Gauntlet Loop, позволяющий пользователям без навыков разработки мультиагентных систем создавать игры, приложения и презентации с помощью ИИ. Также автор рассматривает основы линейной алгебры, включая матрицы и линейные операторы.