Опубликован бесплатный курс по созданию локальных RAG-приложений на Python
Разработчик представил бесплатный курс local-docs-ai по созданию локальных RAG-систем на Python за семь занятий. Программа разбирает процесс построения поиска по документам Markdown и TXT с помощью локальных embedding-моделей и генерации ответов с указанием первоисточников. Код проекта доступен в открытом репозитории с интерфейсом для терминала и браузера.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Роль KV-кэша в оптимизации инференса авторегрессионных трансформеров
Использование KV-кэша делает современные авторегрессионные трансформеры применимыми на практике, избавляя от повторного вычисления попарных произведений ключей и запросов для каждого токена. Механизм позволяет разменивать память на скорость и рассчитывать токен за линейное время. При этом ключевым лимитирующим фактором работы модели становится пропускная способность памяти.
Локальный запуск API для классификации запросов на смартфоне
Представлен быстрый аналог Jev API для классификации запросов, который работает локально на телефоне без облачных сервисов и платных подписок. Автор описал используемую модель и способ развертывания сервера для интеграции в ботов и сценарии автоматизации на Python.
Cortiq Mobile: запуск локальных нейросетей на смартфонах в формате CMF
Представлен обзор открытого приложения Cortiq Mobile для Android и iOS, позволяющего запускать нейросети локально без подключения к интернету и платных подписок. Решение использует формат CMF и предназначено для общения в чате, перевода текста и работы со скриптами. В статье приведены замеры производительности и руководство по быстрому запуску.
Исследователь безопасности взломал инфраструктуру фишеров с помощью AI
Исследователь Цзяо-Лин Ю использовал Claude Code и Gemini для взлома фишинговой сети и выяснил, что мошенники также применяют нейросети для автоматизации создания сайтов. Преступники разворачивали новые площадки за четыре минуты и запустили свыше двадцати доменов за сутки. Это демонстрирует рост скорости и производительности атак с использованием AI, опережающий возможности защиты.