· Хабр

Оптимизация эмбеддингов EmbeddingGemma 2 с помощью QR-разложения на RTX 5090

Разработчики применили QR-разложение выходной проекции EmbeddingGemma 2 для перевода векторов из 768 в 512 измерений с сохранением косинусного сходства. Тестирование на RTX 5090 показало снижение пикового потребления памяти FAISS с 15,88 до 11,11 ГиБ на 5 млн документов MS MARCO. Метод также позволил сократить задержку одиночных запросов и батчей без потери качества поиска на датасетах SciFact и FiQA.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Продукты · Open source

Переход с OpenClaw на DeepSeek Harness для снижения нагрузки на VDS

Пользователь описал опыт замены ИИ-ассистента OpenClaw на решение DeepSeek Harness на личном VDS. Переход позволил снизить показатель load average до 0,03 и устранил необходимость докупать оперативную память для базовых задач ассистента.

· Хабр · Модели · Исследования

Особенности применения свёрточных нейросетей в финансовом анализе

В материале рассматривается адаптация свёрточных нейросетей для работы с временными рядами и данными ордербука. Описаны подходы к оценке качества прогнозов и способы предотвращения утечек данных из будущего при анализе рыночной волатильности.

· Хабр · Безопасность

Семь ограничений для безопасного запуска ИИ-агентов на серверах

ИИ-агенты могут совершать критические ошибки при работе на серверах из-за чрезмерной уверенности моделей. Полностью исключить сбои невозможно, поэтому необходимо заранее просчитывать и минимизировать потенциальный ущерб. В публикации рассматриваются семь рамок контроля, которые следует внедрить до предоставления ИИ доступа к инфраструктуре.