Опыт оптимизации запуска MoE-моделей в llama.cpp на GTX 1660 SUPER
Энтузиаст протестировал запуск модели gpt-oss-20b на видеокарте с 6 ГБ памяти через форк llama.cpp. Выяснилось, что штатный флаг -fit работает в 2,44 раза быстрее параметра -ngl 99 на длинных запросах, тогда как собственные оптимизации прироста не дали. В процессе автор также выявил нюансы измерения скорости и полезные параметры для слабых видеокарт.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Причины шаблонности текстов от ИИ и методы измерения их похожести
Генерирующие контент модели искусственного интеллекта часто создают похожие друг на друга тексты. В материале объясняются причины появления шаблонов и описываются способы измерения похожести с помощью шинглов, алгоритма MinHash и структурных метрик.
Ограничения семантического поиска по артикулам в RAG-системе на 11 000 файлов
При внедрении RAG-бота для более чем 100 менеджеров по продажам на базе 11 000 файлов техдокументации система выдавала данные из чужих паспортов оборудования. Автор разбирает причины ошибок плотных векторов при поиске по точным артикулам и описывает итоговое работающее решение.
Использование нейросетей и ботов в мошеннических схемах в дейтинг-приложениях
Автор провела эксперимент в сервисе teamo для анализа мошеннических схем с применением ботов и нейросетей. Использование искусственного интеллекта позволяет злоумышленникам делать подобные атаки массовыми и повышать их конверсию. В ходе исследования также рассматриваются вопросы уязвимостей платформы и возможной утечки пользовательских данных.
Сравнение 12 нейросетей для генерации видео на едином промпте
В сравнительном тесте 12 видеомоделей на одинаковом промпте лидером по сумме баллов стала Luma Ray 3.14, оказавшись одновременно самым дешевым вариантом. Лучшее качество изображения показала Seedance 2.5, которая при этом оказалась самой дорогой среди протестированных нейросетей.