Оптимизация работы модели Qwen на процессоре и ОЗУ без видеокарты
Автор протестировал ускорение генерации модели Qwen3.8-Flash-Next Gyro формата GGUF исключительно на мощностях процессора и оперативной памяти. Для оптимизации кода llama использовался Opus, выполнявший серию тестов на пользовательском оборудовании.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опубликован справочник по параметрам и командам llama.cpp
Составлен справочник по аргументам утилит для инференса llama-cli, llama-completion и llama-server из проекта llama.cpp. В материале собраны и прокомментированы параметры командной строки с разбором принципов их работы на основе изучения исходного кода.
Справочник по основным командам и общим параметрам llama.cpp
Опубликовано руководство по общим параметрам утилит проекта llama.cpp. В материале разобраны команды для llama-cli, llama-completion и llama-server с шаблонами использования и расширенными комментариями к штатным описаниям.
Итоги полугода развития каталога инструментов кибербезопасности для ИИ
Создатели проекта awesome-ai-security-tools подвели итоги сбора инструментов кибербезопасности на базе ИИ и средств защиты моделей. За полгода репозиторий получил более 200 запросов на изменение от сотен авторов. Автор поделился опытом проверки открытости решений и наблюдениями за развитием сегмента.
Как формируется рынок машинной этики в современных моделях искусственного интеллекта
С развитием ИИ от простых голосовых помощников до систем, способных писать код и вести диалоги, вопрос машинной этики стал насущной рыночной задачей. Разработчики определяют правила поведения моделей на разных уровнях сложности, заложенных еще в шкале философа Джеймса Мура. В результате компании формируют собственные этические подходы и предлагают их выбор покупателям.