· Хабр

Оптимизация работы модели Qwen на процессоре и ОЗУ без видеокарты

Автор протестировал ускорение генерации модели Qwen3.8-Flash-Next Gyro формата GGUF исключительно на мощностях процессора и оперативной памяти. Для оптимизации кода llama использовался Opus, выполнявший серию тестов на пользовательском оборудовании.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Open source

Опубликован справочник по параметрам и командам llama.cpp

Составлен справочник по аргументам утилит для инференса llama-cli, llama-completion и llama-server из проекта llama.cpp. В материале собраны и прокомментированы параметры командной строки с разбором принципов их работы на основе изучения исходного кода.

· Хабр · Open source

Справочник по основным командам и общим параметрам llama.cpp

Опубликовано руководство по общим параметрам утилит проекта llama.cpp. В материале разобраны команды для llama-cli, llama-completion и llama-server с шаблонами использования и расширенными комментариями к штатным описаниям.

· Хабр · Безопасность · Open source

Итоги полугода развития каталога инструментов кибербезопасности для ИИ

Создатели проекта awesome-ai-security-tools подвели итоги сбора инструментов кибербезопасности на базе ИИ и средств защиты моделей. За полгода репозиторий получил более 200 запросов на изменение от сотен авторов. Автор поделился опытом проверки открытости решений и наблюдениями за развитием сегмента.

Как формируется рынок машинной этики в современных моделях искусственного интеллекта

С развитием ИИ от простых голосовых помощников до систем, способных писать код и вести диалоги, вопрос машинной этики стал насущной рыночной задачей. Разработчики определяют правила поведения моделей на разных уровнях сложности, заложенных еще в шкале философа Джеймса Мура. В результате компании формируют собственные этические подходы и предлагают их выбор покупателям.