Вышел релиз llama.cpp v1.0.0 для локальной экосистемы ИИ
Состоялся релиз версии llama.cpp 1.0.0. Обновление призвано укрепить базу для экосистемы локального искусственного интеллекта.
Читать в первоисточнике — Hugging Face ↗
Ещё в ленте
Как автоматизировать расчет смет с помощью Vision API и избежать ошибок ChatGPT
Прямое использование ChatGPT для расчета ведомостей металлопроката приводит к критическим ошибкам в расчетах массы до 41%. Для сокращения времени оценки с нескольких часов до 30 секунд была разработана архитектура, объединяющая семантический парсинг через OpenCV и Vision API с детерминированным ядром на Python.
Запуск модели 27B с контекстом 262K на четырёх картах V100 с помощью форка vLLM
Разработчики сервиса ZuBrIQ смогли запустить модель Qwen3.8-27B в формате INT4 с контекстным окном 262 тысячи токенов на четырёх ускорителях Tesla V100. Для решения задачи потребовался специальный форк vLLM, поскольку официальная версия не поддерживает запуск 4-битных моделей на этой архитектуре. В материале разбираются утечки памяти, бенчмарки MoE против dense и нюансы настройки инференса.
Anthropic обновила правила использования Claude для российских компаний
Компания Anthropic обновила политику использования Claude, из-за чего в СМИ появились сообщения о запрете сервиса для российского бизнеса. Материал разбирает хронологию изменений за год и то, какие ограничения действительно появились в новых правилах.
Разработчик с помощью ИИ написал быстрый просмотрщик фото Bolt для macOS
Столкнувшись с медленной работой стандартных программ macOS при открытии HEIC-снимков, автор создал нативный просмотрщик Bolt на Swift и AppKit. Приложение было разработано за три вечера с использованием модели Fable 5.2 и саб-агентов на Opus 5.5. По замерам создателя, Bolt переключает фотографии быстрее аналогов и системного инструмента Просмотр.