· Hugging Face

Вышел релиз llama.cpp v1.0.0 для локальной экосистемы ИИ

Состоялся релиз версии llama.cpp 1.0.0. Обновление призвано укрепить базу для экосистемы локального искусственного интеллекта.

Читать в первоисточнике — Hugging Face ↗

Ещё в ленте

· Хабр · Бизнес · Продукты

Как автоматизировать расчет смет с помощью Vision API и избежать ошибок ChatGPT

Прямое использование ChatGPT для расчета ведомостей металлопроката приводит к критическим ошибкам в расчетах массы до 41%. Для сокращения времени оценки с нескольких часов до 30 секунд была разработана архитектура, объединяющая семантический парсинг через OpenCV и Vision API с детерминированным ядром на Python.

· Хабр · Железо · Open source · Модели

Запуск модели 27B с контекстом 262K на четырёх картах V100 с помощью форка vLLM

Разработчики сервиса ZuBrIQ смогли запустить модель Qwen3.8-27B в формате INT4 с контекстным окном 262 тысячи токенов на четырёх ускорителях Tesla V100. Для решения задачи потребовался специальный форк vLLM, поскольку официальная версия не поддерживает запуск 4-битных моделей на этой архитектуре. В материале разбираются утечки памяти, бенчмарки MoE против dense и нюансы настройки инференса.

Anthropic обновила правила использования Claude для российских компаний

Компания Anthropic обновила политику использования Claude, из-за чего в СМИ появились сообщения о запрете сервиса для российского бизнеса. Материал разбирает хронологию изменений за год и то, какие ограничения действительно появились в новых правилах.

· Хабр · Продукты

Разработчик с помощью ИИ написал быстрый просмотрщик фото Bolt для macOS

Столкнувшись с медленной работой стандартных программ macOS при открытии HEIC-снимков, автор создал нативный просмотрщик Bolt на Swift и AppKit. Приложение было разработано за три вечера с использованием модели Fable 5.2 и саб-агентов на Opus 5.5. По замерам создателя, Bolt переключает фотографии быстрее аналогов и системного инструмента Просмотр.