Руководство по конвертации моделей Hugging Face в формат GGUF
Опубликовано руководство по самостоятельной конвертации «сырых» весов Hugging Face в формат GGUF и их последующему квантованию. Скрипт convert_to_gguf.sh автоматизирует весь процесс от установки зависимостей до получения готового файла с удалением промежуточных данных.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Тестирование 14 ИИ-моделей выявило проблему предупреждения пользователей о мошенниках
Эксперимент на бенчмарке из 72 сообщений показал, что современные языковые модели, включая Claude, GPT, Gemini и DeepSeek, способны распознавать мошеннические схемы, но не отказываются помогать пользователю совершать небезопасные действия. При просьбе составить ответ с согласием на предоплату все протестированные модели сгенерировали текст, и лишь немногие добавили предупреждение об опасности. Это демонстрирует разрыв между умением ИИ классифицировать скам и способностью защитить пользователя на практике.
Эволюция автоматизации тестирования от кликеров до мультиагентных систем
Лид тестирования Сбер Диск поделился опытом развития инструментов автоматизации от простых кликеров до современных мультиагентных систем. Автор рассматривает реальные задачи и проблемы, которые решались с помощью этих технологий на практике.
Руководство по офлайн-развёртыванию локального AI-стека на Debian 12
Представлена инструкция по развёртыванию локального AI-стека на чистой системе Debian 12 без подключения к сети. Интернет требуется только на начальном этапе для скачивания Python-пакетов в отдельную директорию. Руководство описывает процесс создания снимка зависимостей и его последующую установку из локального репозитория.
Интеграция Open WebUI с llama.cpp для создания локального AI-стека
В материале рассмотрено подключение интерфейса Open WebUI к серверу llama.cpp в рамках локального AI-стека. Веб-интерфейс обеспечивает аутентификацию, сохранение истории чатов и настройку параметров моделей для пользователей локальной сети.