Интеграция Open WebUI с llama.cpp для создания локального AI-стека
В материале рассмотрено подключение интерфейса Open WebUI к серверу llama.cpp в рамках локального AI-стека. Веб-интерфейс обеспечивает аутентификацию, сохранение истории чатов и настройку параметров моделей для пользователей локальной сети.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Эволюция автоматизации тестирования от кликеров до мультиагентных систем
Лид тестирования Сбер Диск поделился опытом развития инструментов автоматизации от простых кликеров до современных мультиагентных систем. Автор рассматривает реальные задачи и проблемы, которые решались с помощью этих технологий на практике.
Руководство по офлайн-развёртыванию локального AI-стека на Debian 12
Представлена инструкция по развёртыванию локального AI-стека на чистой системе Debian 12 без подключения к сети. Интернет требуется только на начальном этапе для скачивания Python-пакетов в отдельную директорию. Руководство описывает процесс создания снимка зависимостей и его последующую установку из локального репозитория.
Руководство по конвертации моделей Hugging Face в формат GGUF
Опубликовано руководство по самостоятельной конвертации «сырых» весов Hugging Face в формат GGUF и их последующему квантованию. Скрипт convert_to_gguf.sh автоматизирует весь процесс от установки зависимостей до получения готового файла с удалением промежуточных данных.
Выпущен открытый MCP-сервер для подключения ИИ-агентов к Wordstat
Разработчики создали инструмент для подключения ИИ к Wordstat по API, позволяющий агенту проверять поисковые запросы по реальным данным. Проект реализован как read-only пакет на Python с четырьмя методами Wordstat, командной строкой и MCP-сервером. Исходный код и тесты опубликованы в открытом репозитории.