Руководство по сборке llama.cpp и локальному запуску сервера с моделью
Опубликована вторая часть руководства по настройке локального AI-стека на базе llama.cpp. В материале рассматривается сборка проекта, выбор параметров запуска, ограничение памяти и развертывание встроенного веб-сервера. Это позволяет запустить чат с локальной нейросетью через стандартный веб-интерфейс llama.cpp.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Руководство по сборке локального AI-стека: организация и выбор моделей
В третьей части руководства описан процесс наполнения директории моделями под различные задачи и правила их структурирования. Также представлен способ создания статической HTML-шпаргалки, помогающей ориентироваться в назначении моделей без обращения к конфигурационным файлам.
Различия между слабым (ANI) и сильным (AGI) искусственным интеллектом
В дискуссиях об искусственном интеллекте без предварительного контекста часто возникает путаница относительно классификации технологий. До появления в общем доступе моделей вроде GPT под термином ИИ аудитория обычно понимала концепцию сильного интеллекта из научной фантастики, такого как HAL 9000 или Skynet.
Опыт применения LLM-агента для автоматизации разработки legacy-прошивки
Представлен опыт ускорения и автоматизации разработки legacy-прошивки для контроллера чистых помещений. В материале рассматривается интеграция LLM-агента в Firmware DLC, выстраивание feedback loop и работа с ADR. Также описаны подходы к автоматизации тестирования и устранению аппаратных ограничений шины I²C и прерываний.
Руководство по сборке локального AI-стека: запуск LLM на CPU
Опубликована первая часть руководства по запуску локальных языковых моделей на CPU. В материале кратко рассматривается стек технологий и приводится план реализации кейса.