Руководство по сборке локального AI-стека: запуск LLM на CPU
Опубликована первая часть руководства по запуску локальных языковых моделей на CPU. В материале кратко рассматривается стек технологий и приводится план реализации кейса.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Различия между слабым (ANI) и сильным (AGI) искусственным интеллектом
В дискуссиях об искусственном интеллекте без предварительного контекста часто возникает путаница относительно классификации технологий. До появления в общем доступе моделей вроде GPT под термином ИИ аудитория обычно понимала концепцию сильного интеллекта из научной фантастики, такого как HAL 9000 или Skynet.
Опыт применения LLM-агента для автоматизации разработки legacy-прошивки
Представлен опыт ускорения и автоматизации разработки legacy-прошивки для контроллера чистых помещений. В материале рассматривается интеграция LLM-агента в Firmware DLC, выстраивание feedback loop и работа с ADR. Также описаны подходы к автоматизации тестирования и устранению аппаратных ограничений шины I²C и прерываний.
Руководство по сборке llama.cpp и локальному запуску сервера с моделью
Опубликована вторая часть руководства по настройке локального AI-стека на базе llama.cpp. В материале рассматривается сборка проекта, выбор параметров запуска, ограничение памяти и развертывание встроенного веб-сервера. Это позволяет запустить чат с локальной нейросетью через стандартный веб-интерфейс llama.cpp.
Критерии приемки AI/ML-проектов: определение качества и фиксация в договоре
Оценка работы нейросетей отличается от классической разработки из-за вероятностного характера их результатов. ML-инженер компании Далее делится способами измерения качества AI/ML-решений и фиксации условий сдачи проектов в договоре.