Опыт развертывания локальной 125B MoE-модели для рабочих задач и ИИ-агентов
Разработчик поделился практическим опытом запуска локальной нейросети на 125 миллиардов параметров архитектуры MoE на рабочей станции из-за требований информационной безопасности. Система обеспечивает скорость 22–25 токенов в секунду и выполняет задачи написания кода, расследования инцидентов и автоматизации процессов без передачи данных во внешние облачные сервисы.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
FAA расширяет применение ИИ для управления воздушным движением в США
FAA внедряет ИИ-инструмент для борьбы с перегрузкой воздушного пространства на всей территории США. Авиакомпании одобрили использование новой системы, однако профсоюз авиадиспетчеров к участию в проекте привлечен не был.
ИИ-сервис Muse научился совершать звонки бизнесу в США
Искусственный интеллект Muse теперь может совершать исходящие звонки коммерческим организациям в США. Доступ к новой функции предоставляется на платной основе.
Google представила модель Gemini 4 Hydrogen для сложных запросов
Google выпустила модель Gemini 4 Hydrogen, которая эффективнее обрабатывает сложные вопросы, включая запросы из нескольких частей, опечатки и узкоспецифичные темы. Нейросеть способна разбивать вопрос и отвечать на каждую его составляющую. Модель уже доступна в поиске Google, приложении Gemini и различных тарифах компании.
Nebius планирует инвестировать $40 млрд в расширение ИИ-инфраструктуры
Компания Nebius намерена профинансировать масштабирование ИИ-инфраструктуры на 40 миллиардов долларов с помощью предоплат клиентов и кредитов. При этом задержки в дата-центре Microsoft вызывают вопросы к устойчивости подобной схемы финансирования.