· Хабр

Способы ускорения локального инференса MoE-моделей на домашнем железе

Представлены практические методы оптимизации инференса больших MoE-моделей на потребительских видеокартах с использованием движка Strata. В материале рассматриваются встроенные функции системы и пользовательский патч с замерами производительности.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· TechCrunch · Бизнес · Железо

Строительство дата-центров для ИИ замедляется из-за бюрократии и дефицита энергии

Бум строительства дата-центров сталкивается с сопротивлением местных сообществ, задержками при выдаче разрешений и борьбой за электроэнергию. В результате многие из анонсированных многомиллиардных проектов ИИ-инфраструктуры рискуют никогда не быть реализованными.

· TechCrunch · Бизнес

CoreWeave привлекает предоплаты и краткосрочные контракты для финансирования ИИ

Согласно финансовому отчету за третий квартал, CoreWeave все чаще требует от клиентов предоплату и привлекает заемные средства под конкретные контракты. Компания также рассматривает переход к краткосрочным сделкам, что может привести к росту цен на ее услуги. С помощью этих мер CoreWeave рассчитывает финансировать дальнейший рост в сфере искусственного интеллекта.

· TechCrunch · Бизнес · Железо

Британская Fractile привлекла $720 млн на разработку ИИ-чипов

Британская компания Fractile привлекла 720 млн долларов на создание специализированных процессоров для искусственного интеллекта. Этот раунд сделал ее одним из самых финансируемых игроков в сфере разработки ИИ-чипов.

Конгресс США вызвал главу Nvidia Дженсена Хуанга на закрытый брифинг

Республиканцы в Палате представителей США потребовали от генерального директора Nvidia Дженсена Хуанга явиться на закрытый брифинг до конца среды. Слушания инициированы в связи с сообщениями о его предполагаемой связи с китайской шпионкой.