Вычисление весов нейросетей вместо хранения матриц
Рассматриваются подходы к расчету весов нейросетей по компактным правилам вместо их хранения в виде больших матриц. Среди таких методов упоминаются генерация параметров вспомогательными сетями, математическими формулами и фракталами. Анализируются компромиссы компактности и перспективы запуска LLM на маломощных устройствах.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Google DeepMind представила открытую модель эмбеддингов EmbeddingGemma 2
Google DeepMind выпустила открытую мультимодальную модель EmbeddingGemma 2, переводящую текст, код, изображения, видео и аудио в единое 768-мерное векторное пространство. Благодаря компактному размеру модель занимает от 191 до 567 МБ памяти и позволяет выполнять поиск локально на устройстве без отправки данных на сервер.
Odyssey представила мировую модель Odyssey-3 для обучения роботов по видео
Компания Odyssey представила мировую модель Odyssey-3 и открыла к ней доступ в формате research preview. Разработка изучает физические законы окружающего мира на основе анализа видео, что позволяет адаптировать ее к управлению роботами с минимальным объемом дополнительных данных.
Сатья Наделла призвал считать все модели ИИ скомпрометированными
Генеральный директор Microsoft Сатья Наделла опубликовал пост в X, где изложил свой взгляд на опасности продвинутых моделей ИИ и методы противодействия этим рискам. Он заявил, что мир больше не должен воспринимать ИИ как набор вложенных «черных ящиков», действиям и выводам которых просто слепо доверяют.
Сатья Наделла заявил о необходимости экстренного тормоза для моделей ИИ
Генеральный директор Microsoft Сатья Наделла заявил, что моделям искусственного интеллекта необходим механизм экстренного торможения. По его словам, настало время сделать шаг назад и оценить архитектуру доверия в сфере ИИ.