Сравнение PyTorch MPS и Apple MLX при дообучении LLM на Mac с 16 ГБ памяти
Бенчмарки на базе модели Qwen 2.5 с разными размерами и длиной контекста показали различия в работе PyTorch MPS и Apple MLX. Фреймворк Apple MLX уступает PyTorch MPS по скорости дообучения, однако позволяет запускать вдвое более крупные модели в условиях ограниченной памяти Mac. Результаты тестов помогают определить оптимальный стек для локального SFT с учетом квантования.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Meta приостановила функцию шеринга диалогов с Muse из-за утечки данных
Meta приостановила работу функции ИИ-ассистента Muse, позволяющей делиться переписками, после обнаружения ссылок на них в открытом доступе. Исследователи компании Claroc выявили более 6800 ссылок на чаты через публичные DNS-записи. Проблема затронула конфиденциальность пользователей и безопасность данных ассистента.
Запуск ИИ-агентов в GitLab CI для автоматизации задач тестирования
Представлен способ запуска ИИ-агентов для выполнения повторяющихся задач в GitLab CI с помощью утилиты opencode-cli. На примере анализа прогона автотестов продемонстрирована безопасная настройка пайплайна на базе стандартных Docker-раннеров. Описанный подход подходит и для других процессов, не требующих прямого написания кода.
Bloomberg: Эрик Шмидт владеет около 1% акций Anthropic
По данным Bloomberg, бывший генеральный директор Google Эрик Шмидт владеет долей около 1% в ИИ-компании Anthropic. Сообщается, что этот пакет акций примерно в два раза меньше доли генерального директора стартапа Дарио Амодеи.
Meta возлагает вину за скачивание книг для обучения ИИ на рядовых сотрудников
Meta заявила, что руководство компании не принимало решений о нелегальной загрузке книг для обучения искусственного интеллекта. Ответственность за использование торрентов перекладывается на отдельных сотрудников с целью защитить топ-менеджеров.