Сравнение MTPLX и oMLX для запуска модели Qwen3.8-27B на Mac
Энтузиаст протестировал MLX-серверы MTPLX и oMLX на MacBook Pro с чипом M4 Max на примере кодового агента с моделью Qwen3.8-27B. По итогам тестов MTPLX с многотокенным предсказанием выполнил задачу в 2,8–6,4 раза быстрее, чем oMLX, показав при этом аналогичное качество. Результаты опровергли рекомендацию ChatGPT о превосходстве oMLX на данном оборудовании.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Как собрать собственный бенчмарк для выбора LLM под рабочие задачи
Для выбора модели ИИ-ассистента к лабораторному журналу авторы создали собственный бенчмарк из 24 прикладных вопросов. В тестировании через MCP сопоставили модели DeepSeek, ChatGPT и Claude в 19 различных конфигурациях за 450 прогонов. Материал демонстрирует методику оценки эффективности и затрат на LLM под специфические задачи вместо ориентации на публичные рейтинги.
Чат-бот MyCity давал незаконные советы из-за ошибок в работе с базой знаний
Чат-бот MyCity, запущенный мэрией Нью-Йорка для малого бизнеса, давал пользователям противозаконные советы, грозящие штрафами и судами. Инцидент произошел из-за того, что система не смогла выбрать корректные данные при одновременном наличии в базе актуальной и устаревшей информации.
Разработка PDF Desk: поиск по PDF с проверкой источников ответов модели
Разработчик представил приложение PDF Desk на базе Python, Streamlit, PageIndex и PDFium для поиска по PDF-документам с помощью ИИ. Инструмент позволяет получать ответы нейросети и сразу переходить на конкретную страницу файла для проверки фактов. В статье разбираются нюансы архитектуры и тестирование приложения на модели DeepSeek.