Запуск модели Qwen на RTX 3090 со скоростью 70 токенов в секунду
Автор описал способ запуска модели qwen3.8-27b на потребительской видеокарте RTX 3090. Стандартный запуск из Hugging Face через популярные инференс-движки может не обеспечить оптимальную производительность. В статье предложен пошаговый план действий для достижения скорости в 70 токенов в секунду.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Создание прототипа личного ИИ-ассистента и оценка его пользы для бизнеса
В материале рассматривается сборка личного ИИ-агента на небольшом сервере с управлением через Telegram вместо оформления платных подписок. Такой прототип позволяет на практике проверить, какую рабочую рутину способна автоматизировать система.
Content AI выяснила особенности внедрения LLM в крупном бизнесе
Компания Content AI провела более 50 глубинных интервью с представителями ИТ- и ИБ-служб среднего и крупного бизнеса из различных отраслей. Исследование посвящено готовности компаний к внедрению больших языковых моделей, экономике пилотных проектов, вопросам передачи данных и стоп-факторам. На основе опроса аналитики выделили ключевые тренды использования LLM на ближайшие один-два года.
Подход к построению системы безопасности для платформы ИИ-сотрудников
В материале представлен подход к созданию комплексной системы безопасности на примере разрабатываемой платформы для ИИ-сотрудников. Концепция объединяет защиту от классических угроз с решениями для шифрования, агентных систем и комплаенса.
ИИ-агенты помогли собрать семейный архив и легли в основу открытого движка
Два ИИ-агента проанализировали тысячи неиндексированных сканов и рукописей XVIII века, восстановив родословную на 11 поколений из 597 человек. На основе полученных наработок автор создал открытый движок для семейных сайтов и MCP-сервер для ИИ-ассистентов.