Тестирование квантованной модели Qwen3.8-27B на видеокарте RTX 5070 Ti
Автор провел локальное тестирование модели Qwen3.8-27B IQ3 на видеокарте RTX 5070 Ti с контекстом 131K. Скорость генерации в один поток достигла 68,3 токена в секунду, а успешность выполнения задач составила 91,1%. Тестирование демонстрирует эффективность работы модели с квантованием IQ3 на потребительском оборудовании.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Как составлять задачи для генерации кода с помощью AI: практический опыт и чек-лист
Хотя AI позволяет быстро создавать рабочие прототипы, с развитием проекта в сгенерированном коде могут возникать технические и архитектурные сбои. Автор делится опытом подготовки требований к задачам до генерации кода, чтобы обеспечить устойчивость системы в продакшене. В материале разобран кейс с платежной операцией и приведен чек-лист из 12 вопросов.
Опыт создания мультиагентного ИИ-секретаря на базе DeepSeek и Claude Opus
Разработчик Telegram-бота «Лиза Петровна» раскрыл статистику работы мультиагентного ИИ-секретаря, обработавшего 8568 запросов за месяц при расходах в $77. Около 88% ответов формирует DeepSeek, тогда как 7% запросов к Claude Opus генерируют три четверти всех затрат на языковые модели. Автор также описал архитектуру памяти на pgvector и структуру пользовательских сценариев.
Мир Квестов представил ИИ-помощника Квестоша для контакт-центра
Агрегатор «Мир Квестов» внедрил в контакт-центр ИИ-бота Квестоша для подбора игр и бронирования. Архитектура решения включает базу знаний из markdown-файлов, интеграцию по протоколу MCP, маскировку персональных данных и тестирование пяти моделей по гейтам безопасности.
Почему дешевая аренда GPU не гарантирует экономию в ИИ-проектах
Низкая почасовая ставка аренды GPU часто не отражает реальных затрат на ИИ-проекты из-за простоев, скорости хранилища и времени инженеров на отладку. Представитель K2 Cloud рассказал, как оценивать облачные площадки и какие вопросы задавать поставщикам инфраструктуры, чтобы избежать перерасхода бюджета.