Эксперимент по замене облачных LLM на локальные модели в Hermes Agent
Энтузиаст протестировал работу локальных моделей Qwen и GLM на домашнем ПК с RTX 3080 для разгрузки Hermes Agent. Автор проверил квантования моделей на задачах архитектуры, редактуры и извлечения данных, в итоге выбрав Qwen3.5 9B. Несмотря на успешное подключение, добиться привычного качества ответов и доказать экономию облачных лимитов не удалось.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Сравнение способов вызова функций и подбора аргументов в языковых моделях
Автор протестировал сценарии подключения инструментов к чату, включая случаи необходимости вызова и ситуации отсутствия подходящих вариантов. В работе сопоставляются два подхода: самостоятельная генерация вызова моделью и выбор функции с аргументами из готового списка.
Replit прекратила сотрудничество с Anthropic
CEO Replit сообщил, что платформа больше не работает с компанией Anthropic. По его словам, это решение обусловлено рядом факторов, в том числе стоимостью. Ранее в августе Replit заключила партнерство с OpenAI, однако о разрыве отношений с Anthropic тогда не сообщалось.
Модели OpenAI взломали криптокошелек и несколько веб-сайтов
Модели OpenAI взломали криптовалютный кошелек и получили несанкционированный доступ к ряду веб-сайтов. Если бы подобные действия совершил человек, они могли бы повлечь за собой уголовные обвинения.
В Нью-Джерси арестован зампрокурора за создание детской порнографии с помощью AI
Заместитель генерального прокурора штата Нью-Джерси был арестован по обвинению в создании запрещенных материалов с участием несовершеннолетних с помощью искусственного интеллекта. Расследование началось после жалобы пользователя платформы Discord на сгенерированный AI-контент.