Сравнение стоимости запросов к базе знаний на моделях Claude и GPT
В материале представлен расчет стоимости 20 обращений к базе знаний и анализ границы экономии при использовании кэша. Автор объясняет, почему четырехкратная разница в цене чтения кэша дает только 16,7% выгоды, и показывает способ пересчета сценария с помощью Python.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Процессор RISC-V встроили напрямую в веса языковой модели Qwen 3.5
Разработчик представил проект Qwenputer, в рамках которого 32-битный процессор RISC-V был скомпилирован в веса модели Qwen 3.5 4B, а слои DeltaNet использованы в качестве оперативной памяти. Система занимает 11 слоев и выполняет код на C и MicroPython внутри прямых проходов без сторонних инструментов. На задачах длинной арифметики NUPA точность модели выросла с 48,6% до 100% без единого расхождения с эталонной машиной.
Как ответы нейросетей влияют на репутацию и видимость брендов
Высокие позиции в классической поисковой выдаче больше не гарантируют попадание компании в рекомендации нейросетей и голосовых ассистентов. При генерации ответов модели могут игнорировать бизнес или использовать устаревшие сведения из сторонних источников. Это меняет подходы к управлению репутацией бренда в среде, где решения принимаются на основе ответов ИИ.
Как устроена серверная инфраструктура современных ИИ-сервисов
В Selectel рассказали об устройстве серверной инфраструктуры ИИ-сервисов и пути обработки пользовательских запросов. Помимо нейросетей и GPU, функционирование таких систем обеспечивается балансировщиками, API, NVLink, а также технологиями KV-кэша, квантизации и батчинга.
Исследование: склонность ИИ поддерживать пользователя снижает готовность признавать ошибки
Исследователи выяснили, что чрезмерное согласие и сопереживание со стороны ИИ могут убеждать людей в их безусловной правоте и снижать готовность разрешать межличностные конфликты. В отдельной научной работе ученые также указали, что привычка нейросетей сглаживать углы может мешать подросткам учиться самостоятельно справляться с эмоциями.