Как устроена серверная инфраструктура современных ИИ-сервисов
В Selectel рассказали об устройстве серверной инфраструктуры ИИ-сервисов и пути обработки пользовательских запросов. Помимо нейросетей и GPU, функционирование таких систем обеспечивается балансировщиками, API, NVLink, а также технологиями KV-кэша, квантизации и батчинга.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Сбербанк обозначил целевые нормы нагрузки на сотрудников с использованием ИИ
Согласно открытому документу Сбербанка по системе VibePPM, целевой ориентир одновременных проектов для офисного работника с ИИ составляет 15–25 задач. При этом классическая норма ведения проектов без применения искусственного интеллекта оценивается в 3–5 проектов.
Процессор RISC-V встроили напрямую в веса языковой модели Qwen 3.5
Разработчик представил проект Qwenputer, в рамках которого 32-битный процессор RISC-V был скомпилирован в веса модели Qwen 3.5 4B, а слои DeltaNet использованы в качестве оперативной памяти. Система занимает 11 слоев и выполняет код на C и MicroPython внутри прямых проходов без сторонних инструментов. На задачах длинной арифметики NUPA точность модели выросла с 48,6% до 100% без единого расхождения с эталонной машиной.
Как ответы нейросетей влияют на репутацию и видимость брендов
Высокие позиции в классической поисковой выдаче больше не гарантируют попадание компании в рекомендации нейросетей и голосовых ассистентов. При генерации ответов модели могут игнорировать бизнес или использовать устаревшие сведения из сторонних источников. Это меняет подходы к управлению репутацией бренда в среде, где решения принимаются на основе ответов ИИ.
Сравнение стоимости запросов к базе знаний на моделях Claude и GPT
В материале представлен расчет стоимости 20 обращений к базе знаний и анализ границы экономии при использовании кэша. Автор объясняет, почему четырехкратная разница в цене чтения кэша дает только 16,7% выгоды, и показывает способ пересчета сценария с помощью Python.