· Хабр

Создание собственного шлюза поверх OpenAI API: преимущества и ограничения

В материале рассматривается необходимость разработки собственного шлюза поверх OpenAI-совместимого API провайдера для работы команды разработчиков. Прослойка позволяет централизованно управлять ключами, распределять запросы по моделям, логировать вызовы и отслеживать расходы токенов. Автор анализирует возможности и ограничения такого подхода, подкрепляя решение примерами на Python.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Модели · Железо

Движок Strata позволяет запускать большие модели Qwen на ПК с 16 ГБ VRAM

Движок Strata оптимизирует работу моделей архитектуры Qwen3.8-Flash-Next на потребительском ПК с 16 ГБ VRAM и 64 ГБ RAM. Система распределяет востребованных экспертов в видеопамять, остальных оставляет в оперативной памяти, а справочные таблицы выносит на SSD. Это позволяет обрабатывать контекст объемом до 512K токенов для работы с реальными проектами кода без резкой потери скорости.

· OpenAI · Бизнес · Продукты

Медиаподразделение LVMH и OpenAI объявили о стратегическом партнерстве

Медиаподразделение группы LVMH заключило соглашение о стратегическом партнерстве с OpenAI для поддержки журналистики с помощью искусственного интеллекта. В рамках сотрудничества материалы изданий LVMH станут доступнее пользователям сервиса ChatGPT.

· Хабр · Железо · Безопасность

Google представила новые ИИ-ускорители TPU 8tx и TPU 8i Max

Google пополнила восьмое поколение ИИ-ускорителей новыми системами TPU 8tx и TPU 8i Max. TPU 8tx ориентирован на безопасные вычисления с конфиденциальными данными, а TPU 8i Max создан для моделей и ИИ-агентов, работающих с большими объемами контекста.