Опыт оптимизации расхода токенов и работы с контекстным окном Claude
Пользователь Claude столкнулся с быстрым исчерпанием недельных лимитов токенов даже на подписке за 200 долларов. Чтобы избежать покупки дополнительных аккаунтов, он занялся оптимизацией потребления контекста в своем проекте. Основной причиной перерасхода токенов оказались привычки повседневного удобства, а не объем кода или сложность задач.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Энтузиаст запустил языковую модель Qwen на плате FPGA за 50 долларов
Разработчик использовал открытый проект openTPU для запуска языковой модели на плате FPGA с 4 ГБ памяти стоимостью 50 долларов. Устройство подключили к стандартному мини-ПК в рамках эксперимента по созданию собственного ИИ-ускорителя.
Эффективное планирование задач для GPU-кластеров
Hugging Face представила материал об эффективном планировании рабочих нагрузок на GPU-кластерах. Публикация рассматривает подходы к оптимизации распределения вычислительных ресурсов при обучении и инференсе моделей.
Авито разработала cloud-native-платформу Aviflow для обучения LLM
Разработчики Авито рассказали о создании собственной платформы Aviflow, предназначенной для распределённого обучения больших языковых моделей на серверах HGX. Новое решение пришло на смену ручному обучению на выделенных машинах DevBox из-за роста команды и появления задач, связанных с LLM.
Matthew Green оценил риски для алгоритмов шифрования из-за развития AI
Криптограф Matthew Green оценил в 15% вероятность утраты доверия к существующим алгоритмам шифрования с открытым ключом. По его словам, скорость развития AI и появления новых угроз значительно опережает темпы обновления криптографических стандартов людьми. Эксперт подчеркивает, что справиться с подобными вызовами удастся только при условии заблаговременной подготовки.