Как рассчитывается реальная стоимость запросов к языковым моделям
Базовый расчет расходов на LLM по прайсу за миллион токенов часто расходится с реальными счетами. На итоговую цену вызова влияют работа кэша промптов, reasoning-токены и объем контекста, способный резко увеличить стоимость запроса.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Подключение n8n к локальной LLM через Ollama и нюансы приватности
Платформу автоматизации n8n можно настроить для работы с локальной языковой моделью через Ollama с помощью стандартных HTTP-запросов к API без отправки данных в облако. При этом сохраняются риски утечки чувствительной информации через историю выполнений n8n, логи контейнеров и резервные копии базы данных.
Сравнение шести методов поиска на каталоге из 82 тысяч товаров
Специалисты протестировали полнотекстовый, векторный, гибридный поиск, поиск по фото, геопоиск и AI на каталоге из 82 524 товаров. В материале разобраны ошибки каждого метода, специфика получаемой выдачи и применяемые SQL-запросы.
Positive Technologies интегрировала ИИ-помощника PT Naira в MaxPatrol SIEM
Positive Technologies использует ИИ-помощника PT Naira для ускорения расследования инцидентов в MaxPatrol SIEM. В условиях фиксации более 10 000 срабатываний в день, когда до двух третей алертов остаются неразобранными, инструмент помогает аналитикам SOC быстрее понимать контекст событий.
Опыт разработки автономного ИИ-агента для пет-проектов
Разработчик поделился личным опытом создания автономного агента для написания кода в пет-проектах. В материале собраны выводы из практики, а также разобраны решения, которые сработали или оказались неэффективными.