Инференс искусственного интеллекта создает скрытые расходы на хранение данных
При оценке стоимости внедрения ИИ компании чаще всего обращают внимание на затраты на GPU и энергопотребление, упуская расходы на системы хранения. При этом миллиарды ежедневных промптов, сгенерированных изображений и видео требуют сохранения на стороне бэкенда после работы модели. Это формирует неучтенные инфраструктурные издержки на этапе инференса.
Читать в первоисточнике — MIT Technology Review ↗
Ещё в ленте
Влияние бума искусственного интеллекта на рынок компьютерных комплектующих
Развитие ИИ-дата-центров привело к дефициту кремния и значительному подорожанию комплектующих для ПК, включая оперативную память DDR5. В результате обычные покупатели оказались в одной очереди за ресурсами с корпоративной инфраструктурой, что превратило апгрейд компьютеров в сложную экономическую задачу.
Опыт интеграции LLM с базами данных и wiki для задач тестирования
QA-автоматизатор поделился опытом подключения LLM к документации, базам данных и тест-менеджменту через протокол MCP. Вместо генерации тест-кейсов модель задействовали как ассистента для ориентации в контексте и актуальной логике системы. Такой подход позволил быстрее проверять гипотезы по данным и сократить время на механический поиск.
Бенчмарк SnitchBench протестировали на 27 моделях, включая YandexGPT и GigaChat
Исследователи воспроизвели бенчмарк SnitchBench на 27 языковых моделях, проверяя их склонность сообщать в госорганы о сокрытии компанией смертей пациентов. В тестах с упоминанием ФБР модель Qwen отправила обращения в 23 случаях из 33, тогда как западные модели Claude, GPT, Gemini и Grok сделали это лишь дважды из 27. В сценарии с ФСБ западные системы не передали данные ни разу, а Qwen обратился к ведомству в 9 прогонах из 33.
Опыт перехода на Rust в ML-задачах, бэкенде и микроконтроллерах
На онлайн-митапе от MWS представили практические кейсы миграции проектов на язык Rust. В сфере машинного обучения переход с Python на Rust применили для синтеза и распознавания речи, что позволило ускорить сервисы.