TorchNeuron упрощает запуск моделей Hugging Face на чипах AWS Trainium
Платформа TorchNeuron упростила запуск моделей из экосистемы Hugging Face на ускорителях AWS Trainium. Это решение позволяет оптимизировать выполнение ИИ-моделей на специализированном оборудовании Amazon.
Читать в первоисточнике — Hugging Face ↗
Ещё в ленте
Безопасность tool calling в Go: разделение намерений модели и прав доступа
Механизм tool calling позволяет LLM инициировать вызовы функций в backend, однако корректно сформированный запрос не гарантирует наличие прав на операцию. На примере сценария возврата платежа рассматривается способ разделения намерений модели и полномочий пользователя, а также проверка tenant ownership. Подход направлен на предотвращение несанкционированного выполнения опасных команд.
Разработчик создал ИИ-систему для поиска лидов в чатах и соцсетях
Разработчик сайтов и ботов создал робота для автоматического мониторинга чатов и соцсетей в поисках потенциальных заказов. Система фильтрует сообщения, оценивает их с помощью нейросети и формирует черновик ответа, сохраняя затраты в пределах $30 в месяц. Автор описал архитектуру решения и технические проблемы, возникшие при реализации.
Apple Intelligence занимает десятки гигабайт на накопителях устройств
Летом 2024 года компания Apple представила платформу Apple Intelligence, пообещав обновленную Siri и интеграцию с приложениями. При этом ИИ-функции требуют около 30 гигабайт памяти на накопителе устройства, а удалить их затруднительно.
Релиз llm-tools-datasette 0.1.1: исправление совместимости с LLM 0.33
Выпущена версия 0.1.1 плагина llm-tools-datasette для инструмента LLM. Обновление исправляет проблему совместимости, возникшую после перехода LLM на httpx2 в версии 0.33. Ошибка затрагивала плагины, использовавшие https без прямого указания зависимости.