Архитектура корпоративного AI-шлюза и ограничения классических прокси
Классические корпоративные прокси не приспособлены к работе с LLM, так как не могут отслеживать конфиденциальные данные в промптах и ответах, а также предотвращать перерасход токенов. Для решения этих задач необходима специализированная архитектура AI-шлюза, обеспечивающая безопасность данных и учет контекста, как это реализовано в платформе AI Оптимум.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
AnythingLLM позволяет создать чат-бота по документам на базе локальных LLM
Опенсорсное приложение AnythingLLM позволяет превратить файлы, включая таблицы и PDF-документы, в базу знаний с поддержкой RAG. Инструмент обеспечивает общение с документами через локальные модели на собственной видеокарте или через облачные LLM без необходимости оформлять подписку OpenAI. Это упрощает обработку больших объемов данных без ограничений контекста.
Как Авито использует LLM для хаос-тестирования в продакшене
Команда TestOps в PaaS Авито внедрила языковые модели в платформу хаос-тестирования для проверки отказоустойчивости сервисов. LLM применяются для автоматического анализа прошлых инцидентов и формирования выводов по итогам проведенных экспериментов.
Метод обратной теории игр предложили для контроля ИИ-агентов
Исследователи безопасности предлагают использовать подход под названием «обратная теория игр» для согласования ИИ с интересами человека. Метод направлен на создание стимулов, при которых следование правилам становится для мощных моделей наиболее рациональным выбором. Это призвано предотвратить нарушение законов автономными агентами по мере роста их возможностей.
Внедрение ИИ для заполнения медицинских протоколов приемов
На Форуме лидеров страхового рынка обсудили применение искусственного интеллекта для автоматизации заполнения протоколов врачебных приемов. Подобные решения уже используются участковыми врачами в Москве, предлагаются Яндексом и разрабатываются на базе открытых моделей. Страховщики ДМС заинтересованы во внедрении этой технологии, однако процесс ее масштабирования сдерживается самими клиниками.