Опыт настройки PII-фильтра перед облачными LLM вместо полного селф-хостинга
Автор протестировал различные GPU для самостоятельного запуска нейросетей, но отказался от полного селф-хостинга из-за роста цен на оборудование и рисков утечек данных к провайдерам. В качестве альтернативы было внедрено решение на базе open-source фильтра персональных данных перед облачными моделями с резервной локальной LLM.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Использование LLM для инкрементального обновления карт в PlyLoom
Автор описал опыт интеграции больших языковых моделей (LLM) для доработки карт сущностей. В проекте PlyLoom рассматривается переход к инкрементальным изменениям без перезагрузки всего проекта, а также возможность сравнения версий файлов.
Later, Bender: проект для сохранения контекста между сессиями работы с LLM
При длительной разработке с языковыми моделями контекст прошлых решений теряется при завершении диалога, из-за чего человеку приходится заново пересказывать детали системе. Чтобы полезное состояние работы сохранялось независимо от смены чата или агента, был разработан проект Later, Bender.
Как ИИ-ассистенты меняют формат собеседований программистов
Кандидаты на позиции разработчиков начали использовать ИИ-агентов в реальном времени, способных отвечать на вопросы быстрее интервьюера. Из-за этого классическая проверка теоретических знаний теряет эффективность, а подходы к проведению собеседований требуют адаптации.
Mirror Particle разрабатывает модель мира для прогнозирования поведения людей
Стартап Mirror Particle представит на TechCrunch Disrupt Startup Battlefield созданную с нуля модель мира для прогнозирования человеческого поведения. Компания заявляет, что стандартные языковые модели не подходят для рыночных исследований и брендинговых стратегий.