Опыт запуска локальных моделей ИИ вместо облачных сервисов
Пользователи все чаще обращаются к локальному запуску моделей ИИ, стремясь не передавать персональные данные сторонним облачным сервисам. Материал посвящен практическому опыту регулярного использования локального искусственного интеллекта, его возможностям и сложностям.
Читать в первоисточнике — The Verge ↗
Ещё в ленте
Эксперты считают, что голосовой ИИ еще не достиг своего уровня ChatGPT
По мнению руководителей, голосовой ИИ пока не совершил прорыв, сопоставимый с успехом ChatGPT. Технология часто упускает важные детали в контекстном слое, что приводит к сбою всего пайплайна.
Как ИИ-агенты меняют кибербезопасность: восемь выводов из недавних атак
Бен Лорика из Gradient Flow проанализировал инциденты безопасности с участием ИИ-агентов, включая атаку на Hugging Face. Применение агентов позволило многократно сократить время проведения атак за счет непрерывности действий и упорства при эксплуатации стандартных уязвимостей. На основе разобранных случаев сформулировано восемь практических мер защиты систем за пределами самих моделей.
Прототип чат-бота для поиска ответов в учебниках по обществознанию
Разработан прототип чат-бота, который ищет ответы в текстах единых школьных учебников по обществознанию для 9 и 10 классов с указанием страниц. Система построена на базе pymupdf4llm, векторного хранилища FAISS, эмбеддингов multilingual-e5-large и языковой модели Qwen2.5-3B на видеокарте T4.
Google DeepMind представила открытую модель эмбеддингов EmbeddingGemma 2
Google DeepMind выпустила открытую мультимодальную модель EmbeddingGemma 2, переводящую текст, код, изображения, видео и аудио в единое 768-мерное векторное пространство. Благодаря компактному размеру модель занимает от 191 до 567 МБ памяти и позволяет выполнять поиск локально на устройстве без отправки данных на сервер.