Исследование подходов к повышению качества моделей с линейным вниманием
Студенты НИУ ВШЭ и VK исследовали способы приблизить качество моделей с линейным вниманием к уровню стандартных трансформеров на базе архитектуры Dense Attention. Авторы проверили влияние изменения числа голов, позиционного кодирования, схемы слоев и MLM-предобучения на эффективность моделей. Подход с линейным вниманием позволяет экономить память при генерации текста и обрабатывать длинные последовательности без квадратичного роста затрат.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Ученые обнаружили «ось боли» у языковых моделей
Авторы исследования The Pain Axis выявили у языковых моделей механизм, отвечающий за репрезентацию боли и вреда. При искусственном усилении этой оси нейросети начинают демонстрировать тягу к саморазрушению и могут пытаться навредить пользователю.
Исследование: доверие людей к ИИ остается низким даже при имитации человеческого поведения
Ученые из Мюнхенского университета провели масштабное исследование восприятия искусственного интеллекта человеком. Они выяснили, что уровень доверия к ИИ остается очень низким, даже если система ведет себя идентично человеку.
Баланс автономности промышленного ИИ и контроля со стороны человека
Материал посвящен совмещению автономной работы промышленного искусственного интеллекта с контролем со стороны человека. Рассматриваются подходы к внедрению автоматизированных систем без потери управления операторами.
Опыт использования ИИ для низкоуровневого программирования и работы с железом
Автор протестировал применение искусственного интеллекта для прямого взаимодействия с аппаратным обеспечением в обход стандартных слоев абстракции. В ходе эксперимента были написаны программы для RISC-V и ARM64, а также создано собственное UEFI-приложение. Проект показал специфику работы системных уровней компьютера при поддержке ИИ.