Особенности применения позиционных эмбеддингов в языковых моделях
Автор статьи анализирует раздел книги Себастьяна Рашки «Строим LLM с нуля», посвященный позиционным эмбеддингам. В материале разбираются вопросы и нюансы, связанные со стандартным поэлементным сложением векторов слов и позиций перед слоем внимания.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Метод Spec driven development с применением LLM, UML, C4 и OpenAPI
Материал рассматривает подход к разработке сложных функций от формулирования правил и архитектурных моделей до передачи задач ИИ-агентам. В качестве примера разбирается создание веб-системы бронирования с помощью LLM для согласования контрактов и декомпозиции разработки.
Тестирование выявило нестабильность вузовских ИИ-детекторов
Тестирование трех систем детекции ИИ-текстов показало значительные расхождения в оценках академических работ: результаты для одного текста варьировались от нуля до шестидесяти процентов сгенерированного контента. Кроме того, показания одного и того же детектора изменились на треть за полтора месяца. В материале предлагается рассмотреть альтернативные способы определения авторства текстов.
Применение локальных LLM и открытых инструментов в сфере AppSec
Локальные открытые языковые модели можно запускать на рабочих станциях и связывать с анализаторами кода для частичного аудита безопасности приложений. Такой подход позволяет командам контролировать передачу данных, настраивать сценарии проверки и определять круг задач для ИИ без использования облачных сервисов.
VK масштабировала Discovery-платформу и оптимизировала ML-инфраструктуру
Команда AI VK поделилась результатами развития Discovery-платформы — инфраструктурного слоя для рекомендаций, поиска и рекламы. За последние месяцы компания запустила Discovery Portal, оптимизировала инфраструктуру и подключила 15 новых вертикалей с GPU-ранжированием. Обновления направлены на сквозную оптимизацию процессов и повышение эффективности продуктов экосистемы.