· Хабр

Сравнение RWKV-7 и трансформеров с помощью послойных проб

Исследователь обучил 12 небольших моделей RWKV-7 и трансформеров с RoPE и NoPE, чтобы изучить распределение информации по слоям. Линейные пробы показали, что ключевые различия между архитектурами на этом масштабе касаются кодирования позиций токенов, тогда как для синтаксиса и смысла представления при равном loss схожи. Все материалы эксперимента, включая код и чекпоинты, опубликованы в открытом доступе.

Читать в первоисточнике — Хабр ↗

Ещё в ленте

· Хабр · Бизнес · Безопасность

Вайб-кодинг и экономика разработки: спор вокруг создания замены готовому софту

Частная клиника отказалась от стороннего приложения стоимостью более 4 млн рублей в год, создав собственный аналог с помощью двух разработчиков и вайб-кодинга за три месяца. Кейс вызвал дискуссию о рисках такого подхода, включая вопросы безопасности персональных данных, защиту от DDoS-атак и сложности долгосрочной поддержки непроверенного кода.

· Хабр · Модели · Исследования

Дайджест ИИ за 9–15 ноября: обновления Anthropic, Google, Meta и новые бенчмарки

Anthropic представила модель для координации тысяч агентов в научных задачах, а Google продолжила переносить Gemini в физический мир. Meta выпустила компактную модель для агентных сценариев, в то время как разработчики представили бенчмарки для оценки реальной работы ИИ.

· Хабр · Продукты · Модели

Введение в вайбкодинг: как работают ИИ-агенты и разработка с Codex

Материал объясняет концепцию вайбкодинга, особенности работы ИИ-агентов и их отличия от стандартных языковых моделей. Также рассматриваются доступные инструменты разработки и практическое создание приложения с помощью Codex без написания кода.

· The Verge · Бизнес · Железо

The Verge выпустил материал о кризисе руководства в Nvidia и Дженсене Хуанге

Еженедельная рассылка The Stepback от The Verge посвятила выпуск кризису руководства в компании Nvidia и отставке ее главы Jensen Huang. Автор Terrence O'Brien анализирует причины сложившейся ситуации и ее последствия для чипмейкера.