Сравнение RWKV-7 и трансформеров с помощью послойных проб
Исследователь обучил 12 небольших моделей RWKV-7 и трансформеров с RoPE и NoPE, чтобы изучить распределение информации по слоям. Линейные пробы показали, что ключевые различия между архитектурами на этом масштабе касаются кодирования позиций токенов, тогда как для синтаксиса и смысла представления при равном loss схожи. Все материалы эксперимента, включая код и чекпоинты, опубликованы в открытом доступе.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Вайб-кодинг и экономика разработки: спор вокруг создания замены готовому софту
Частная клиника отказалась от стороннего приложения стоимостью более 4 млн рублей в год, создав собственный аналог с помощью двух разработчиков и вайб-кодинга за три месяца. Кейс вызвал дискуссию о рисках такого подхода, включая вопросы безопасности персональных данных, защиту от DDoS-атак и сложности долгосрочной поддержки непроверенного кода.
Дайджест ИИ за 9–15 ноября: обновления Anthropic, Google, Meta и новые бенчмарки
Anthropic представила модель для координации тысяч агентов в научных задачах, а Google продолжила переносить Gemini в физический мир. Meta выпустила компактную модель для агентных сценариев, в то время как разработчики представили бенчмарки для оценки реальной работы ИИ.
Введение в вайбкодинг: как работают ИИ-агенты и разработка с Codex
Материал объясняет концепцию вайбкодинга, особенности работы ИИ-агентов и их отличия от стандартных языковых моделей. Также рассматриваются доступные инструменты разработки и практическое создание приложения с помощью Codex без написания кода.
The Verge выпустил материал о кризисе руководства в Nvidia и Дженсене Хуанге
Еженедельная рассылка The Stepback от The Verge посвятила выпуск кризису руководства в компании Nvidia и отставке ее главы Jensen Huang. Автор Terrence O'Brien анализирует причины сложившейся ситуации и ее последствия для чипмейкера.