Ускорение токенизации BERT в 50 раз с помощью SIMD и кеширования Unicode
Профилирование bert-base-uncased показало, что этап нормализации текста занимал до 88% времени токенизации. Применение SIMD-инструкций, кеширования Unicode и устранение лишних операций позволило ускорить процесс примерно в 50 раз. Эффективность данного подхода варьируется в зависимости от языка и имеет технические ограничения.
Читать в первоисточнике — Хабр ↗
Ещё в ленте
Опыт инженера: как сервисы Anthropic изменили подход к работе
Блокировки аккаунтов со стороны Anthropic побудили разработчика проанализировать, насколько сильно нейросети изменили инженерную профессию за прошедший год. Специалист отмечает высокую зависимость текущих рабочих процессов от ИИ и опасения перед возможным возвратом к прежним практикам.
Разработан линтер для серверов Model Context Protocol
Разработчик представил утилиту mcp-linter на базе Node.js/TS для проверки MCP-серверов, совместимых с клиентами вроде Claude Desktop и Cursor. Инструмент включает 34 правила для выявления ошибок протокола, проблем безопасности, таких как отсутствие подтверждений у деструктивных действий и Prompt Injection, а также поддерживает автоисправления. С помощью утилиты уже были найдены баги в официальных серверах Anthropic.
Развитие формата TBook: читалки, словари и обновление до версии 2
Проект TBook, использующий LLM для выравнивания параллельного перевода книг, получил вторую версию формата. За четыре месяца вышли мобильное приложение в Google Play, десктопная читалка для трех ОС, конвертеры и офлайн-словари. Также автор опубликовал серию отчетов об экспериментах с качеством перевода с помощью языковых моделей.
Влияние детекторов ИИ-текста на систему высшего образования
Студенты все чаще используют большие языковые модели для выполнения учебных и дипломных работ. В ответ система высшего образования пытается выявлять и ограничивать сгенерированные тексты. В материале рассматривается, как использование ИИ-детекторов оказывает неочевидное влияние на образовательный процесс.