mBERT, или multilingual BERT, стал одной из ключевых моделей в истории многоязычной обработки естественного языка. Его выпустила Google как версию BERT, обученную сразу на большом наборе языков. В отличие от моделей, ориентированных только на английский, mBERT показал, что единая нейросетевая архитектура может работать с десятками языков без отдельной настройки под каждый из них. Модель обучалась на текстах Википедии более чем на ста языках. Важная особенность mBERT заключается в общем словаре WordPiece, который делит слова на фрагменты и позволяет обрабатывать языки с разной морфологией и письменностью. Такой подход не делает модель одинаково сильной для всех языков, но создает общую основу для анализа текста, классификации, извлечения сущностей и других задач NLP. Главный интерес к mBERT связан с эффектом межъязыкового переноса. Модель может обучаться на размеченных данных одного языка и затем применяться к другому, где таких данных мало или они отсутствуют. Для индустрии ИИ это особенно важно, потому что качественные датасеты неравномерно распределены между языками. Английский, китайский, испанский и несколько других языков представлены значительно лучше, чем большинство региональных и малоресурсных языков. При этом mBERT нельзя считать универсальным решением для всех сценариев. Качество работы зависит от объема текстов на конкретном языке в обучающем корпусе, близости языков между собой, структуры задачи и домена данных. Например, модель может справляться с базовой классификацией новостей, но уступать специализированным решениям в юридических, медицинских или технических текстах. Кроме того, в языках с малым присутствием в Википедии результаты часто менее стабильны. На фоне более новых моделей mBERT уже не выглядит самым мощным инструментом. XLM-R, LaBSE, mT5 и современные большие языковые модели во многих задачах показывают более высокое качество. Однако значение mBERT сохраняется: он стал стандартной точкой сравнения в исследованиях и помог сформировать подход к многоязычным трансформерам. Многие научные работы до сих пор используют его как базовую модель для оценки новых методов. Для бизнеса mBERT интересен прежде всего как относительно доступная и понятная технология. Его можно применять в системах анализа отзывов, поиска, модерации, обработки обращений клиентов и автоматической разметки текстов на разных языках. В проектах, где важны скорость внедрения и поддержка нескольких языков, модель остается практичным вариантом, особенно если требования к генерации текста отсутствуют.