Адаптация mt5 для узбекского языка: компактная модель для приложений NLP.

Аннотация

Несмотря на то, что на нем говорят почти 50 миллионов человек, узбекский язык по-прежнему недостаточно представлен в системе обработки естественного языка (NLP). Одной из основных причин является ограниченная доступность узбекских лингвистических ресурсов. С ростом популярности архитектуры Transformer в NLP она обогнала более ранние методы, такие как сверточные и рекуррентные нейронные сети. T5 (преобразователь преобразования текста в текст) стандартизирует лингвистические задачи на английском языке, преобразуя их в формат преобразования текста в текст. mT5, его многоязычная версия, показала многообещающие результаты в различных задачах NLP, охватывающих несколько языков. Однако значительные размеры mT5 создают проблемы для приложений, ориентированных на один язык. В нашем исследовании мы доработали mT5 специально для узбекского языка, в результате чего модель T5 стала более компактной. Мы сравнили эффективность этой адаптированной модели с mT5 в задачах автоматического суммирования текста (ATS) и распознавания именованных сущностей (NER) с использованием идентичных протоколов и наборов данных. Наша адаптированная модель превзошла производительность mT5, что указывает на возможность разработки более компактной предварительно обученной модели почти вдвое меньшего размера без ущерба для результатов. Эта оптимизированная модель также выигрывает от меньшего использования памяти, более быстрого запуска и сокращения времени обработки. Чтобы получить доступ к этой модели, пожалуйста, свяжитесь с нами.