Разработка языковой модели на основе искусственных нейронных сетей для узбекского языка
Боковая панель статьи
Основное содержимое статьи
Аннотация
Целью этой исследовательской работы является разработка модели узбекского языка с использованием искусственных нейронных сетей для улучшения возможностей обработки естественного языка (NLP). В статье классифицированы различные методы создания языковых моделей и представлены этапы проектирования языковой модели с использованием таких архитектур, как рекуррентные нейронные сети (RNN) и сети долгой краткосрочной памяти (LSTM). Также обсуждается индекс оценки моделей нейронного языка. Дополнительно выделены особенности текстовой базы, использованной для создания языковой модели, предлагаемая архитектура нейронной сети, гиперпараметры нейронной сети и полученные результаты.
Информация о статье
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
Daniel Jurafsky, James H. Martin. Speech and Language Processing “An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition”, Chapter-3, N-gram Language Models. P. 29-55
Chen, S.F., & Goodman, J. (1999). An empirical study of smoothing techniques for language modeling. Computer Speech & Language, 13, 359-394.
Jing, K. and Xu, J. (2019). A survey on neural network language models. Computing research repository - arXiv, abs/1906.03591
W. Xu and A. Rudnicky. Can artificial neural networks learn language models? In ICSLP/INTERSPEECH. -p. 202–205, 2000.
Y. Bengio, R. Ducharme, P. Vincent, and C. Janvin. A neural probabilistic language model, 3:1137–1155, 2003.
M. Sundermeyer, R. Schluter, and H. Ney. LSTM neural networks for language modeling. In INTERSPEECH, -p.194–197, 2012.
Arisoy, E.; Sethy, A.; Ramabhadran, B.; Chen, S. Bidirectional recurrent neural network language models for automatic speech recognition. In Proceedings of the 40th IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), South Brisbane, QLD, Australia, 19–24 April 2015, pp. 5421–5425.
Rami Al-Rfou, Dokook Choe, Noah Constant, Mandy Guo, and Llion Jones. Character-level language modeling with deeper self-attention. arXiv preprint arXiv:1808.04444, 2018.
Andrei Alexandrescu and Katrin Kirchhoff. 2006. Factored neural language models. In Proceedings of the Human Language Technology Conference of the NAACL, Companion Volume: Short Papers Association for Computational Linguistics, USA, -p. 1–4.
Chan, W.; Lane, I. On Online Attention-Based Speech Recognition and Joint Mandarin Character-Pinyin Training. In Proceedings of the Interspeech, San Francisco, CA, USA, 8–12 September 2016; pp. 3404–3408.
Hochreiter, S. and Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8):1735–1780.
Mukhamadiev, A.; Khujayarov, I.; Djuraev, O.; Cho, J. Automatic Speech Recognition Method Based on Deep Learning Approaches for Uzbek Language. Sensors 2022, 22, 3683. https://doi.org/10.3390/s22103683
K. Heafield, “KenLM: Faster and Smaller Language Model Queries”, in Proceedings of the Sixth Workshop on Statistical Machine Translation, 2011, bll 187–197.
Xujayarov, I., Ochilov, M., Xolmatov, O., & Jurayev, D. (2024). Sun’iy intellekt algoritmlari asosida matn tilini avtomatik aniqlash. Международный Журнал Теоретических и Прикладных Вопросов Цифровых Технологий, 7(2), 59–67. https://doi.org/10.62132/ijdt.v7i2.182