Достижения и проблемы в обработке естественного языка: комплексный анализ алгоритмов, моделей и показателей производительности
Боковая панель статьи
Основное содержимое статьи
Аннотация
В последние годы в области обработки естественного языка (ОЯ) произошел значительный прогресс, обусловленный разработкой сложных алгоритмов и моделей, таких как GPT-4, T5 и BERT. Эти модели произвели революцию в данной области, позволив машинам понимать, генерировать и взаимодействовать с человеческим языком таким образом, который ранее было невозможно себе представить. В данной статье представлен всесторонний анализ этих современных моделей с акцентом на их применение в автоматической генерации вопросов для образовательных и оценочных целей. Мы исследуем архитектурные инновации, методики обучения и показатели производительности, которые лежат в основе успеха GPT-4, T5 и BERT в генерации высококачественных тестовых вопросов. Кроме того, мы обсуждаем проблемы, связанные с этими моделями, включая вопросы смещения, масштабируемости и интерпретируемости. Изучая сильные и слабые стороны каждой модели, данное исследование призвано дать представление о будущих направлениях развития NLP и его потенциале для преобразования образовательных технологий. Полученные результаты подчеркивают важность непрерывных инноваций и тщательной оценки для развития возможностей систем NLP.
Информация о статье
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
Egger, R., Gokce, E. (2022). Natural Language Processing (NLP): An Introduction. In: Egger, R. (eds) Applied Data Science in Tourism. Tourism on the Verge. Springer, Cham. https://doi.org/10.1007/978-3-030-88389-8_15.
Zheng, Y., Dickson, V. V., Blecker, S., Ng, J., Rice, B. C., Melkus, G. D., … & Johnson, S. B. (2022). Identifying patients with hypoglycemia using natural language processing: systematic literature review. JMIR Diabetes, 7(2), e34681. https://doi.org/10.2196/34681.
Salimov J., Abulaeva A. Tree classifications in machine learning and hyperparameters // Computer Science and Engineering Technologies. – 2023. – T. 1. – No. 1. – pp. 71-79 (Russian).
Boynazarov I. et al. The Evaluation Result Based on the SURE Model: Case of Samarkand Branch of TUIT //2024 International Symposium on Computer Science and Educational Technology (ISCSET). – IEEE, 2024. – С. 1-5.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. NeurIPS, 2017.
Paul F Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences. Advances in Neural Information Processing Systems, 30, 2017.
Joel Hestness, Sharan Narang, Newsha Ardalani, Gregory Diamos, Heewoo Jun, Hassan Kianinejad, Md Patwary, Mostofa Ali, Yang Yang, and Yanqi Zhou. Deep learning scaling is predictable, empirically. arXiv preprint arXiv:1712.00409, 2017.
Neil C Thompson, Kristjan Greenewald, Keeheon Lee, and Gabriel F Manso. The computational limits of deep learning. arXiv preprint arXiv:2007.05558, 2020.
Mark Chen, et. al. Evaluating large language models trained on code. 2021.
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, et al. Training compute-optimal large language models. arXiv preprint arXiv:2203.15556, 2022.
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B. Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jeffrey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.
Tom Henighan, Jared Kaplan, Mor Katz, Mark Chen, Christopher Hesse, Jacob Jackson, Heewoo Jun, Tom B. Brown, Prafulla Dhariwal, Scott Gray, et al. Scaling laws for autoregressive generative modeling. arXiv preprint arXiv:2010.14701, 2020.
Ronan Collobert and Jason Weston. 2008. A unified architecture for natural language processing: Deep neural networks with multitask learning. In Proceedings of the 25th international conference on Machine learning, pages 160–167. ACM.
Andrew M Dai and Quoc V Le. 2015. Semi-supervised sequence learning. In Advances in neural information processing systems, pages 3079–3087.
Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding with unsupervised learning. Technical report, OpenAI.
Christian Buck, Kenneth Heafield, and Bas Van Ooyen. N-gram counts and language models from the common crawl. In LREC, 2014.
Trieu H. Trinh and Quoc V. Le. A simple method for commonsense reasoning. arXiv preprint arXiv:1806.02847, 2018.