Нужен ли медикам GPT-4: анализ актуального мирового опыта
Боковая панель статьи
Основное содержимое статьи
Аннотация
Большие языковые модели (LLM) продемонстрировали замечательные возможности в понимании и генерации естественного языка в различных областях, включая медицину. В статье представлена оценка GPT-4 на основе двух точек зрения на проблему применения этой языковой модели: разработчиков из OpenAI, Microsoft и пользователей-медиков из двух европейских проектов. За последние несколько лет LLM, обученные на массивных междисциплинарных корпусах, стали мощными строительными блоками при создании систем, ориентированных на решение конкретных задач. В статье рассматривается три задачи: медицинское образование, работоспособность ChatGPT-4 в клинике (консультации, записи стенограмм беседы врача и пациента), и конкретные уровни точности диагностики (разные области медицины). Ответ на поставленный вопрос о необходимости медицинского GPT есть в мире, -он положительный.
Информация о статье
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
Библиографические ссылки
Andrew L. Beam, Ph.D., Jeffrey M. Drazen, M.D., Isaac S. Kohane, M.D., Ph.D., Tze-Yun Leong, Ph.D., Arjun K. Manrai, Ph.D., and Eric J. Rubin, M.D., Ph.D. Artificial Intelligence in Medicine N Engl J Med 2023; 388:1233-1239 DOI: 10.1056/NEJMsr2214184
Charlotte J. Haug, M.D., Ph.D., and Jeffrey M. Drazen, M.D. Artificial Intelligence and Machine Learning in Clinical Medicine, 2023N Engl J Med 2023;388:1201-8.DOI: 10.1056/NEJMra2302038
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in Neural information processing systems, 30, 2017
Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever, et al. Improving language understanding by generative pretraining. arXiv preprint arXiv, 2018.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. Bert: Pretraining of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805, 2018.
Jared Kaplan, Sam McCandlish, Tom Henighan, Tom B Brown, Benjamin Chess, Rewon Child, Scott Gray, Alec Radford, Jerey Wu, and Dario Amodei. Scaling laws for neural language models. arXiv preprint arXiv:2001.08361, 2020.
Percy Liang, Rishi Bommasani, Tony Lee, Dimitris Tsipras, et al. Holistic evaluation of language models, 2022.
Sebastien Bubeck and Mark Sellke. A universal law of robustness via isoperimetry. In M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang, and J. Wortman Vaughan, editors, Advances in Neural Information Processing Systems, volume 34, pages 28811{28822. Curran Associates, Inc., 2021.
Rishi Bommasani, Drew A. Hudson, Ehsan Adeli, et al. On the opportunities and risks of foundation models, 2021.
Paul F Christiano, Jan Leike, Tom Brown, Miljan Martic, Shane Legg, and Dario Amodei. Deep reinforcement learning from human preferences. Advances in neural information processing systems, 30, 2017.
Yuntao Bai, Andy Jones, Kamal Ndousse, et al. Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback, April 2022.
Harsha Nori1, Nicholas King, Scott Mayer McKinney, Dean Carignan1, Eric Horvitz Capabilities of GPT-4 on Medical Challenge Problems arXiv: 2303.13375 [cs.CL] https://doi.org/10.48550/arXiv.2303.13375
Karan Singhal, Shekoofeh Azizi, Tao Tu, S Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Tanwani, Heather Cole-Lewis, Stephen Pfohl, et al. Large language models encode clinical knowledge. arXiv preprint arXiv:2212.13138, 2022
Tiany H Kung, Morgan Cheatham, Arielle Medenilla, Czarina Sillos, Lorie De Leon, Camille Elepano, Maria Madri-aga, Rimel Aggabao, Giezel Diaz-Candido, James Maningo, et al. Performance of chatgpt on usmle: Potential for ai-assisted medical education using large language models. PLOS Digital Health, 2(2):e0000198, 2023
Alexandru Niculescu-Mizil and Rich Caruana. Predicting good probabilities with supervised learning. In Proceedings of the 22nd international conference on Machine learning, pages 625{632, 2005
Peter Lee, Ph.D., Sebastien Bubeck, Ph.D., and Joseph Petro. Benefits, Limits, and Risks of GPT-4 as an AI Chat-bot for Medicine N Engl J Med 2023;388:1233-1239 DOI: 10.1056/NEJMsr2214184
Singhal K, Azizi S, Tu T, et al. Large language models encode clinical knowledge. arXiv, December 26, 2022 https://arxiv.org/abs/2212.13138
Automatically document care with the Dragon Ambient eXperience https://www.nuance.com/healthcare/ambient-clinical-intelligence.html
Alexander V. Eriksen, Sсoren Mсoller, Jesper Ryg, Use of GPT-4 to Diagnose Complex Clinical Cases NEJM AI 2023; 1(1) https://doi.org/10.1056/AIp2300031
P.Ralf, E.Harskamp, Lukas De Clercq Performance of ChatGPT as an AI-assisted decision support tool in medicine: a proof-of-concept study for interpreting symptoms and management of common cardiac conditions (AM-STELHEART-2) medRxiv preprint doi: https://doi.org/10.1101/2023.03.25.23285475
Zeming Chen, Alejandro Hernandez Cano, Angelika Romanou, Antoine Bonnet,Kyle Matoba, Francesco Salvi, Matteo Pagliardini, Simin Fan,Andreas Kopf, Amirkeivan Mohtashami, Alexandre Sallinen et.all MEDITRON-70B: Scaling Medical Pretraining for Large Language Models ArXiv:2311.16079v1 [cs.CL] 27 Nov 2023 https://doi.org/10.48550/arXiv.2311.16079
Musaev, M., Mussakhojayeva, S., Khu-jayorov, I., Khassanov, Y., Ochilov, M., Atakan Varol, H. (2021). USC: An Open-Source Uzbek Speech Corpus and Initial Speech Recognition Experiments. In: Karpov, A., Potapova, R. (eds) Speech and Computer. SPECOM 2021. Lecture Notes in Computer Science(), vol 12997. Springer, Cham. https://doi.org/10.1007/978-3-030-87802-3_40