rentradВестник рентгенологии и радиологииJournal of radiology and nuclear medicine0042-46762619-0478Limited Liability Company "LUCHEVAYA DIAGNOSTIKA", Russian Association of Radiologists10.20862/0042-4676-2018-99-5-253-258rentrad-383Research ArticleОРИГИНАЛЬНЫЕ СТАТЬИORIGINAL RESEARCHИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ: АВТОМАТИЗИРОВАННЫЙ АНАЛИЗ ТЕКСТА НА ЕСТЕСТВЕННОМ ЯЗЫКЕ ДЛЯ АУДИТА РАДИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙARTIFICIAL INTELLIGENCE: NATURAL LANGUAGE PROCESSING FOR PEER-REVIEW IN RADIOLOGYhttps://orcid.org/0000-0001-6545-6170МорозовС. П.MorozovS. P.

ул. Средняя Калитниковская, 28, стр. 1, Москва, 109029.

доктор мед. наук, профессор, директор.

ul. Srednyaya Kalitnikovskaya, 28, stroenie 1, Moscow, 109029.

Dr. Med. Sc., Professor, Director.

https://orcid.org/0000-0002-2990-7736ВладзимирскийА. В.VladzimirskiyA. V.

ул. Средняя Калитниковская, 28, стр. 1, Москва, 109029.

доктор мед. наук, заместитель директора по научной работе.

ul. Srednyaya Kalitnikovskaya, 28, stroenie 1, Moscow, 109029.

Dr. Med. Sc., Deputy Director for Scientific Work.

https://orcid.org/0000-0003-1816-1315ГомболевскийВ. А.GombolevskiyV. A.

ул. Средняя Калитниковская, 28, стр. 1, Москва, 109029.

канд. мед. наук, руководитель отдела развития качества радиологии.

ul. Srednyaya Kalitnikovskaya, 28, stroenie 1, Moscow, 109029.

Cand. Med. Sc., Head of Radiology Quality Development Department.

https://orcid.org/0000-0003-0235-9386КузьминаЕ. С.Kuz’minaE. S.

ул. Средняя Калитниковская, 28, стр. 1, Москва, 109029.

заместитель директора по общим вопросам.

ul. Srednyaya Kalitnikovskaya, 28, stroenie 1, Moscow, 109029.

Deputy Director for General Issues.

https://orcid.org/0000-0002-1446-424XЛедиховаН. В.LedikhovaN. V.

ул. Средняя Калитниковская, 28, стр. 1, Москва, 109029.

заведующая консультативным отделением.

ul. Srednyaya Kalitnikovskaya, 28, stroenie 1, Moscow, 109029.

Head of Consultative Department.

ГБУЗ г. Москвы «Научно-практический центр медицинской радиологии Департамента здравоохранения города Москвы».РоссияResearch and Practical Center of Medical Radiology, Department of Health of Moscow.Russian Federation201830112018995253258Copyright © Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В., 20182018Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В.Morozov S.P., Vladzimirskiy A.V., Gombolevskiy V.A., Kuz’mina E.S., Ledikhova N.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.russianradiology.ru/jour/article/view/383

Цель исследования – оценить значимость системы обработки естественного языка для анализа качества протоколов радиологических исследований.

Материал и методы

Материал и методы. На базе коммерчески доступной когнитивной системы обработки естественного языка проведен многосторонний анализ протоколов низкодозных компьютерных томографий (НДКТ) органов грудной клетки. Выполнена оценка применимости искусственного интеллекта для выявления расхождений в описаниях исследований (количественный анализ) и для оценки приверженности врачей-радио-логов рекомендациям по ведению очагов в соответствии сLung-RADS-2014 (качественный анализ).

Результаты

Результаты. Согласно результатам количественного анализа, в 8,3% протоколов НДКТ содержались расхождения между описанием и заключением. Суть расхождений – значимый элемент, например наличие очагов в легких, указан лишь в одном компоненте протокола. Данное расхождение несет потенциальные риски и должно учитываться в процессе аудита качества радиологических исследований. Результаты качественного анализа: для очагов Lung-RADS 3 рекомендованные принципы ведения пациентов использованы в 46% случаев, для LungRADS 4А – в 42%, а для Lung-RADS 4B – в 49%.

Заключение

Заключение. Согласованность решений при использовании системы обработки естественного языка в рамках аудита радиологических исследований составляет 95–96%. Можно констатировать факт применимости системы обработки естественного языка в качестве инструмента для аудита радиологических исследований.

Objective

Objective. To assess the importance of natural language processing (NLP) system for quality assurance of the radiological reports.

Material and methods

Material and methods. Multilateral analysis of chest low-dose computed tomography (LDCT) reports based on a commercially available cognitive NLP system was performed. The applicability of artificial intelligence for discrepancy identification in the report body and conclusion (quantitative analysis) and radiologist adherence to the Lung-RADS guidelines (qualitative analysis) was evaluated.

Results

Results. Quantitative analysis: in the 8.3% of cases LDCT reports contained discrepancies between text body and conclusion, i.e., lung nodule described only in body or conclusion. It carries potential risks and should be taken into account when performing a radiological study audit. Qualitative analysis: for the Lung-RADS 3 nodules, the recommended principles of patient management were used in 46%, for Lung-RADS 4A – in 42%, and for Lung-RADS 4B – in 49% of cases.

Conclusion

Conclusion. The consistency of NLP system within the framework of radiological study audit was 95–96%. The system is applicable for the radiological study audit, i.e. large-scale automated analysis of radiological reports and other medical documents.

радиологиянизкодозная компьютерная томографияискусственный интеллектконтроль качестваобработка естественного языкаradiologylow-dose computed tomographyartificial intelligencequality controlnatural language processingReferencesBrady A. Error and discrepancy in radiology: inevitable or avoidable? Ins. Imag.2017; 1 (8): 171–82.Brady A. Error and discrepancy in radiology: inevitable or avoidable? Ins. Imag.2017; 1 (8): 171–82.Larson D.B., Donnelly L.F., Podberesky D.J., Merrow A.C., Sharpe R.E. Jr, Kruskal J.B. Peer feedback, learning, and improvement: answering the call of the institute of medicine report on diagnostic error 1. Radiology. 2017; 283 (1): 231–41. DOI: 10.1148/radiol.2016161254Larson D.B., Donnelly L.F., Podberesky D.J., Merrow A.C., Sharpe R.E. Jr, Kruskal J.B. Peer feedback, learning, and improvement: answering the call of the institute of medicine report on diagnostic error 1. Radiology. 2017; 283 (1): 231–41. DOI: 10.1148/radiol.2016161254Walker E.A., Petscavage-Thomas J.M., Fotos J.S., Bruno M.A. Quality metrics currently used in academic radiology departments: results of the QUALMET survey. Br. J. Radiol. 2017; 90 (1071): 20160827. DOI: 10.1259/bjr.20160827Walker E.A., Petscavage-Thomas J.M., Fotos J.S., Bruno M.A. Quality metrics currently used in academic radiology departments: results of the QUALMET survey. Br. J. Radiol. 2017; 90 (1071): 20160827. DOI: 10.1259/bjr.20160827Morozov S., Guseva E., Ledikhova N., Vladzymyrskyy A., Safronov D. Telemedicine-based system for quality management and peer review in radiology. Ins. Imag. 2018; 9 (3): 337–41. DOI: 10.1007/s13244-018-0629-yMorozov S., Guseva E., Ledikhova N., Vladzymyrskyy A., Safronov D. Telemedicine-based system for quality management and peer review in radiology. Ins. Imag. 2018; 9 (3): 337–41. DOI: 10.1007/s13244-018-0629-yМорозов С.П., Переверзев М.О. Лучевая диагностика – авангард информатизации здравоохранения. Российский электронный журнал лучевой диагностики. 2013; 3: 41–50.Morozov S.P., Pereverzev M.O. Radiology – avanguard of healthcare informatization. Rossiyskiy Elektronnyy Zhurnal Luchevoy Diagnostiki (Russian Electronic Journal of Radiology).2013; 3: 41–50 (in Russ.).Полищук Н.С., Ветшева Н.Н., Косарин С.П., Морозов С.П., Кузьмина Е.С. Единый радиологический информационный сервис как инструмент организационно-методической работы Научно-практического центра медицинской радиологии Департамента здравоохранения г. Москвы. Радиология–практика.2018; 1 (67): 6–17.Polishchuk N.S., Vetsheva N.N., Kosarin S.P., Morozov S.P., Kuz’mina E.S. Unified radiological information service as a key element of organizational and methodical work of Research and Practical Center of Medical Radiology. Radiologiya–Praktika (Radiology–Practice). 2018; 1 (67): 6–17 (in Russ.).Гусев А.В. Перспективы нейронных сетей и глубокого машинного обучения в создании решений для здравоохранения. Врач и информационные технологии.2017; 3: 92–105.Gusev A.V. Prospects for neural networks and deep machine learning in creating health solutions. Vrach i Informatsionnye Tekhnologii (Information Technologies for the Physician).2017; 3: 92–105 (in Russ.)Clark T.J., Flood T.F., Maximin S.T., Sachs P.B. Lung CT screening reporting and data system speed and accuracy are increased with the use of a semiautomated computer application. J. Am. Coll. Radiol. 2015; 12 (12 Pt A): 1301–6.Clark T.J., Flood T.F., Maximin S.T., Sachs P.B. Lung CT screening reporting and data system speed and accuracy are increased with the use of a semiautomated computer application. J. Am. Coll. Radiol. 2015; 12 (12 Pt A): 1301–6.Барчук А.А., Арсеньев А.И., Беляев А.М., Гомболевский В.А., Нефедова А.В., Канаев С.В. и др. Эффективность скрининга онкологических заболеваний. Вопросы онкологии. 2017; 4: 557–67.Barchuk A.A., Arsen'ev A.I., Belyaev A.M., Gombolevskiy V.A., Nefedova A.V., Kanaev S.V. et al. The effectiveness of screening for cancer. Voprosy Onkologii (Problems in Oncology). 2017; 4: 557–67 (in Russ.).Гомболевский В.А., Барчук А.А., Лайпан А.Ш., Ветшева Н.Н., Владзимирский А.В., Морозов С.П. Организация и эффективность скрининга злокачественных образований легких методом низкодозной компьютерной томографии. Радиология–практика. 2018; 1 (67): 28–36.Gombolevskiy V.A., Barchuk A.A., Laypan A.S., Vetsheva N.N., Vladzimirskiy A.V., Morozov S.P. Lung сancer screening with low-dose computed tomography: management and efficiency. Radiologiya–Praktika (Radiology–Practice). 2018; 1 (67): 28–33 (in Russ.)Гомболевский В.А., Харламов К.А., Пятницкий И.А., Ким С.Ю., Морозов С.П. Шаблоны протоколов описаний исследований по специальности «рентгенология». Компьютерная томография. Методические рекомендации. 2016; 23: 13–4. URL: http://medradiology.moscow/d/1364488/d/metodicheskiye_rekomendatsii_no_23_2016_g_shablony_protokolov_opisaniy_kt_issledovaniy.pdf (дата обращения 20.10.2018).Gombolevskiy V.A., Kharlamov K.A., Pyatnitskiy I.A., Kim S.Yu., Morozov S.P. Patterns of describing CT protocols examination. Guidelines. 2016; 23: 13–4 (in Russ.). Available at: http://medradiology.moscow/d/1364488/d/metodicheskiye_rekomendatsii_no_23_2016_g_shablony_protokolov_opisaniy_kt_issledovaniy.pdf (accessed 20October 2018).Басманов С.Н., Басманова А.А. Обзор эволюции экспертных систем в медицине с точки зрения соответствия основным признакам. Перспективы развития информационных технологий. 2014; 21: 126–30.Basmanov S.N., Basmanova A.A. Areview of the evolution of expert systems in medicine in terms of compliance with the main features. Perspektivy Razvitiya Informatsionnykh Tekhnologiy. 2014; 21: 126–30 (in Russ.).Bulu H., Sippo D.A., Lee J.M., Burnside E.S., Rubin D.L. Proposing new radlex terms by analyzing free-text mammography reports. J. Digit. Imag. 2018. DOI: 10.1007/s10278-018-0064-0Bulu H., Sippo D.A., Lee J.M., Burnside E.S., Rubin D.L. Proposing new radlex terms by analyzing free-text mammography reports. J. Digit. Imag. 2018. DOI: 10.1007/s10278-018-0064-0Goff D.J., Loehfelm T.W. Automated radiology report summarization using an open-source natural language processing pipeline. J. Digit. Imag.2018; 31 (2): 185–92. DOI: 10.1007/s10278-017-0030-2Goff D.J., Loehfelm T.W. Automated radiology report summarization using an open-source natural language processing pipeline. J. Digit. Imag.2018; 31 (2): 185–92. DOI: 10.1007/s10278-017-0030-2Huesch M.D., Cherian R., Labib S., Mahraj R. Evaluating report text variation and informativeness: natural language processing of CT chest imaging for pulmonary embolism. J. Am. Coll. Radiol. 2018; 15 (3 Pt B): 554–62. DOI: 10.1016/j.jacr.2017.12.017Huesch M.D., Cherian R., Labib S., Mahraj R. Evaluating report text variation and informativeness: natural language processing of CT chest imaging for pulmonary embolism. J. Am. Coll. Radiol. 2018; 15 (3 Pt B): 554–62. DOI: 10.1016/j.jacr.2017.12.017Kahn C.E. Jr. An ontology-based approach to estimate the frequency of rare diseases in narrative-text radiology reports. Stud. Health. Technol. Inform. 2017; 245: 896–900.Kahn C.E. Jr. An ontology-based approach to estimate the frequency of rare diseases in narrative-text radiology reports. Stud. Health. Technol. Inform. 2017; 245: 896–900.Percha B., Zhang Y., Bozkurt S., Rubin D., Altman R.B., Langlotz C.P. Expanding a radiology lexicon using contextual patterns in radiology reports. J. Am. Med. Inform. Assoc.2018; 10. DOI: 10.1093/jamia/ocx152Percha B., Zhang Y., Bozkurt S., Rubin D., Altman R.B., Langlotz C.P. Expanding a radiology lexicon using contextual patterns in radiology reports. J. Am. Med. Inform. Assoc.2018; 10. DOI: 10.1093/jamia/ocx152Pons E., Braun LM., Hunink M.G., Kors J.A. Natural language processing in radiology: a systematic review. Radiology. 2016; 279 (2): 329–43. DOI: 10.1148/radiol.16142770Pons E., Braun LM., Hunink M.G., Kors J.A. Natural language processing in radiology: a systematic review. Radiology. 2016; 279 (2): 329–43. DOI: 10.1148/radiol.16142770Gálvez J.A., Pappas J.M., Ahumada L., Martin J.N., Simpao A.F., Rehman M.A. et al. The use of natural language processing on pediatric diagnostic radiology reports in the electronic health record to identify deep venous thrombosis in children. J. Thromb. Thrombolysis. 2017. DOI: 10.1007/s11239-017-1532-yGálvez J.A., Pappas J.M., Ahumada L., Martin J.N., Simpao A.F., Rehman M.A. et al. The use of natural language processing on pediatric diagnostic radiology reports in the electronic health record to identify deep venous thrombosis in children. J. Thromb. Thrombolysis. 2017. DOI: 10.1007/s11239-017-1532-yTian Z., Sun S., Eguale T., Rochefort C.M. Automated extraction of VTE events from narrative radiology reports in electronic health records: a validation study. Med. Care. 2017; 55 (10): e73–e80. DOI: 10.1097/MLR.0000000000000346Tian Z., Sun S., Eguale T., Rochefort C.M. Automated extraction of VTE events from narrative radiology reports in electronic health records: a validation study. Med. Care. 2017; 55 (10): e73–e80. DOI: 10.1097/MLR.0000000000000346Trivedi H., Mesterhazy J., Laguna B., Vu T., Sohn J.H. Automatic determination of the need for intravenous contrast in musculoskeletal MRI examinations using IBM Watson's natural language processing algorithm. J. Digit. Imag. 2017; 18. DOI: 10.1007/s10278-017-0021-3Trivedi H., Mesterhazy J., Laguna B., Vu T., Sohn J.H. Automatic determination of the need for intravenous contrast in musculoskeletal MRI examinations using IBM Watson's natural language processing algorithm. J. Digit. Imag. 2017; 18. DOI: 10.1007/s10278-017-0021-3Guimaraes C.V., Grzeszczuk R., Bisset G.S. 3rd, Donnelly L.F. Comparison between manual auditing and a natural language process with machine learning algorithm to evaluate faculty use of standardized reports in radiology. J. Am. Coll. Radiol.2018; 15 (3 Pt B): 550–3. DOI: 10.1016/j.jacr.2017.10.042Guimaraes C.V., Grzeszczuk R., Bisset G.S. 3rd, Donnelly L.F. Comparison between manual auditing and a natural language process with machine learning algorithm to evaluate faculty use of standardized reports in radiology. J. Am. Coll. Radiol.2018; 15 (3 Pt B): 550–3. DOI: 10.1016/j.jacr.2017.10.042Humphrey L.L., Deffebach M., Pappas M., Zakher B., Fu R., Slatore C.G. et al. Screening for lung cancer with lowdose computed tomography: a systematic review to update the U.S. Preventive services task force recommendation. Ann. Int. Med. 2013; 159 : 411–20.Humphrey L.L., Deffebach M., Pappas M., Zakher B., Fu R., Slatore C.G. et al. Screening for lung cancer with lowdose computed tomography: a systematic review to update the U.S. Preventive services task force recommendation. Ann. Int. Med. 2013; 159 : 411–20.Oudkerk M., Devaraj A., Vliegenthart R., Henzler T., Prosch H., Heussel C.P. European position statement on lung cancer screening. Lancet Oncol. 2017; 18 (12): 754–66.Oudkerk M., Devaraj A., Vliegenthart R., Henzler T., Prosch H., Heussel C.P. European position statement on lung cancer screening. Lancet Oncol. 2017; 18 (12): 754–66.Beyer S.E., McKee B.J., Regis S.M., McKee A.B., Flacke S., El Saadawi G. et al. Automatic LungRADS™ classification with a natural language processing system. J. Thorac. Dis. 2017; 9 (9): 3114–22. DOI: 10.21037/jtd.2017.08.13Beyer S.E., McKee B.J., Regis S.M., McKee A.B., Flacke S., El Saadawi G. et al. Automatic LungRADS™ classification with a natural language processing system. J. Thorac. Dis. 2017; 9 (9): 3114–22. DOI: 10.21037/jtd.2017.08.13Lacson R., Prevedello L.M., Andriole K.P., Gill R., LenociEdwards J., Roy C. et al. Factors associated with radiologists' adherence to Fleischner Society guidelines for management of pulmonary nodules.J. Am. Coll. Radiol. 2012; 9 (7): 468–73. DOI: 10.1016/j.jacr.2012.03.009Lacson R., Prevedello L.M., Andriole K.P., Gill R., LenociEdwards J., Roy C. et al. Factors associated with radiologists' adherence to Fleischner Society guidelines for management of pulmonary nodules.J. Am. Coll. Radiol. 2012; 9 (7): 468–73. DOI: 10.1016/j.jacr.2012.03.009

The authors declare that there are no conflicts of interest present.