突发疫情远程智能防控诊断平台设计的研究

高长曌1,袁太兴2,崔晶蕾2,李洪军1,王 辉1,王中山2,刘景鑫1

1. 吉林大学中日联谊医院,吉林 长春 130033;2. 吉林省医学影像工程技术研究中心,吉林 长春 130033

[摘 要] 目的 建立基于人工智能的远程智能防控诊断平台,可对突发疫情开展预防、诊断、科研和随访等全流程信息服务。方法 基于国家重点研发计划项目建立的医学影像质控互认共享云平台,采用人工智能与图像处理技术,研究用于CT影像质控的量化统计分析法、用于DR影像的自动检测法。结果 平台实现了影像分析处理、影像互认共享、影像智能质控、新型冠状病毒肺炎(Coronavirus Disease 2019,COVID-19)影像智能诊断以及在线教学培训等功能。结论 平台可以开展COVID-19影像远程辅助诊断、提升工作效率,有利于做到早发现、早报告、早隔离、早治疗。

[关键词] 医学影像;新型冠状病毒肺炎;智能诊断;人工智能

引言

新 型 冠 状 病 毒 肺 炎(Coronavirus Disease 2019,COVID-19)[1-3]疫情在全球持续升级,急需研发能够远程智能防控诊断的云服务平台。疫情出现后,我们在吉林大学和吉林省科技厅的COVID-19疫情防控应急科技攻关项目的支持下,开展了突发疫情远程智能防控诊断平台研究。

1 研究方法

1.1 确定研究方向和方法

首先确定研究目标,平台必须迅速应用于突发疫情。医生可进入平台了解重点防护城市与地区疫情相关人员信息,浏览人员的影像信息。依托人工智能、机器学习、深度学习[4-6]等创新技术构建智能防控平台,对CT、DR等影像进行智能化分析、处理,实现智能化实时监测预警防控工作。主要研究对象:CT、DR影像数据、影像设备相关参数和人工智能图像处理算法。主要研究方法:平台主要研究人工智能图像处理算法,研究与OBS、COVID-19影像诊断接口对接方法,研究影像传输标准。

1.2 研究涉及的相关技术

(1) 对 象 存 储 服 务(Object Storage Service,OBS)。这是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS系统和单个系统都没有总数据容量和对象/文件数量的限制,为用户提供了超大存储容量的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet的电脑上,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据[7]。此外,OBS支持SDK和OBS API接口,可使用户方便管理自己存储在OBS上的数据,以及开发多种类型的上层业务应用。

(2)人工智能医学图像处理。卷积神经网络(Convolutional Neural Network,CNN)是机器学习研究中的热点,在医学图像应用中具有一定价值。本文首先介绍了CNN基本原理,其次综述了其在网络结构的改进:在模型结构方面总结了CNN的11种经典模型,并以时间顺序梳理发展进程;在结构优化方面从CNN的5个方面(输入层、卷积层、下采样层、全连接层以及整个网络)总结研究进展。然后,对学习算法从优化和融合两个方面进行归纳:在优化算法方面根据优化目的(提高准确率、防止过拟合、防止局部最值、提高收敛速度)梳理算法的进展;在方法融合方面分别从输入层、卷积层、下采样层、全连接层和输出层共5个角度进行归纳。最后,将CNN映射到医学图像领域,结合计算机辅助诊断探讨CNN在医学图像中的应用。本文对CNN进行了较为全面系统地总结,对CNN的研究发展具有积极意义。用CNN卷积神经网络识别图片,一般需要的步骤有:① 卷积层初步提取特征;② 池化层提取主要特征;③ 全连接层将各部分特征汇总;④ 产生分类器,进行预测识别[8-15]

(3)图像文件存储。MongoDB是一个基于分布式文件存储[16-19]的数据库。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。

2 平台设计与实现

2.1 平台架构图

平台架构主要分四层,第一层为用户接入层,用户可以通过电脑、手机、其它终端的方式通过互联网登录平台应用平台的相关功能。第二层为服务层,平台提供存档、阅片、诊断、共享、教育培训、质控互认等服务。第三层为数据层,平台访问数据通过统一的接口访问用户数据、提供服务接口与其它系统对接。第四层为基础设施层,提供平台运行时需要的软件、硬件的支持,图1为平台架构图。

图1 平台架构图

2.2 平台组成部分图

平台主要有为五大系统组成:① 用户系统,主要存储用户基本信息、检查信息、诊断建议、查看影像;② CT、DR影像存档服务;③ 影像的质控互认;④ COVID-19智能诊断;⑤ 影像共享数据库。平台组成部分图,见图2。

图2 平台组成部分示意图

2.3 平台架构设计

2.3.1 架构描述

平台的架构分为五个部分:① 疫情数据上报;② CT、DR影像查看;③ 影像的互认共享;④ COVID-19智能诊断;⑤ 共享数据库。海量的数据存储与分析固然离不开对海量数据的存储与处理,疫情人员的影像数据的存储采用OBS进行存储 。

平台在MVC架构的基础上改进增添了action层、复杂Model层,形成了多层架构,将前端、用户行为、后台、数据进行隔离。M是指业务模型,V是指用户界面,C则是控制器,使用MVC的目的是将M和V的实现代码分离,从而使同一个程序可以使用不同的表现形式。比如一批统计数据可以分别用柱状图、饼图来表示。C存在的目的则是确保M和V的同步,一旦M改变,V应该同步更新,service层主要实现平台核心的业务逻辑,dao层主要实现数据库的操作,平台采用面向接口的设计方式,完全可与其它第三方系统进行对接。平台采用深度学习、人工智能技术结合自然语言处理工具对医学领域中文、特定词表和规则匹配,依托2016年国家重点研发计划项目建立的医学影像质控互认共享云平台成果和影像互认共享数据库中的海量数据,对通过质控互认平台互认通过的影像、检查报告中的检查结论、知识图谱中的词汇的语法、语义,基于自然语言处理算法、深度学习算法,完成分词、命名实体识别、关系提取处理过程从而实现结构化变量的输出,进一步做标准化处理。人工智能技术处理CT、DR影像,辅助医生进行诊断。平台运行在华为、联通、移动等国内巨头云服务提供商、平台安全性、数据的安全性得到了充分保障。

2.3.2 平台模块描述

平台通过在现有的互联网+大数据等技术,结合重大疾病应急防控诊疗流程,建立重大疾病应急防控诊疗云服务平台(图3),可通过手机、电脑等以浏览器、APP等访问,为医务工作者提供疾病防控、诊断、治疗的功能,也为百姓提供防控科普知识,主要模块描述如下。

(1)通知公告。公告主要用于及时对外宣布有关突发事件、最新动态、重要事项。

(2)组织机构。主要包括以下几点:① 平台简介:介绍防疫机构的基本情况、优势、提供的服务、研究内容等;② 专家介绍:介绍参与治疗疫情的专家,帮助及时了解专家专长专项,有效发挥专家作用;③ 联系我们:描述机构的联系方式、传真、邮箱、地理位置等信息。

图3 COVID-19疫情防疫平台图

(3)教育培训。提供线上职业技能培训资源,疫情期间针对当前疫情的种类和特点进行线上职业技能培训,预防常识。

(4)专题报道。以图文的形式展示相关较高新闻价值的疫情、事件、问题。

(5)新闻动态。显示国内外对与当前疫情、重大突发事件。

(6)标准规范。及时公布新出台的关于突发事件、疫情的相关标准规范。

(7)影像诊断。上传影像后通过调用WEBAPI接口调用通过人工智能分析诊断后的诊断结果。影像管理界面,见图4。

图4 影像管理界面图

(8)查看影像。点击查看影像,即跳转到阅片系统中,并显示对应的影像信息。

(9)用户分享影像。用户可以查看用户分享给该医生用户的的影像信息,并以列表的形式显示。

(10)撰写报告。医生可以填写病人的诊断报告,完成对影像的报告撰写。

2.3.3 相关代码

COVID-19远程智能防控诊断平台代码目录结构图如图5所示,其他各层级代码示意图如图6~8所示。

3 结果验证

平台部署上线后,与吉林省延边州安图县医院等多个医院成功对接,接收到影像信息。如图9所示,服务器存储影像数据,经实验验证系统完全满足需求,实现预期目标,系统可以快速处理异构结构化数据和非结构化数据、检索、分析海量数据,具有较强的理论和实用价值,有利用疫情防护知识的宣传,增强百姓防范意识,有效提高对疫情诊断的精准度、节省诊断时间,提高效率。

图5 代码目录结构图

图6 API项目分层示意图

图7 API服务层代码示意图

图8 COVID-19诊断接口代码示意图

图9 服务器存储影像数据

4 结论

平台现已上线,经验证,系统完全满足远程智能诊断需求,可实现预期目标,系统最终的实现可以快速处理异构结构化数据和非结构化数据、检索、分析海量数据,具有较强的理论和实用价值,有利于疫情防护知识的宣传,增强百姓防范意识,有效提高对疫情诊断的精准度、节省诊断时间,提高效率,并通过数字影像分享功能,能够使用户与疫情诊断专家不受场地限制,可随时随地用移动设备和电脑完成有关工作,大大减少疫情传染几率。

[参考文献]

[1] World Health Organization.Corona Virus Disease 2019[EB/OL].(2020-02-26)[2020-03-26].https://www.who.int/emergencies/diseases/novel-coronavirus-2019.

[2] 中国国情.世卫组织命名新型冠状病毒引发的疾病:2019冠状病毒病[EB/OL].(2020-02-12)[2020-03-26].http://guoqing.china.com.cn/2020-02/12/content_75696681.htm.

[3] Huang C,Wang Y,Li X,et al.Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China[J].Lancet,2020,1:24.

[4] 牛飞.人工智能在肺部医学影像诊断中的应用研究[J].电子世界,2019,(19).

[5] 孙珩著.浅谈人工智能的发展趋势[J].IT与网络,2002,(6):37-39.

[6] 韩冬,李其花,蔡巍,等.人工智能在医学影像中的研究与应用[J].大数据,2019,5(1):39-67.

[7] 彭双云.基于Ontology的空间信息共享与互操作研究[D].昆明:云南师范大学,2005.

[8] Labrinidis A,Jagadish HV.Challenges and opportunities with big data[J].Proc VLDB End,2012,5(12):2032-2033.

[9] Radziwill,Nicole M.The fourth industrial revolution[J].Qual Mana J,2018,25(2):108-109.

[10] 何炼图,汤庆,汤佳馨,等.人工智能+医学影像教育新模式的作用与构想[J].中国继续医学教育,2018,(20).

[11] 宋阳.基于人工智能的磁共振图像重建和计算机辅助诊断的研究[D].上海:华东师范大学,2019.

[12] 卫生应急办公室.截至2月16日24时新型冠状病毒肺炎疫情最新情况[EB/OL].(2020-02-17)[2020-03-26].http://www.nhc.gov.cn/xcs/yqtb/202002/18546da875d74445bb537ab014e7a 1c6.shtml.

[13] Gao H,Jiang J,She L,et al.A new agglomerative hierarchical clustering algoritemim plementation based on the MapReduce framework[J].JDCTA,2010,4(3):95-100.

[14] 王万良.人工智能及其应用[M].北京:高等教育出版社,2016.

[15] 佚名.人工智能诊断肺癌超越放射学专家[J].中华生物医学工程杂志,2019,25(3):339.

[16] 刘宇辰,刘师竺,于喜坤,等.DR成像质量及影响因素的检测分析[J].中国医疗设备,2019,34(4):27-29.

[17] 刘晓晖.基于压缩感知的磁共振图像稀疏重建算法研究[D].广州:南方医科大学,2018.

[18] Armbrust LJ.PACS and image storage[J].Vet Clin North Am Small Anim Pract,2009,39(4):711-718.

[19] 占志芳,蔡剑锋,郭迪,等.快速分类字典训练的磁共振图像稀疏重建[A].第十九届全国波谱学学术会议论文摘要集[C].兰州:中国物理学会波谱专业委员会,2016:269-298.

Research on Remote Intelligent Prevention and Control Diagnosis Platform of Sudden Epidemic

GAO Changzhao1, YUAN Taixing2, CUI Jinglei2, LI Hongjun1, WANG Hui1, WANG Zhongshan2, LIU Jingxin1
1. China-Japan Union Hospital of Jilin University, Changchun Jilin 130033, China;
2. Jilin Medical Imaging Engineering Technology Research Center, Changchun Jilin 130033, China

Abstract: Objective To establish a remote intelligent prevention and control diagnosis platform based on arti ficial intelligence,which can provide the whole process information services of prevention, diagnosis, scientific research and follow-up.Methods Based on the shared cloud platform for mutual recognition of medical image quality control established by the national key R & D program, the quantitative statistical analysis method for CT image quality control and the automatic detection method for DR image were studied by using artificial intelligence and image processing technology. Results The platform realized the functions of image analysis and processing, image mutual recognition and sharing, image intelligent quality control, image intelligent diagnosis of new pneumonia and online teaching and training. Conclusion The platform can carry out the new pneumonia image remote assistant diagnosis and improve the work efficiency, which is conducive to early detection, early report, early isolation and early treatment.

Key words: medical imaging; coronavirus disease 2019; intelligent diagnosis; arti ficial intelligence

收稿日期:2020-04-20

基金项目:国家重点研发计划项目(2018YFC1315604;2016YFC0103500);吉林省科技发展计划项目“突发疫情远程智能防控诊断平台体系研究与应用”;吉林省科技厅课题(20170623020TC)。

通信作者:刘景鑫,教授,主要研究方向为智能精准医学。

通信作者邮箱:jingxin@jlu.edu.cn

[中图分类号] R197.39

[文献标识码] A

doi:10.3969/j.issn.1674-1633.2020.06.025

[文章编号]1674-1633(2020)06-0097-03