Article Info

中国是世界人口第一大国，庞大的人口基数以及快速增长的老龄人口带来了持续增长的医疗服务需求[1]。据我国卫生和计划生育事业发展统计公报，2016年我国个人卫生支出已达13337.9亿元，对比1990年267.01亿元，年均增长率达16.23%[2]。然而，在医疗服务市场高速发展的外表下，持续的“看病难、看病贵”问题一直是阻碍我国医疗服务市场健康发展的难题。造成这一问题的根本原因是医疗服务供给增量无法满足过快增长的医疗服务需求[3-4]。近年来以深度学习为代表的机器学习技术，在辅助医生提高诊断准确性、降低工作强度、提高工作效率方面开始显示出其优势。其中最突出的就是医学影像领域，深度学习技术已经可以在甲状腺超声诊断中发挥作用[5-7]。以甲状腺超声为例，超声医生需要反复看甲状腺图像，判断出结节的位置、大小、良恶性，这通常需要十多分钟，采用深度学习技术则能够自动标注出结节的位置、大小、性质等信息，一方面辅助高年资医师进行诊断、提高工作效率，另一方面还可以帮助低年资医师提高识别甲状腺结节的能力和诊断水平[8-11]。

1 资料与方法

从超声数据库选取2013年1月至2018年1月期间6321张甲状腺图像，其中包括确诊多发结节2000张，单个结节1200张，其他未确诊甲状腺图像3121张。首先对图像进行分割，用于深度学习模型的训练。然后将剩余的3121张图像用于模型的验证，所有纳入研究的病变均经过活检或手术病理确诊同时病灶范围明确。术后对甲状腺结节的良恶性进行验证，考虑算法及临床实际，因此本文所称甲状腺结节未区分良恶性。剩余的 3121 张图像同时再交给4名超声医师进行诊断。最后统计相关结果，图像来源于飞利浦IU22和GE E9。

2 模型构建和验证

2.1 图像标注

超声医师以病理为标准将所有图像分成甲状腺良性结节和恶性结节两个大类，同时对病变图像中的病灶范围进行精准标注。

2.2 图像预处理

将标注好的图像进行裁剪、去噪、正则化处理，从而消除人为和环境干扰，把超声图像统一为225×225像素大小。

2.3 构建和训练模型

深度学习是人工智能领域机器学习技术的一个分支[12]。传统的机器学习技术在处理未加工过的原始数据时效果不佳。要构建一个模式识别系统或者机器学习系统，需要一个精心设计的分类器和需要相当专业的知识才能确定出来的特征，这种分类任务的效果很大程度上依赖于所提取特征的质量，而这些高质量的特征需要人工确定时，机器学习的有效性就大打折扣[13-14]。

如果能够给机器输入原始数据，然后通过计算自动发现需要进行检测和分类的特征表达方法和分类方法，则会大大提高机器学习的有效性。深度学习就是这样一种特征学习方法，把原始数据通过一些非线性的简单模型转变成为更高层次的，更加抽象的表达。通过足够多的转换的组合，非常复杂的函数也可以被学习。深度学习的体系结构是简单模块的多层栈，大部分模块的目标是学习，还有许多计算非线性输入输出的映射。栈中的每个模块将其输入进行转换，以增加表达的可选择性和不变性。

卷积神经网络（Convolutional Neural Networks，CNN）是一种典型的深度学习网络结构[15]。本文采用一种CNN方法进行甲状腺结节的诊断，该CNN的结构如图1所示。其输入为225×225的甲状腺超声图像，第一个卷基层产生大小为111×111的96个特征的映射。第二个卷基层产生55×55大小的256个特征的映射。第三个卷基层产生13×13大小的384个特征的映射。最后经过全连接之后进行分类，分类结果是该图像是否含有结节。

为了对该模型进行良好的训练，采用了迁移学习的方法。首先把该模型在ImageNet数据集上进行了预训练。然后在甲状腺数据集上进行参数调整训练。该甲状腺诊断训练数据集的构建方法如下：从采集的甲状腺数据集中随机选择结节图像和无结节图像（图2），然后针对两类图像分别采用旋转和mixup方法，得到响应的含结节图像和无结节图像，构成甲状腺诊断训练数据集。经过预训练和参数调整训练后，得到完成训练的甲状腺诊断CNN模型。

2.4 验证模型

把采集的甲状腺数据集中，未用来进行模型训练的图像作为模型验证的数据集。把该数据集输入到完成训练的甲状腺诊断CNN模型中，可以得到对应每张图像是否是结节的诊断结果。

2.5 模型和超声医师的比较

选择4名本院超声医师，分高年资和低年资两组，其中高年资超声医师的选择标准为取得中级资格证，超声检查超过10000例，低年资超声医师标准为从事超声工作小于3年，超声检查不到3000例。4名医师分别独立地对电脑屏幕所展示的测试集图像进行识别和判断，同时记录其诊断每张图像所需的时间。同时模型对相同的测试集进行识别，记录结果。

3 结果

测试集共有3121张图像，其中甲状腺结节2900张，其他良性病变及正常图像221张。2900张甲状腺结节图像中，深度学习模型正确识别2860张，高年资超声医师平均正确识别2570张，低年资超声医师平均正确识别2215张。221张正常图像中，三者分别正确识别了212、201和183张。

另外，从时间上对比，深度学习每张图像的诊断时间为（0.10±0.02）s。而低年资超声医师和高年资超声医师的诊断时间分别为15 min和10 min。

根据测试对比结果，分别计算阳性预期率、阴性预期率、诊断敏感性、诊断效率和诊断特异性指标，这些指标详见表1。

从表1中可见，深度学习方法在所有指标比较中都超过了超声医师。其中阳性预期率比高年资超声医师高出10.00%，阴性预期率高出5.02%，诊断效率高出10.24%。本研究构建的深度学习模型用于甲状腺结节的诊断全面超过超声医师，可在超声诊断甲状腺检查中辅助医师进行实时诊断。

本研究对深度学习技术在超声甲状腺结节领域内的应用进行了初步探索。结果表明深度学习方法应用于超声影像的甲状腺结节的临床辅助诊断是可行的。

4 讨论和结论

随着近年来甲状腺超声筛查的普及，越来越多的甲状腺疾病被发现[16-17]。尤其是甲状腺恶性病变，因为早发现、早治疗，降低了癌症死亡率、提高了生存率及生活质量[18]。但限于目前医疗资源不均衡、诊断不规范、诊断水平参差不齐等因素，导致还有很多甲状腺结节，尤其是小的恶性结节被漏诊和误诊[19-20]。如何能充分利用有限的医疗资源，快速、有效地提高我国的甲状腺结节诊断能力，成为我们亟待解决的问题。

深度学习在医学研究及临床实践中越来越受到重视，是机器学习的一个分支，更适合解决大数据问题[21-24]。本研究对人工智能图像识别技术在超声甲状腺结节领域内的应用进行了初步探索。通过回顾性收集的6321张超声图像，整理后投入深度学习模型进行训练和验证，测试结果显示其诊断甲状腺结节的阳性预期率98.62%，阴性预期率95.93%，诊断敏感性99.68%，诊断效率98.43%，诊断特异性84.13%，每张图像的诊断时间为（0.10±0.02）s。模型组的准确率均高于医师组，总体表现令人满意。

本研究构建的深度学习模型用于超声甲状腺结节的诊断具有较高的准确率，将来可在超声检查中辅助超声医师进行实时诊断。AI让基层超声医师获得跟资深专家同质化的诊断效果成为可能。应用深度学习方法开展超声甲状腺结节影像诊断，可以提高医生和医院的诊疗效率，辅助医生提供更精准和优质的服务，对于我国医疗卫生领域的发展有着重要的现实意义。在国内，四川大学华西医院、浙江省人民医院、浙江大学医学院附属儿童医院、上海交通大学、上海华山医院都开展了此方面单疾病的研究。总之，我们认为AI技术在超声图像识别领域市场前景一片光明并大有可为。

[1]Chen W,Zheng R,Baade PD,et al.Cancer statistics in China,2015[J].CA Cancer J Clin,2016,66(2):115-132.

[2]Zeng H,Zheng R,Guo Y,et al.Cancer survival in China,2003-2005:a population-based study[J].Int J Cancer,2015,136(8):1921-1930.

[3]Matsuda T,Ajiki W,Marugame T,et al.Population-based survival of cancer patients diagnosed between 1993 and 1999 in Japan:a chronological and international comparative study[J].Jpn J Clin Oncol,2011,41(1):40-51.

[4]Bu Z,Ji J.Controversies in the diagnosis and management of early gastric cancer[J].Chin J Cancer Res,2013,25(3):263-266.

[5]LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444.

[6]Japanese Gastric Cancer Association.Japanese classification of gastric carcinoma-2nd English edition[J].Gastric Cancer,1998,1(1):10-24.

[7]中华医学会消化内镜学分会,中国抗癌协会肿瘤内镜专业委员会.中国早期胃癌筛查及内镜诊治共识意见（2014年4月，长沙）[J].中华消化内镜杂志,2014,31(7):361-377.

[8]Cai MY,Zhou PH,Yao LQ.Current status of endoscopic resection in China[J].Dig Endosc,2012,24(S1):166-171.

[9]王洛伟,辛磊,林寒,等.中国消化内镜技术发展现状[J].中华消化内镜杂志,2015,32(8):501-515.

[10]Ehteshami BB,Veta M,van Diest PJ,et al.Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J].JAMA,2017,318(22):2199-2210.

[11]Esteva A,Kuprel B,Novoa RA,et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature,2017,542(7639):115-118.

[12]Chen PJ,Lin MC,Lai MJ,et al.Accurate classification of diminutive colorectal polyps using computer-aided analysis[J].Gastroenterology,2018,154(3):568-575.

[13]张敏敏,金震东,蔡哲元,等.计算机辅助判别超声内镜图像诊断胰腺癌的实验研究[J].中华消化内镜杂志,2009,26(4):180-183.

[14]陈京水,李业勤,刘玉,等.人工神经网络在图像处理中的应用[J].中国医学装备,2010,7(7):39-42.

[15]Erickson BJ,Korfiatis P,Akkus Z,et al.Machine learning for medical imaging[J].Radiographics,2017,37(2):505-515.

[16]Yan L,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521(7553):436-444.

[17]Tajbakhsh N,Shin Y,Gurudu R,et al.Convolutional neural networks for medical image analysis:full training or fine tuning?[J].IEEE Trans Med Imaging,2016,35(5):1299-1312.

[18]殷放,张百萌,桂西青.结节性甲状腺肿合并甲状腺癌的诊断与治疗[J].中国医药,2009,4(1):68-69.

[19]Ravi D,Wong C,Deligianni F,et al.Deep learning for health informatics[J].IEEE J Biomed Health Inform,2017,21(1):4-21.

[20]Litjens G,Kooi T,Bejnordi BE,et al.A Survey on deep learning in medical image analysis[J].Med Image Anal,2017,42:60-88.

[21]吴意平,陈海龙,张大磊.深度学习方法建立痤疮分级系统的探索[J].中国医药,2018,13(4):606-608.

[22]Ma J,Wu F,Jiang T.et al.Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images[J].Med Phys,2017,44(5):1678-1691.

[23]Chi N,Walia E,Babyn P,et al.Thyroid nodule classification in ultrasound images by fine-tuning deep convolutional neural network[J].J Digit Imaging,2017,30(4):477-486.

[24]Li H,Wang J,Shi Y,et al.An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images[J].Sci Rep,2018,8(1):6600.

基于深度学习的甲状腺结节自动识别方法在超声图像中的应用

引言