人工智能技术在脑肿瘤影像诊断和评估中的应用

人工智能技术在脑肿瘤影像诊断和评估中的应用

吴双,陈蔓,周育夫

蚌埠医学院第一附属医院 肿瘤放疗科,安徽 蚌埠 233004

[摘 要]本文重点介绍了人工智能技术在脑肿瘤影像诊断和评估中的研究进展,并展望人工智能在脑肿瘤精准化、个性化诊治的推动作用。本研究检索日期从2015年1月1日至2019年9月15日,采用关键词检索方式,检索了PubMed和知网两个数据库,同时手工检索纳入研究的参考文献。总共纳入40项研究,其中14项研究涉及脑肿瘤诊断,6项研究涉及脑肿瘤分级,6项研究涉及预测预后,3项研究涉及评估治疗反应,11项研究涉及评估生物学特性。人工智能技术在脑肿瘤领域,如肿瘤诊断、肿瘤分级、预后预测、治疗反应和生物学特性等诸多方面均取得不错的成绩,在未来的脑肿瘤诊疗中有广阔的应用前景。然而,人工智能技术仍然存在艰巨的障碍和陷阱,如机构间数据难以聚合,犹如“数据孤岛”。面对数据共享障碍,联邦学习有望解决数据隐私问题,需要相关学者进一步探索。

[关键词]人工智能;机器学习;深度学习;脑肿瘤;磁共振成像

引言

从1956年人工智能(Artificial Intelligence,AI)这个概念被首次提出到现在已有60余年了,AI的发展几经沉浮,终于在21世纪呈现出爆发的趋势,这不单单是因为计算能力的提升和大数据的积累,更是算法发生了重大的变革。AI正在一步步的走向成熟,它就在我们身边,触手可及:AlphaGo以4:1的比分战胜人类职业棋手九段李世石,“腾讯觅影”的早期疾病筛查,百度和谷歌的无人驾驶等。随着AI技术的不断落地,医学影像、医学病理、药物研发、健康管理、疾病预测等场景中都可以看到AI的身影,尤其在目前中国AI医疗应用领域中,医学影像是最热门、最成熟的领域[1]。本文就AI技术在脑肿瘤影像诊断和评估中的应用现状进行综述。

1 AI及脑肿瘤介绍

AI是计算机科学的一个分支,它试图通过使用计算机软件和算法来模拟机器中的类人智能,从而让机器能够解决人脑所能解决的问题[2]。机器学习是AI的子领域,而深度学习又是机器学习中的一个领域。机器学习使用计算机软件和算法通过提供的原始数据库来建模并检测学习过程中的模型和相关性,机器学习的算法有支持向量机(Support Vector Machines,SVM)、人工神经网络和最新扩展的深度学习[3]。深度学习是机器学习的最新形式,它是人工神经网络的一个变体,由更多的隐藏层或多层处理网络组成[2]。深度学习既能进行监督学习,也能进行无监督学习,其可直接从大规模数据集中自动学习医学图像的有用特征。在目前的医学图像分析中最成功、最流行的深度学习框架是卷积神经网络(Convolutional Neural Network,CNN)、深度神经网络以及相关变体[3]

脑肿瘤是细胞异常增殖所产生的,可产生头痛、颅内高压及局灶性症状。目前,使用磁共振成像(Magnetic Resonance Imaging,MRI)、计算机断层扫描以及其他成像方式进行脑部扫描是快速和安全的脑肿瘤检测方法,尤其MRI能够显示脑结构变化,对脑肿瘤的诊断确认率极高,对脑实质和脑脊液的显示度极好,被认为是诊断脑肿瘤标准技术[4]。然而,医生的临床经验和知识水平的高低会导致阅读结果的优劣差异,进而影响患者的早期诊断和治疗计划等。近年来,越来越多的研究者利用AI技术开发了一系列有关脑肿瘤的算法,有望提高早期脑肿瘤诊断的准确性以及为患者提供个性化治疗决策。

2 AI在脑肿瘤中的应用

2.1 脑肿瘤的诊断

脑肿瘤的诊断包括肿瘤检测和分割的过程。由于肿瘤形状和类型的多样性,临床上人工诊断脑肿瘤是耗时的且可能因患者间解剖结构变化产生不一致的结果。因此,迫切需要计算机辅助方法更好的进行肿瘤的诊断,进而提高早期脑肿瘤诊断的准确性和一致性。

脑肿瘤的检测任务主要是识别图像中的肿瘤目标,并且确定它们的具体物理位置。Laukamp等[5]基于深度学习的方法使用常规MRI对脑膜瘤进行全自动检测和分割,在56例脑膜瘤数据中,深度学习模型可以检出55例,此外,将自动分割与手动分割结果进行比较,两者强相关,平均Dice相似系数为0.81±0.10。同样,Charron等[6]建立基于深度卷积神经网络的MRI脑转移瘤的自动检测与分割模型,该模型的平均Dice相似系数为0.77。此外,Abd-Ellah等[7]基于19例患者的MRI资料使用卷积神经网络提取数据特征,并使用纠错输出码支持向量机进行分类,最终在MRI上实现自动诊断脑肿瘤并且达到99.55%的准确率,Dice系数为0.87。但该研究样本仅有19例,较小的样本量容易引起误差,而深度学习训练需要大量的高质量医学数据,还需进一步扩大样本多样性和样本量来完善该研究。

脑肿瘤分割是识别图像中肿瘤目标区域的内部体素以及外部轮廓,从而完成肿瘤的定位和分离图像内正常与肿瘤组织。Naceur等[8]使用深度神经网络对MRI进行全自动脑肿瘤分割,该模型可用于高、低级别胶质母细胞瘤的分割,平均Dice值为0.88,分割每例数据平均时间为20.87 s。Wang等[9]提出了一种算法进行脑肿瘤自动分割,该方法对水肿、非增强肿瘤、增强肿瘤的Dice相似系数分别为0.6652、0.5880、0.6682,经过级联训练后,Dice相似系数分别提高到0.7043、0.5889和0.7206。Deng等[10]基于完全卷积神经网络建立脑肿瘤分割模型,该方法的平均Dice相似系数为90.98%,该方法也具有很高的即时性,可以在1 s内对脑肿瘤图像进行分割。此外,Lorenzo等[11]、Thillaikkarasi等 [12]、Sajid 等 [13]、Sun 等 [14]、Havaei等 [15]、Kamnitsas等[16]、Pereira等[17]、AlBadawy等[18]分别基于深度学习技术建立脑肿瘤分割模型,各模型均表现出良好的性能(表1)。基于AI技术的分割模型均得到较高的分割精度,AI辅助诊断提高了早期脑肿瘤诊断的准确性和一致性,同时显著提高了医生工作效率。

2.2 脑肿瘤的分级

当前的机器学习技术通过从磁共振成像得出的定量参数,为研究者提供了开发无创、准确和自动化的脑肿瘤分级工具。各种机器学习方法,包括支持向量机分类器,已被用于脑肿瘤的分级中,这些研究主要依赖于从现有患者数据中提取脑肿瘤的特征来构建原始模型。

Skogen等[19]使用MRI纹理分析评估肿瘤的异质性,从而确定胶质瘤分级的准确性。结果显示该模型在精细纹理尺度上对低级别胶质瘤和高级别胶质瘤的鉴别效果最好,灵敏度和特异性分别为93%和81%(AUC=0.910,P<0.001)。同样,Zhang等[20]使用多参数MRI直方图和纹理特征建立基于机器学习的胶质瘤分级系统。该研究在多参数MRI的基础上,综合比较不同机器学习方法在鉴别低级别胶质瘤和高级别胶质瘤以及WHO II级、III级和IV级胶质瘤中的应用。研究发现支持向量机的性能优于其他分类器,低级别胶质瘤、高级别胶质瘤或II、III、IV级胶质瘤的分类准确性为0.945或0.961。此外,Pan等[21]使用多相MRI进行脑肿瘤分级,并将卷积神经网络深度学习模型和传统神经网络模型的分级结果进行比较。结果表明,与基线神经网络相比,基于灵敏度和特异性的三层结构卷积神经网络的分级性能最大提高了18%,并且卷积神经网络显示出一些自学特性。Zacharaki等[22]使用支持向量机-递归特征消除方法在MRI上进行脑肿瘤类型和等级分类。研究通过对102例脑肿瘤数据进行留一交叉验证得出支持向量机分类准确率、灵敏度和特异性分别为87%、89%和79%,区分高级和低级胶质瘤的准确率、灵敏度和特异性分别为87%、83%和96%。

此外,脑肿瘤的分类是将检测的病灶区域自动分类为良性或者恶性,并对病灶的轻重程度进行量化分级。Banzato等[23]基于深度卷积神经网络建立区分犬脑膜瘤和神经胶质瘤的模型。研究显示该图像分类器在造影后T1图像上准确率为94%,在造影前T1图像上准确率为91%,在T2图像上为90%。Mohsen等[24]使用深度学习神经网络对脑肿瘤进行分类,该分类器可以将数据集分为正常组织、胶质母细胞瘤、肉瘤和转移性支气管肺癌4类,所有的性能指标都表现良好。

表1 AI在脑肿瘤诊断中的应用—纳入文献数据特征

注:卷积神经网络(Convolutional Neural Network,CNN);纠错输出码支持向量机(Error-Correcting Output Codes Support Vector Machine,ECOC-SVM);深度卷积神经网络(Deep ConvolutionalNeural Networks,DCNN);嵌套扩张网络(Nested Dilation Networks,NDN);完全卷积神经网络(Fully Convolutional Neural Networks,FCNN);多类支持向量机(Multiclass-SVM,M-SVM);长短时记忆(Long Short Term Memory,LSTM);密集残差精炼网络(Dense Residual Refine Networks,DRRN);深度神经网络(Deep Neural Networks,DNN)。

序号 第一作者 杂志简称 机器学习算法 成像方式 患者例数/例 肿瘤类型 应用 结果1 Laukamp[5] Eur Radiol CNN MRI 56 脑膜瘤 检测和分割 Dice系数为0.81±0.10 2 Charron[6] Comput Biol Med CNN MRI 182 脑转移瘤 检测与分割 Dice系数为0.77 3 Abd-Ellah[7] EURASIP J Image Video CNN,ECOCSVMMRI19脑肿瘤检测和定位99.55%的准确率,Dice系数为0.87 4 Naceur[8] Comput Methods Programs BiomedDCNNMRI285高、低级别胶质瘤分割Dice系数为0.88,分割每例数据平均时间为20.87 s 5对水肿、非增强肿瘤、增强肿瘤的Dice系数分别为0.7043、0.5889和0.7206 6 Deng[10] J Med Syst FCNN MRI 100 脑肿瘤 分割 Dice系数为90.98%,可在1秒内完成分割7 Lorenzo[11] Comput Methods Wang[9] Front Neurosci NDN MRI — 胶质瘤 分割Programs BiomedFCNNMRI11脑肿瘤分割Dice系数为0.85~0.95,分割时间<1 s 8 Thillaikkarasi[12] J Med Syst CNN、M-SVM MRI 40 脑肿瘤 分割 分割准确率为84%9 Sajid[13] Microsc Res Tech LSTM、CNN MRI 384 脑肿瘤 分割CNN的准确率为75%,LSTM的准确率为80%,而集成模型的准确率为82.29%10 Sun[14] J Med Syst DRRN MRI 384 高、低级别胶质瘤 分割整个肿瘤、肿瘤核心和增强肿瘤的Dice系数分别为0.84、0.72和0.62 11 Havaei[15] Med Image Anal DNN MRI 65 高、低级别胶质瘤 分割 Dice系数为0.88 12 Kamnitsas[16] Med Image Anal CNN MRI 61脑部病变(脑损伤,脑肿瘤,缺血性中风)分割 Dice系数为0.90 13 Pereira[17] ENBENG FCNN MRI — 脑肿瘤 分割 Dice系数为0.85,分割时间约40 s 14 AlBadawy[18] Med Phys CNN MRI 44 胶质瘤 分割 Dice系数为0.72±0.17和0.76±0.12

2.3 预后预测

医学中预测模型的开发是以大量的个体患者数据为建模基础。当建模的数据太复杂而传统的统计技术无法快速有效地处理时,机器学习技术,特别是深度学习技术是合适之选。而且大多数生存回归模型,例如,Cox比例风险模型不具备分析影像特征与事件发生风险之间的非线性关系的能力,近年来神经网络已广泛应用于图像分析,因为它们具有提取复杂特征的功能,从而通过数据挖掘进行数据处理,自动学习数据特征,构建强大的神经网络预测模型。

Chang等[25]利用治疗前和治疗后的多模式MRI特征预测贝伐单抗治疗的复发性胶质母细胞瘤患者的生存期,结果显示使用常规的放射学评估标准,预测总生存期的危险比为3.38(P<0.001);治疗前和治疗后MRI特征预测总生存期的危险比分别为5.10(P<0.001)和3.64(P<0.05)。同样,Grossmann等[26]也研究MRI是否具有将贝伐单抗治疗的复发性胶质母细胞瘤患者进行风险分层的潜力。结果显示该模型能够将患者总体生存期和无进展生存期显着分层,一般来说,与增强T2加权成像相比,增强T1加权成像后的特征具有更高的预测能力。Emblem等[27]建立支持向量机和术前神经胶质瘤患者生存期关联模型,该研究利用基于MRI的脑血容量分布数据建立预测模型,并对该模型的预测效果进行前瞻性评估。结果显示,与专家医生的总体定性评估相比,该模型的ROC曲线下面积为0.794~0.851;危险比为5.4~21.2,支持向量机模型的诊断准确率更高,并且该模型对患者,观察者和机构差异不敏感。Nie等[28]基于卷积神经网络建立预测脑肿瘤患者生存时间的多模式图像模型,研究结果表明该模型的预测准确率为89.9%。Macyszyn等[29]基于机器学习技术建立预测胶质母细胞瘤患者总体生存率和分子亚型的成像模型。结果显示生存曲线预测长期和短期生存者的危险比为10.64,总体而言,前瞻性队列的三向(长/中/短生存期)准确率接近80%,并将患者分为4个分子亚型的胶质母细胞瘤,准确率为76%。此外,Young等[30]使用无监督的深度学习模型揭示了与预后相关的胶质母细胞瘤亚型,该模型不仅可发现具有不同生存期的多形胶质母细胞瘤簇,还可发现差异表达的基因和突变(NF1,IDH1,EGFR)。

2.4 治疗反应

复发性脑肿瘤和放射性坏死在MRI上有着极其相似的表现,都表现为原强化灶增大或新增强化灶,因此常常容易误诊,然而两者的治疗方式截然不同,因此,区分肿瘤复发和放射性坏死具有重要的临床意义。

Tiwari等 [31]在多参数 MRI(T1WI,T2WI,FLAIR)上通过提取纹理特征来区分复发性脑肿瘤和放射性坏死,结果显示在训练集中,FLAIR的AUC最高为0.79,在验证集的15项研究中,支持向量机分类器正确识别了15项研究中的12项,而1号医生正确诊断了15项研究中的7项,2号医生正确诊断了15项研究中的8项。Larroza等[32]基于MRI纹理特征建立区分脑转移和放射性坏死的支持向量机分类模型,研究者从115个病灶中总共提取到179个纹理特征。结果显示利用纹理特征和支持向量机分类器对脑转移灶和放射性坏死灶进行区分,可获得较高的准确度(AUC>0.9)。Kim等[33]联合应用磁化率加权磁共振成像(Susceptibility Weighted Magnetic Resonance Imaging,SWMRI) 和 动态磁化率对比灌注成像(Dynamic Susceptibility Contrast Perfusion Weighted Imaging,DSC-PWI)以提高高级别胶质瘤患者复发和放射性坏死鉴别诊断的准确性。与单独的DSC-PWI相比,SWMRI和DSC-PWI的联合应用使ROC的最佳临界值获得71.9%的敏感性,100%的特异性和82.3%的准确性,两者结合应用有可能成为总体生存期的预后指标,并降低高级别胶质瘤的复发和放射性坏死鉴别诊断的假阳性率。

2.5 生物学特性

磁共振成像不仅能非侵入性地显示脑结构变化,还能初步在分子水平反映肿瘤微观生物学改变,有助于提高临床诊断脑肿瘤、提供个性化治疗决策以及预测肿瘤预后,有助于治疗后随访和预测患者的生存期。

异柠檬酸脱氢酶(Isocitrate Dehydrogenase,IDH)突变是恶性胶质瘤最原始的基因突变。IDH1和IDH2基因突变只出现在恶性胶质瘤中,IDH1和IDH2基因发生突变患者生存期明显长于未发生突变者。Chang等[34]使用卷积神经网络从MRI中预测胶质瘤患者的IDH状态。该模型在训练,验证和测试集中IDH预测准确率分别为82.8%(AUC=0.90)、83.0%(AUC=0.93)和 85.7%(AUC = 0.94),将诊断时的年龄纳入模型后,训练,验证和测试的准确率分别提高到87.3%(AUC = 0.93),87.6%(AUC=0.95)和89.1%(AUC=0.95)。Li等[35]基于深度学习的放射组学(Deep Learning-based Radiomics,DLR)建立预测异柠檬酸脱氢酶1(IDH1)突变状态的模型。对于相同的数据集,常规放射组学方法估计IDH1的AUC为86%,而DLR的AUC为92%。使用基于多模态磁共振成像的DLR,估计IDH1的AUC进一步提高到95%。此外,Liang等[36]通过深度学习方法利用多模态磁共振成像数据预测胶质瘤中IDH基因型,在验证数据集上,该模型达到了84.6%的准确率(AUC=85.7%),为了评估其通用性,研究者应用转移学习技术来预测世界卫生组织的等级状态,准确率也达到了91.4%(AUC=94.8%)。Yu等[37]基于定量放射组学方法无创预测II级胶质瘤IDH1突变状态,在留一交叉验证中,该方法预测IDH1状态的准确性为0.80,灵敏度为0.83,特异性为0.74,AUC为0.86。Zhang等[38]通过多模式MRI特征预测高级别胶质瘤中IDH基因型,该模型在训练集中的准确率为86%(AUC=0.8830),在验证集中为89%(AUC=0.9231)。

O6-甲基鸟嘌呤-DNA甲基转移酶(O6-Methylguanine-DNA Methyl-Transferase,MGMT)是人类细胞内普遍存在的一种DNA修复蛋白,MGMT启动子甲基化状态的胶质瘤患者对化疗、放疗敏感,生存期较长。Han等[39]利用卷积递归神经网络预测胶质母细胞瘤患者的MGMT甲基化状态,该架构在验证数据上的准确率为67%,在测试数据上的准确率为62%。Kor fiatis等[40]利用深度卷积神经网络预测MGMT甲基化状态,研究者发现ResNet50(50层)的性能是最好的,测试集的准确率为94.90%,ResNet50性能在统计学上显着优于ResNet34(80.72%)和ResNet18(76.75%)结构(P<0.001)。Kor fiatis等[41]将 MRI纹理特征作为预测胶质母细胞瘤MGMT甲基化状态的生物标记,结果显示基于支持向量机的分类器ROC曲线为0.85(95%CI:0.78~0.91)。

1号染色体短臂和19号染色体长臂(1p和19q)联合性缺失是少突胶质细胞瘤的诊断性分子标记物。1p和19q联合缺失的少突胶质细胞瘤生长缓慢,对化疗敏感,患者的生存期延长。Akkus等[42]使用卷积神经网络技术从MRI中预测低级别胶质瘤染色体臂1p/19q的缺失,该模型的敏感性、特异性和准确性分别为93.3%、82.22%和87.7%。Zhou等[43]通过MRI特征预测低级别胶质瘤的存活率和分子标志物,结果显示,所有成像特征评分均具有显着一致性(k=0.703~1.000),使用logistic回归发现纹理特征在预测IDH1突变,1p/19q状态,组织学等级和肿瘤进展方面具有更高的预测潜力,AUC 分别为0.86±0.01,0.96±0.01,0.86±0.01和0.80±0.01。Chang等[44]使用深度学习进行胶质瘤的遗传突变分类,该卷积神经网络经过训练,可以对IDH1突变状态,1p/19q联合缺失和MGMT启动子甲基化状态进行分类,其分类准确率分别为94%,92%和83%,并且每个遗传类别还与独特的影像学特征相关,例如肿瘤边缘定义,水肿程度,坏死程度和纹理特征等。

3 思考与展望

综上所述,AI技术在脑肿瘤的诊断、肿瘤分级、预后预测、治疗反应和生物学特性等方面均取得一定的进展,证明了AI技术在未来的脑肿瘤诊疗中具有广阔的应用前景。AI技术和第五代移动通信技术、大数据等前沿技术的充分整合和运用,智能机器可能会比很多人预测的更远,将快速、准确和低成本的处理大规模数据,实现人类无法看到或做到的事情。然而,AI技术仍然存在艰巨的障碍和陷阱。当前的AI炒作热潮已经远远超出了AI的“真”科学进展现状,尤其涉及模型的临床验证和可重复性时。最近有学者对医学影像AI算法的可重复性问题进行了调查分析,研究发现2018年发表的516篇原始论文,仅6%(31个研究)进行了外部验证,但外部验证又缺乏严格的设计,缺少多中心、前瞻性的验证数据[45]。不同于一位医生的错误只会伤害到一位病人,AI算法有可能带来巨大的医源性风险。因此在将AI算法用于医疗实践时,需要进行系统性的严格的外部验证以及前瞻性的审查。

当前,机器学习算法的训练和验证需要大量高质量的医学数据,然而由于监管瓶颈限制了机构间患者数据的共享,这些数据很大程度上难以聚合,犹如“数据孤岛”。面对数据共享障碍,一种新的框架被提出——联邦学习。联邦学习是一种加密的分布式机器学习框架,在满足各方机构用户数据隔离、隐私保护、政府法规的要求下允许多方企业参与,并利用各方数据集来训练和验证模型,从而成功的打通“数据孤岛”,实现“共同富裕”[46-47]。例如,麻省理工学院、哈佛大学和清华大学的研究人员基于联邦学习提出了一种新的电子病历训练方法[48]。研究者从美国的208家医院获取临床数据,通过该技术保证原始数据保留原地不动,仅利用加密后的数据训练预测模型,不仅保护了数据隐私,而且该算法的准确性接近传统集中学习方法。研究人员表示联邦学习技术可以扩展到医学图像识别、跨多个医疗机构的医疗决策等应用之中。尽管联邦学习表现出非凡的能力,但并不意味着一劳永逸,我们需要不断改进和开发新的数据共享平台,进一步提高模型准确性和通用性,推进AI技术在医疗领域特别是脑肿瘤的诊断和评估中的广泛应用。

[参考文献]

[1]上海交通大学人工智能研究院.中国人工智能医疗白皮书[R].2019,1:1-5.

[2]LeCun Y,Bengio Y,Hinton G.Deep learning[J].Nature,2015,521,436-444.

[3]Bibault JE,Giraud P,Burgun A.Bigdata and machine learning in radiation oncology: state of the art and future prospects[J].Cancer Lett,2016,382(1),110-117.

[4]Logeswari T,Karnan M.An improved implementation of brain tumor detection using segmentation based on hierarchical self organizing map[J].Int J Comput Theory Eng,2010,2(4):591.

[5]Laukamp KR,Thiele F,Shakirin G,et al.Fully automated detection and segmentation of meningiomas using deep learning on routine multiparametric MRI[J].Eur Radiol,2018,29(1):124-132.

[6]Charron O,Lallement A,Jarnet D,et al.Automatic detection and segmentation of brain metastases on multimodal MR images with a deep convolutional neural network[J].Comput Biol Med,2018,95:43-54.

[7]Abd-Ellah MK,Awad AI,Khalaf AAM,et al.Two-phase multimodel automatic brain tumour diagnosis system from magnetic resonance images using convolutional neural networks[J].Eurasip J Image Video,2018 (1):97.

[8]Naceur MB,Saouli R,Akil M,et al.Fully automatic brain tumor segmentation using end-to-end incremental deep neural networks in MRI images[J].Comput Methods Programs Biomed,2018,166:39-49.

[9]Wang L,Wang S,Chen R,et al.Nesteddilation networks for brain tumor segmentation based on magnetic resonance imaging[J].Front Neurosci,2019,13:285.

[10]Deng W,Shi Q,Luo K,et al.Braintumor segmentation based on improved convolutional neural network in combination with non-quantifiable local texture feature[J].J Med Syst,2019,43(6):152.

[11]Lorenzo PR,Nalepa J,Bobek-Billewicz B,et al.Segmenting brain tumors from FLAIR MRI using fully convolutional neural networks[J].Comput Methods Programs Biomed,2019,176:135-148.

[12]Thillaikkarasi R,Saravanan S.Anenhancement of deep learning algorithm for brain tumor segmentation using kernel based CNN with M-SVM[J].J Med Syst,2019,43(4):84.

[13]Sajid I,Muhammad U,Ghani K,et al.Deep learning model integrating features and novel classifiers fusion for brain tumor segmentation[J].Microsc Res Tech,2019,82(8):1302-1315.

[14]Sun J,Chen W,Peng S,et al.DRRNet: dense residual refine networks for automatic brain tumor segmentation[J].J Med Syst,2019,43(7):221.

[15]Havaei M,Davy A,Warde-Farley D,et al.Brain tumor segmentation with Deep Neural Networks[J].Med Image Anal,2017,35:18-31.

[16]Kamnitsas K,Ledig C,Newcombe VFJ,et al.Efficient multiscale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J].Med Image Anal,2017,36:61-78.

[17]Pereira S,Oliveira A,Alves V,et al.On hierarchical brain tumor segmentation in MRI using fully convolutional neural networks: a preliminary study[A].2017 IEEE 5th Portuguese Meeting on Bioengineering (ENBENG)[C].Portuguese:IEEE,2017.

[18]AlBadawy EA,Saha A,Mazurowski MA.Deep learning for segmentation of brain tumors: impact of cross-institutional training and testing[J].Med Phys,2018,45(3):1150-1158.

[19]Skogen K,Schulz A,Dormagen JB,et al.Diagnostic performance of texture analysis on MRI in grading cerebral gliomas[J].Eur J Radiol,2016,85(4):824-829.

[20]Zhang X,Yan LF,Hu YC,et al.Optimizing a machine learning based glioma grading system using multiparametric MRI histogram and texture features[J].Oncotarg et,2017,8(29):47816-47830.

[21]Pan Y,Huang W,Lin Z,et al.Brain tumor grading based on Neural Networks and Convolutional Neural Networks[J].Conf Proc IEEE Eng Med Biol Soc,2015,2015:699-702.

[22]Zacharaki EI,Sumei W,Chawla S,et al.MRI-based classification of brain tumor type and grade using SVM-RFE[A].IEEE International Symposium on Biomedical Imaging: from Nano to Macro[C].Boston,MA:IEEE,2009:1035-1038.

[23]Banzato T,Bernardini M,Cherubini GB,et al.A methodological approach for deep learning to distinguish between meningiomas and gliomas on canine MR-images[J].BMC Vet Res,2018,14(1):317.

[24]Mohsen H,El-Dahshan ESA,El-Horbaty ESM,et al.Classification using deep learning neural networks for brain tumors[J].Future Comput Inform J,2018,3(1):68-71.

[25]Chang K,Zhang B,Guo X,et al.Multimodal imaging patterns predict survival in recurrent glioblastoma patients treated with bevacizumab[J].Neuro-oncology,2016,18(12):1680-1687.

[26]Grossmann P,Narayan V,Chang K,et al.Quantitative imaging biomarkers for risk stratification of patients with recurrent glioblastoma treated with bevacizumab[J].Neuro-Oncology,2017,19(12):1688-1697.

[27]Emblem KE,Pinho MC,Z?llner FG,et al.Ageneric support vector machine model for preoperative glioma survival associations[J].Radiology,2015,275(1):228-234.

[28]Nie D,Zhang H,Adeli E,et al.3D deep learning for multimodal imaging-guided survival time prediction of brain tumor patients[J].Lect Note Comput Sci,2016:212-220.

[29]Macyszyn L,Akbari H,Pisapia JM,et al.Imaging patterns predict patient survival and molecular subtype in glioblastoma via machine learning techniques[J].Neuro-Oncology,2015,18(3):417-425.

[30]Young JD,Cai C,Lu X.Unsupervised deep learning reveals prognostically relevant subtypes of glioblastoma[J].BMC Bioinformatics,2017,18(11):381.

[31]Tiwari P,Prasanna P,Wolansky L,et al.Computer-extracted texture features to distinguish cerebral radionecrosis from recurrent brain tumors on multiparametric MRI: a feasibility study[J].AJNR Am J Neuroradiol,2016,37(12):2231-2236.

[32]Larroza A,Moratal D,Paredes-Sánchez A,et al.Support vector machine classification of brain metastasis and radiation necrosis based on texture analysis in MRI[J].J MagnReson Imaging,2015,42(5):1362-1368.

[33]Kim TH,Yun TJ,Park CK,et al.Combined use of susceptibility weighted magnetic resonance imaging sequencesand dynamic susceptibility contrast perfusion weighted imaging to improve the accuracy of the differential diagnosis of recurrence and radionecrosis in high-grade glioma patients [J].Oncotarget,2017,8(12):20340-20353.

[34]Chang K,Bai HX,Zhou H,et al.Residual convolutional neural network for the determination ofIDH status in low- and high-grade gliomas from MR imaging[J].Clin Cancer Res,2017,24(5):1073-1081.

[35]Li Z,Wang Y,Yu J.et al.Deeplearning based radiomics (DLR)and its usage in noninvasive IDH1 prediction for low grade glioma[J].Sci Rep,2017,7(1):5467.

[36]Liang S,Zhang R,Liang D,et al.Multimodal 3D dense Net for IDH genotype prediction in gliomas[J].Genes,2018,9(8):382.

[37]Yu J,Shi Z,Lian Y,et al.Noninvasive IDH1 mutation estimation based on a quantitative radiomics approach for grade II glioma[J].Eur Radiol,2017,27(8):3509-3522.

[38]Zhang B,Chang K,Ramkissoon S,et al.Multimodal MRI features predict isocitrate dehydrogenase genotype in highgrade gliomas[J].Neuro-Oncology,2016,19(1):109-117.

[39]Han L,Kamdar MR.MRI to MGMT: predicting methylation status in glioblastoma patients using convolutional recurrent neural networks[J].Pac Symp Biocomput,2018,23:331-342.

[40]Korfiatis P,Kline TL,Lachance DH,et al.Residualdeep convolutional neural network predicts MGMT methylation status[J].J Digit Imaging,2017,30(5):622-628.

[41]Korfiatis P,Kline TL,Coufalova L,et al.MRI texture features as biomarkers to predict MGMT methylation status in glioblastomas[J].Med Phys,2016,43(6):2835-2844.

[42]Akkus Z,Ali I,Sedláǐ J,et al.Predictingdeletion of chromosomal arms 1p/19q in low-grade gliomas from MR images using machine intelligence[J].J Digit Imaging,2017,30(4):469-476.

[43]Zhou H,Vallières M,Bai HX,et al.MRI features predict survival and molecular markers in diffuse lower-grade gliomas[J].Neuro-Oncology,2017,19(6):862-870.

[44]Chang P,Grinband J,Weinberg BD,et al.Deep-learning convolutional neural networks accurately classify genetic mutations in gliomas[J].AJNR Am J Neuroradiol,2018,39(7):1201-1207.

[45]Kim DW,Jang HY,Kim KW,et al.Designcharacteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysisof medical images:results from recently published papers[J].Korean J radiol,2019,20(3):405-410.

[46]Zhao Y,Li M,Lai L,et al.Federatedlearning with NonIIDdata[J].arXiv Preprint,2018.

[47]Huang L,Yin Y,Fu Z,et al.LoAdaBoost: loss-based adaBoost federated machine learning with reduced computational complexity on IID and non-IID intensive care data[J].PLoS One,2020,15(4).

[48]Huang L,Shea AL,Qian H,et al.Patient clustering improves efficiency of federated machine learning to predict mortality and hospital stay time using distributed electronic medical records[J].J Biomed Inform,2019,99,103291.

Application of Artificial Intelligence Technology in Imaging Diagnosis and Evaluation of Brain Tumors

WU Shuang, CHEN Man, ZHOU Yufu
Department of Tumor Radiotherapy, The First Affiliated Hospital of Bengbu Medical College, Bengbu Anhui 233004, China

Abstract: This paper focuses onthe research progress of artificial intelligence(AI) technology in the diagnosis and evaluation of brain tumor imaging, and looks forward to the role of AI in accurate and personalized diagnosis and treatment of brain tumors. The retrieval date of this study was from January 1, 2015 to September 15, 2019. Two databases, PubMed and CNKI, were searched by keyword retrieval and the references included in the study were searched manually. A total of forty studies were included in this study, of which fourteen studiesinvolving brain tumor diagnosis, six studies involving brain tumor grading, six studies involving prognosis, three studies involving treatment response assessment, and eleven studies involving biological characteristics assessment.AI technology has made significant progress in the field of brain tumors, such as tumordiagnosis, tumorgrading, prognosisprediction,assessment of treatment response and biological characteristics. We expect that AI technology has a broad application prospect in the future diagnosis and treatment of brain tumors. However, there are still many formidable obstacles and pitfalls in AI technology such as the difficulty of aggregated data between organizations, leading to“data-island”. Facing the obstacle of data sharing, federal learning is expected to solve the data privacy problem, which needs further exploration by relevant scholars.

Key words: artificial intelligence; machine learning; deep learning; brain tumors; magnetic resonance imaging

收稿日期:2019-12-17

通信作者:周育夫,副教授,主要研究方向为肿瘤放射治疗。

通信作者邮箱:byyfyzyf@126.com

[中图分类号]R445;R730.44

[文献标识码]A

doi:10.3969/j.issn.1674-1633.2020.12.041

[文章编号]1674-1633(2020)12-0171-06

本文编辑 韩莹