专论——医用大型成像设备评价研究

编者按:医用MRI及PET/CT作为不可或缺的高端医学成像设备在医疗中发挥着不可替代的重要作用。当前,一方面,上述高端医疗设备几乎完全被跨国公司垄断,给公共医疗带来沉重负担,另一方面,国内医疗设备厂商自主研发风起云涌。如何通过建立全面科学合理的评价体系,客观评价国内外大型高端医疗成像设备各方面的异同,将为我国高端医学产业的自主创新与发展指明方向。本期推出五篇论文分别介绍了医用MRI设备体验设计评价指标体系的构建,国产及进口MRI使用体验调查研究,MRI的声学噪声水平测试研究,国内MRI设备用户使用体验调查分析以及基于FMECA的PET-CT可靠性评价研究。期望在同道们的共同努力下,加速推进我国医用高端成像设备质量和功能的提升,提高售后服务的针对性,带动我国医疗装备的快速发展。

基于德尔菲法和层次分析法的医用磁共振成像设备体验设计评价指标体系构建

翟晶1,王筱金2,赵古月3,尹建东3,侯阳3,王炳顺2

1. 上海交通大学 公共卫生学院,上海 200025;2. 上海交通大学医学院 临床研究中心 生物统计教研室,上海 200025;3. 中国医科大学附属盛京医院 放射科,辽宁 沈阳 110004

[摘 要] 目的 建立医用磁共振成像设备体验设计评价指标体系。方法 采用德尔菲法确立评价指标,并运用层次分析法计算指标权重。结果 经过两轮专家咨询,建立了以系统整体性与工作流为主要框架的层次结构模型,其中一级指标2个,二级指标15个,同时通过层次分析法对各项指标赋予权重。结论 本研究构建的医用磁共振成像设备体验设计评价指标体系较全面、客观,具有较好的可操作性,适用于医用MRI设备的体验设计评价。

[关键词] 德尔菲法;层次分析法;评价指标体系;医用磁共振成像;体验设计评价

引言

随着医用磁共振成像(Magnetic Resonance Imaging,MRI)设备的市场需求日益增长,不同品牌、不同型号的MRI 设备纷纷进入临床应用。对MRI 设备进行综合评价,是医疗设备管理的重要组成部分。然而国内外对医用MRI设备的评价主要集中在产品注册与出厂阶段的指标检测和临床质控两个方面[1],在MRI 设备的体验设计评价等方面尚欠缺相应的评价标准[2-3]。有必要围绕MRI 设备的体验设计评价体系的建立进行探索研究。

综合评价方法众多,需结合评价目的和评价指标特性选取合适的方法。德尔菲法[4],又称之为专家咨询法,是一种定性的研究方法,在评价指标体系建立过程中使用较为广泛[5-7]。层次分析法(Analytic Hierarchy Process,AHP)[8]作为定量与定性相结合的研究方法,在综合评价研究中常用于确立评价指标权重[9-11]。本文拟采用层次分析法和德尔菲法构建医用MRI 体验设计的评价指标体系,为MRI设备综合评价指标体系的建立提供参考。

1 材料与方法

1.1 德尔菲法

本文运用德尔菲法(Delphi Method)确立评价指标,研究人员通过电子邮件向专家发送调查问卷,经过两轮调查问卷的发放与收回。每位专家对咨询问卷中列出的指标的重要性进行评分。每一轮咨询结束后,相关工作人员会对咨询结果进行统计分析,并统计分析咨询专家的组成结构、专家意见积极系数和权威程度,综合专家意见后,对评价指标进一步筛选和整理[12]

1.2 层次分析法

利用层次分析法(Analytic Hierarchy Process,AHP)确定评价指标权重,确立医用MRI 体验设计评价指标体系。

主要步骤:① 根据专家打分对一级和二级指标进行两两相对重要性评分;② 得到判断矩阵;③ 计算出矩阵的最大特征根;④ 进行一致性检验;⑤ 最后计算各级指标的权重[8]

我们利用Excel 2016 软件对收集到的数据进行整理和分析;并且运用Yaahp 12 软件实现层次分析法。

2 结果

2.1 德尔菲法确立评价指标

2.1.1 专家基本情况

本研究遴选医学影像技术和生物医学工程专业领域专家20 人,其中男性13 人,女性7 人;平均年龄(35.14±2.87)岁;学历以本科为主,有17 人(占85%);职称以副高级职称为主,有10 人(占50%);从事专业中,以医疗设备管理(生物医学工程)专业为主,有16 人(占80%);工作年限主要集中在6~10 年,有15 人(占75%)。

从专家基本情况来看,专家的年龄、职称、学历以及所从事专业能够有效互补,满足了德尔菲法的要求。

2.1.2 专家积极性

专家积极系数大小体现了专家对评价内容的关心程度,以问卷的回收率进行考核[13]。本次专家咨询每轮发放20份问卷,两轮专家咨询表回收率均为100%,问卷的合格率也均为100%。两轮问卷调查的回收率均>90%,表明专家对此次咨询内容的关心程度高。

2.1.3 专家权威系数

专家权威程度影响咨询结果的可靠性,主要由专家对专业领域的熟悉程度和判断依据两个方面组成,也称作权威系数(Cr)。它的公式为Cr=(Cs+Ca)/2,可靠的咨询结果一般需要专家权威系数达到0.7 以上[5]

经过分析计算,本次咨询的Cs 为0.812,Ca 为0.754,则权威系数Cr=0.783。专家权威程度Cr>0.7,因此可以表明专家的权威程度较高。

2.1.4 专家协调系数(W)

也称一致性系数,反映了专家对信息的重要性、可操作性的意见集中程度,W 值介于0~1 之间,越接近1 表明各专家的意见趋于一致,体现了咨询结果的可靠性[15]。此次专家咨询结果的协调系数分别为0.413 和0.422,经χ2 检验,差异有统计学意义(χ2=304.51、χ2=315.16;P<0.05),见表1,表明专家的协调程度较好。

表1 专家协调系数

第一轮 第二轮协调系数 (W) 0.413 0.422显著性检验 χ2=304.51 χ2=315.16 P<0.001 P<0.001

2.2 层次分析法确立各级指标权重

2.2.1 构建递阶层次的结构模型

利用AHP 计算指标权重的前提是对评价目的进行层次化分析,建立评价指标体系的层次结构模型。根据专家咨询结果,建立影响MRI 设备体验设计的因素结构层次,总计分为2 层(图1)。

图1 MRI体验设计评价层次模型

2.2.2 构建判断矩阵及指标体系权重

在专家咨询问卷调查中,询问专家组成员,针对判断矩阵的准则,判断每一级中任意2 个指标的相对重要程度,对重要性程度按1~9 进行打分[16]。重要性标度值,见表2。例如,要构造一级指标系统整体下的二级指标两两比较的判断矩阵,将系统易学性、系统易用性、整体硬件易用性、整体软件易用性四个二级指标,根据上述原则与方法,进行两两比较,分别赋值,然后将每一级所属的不同指标的相对重要程度结果输入Yaahp 12 软件中,构造出判断矩阵。一级指标系统整体指标下的二级指标的判断矩阵,见表3。

表2 重要性标度值及含义

重要性标度 含义1 代表两指标同等重要3 代表A指标比B指标重要一点5 代表A指标比B指标重要很多7 代表A指标比B指标重要极多9 代表A指标比B指标重要极端多2, 4, 6, 8 代表上述判断的中间值倒数 代表B指标比A指标的重要程度

表3 系统整体指标下的二级指标判断矩阵

系统整体 系统性易学 系统性易用 整易体用硬性件整易体用软性件系统易学性 1 1/2 1/4 1/4系统易用性 2 1 2 1/2整体硬件易用性 4 1/2 1 1/2整体软件易用性 4 2 2 1

Yaahp 12 软件同时会进行一致性检验,CR 为一致性检验指标:由Yaahp 12 软件给定。

一般认为CR<0.1 为矩阵的一致性较好。软件会对一致性检验不达标的判断矩阵进行调整,最终使各判断矩阵的CR 值均<0.05。指标体系及指标权重,见表4,最终组合权重值排序,见图2。

表4 医用MRI体验设计评价指标体系及权重

一级指标 权重 二级指标 权重 组合权重患者扫描过程 0.1518 0.0759图像浏览过程 0.1168 0.0584后处理操作 0.1104 0.0552归档流/程患对者临管床理需功求能 及0.1 0.05患者注册流程 0.0547 0.02735工作流 0.5释放患设者计的便产利品性相关 0.0645 0.03225患者摆位方便程度 0.1894 0.0947工作站使用情况 0.0597 0.02985胶片排版打印便捷性 0.0452 0.0226重建速度 0.0821 0.04105多语言环境 0.0255 0.01275系统易学性 0.092 0.046系统整体 0.5整系体统硬易件用易性用 性 00.2.2 62339 00.1.1 3111955整体软件易用性 0.4212 0.2106

图2 二级指标组合权重值排序

3 讨论

3.1 构建MRI体验设计评价指标体系的科学性及合理性

在运用德尔菲咨询法确立一级、二级指标的过程中,专家小组的选择对决策结果起到关键性作用[5]。参考不同文献研究,专家人数以15~50 名为宜[17-18],拟选择的专家不仅要有相关专业背景,还需要长期从事本领域的相关工作,且专家组的构成不能来自单一的专业领域。本研究的专家们在年龄、职称、从事专业及工作年限方面符合专家选择要求,较好地满足了德尔菲法操作的前提条件。

咨询结果的科学性、合理性与专家积极性、权威性、协调性密切相关[17]。实施专家咨询过程中,两轮专家咨询问卷回收有效率均>90%,表明专家的积极性较高;专家权威系数Cr 值为0.78(>0.7),说明专家对医用MRI 领域的熟悉度较高,保证了较高质量的指标筛选;第一轮、第二轮Kendall 协调系数为0.413 和0.422,说明专家意见较为一致,进一步保证了咨询结果的可信度。

本研究在确立MRI 体验设计评价指标后,根据层次分析法确立了指标权重,经过一致性检验,各级CR 值均<0.1。表明各层指标明确、清晰,较好地综合了专家意见,各项权重无逻辑错误,符合实际要求,其结果科学可靠[19]

3.2 评价指标体系构建情况

本文应用德尔菲法,建立了MRI 体验设计评价指标体系,包括一级指标2 个、二级指标15 个。应用层次分析法确定评价指标体系的权重,在一级指标中,两个一级指标的权重相等(均为0.5)。在二级指标的组合权重中,权重值排序前五位的指标分别为整体软件易用性、系统易用性、整体硬件易用性、患者摆位方便程度、患者扫描过程。权重排序后三位的是患者注册流程、胶片排版打印便捷性、多语言环境,说明在本评价体系中,MRI 设备的易学性与易用性是医用MRI 体验设计评价的重点。

在建立医用MRI 设备体验设计评价指标体系之后,研究人员可根据评价指标体系内容制定相应的医用MRI 设备体验设计评价调查问卷,对不同医用MRI 设备的体验设计性能进行评分,在回收问卷后对数据资料进行整理,所有二级指标评分应乘以相应的组合权重,得到所有二级指标的最终评分,然后利用最终评分对不同医用磁共振设备的体验设计性能进行分析评价。

3.3 局限性

由于德尔菲法和层次分析法本质上都是定性分析,所得结果容易受到主观因素的影响,主观想法必然存在一定的片面性,因此本研究所构建的评价指标体系还需在实际应用中进一步调整和完善。

4 结论

本研究运用德尔菲法和层次分析法构建了医用MRI 体验设计评价指标体系。过程分析及统计检验结果表明该评价指标体系具备较强的科学性、合理性和全面性,可用于医用MRI 体验设计的综合评价。

目前国内外对于医用MRI 综合评价的研究比较少,本次研究组合了不同评价方法构建了医用MRI 体验设计评价体系,可以说是对医用MRI 综合评价的一次新的探索。然而,该评价体系需在实践中不断完善,随着我国医用MRI设备的不断创新和发展,进而对其修订和更新。

[参考文献]

[1] 赵古月,尹建东,郭文力,等.2017年度东北地区医用磁共振设备售后服务满意度调查分析[J].中国医疗设备,2018,33(11):143-147.

[2] 李彦,靳志嘉,陆勇,等.医用磁共振成像设备需求调查与分析研究[J].中国医疗设备,2018,33(2):6-8.

[3] 许慧华,金海燄,华小兰,等.“光影音”医疗环境体验系统在磁共振检查中的应用研究[J].中国医疗设备,2016,31(7):184-186.

[4] 平卫伟,谭红专.Delphi法的研究进展及其在医学中的应用[J].疾病控制杂志,2003,7(3):243-246.

[5] 陈建新.应用德尔菲法构建全科护士核心能力评价指标体系[J].护理实践与研究,2017,14(7):122-124.

[6] Shirdeli M,Zare S,Kharazmi E,et al.Presenting a model to evaluate factors affecting outsourcing of health information technology services[J].Acta Inform Med,2018,26(3):190-194.

[7] Jiang Y,Mao F,Li Y,et al.Construction of China cardiovascular health index[J].BMC Public Health,2018,18(1):937.

[8] Ijzerman MJ,Bridges JFP,VanTil JA.A comparison of analytic hierarchy process and conjoint analysis methods in assessing treatment alternatives for stroke rehabilitation[J].Patient,2012,5(1):45-56.

[9] Masih M,Jozi SA,Lahijanian AAM,et al.Capability assessment and tourism development model verification of Haraz watershed using analytical hierarchy process (AHP)[J].Environ Monit Assess,2018,190(8):468.

[10] 杨林,陆阳.基于层次分析法和德尔菲法的医疗设备采购评价方法[J].中国医疗设备,2017,32(12):149-152.

[11] 魏建新,程菊,冯庆敏,等.医疗设备临床应用风险评价指标体系的建立[J].中华医院管理杂志,2016,32(2):135-138.

[12] 朱江,董先红.基于德尔菲法和层次分析法构建医院药学人员综合评价指标体系[J].药学服务与研究,2017,17(4):250-253.

[13] 胡善联.管理流行病学[M].北京:中国环境科学出版社,1992:348-350.

[14] 陈维进,查云飞,王弘,等.层次分析法和德尔菲法在PACS评估体系构建中的应用[J].医疗卫生装备,2013,34(9):6-8.

[15] Pennell CP,Hirst A,Sedrakyan A,et al.Adapting the IDEAL framework and recommendations for medical device evaluation:A modified Delphi survey[J].Int J Surg,2016,28:141-148.

[16] 沈冰洁,尤莉莉,田向阳,等.我国健康农村(县)综合评价指标体系构建研究[J].中国健康教育,2019,35(3):203-207.

[17] Sun WY,Tong L,Li DX,et al.Selection of reference standard during method development using the analytical hierarchy process[J].J Pharm Biomed Anal,2015,107:280-289.

Establishment of Evaluation Index System for Medical MRI Experience Design Based on Delphi Method and Analytic Hierarchy Process

ZHAI Jing1, WANG Xiaojin2, ZHAO Guyue3, YIN Jiandong3, HOU Yang3, WANG Bingshun2
1. School of Public Health, Shanghai Jiao Tong University, Shanghai 200025, China;
2. Department of Biostatistics, Clinical Research Institute, Shanghai Jiao Tong University School of Medicine, Shanghai 200025, China;
3. Department of Radiology, Shengjing Hospital of China Medical University, Shenyang Liaoning 110004, China

Abstract: Objective To establish a medical MRI experience design evaluation index system. Methods The hierarchical structure of evaluation index was established by Delphi method, and the index weights of indicators were calculated by using the analytic hierarchy process. Results After two rounds of expert consultation, a hierarchical structure model with system integrity and workflow as the main framework was established, including two first-level indicators and 15 second-level indicators.At the same time, the indicators were given weights through the analytic hierarchy process. Conclusion The medical MRI experience design evaluation index system constructed in this study is comprehensive, objective and has good operability. It is suitable for the experience design evaluation of medical MRI equipment.

Key words: Delphi method; analytic hierarchy process; evaluation index system; magnetic resonance imaging equipment; experience design evaluation

栏目主编:侯阳

侯阳,教授,博士生导师。中国医科大学盛京医院放射科副主任,主要研究方向为心血管影像学基础与临床研究以及CT成像技术及剂量优化研究。国家自然科学基金、科技部、教育部等评审专家。中华放射学会心胸组委员,中华放射学会青年委员,中国医师协会放射学分会心血管专委会、质量控制专委会委员,中国医疗装备协会CT应用专委会委员,整合医学学会心血管专委会委员,辽宁省医学影像质控中心执行主任,辽宁省医学会放射学分会常委。《中国临床医学影像学》《中国医疗设备》《中国CT与MRI成像》等杂志编委。

[中图分类号] R197.39;R445.2

[文献标识码] A

doi:10.3969/j.issn.1674-1633.2019.08.001

[文章编号] 1674-1633(2019)08-0011-04

收稿日期:2019-06-13 修回日期:2019-07-15

基金项目:国家重点研发计划(2 0 1 6 Y F C 0 1 0 6 8 0 5;2016YFC0106804)。

通讯作者:王炳顺,教授,主要研究方向为临床研究与综合评价医学统计方法。

通讯作者邮箱:wangbingshun@sjtu.edu.cn