用于构建虚拟手术系统的几种平台比较

张耀楠 1,2 ,王磊 2 ,张慧娥 1 ,李彩红 1 ,王元一 1

1.西安思源学院 电子信息工程学院,陕西 西安 710038;2.东北大学 中荷生物医学与信息工程学院,辽宁 沈阳 110169

[摘 要] 虚拟手术系统是复杂的系统,选择合适的虚拟现实平台会有助于实际系统的快速有效构建。本文阐述了虚拟手术系统中关键模块的功能:几何建模、变形计算、碰撞检测等,重点对几种构建虚拟手术系统的平台进行比较,分别对OpenGL、Unity3D、Spring System、GiPSi System和SOFA等平台的特点进行了概述和比较。SOFA在涵盖了其他4种系统的优点的同时,还提供了快速便捷的开发环境,并且提供硬件加速和对力反馈设备的支持,是构建虚拟现实手术辅助系统的一个较好的选择。

[关键词] 手术辅助系统;虚拟现实;碰撞检测;变形计算;有限元

 

引言

虚拟仿真作为医疗培训的一个新型方法,具有一些优点,如允许学员从错误中学习而不会造成病人伤害 [1] 。有利于加强学员的动手经验,便于重复和反思,巩固学员对外科手术某些方面的理解 [2] 。而且这是一个自我导向的学习过程 [3] ,能灵活控制学习时间和方式。虚拟手术系统涉及到利用虚拟现实 [4] 、计算机图形、数字图像 [5] 等技术来模拟手术训练的环境。根据某一手术任务,虚拟手术系统生成虚拟现实环境下的三维图形、图像、声音和触觉(通过触觉装置提供力反馈 [6-9] )。在虚拟手术场景中,用户得到真实、实时交互和触觉的体验。此外,针对特定的手术虚拟环境,对人体组织赋予相应的生物力学特性,来尽可能真实反应人体组织在手术过程中的物理变化。虚拟手术系统在术前规划、医学教育、医生培训等方面将会发挥越来越大的作用 [10-20]

近年来,国内也逐步开展了虚拟手术系统的研究,取得了不少进展,但对虚拟手术中的基本模块如碰撞检测、软组织形变 [21-22] 、构建虚拟手术系统的基础平台等领域研究仍和国外有一定的差距。清华大学在医学图像三维数据可视化算法理论领域的成果较为显著,而多个单位在数字化人体数据可视化系统取得进展 [23] 。原第三军医大从首套数字化可视人中提取出成人心脏的薄层断面,并将其数据进行分类、配准、平滑及三维绘制等工作,完成了对人体心脏的外部和内部结构的三维展示 [24] 。重庆大学和原第三军医大学联合开发的肝脏外科手术计划系统具有较强的交互功能,运行速度快,可用于术前制定手术方案,有利于降低手术风险,保证手术的安全性,并在临床上得到了初步的应用 [25] 。东南大学主要致力于研究触觉再现,吴涓等 [26] 提出了一种用于柔性体的受力形变及实施触觉响应的同心圆分割算法,该算法基于质点—弹簧/阻尼器模型。离散的质点由沿着法线方向和径向分布的弹簧相连接,弹簧内部受到的合力等于物体表面的接触力。该算法具有速度快,实时性强等优点。香港理工大学虚拟现实研究中心对软组织的蠕变、形变间的非线性特性及迟滞与载荷进行了理论分析,开发出基于质点弹簧模型的力传播算法,并开发出一种低成本白内障晶体状超声乳化手术训练系统 [27]

虚拟手术系统是复杂的系统,从头开始用底层基础软件构建虚拟手术系统需要较长的时间和强大的团队。而在一个合适的虚拟现实平台基础上构建虚拟手术系统会大大加快实现时间、减少错误、减少费用,有助于相关理论的研究。与其他虚拟现实系统相比,虚拟手术系统有其独特的复杂性。对此,本文首先阐述虚拟手术系统中关键模块的功能需求,然后重点对几种构建虚拟手术系统的平台进行比较。我们对可能的虚拟现实平台进行了大量的调研,并且选择用OpenGL、Unity3D、Spring System、GiPSi System和SOFA平台进行了体验,以帮助我们得出可靠的结论。

1 虚拟手术系统的功能需求

虚拟手术系统硬件主要包括主计算机、输入设备、输出设备和反馈设备等。输入设备能够实时动态地捕捉到操作者的动作并提交给系统,以达到对三维场景的旋转、移动、缩放,以便实现调整虚拟场景中物体的运动方向和角度等目的。计算机在虚拟手术系统中所完成的任务主要包括虚拟软组织和手术器械的绘制、碰撞检测系统的构建和软组织模型的形变等。输出设备显示虚拟场景的图形、图像和声音等信息。反馈设备将虚拟手术场景中的力觉信息反馈给操作者,增强手术的沉浸感。通过对虚拟组织和手术器械的不同物理参数(如杨氏模量、泊松比、材料、质量、密度、粘度等)进行模拟,力反馈设备能够得到不同的反馈力,而视觉反馈系统和力学反馈系统的结合能够使用户三维空间感增强。虚拟现实手术辅助系统的核心模块包括几何建模、碰撞检测、变形计算等。

1.1 几何建模

构建人体组织和手术刀具的几何模型是创建虚拟现实手术辅助系统的基础,三维模型用于描述虚拟对象的三维形态和空间内部结构。所谓的几何建模就是一定数量的点、线、面、体组合起来所形成的三维空间物体。几何模型可分为面模型和体模型两大类,其中面模型是用表面的三角网格或四边形网格构成的网格模型,而体模型是通过将面模型分割成无数个小的三维体素(如四面体/六面体)而形成。一个构建人体几何模型的方式是通过三维医学扫描技术得到人体医学图像数据,然后利用三维重建和可视化技术得到组织器官的整体或部分模型,进一步通过四面体剖分或六面体剖分算法可得到三维组织器官的体模型。还可以通过三维建模软件,采取人工建模的方式构造特定对象。

1.2 碰撞检测

早期三维场景中碰撞检测使用的绝大部分算法是基于格子和BSP(Binary Space Partioning)树。采用格子算法的系统实现起来方便但精确度不足,所以这种方法并不算是严格意义上的三维检测。BSP树曾在三维虚拟场景和游戏中应用广泛,但它自身存在的许多不足导致了它不能够很好地适用于目前的虚拟手术系统。构造BSP树需花费过多时间用于数据的前期处理而不利于场景的加载,这通常会使数据量变为原来的3~4倍左右。即使忽略掉三维物体的顶点法线、颜色、纹理坐标等信息,数据量仍然会达到原始数据的一倍以上。在实时性要求特别高的虚拟现实手术辅助系统中,数据量的成倍增长是人们难以忍受的。层次包围盒目前在虚拟手术仿真中得到了广泛的应用,其最主要的优点是能够检测空间中任意复杂外形的物体之间的碰撞。基于BVTree(Bounding Volume Tree)的算法能够满足虚拟手术系统对碰撞模块的需求,主要包括AABB(Axis Aligned Bounding Box) 树,OBB(Oriented Bounding Boxes)树和 K-dop(k-Discrete Orientation Polytopes)树,大部分的物理引擎和碰撞检测引擎中都提供这三种算法的一种或多种。这三种算法在实现难度、紧密性和旋转更新等方面上的优缺点对比 [28] ,见表1,其中应用最为广泛的是AABB tree。三维虚拟场景中的物体能够被一个各边与坐标轴平行且体积保持最小的正方体包围。该算法在构建过程中,根据空间立体几何模型的顶点坐标计算出其在三个坐标轴上的最小值即可确定正方体包围盒的空间位置。两个正方体之间是否发生碰撞可以通过判断它们在X、Y、Z坐标轴上的投影范围是否都发生交叠,由于该算法最多仅需要六次比较,所以具有良好的实时性。

表1 几种碰撞检测算法的对比

1.3 变形计算

软组织的形变是虚拟手术系统的一个尤为关键的难点和重点。为了实现软组织变形计算,在构建几何模型的基础上,我们必须构建软组织形变模型。软组织形变计算模型通常被分成两大类,第一大类是基于几何技术的模型,而第二大类则是由基于物理驱动的模型。在多年前,由于计算机的计算性能较差,早期的软组织形变只是通过几何技术粗糙地实现了一些形变效果,软组织完全不具备任何生物特性。随着计算机硬件和软件性能上的提升,针对虚拟手术仿真高精度的要求,各国的研究者尝试将软组织的生物特性添加到形变模型中,这样就产生了具有物理特性的软组织形变模型 [29] 。软组织形变模型的分类,见图1。

早期的虚拟手术系统由于受到计算机性能的限制,研究者在开发过程中只能通过使用原始的几何模型对软组织的形变进行仿真,这种模型虽然占用内存小且可以满足模型的实时显示与更新,但只能够简单地从外形变化上模拟软组织在受到手术器械碰撞后产生的形变,并且不能够体现出形变大小与手术器械的移动速度的关系。作用于几何图形的非物理变形模型总体上可以被分为大三类:曲线曲面模型、Chain-Mail模型、自由变形模型。

图1 软组织形变模型分类

1.3.1 曲线曲面建模

曲线曲面模型通过对一系列离散点施加移动、增加、删除等操作实现软组织在形状上的改变,通常采用的样条曲线有Bezier曲线、B样条曲线和NURBS曲线等。这种方法具有存储效率高,计算简单的特点,但形变效果复杂,不符合实时交互的操作要求。

1.3.2 Chain-Mail模型

这种构建形变模型的方式通过一系列链接的元素构成一个环。环与环之间通过相邻节点交互信息的方式实现软组织的形变,每一个单元节点的移动都会引起相邻节点的状态变化。当两个节点之间的弹性松弛时,相对位置的变化由这个系统具有的最小能量决定。当两个单元的伸长量或压缩量超过了预先设定的限制时,形变距离取决于邻近单元。Chain-Mail模型具有的优点:① 与自由曲面形变模型(Free Form Deformation,FFD)和曲线曲面模型相比,增加或者删除节点相对简单;② 计算速度快,当构成环的节点较少时,其理论基础是连续介质力学。

1.3.3 自由曲面形变模型

比起面片和样条模型,FFD是通过改变物体在空间的位置来模拟软组织的形变。该模型提供的控制规则更加复杂化。这种实现方式在整体上完成了物体的形变适用于软组织的变形模拟,形变的计算具有良好的实时性。

随着计算机性能的不断提升,对虚拟软组织模型赋予物物理特性后,所形成的软组织模型具有生物力学的特性,能够更为真实地展现软组织在虚拟手术场景中的形状变化,这种具有物理驱动的软组织模型发展得越来越成熟,大致可将其分成两大类:一类是具有网格结构的弹簧质点模型和有限元模型。另一类是具有无网格结构的粒子系统,有限元方法和无网格辽金法。

1.3.4 质点弹簧模型

弹簧—质点模型运用的理论基础较为简单,且具有计算量小和很好的实时性等优点,该方法被广泛应用于柔性物体的实时仿真。该方法缺点是在某些情况下对软组织的仿真会产生较大的震荡,不能够很好地体现软组织的生物力学特性。且当组织发生的形变量较大时,距受力位置较远的一侧有明显的时延。

1.3.5 有限元模型

有限元方法最早用于解决工程问题,其算法思想是将求解域分解成连续的多个小单元,每个单元彼此通过边界上的节点相互连接构成一个统一的整体。可以将软组织细分为小的元素,而元素之间可以运用力学建模来仿真软组织的生物力学特性。有限元方法能够提高软组织的仿真精度,虽然存在着计算量大、网络拓扑更新慢等缺点,但是由于计算机软硬件性能的不断提高,特别是各种硬件加速器的出现,这种方法被广泛应用于软组织建模分析中,成为一种常规方法。另外,有限元方法是研究和实现血流动力学中仿真和数值计算的必要手段,而流固耦合是目前的难点 [30] 。这是因为涉及到复杂的数学问题,也涉及到复杂的工程实现。

无网格法作为一种数值方法常用于机械工程领域,近年来在软组织仿真中也得到了一定的应用,如多尺度重构核粒子方法、径向基函数法和无网格辽金法。这种方法具有自适应性强和变形光滑连续等优点,适用于软组织的大面积形变或切割,但实现起来具有很大的难度。

2 几种可用于构建虚拟手术系统的平台比较

2.1 OpenGL

OpenGL(Open Graphics Library) [31] 被广泛应用于三维游戏开发、虚拟场景的展示、数字城市和众多三维图形界面建模软件中。它提供图形处理程序接口,可实现对各类三维图形的像素点级别的操作,能够很好地控制三维模型的形状变化,结合API中的定时器功能还能够实现周期性的图形操作。OpenGL能够实现对虚拟场景中模型的高质量绘制,并且能够从底层控制虚拟场景的刷新频率。但是它不提供良好的碰撞检测算法,对物理模型的构建需要通过物理引擎进行实现。直接在OpenGL上构建虚拟手术系统工作量极大。

2.2 Unity3D

Unity3D [32] 是由Unity Technologies公司开发的综合型游戏开发工具,近年来被广泛用于虚拟现实开发,该引擎支持C#、Boo、和JavaScript脚本编程。在Unity3D中碰撞检测是利用包围盒的方法进行实现,即把场景中的物体用一个长方体或者胶囊体包围起来,然后利用这个简易的包围体判断物体之间是否发生碰撞,如果想实现对碰撞点信息的收集,需要理解collision模块,然后再通过脚本的形式根据变量contacts进行求解。在这一点上也可以看出,Unity3D框架更多地用于一般的三维场景或虚拟导航系统,而针对虚拟手术系统的支持还有待完善。

力反馈的驱动程序是由C++编写的,而Unity3D的开发语言是C#、JavaScript、Boo,两者不能够很好地建立起连接。虽然在Unity3D中对软组织的模拟可以通过第三方插件实现,但是不能够通过碰撞检测模块获得碰撞点的信息,进而无法实现对碰撞区域内顶点的操作。并且这种方法在实现变形时,通常是预先设置形变范围和形变方向,没有实现对力的约束,不能很好地实现体素级别的变形和有限元分析。这不符合真实场景中的随机性,不能够真实地呈现出虚拟手术系统中软组织的形变效果。

2.3 弹簧系统

弹簧系统 [33] 主要目标是提供一个基本的弹簧系统库。弹簧系统主要包括仿真场景图和解算器。前者持有一个完整的质量弹簧系统在给定时间上的快照:质量、弹簧、位置、速度、刚度和阻尼系数。这个结构只能够对数据进行迭代,而不允许对数据进行修改。一个弹簧场景图有两个模式,一个用于创建,另一个使用。在创建模式下,数据(质量和弹簧)被添加,在场景图被编译以前,数据对使用者是不可见的。一旦所有的操作语句被编译,场景图进入使用模式,编译有可能很耗费一定的时间。解算器能够对数据进行操作,并且能够添加外部受力和碰撞回调函数。解算器最重要的功能就是利用数据进行整个场景图的更新。

碰撞检测通过回调函数进行实现,能够控制每个顶点在碰撞方向上移动的距离和碰撞后的速度变化。外界对模型施加的作用力是通过解算器进行注册,通过回调函数可以计算出每个顶点受力大小。计算受力的回调函数必须是连续的,并且应该设置合适的刚度和尺度,以免力的变化率过大。每一根弹簧都有一个最大和最小的断裂长度。如果弹簧被设置成可断裂的,当变化后的长度超过限度时,弹簧就会发生断裂,它的刚度就降低为零。这个开源库可以为网格模型的每一个顶点和顶点之间的边创建弹簧。弹簧场景图通过一系列矩阵构成,包括位置矩阵、速度矩阵、刚度系数矩阵、质量矩阵和拓扑结构。数据在构建时被存储在链表中,当编译后数据被转移到数组。解算器具有时间适应性,当碰撞和阻尼保持相等时,系统将会保持原有的运动状态,这就是所谓的能量意义上的稳定性。当外力不足以抵消阻尼作用时,系统具有的能量会不断减少 [34]

弹簧系统可作为一个轻量级的物理引擎在虚拟手术场景中进行使用,其余的工作还需要额外添加,如模型的导入,碰撞检测的具体实现。也就是总体上能够实现简单的物体形变效果,但不能实现有限元分析。该系统的图形显示部分由OpenGL实现,图形界面由MUI实现但是这个模块已经在OpenGL3.0以上版本中遗弃,目前绝大多数电脑中OpenGL的版本已经在4.0以上,所以在图形界面方面,该系统不具有很好的通用性。

2.4 GiPSi

GiPSi(General Interactive Physical Simulation Interface) [35] 系统的目标是促进可重用模型的开发,以适应异构计算,并提供一个用于连接多个异构模型的框架。该框架提供了一个直观的空间域动力学API接口。在该系统中模型的不同特性可以实现独立建模,用这种方式促进异构模型的无缝集成和处理。I/O接口能够实现可视化和对实时交互力反馈设备的支持。

GiPSi作为一种通用的虚拟现实手术辅助系统开发框架,并不包含完整的物理引擎。这个框架由模型导入API、可视化API和触觉API组成。该系统对三维模型的绘制操作由OpenGL组件完成,可以获得很好的图形渲染效果。系统内部包含有一个轻量级的物理引擎,提供对模型物理属性的添加和碰撞检测算法的实现,能够实现AABB算法。

该虚拟手术辅助系统框架集成了OpenGL和物理引擎的优点,并且具有模型的快速导入函数,在很大程度上为开发提供了便利。但是该系统框架目前处于2.0版本,在力的传递、边界约束、模型之间的映射等方面与SOFA具有相似性,但是该系统在结构上还不够全面,在物理仿真和有限元分析方面还有待进一步的发展和完善。

2.5 SOFA

SOFA(Simulation Open Framework Architecture) [36] 是一个开源框架,可应用于各类仿真应用,但其主要是针对医学实时仿真。其理念最早是由美国波士顿的医疗和创新技术综合中心在2000年提出,其主要研发团队有法国国家信息与自动化研究所、苏黎世联邦理工学院和澳大利亚联邦科学与工业研究组织等,它具有以下几个优点:

(1)多模型表示方法。对于手术仿真中的同一个三维模型,可以在场景中具有多种表达方式,如表面可视化模型、行为模型、碰撞模型等,SOFA通过映射机制将同一个物体的多种表达方式连接起来形成一个完整的物理模型。在不必考虑其他模型受到影响的前提下,可以对同一物体的不同模型进行独立设计,这种多模型的映射机制使得模型的建立和仿真场景的实现变得更加高效灵活。

(2)高度模块化。 因为每个物体具有的组件在场景中是相互独立的,所以这个设计是高度模块化的。模块化框架由访问者机制实现。

(3)场景图层次结构。在SOFA里,模拟的过程被描述成一种具有内在的广义层次结构的场景。这个场景是由节点组成,这些节点被组织成一个树或作为一个有向无环图。模拟场景中的不同对象用彼此互相独立的节点进行组织,并可以在一个物体的子节点中构建出该物体的不同表达方式。场景从一个被叫做根节点的父结点开始,其它节点都从这个主节点继承,其他这些节点被称作子节点。通常,一个节点收集与同一个物体相关联的组件,这些组件具有相同的自由度,并且这些组件的每一个都包含属性。访问者自顶向下和自底向上遍历场景,并在每个遍历到的图节点调用相应的虚函数。模拟物体上的算法操作是通过得到Visitor类并且重载它的虚函数top Down( )和bottom Up( )来执行的。

这种方法隐藏场景结构(父、子)组件,实现灵活性和更好地对执行模型的控制,此外,各种并行策略可以应用在每个节点来执行独立的机械计算。数据结构实际上是从严格的层次结构扩展到有向无环图,进而处理更一般的运动依赖关系。遍历自顶向下的节点,除非现有节点的所有父节点都已经被遍历。那些具有多个父节点的节点当他们的父节点都已经被遍历的前提下,只被遍历一次。

SOFA具有良好的软件操作界面,能够提供大多数三维图形格式文件的导入,并且在框架内部集成了大量的求解器和有限元分析方法,能够快速地与力反馈设备实现连接,使开发者只需要关心手术场景中软组织的形变计算,而不需要从基础的三维模型导入着手。在框架内部提供了弹簧—质点和有限元的行为模型,可以通过设置参数,实现三角形、四面体和六面体形式的弹簧—质点模型,有利于快速构建出软组织变形仿真场景。该框架不仅对六自由度力反馈设备支持高效友好的接口,而且提供了大量的例子供使用者学习,同时框架中包含的modeler组件能够通过添加节点的方式实现快速构建仿真场景的目标。SOFA框架能够记录仿真场景中模型的变化, 并保存到一个“.simu”文件。SOFA还能够实现CUDA硬件加速。

在过去研究中,我们以SOFA为基础,采用有限元建模的方法构建人体头颈部和手术器械的体模型 [37] 。为了得到两个三维物体的体模型,在创建物体三维面模型的基础上,采用SOFA对手术场景实现绘制,利用AABB算法构建场景中的碰撞检测,最后利用隐式欧拉法和共轭梯度算法对碰撞后皮肤的变形进行有限元求解,证明了利用SOFA构建颈静脉穿刺虚拟手术系统的可行性。基于SOFA的颈部穿刺虚拟手术界面示意图,见图2。

上面列举出的几种虚拟现实手术辅助系统在碰撞检测、模型的加载和有限元分析等方面的优缺点对比,见表2。

图2 基于SOFA的颈部穿刺虚拟手术界面

3 结语

由于计算机的处理能力和图形功能越来越强大,现代化的虚拟手术系统可以创建逼真的环境,在医学图像的辅助下,可以高精度捕捉细微的解剖细节。由于虚拟手术系统是基于计算机的,外科学员可以在一个单元上进行各种不同的模拟。 虚拟手术系统最吸引人的特性之一,就是这些系统能够在仿真中为用户提供实时触觉反馈,对用户的训练提供定量反馈和评估。这些包括完成任务的时间、手术过程中的错误以及运动轨迹。此外,由虚拟手术系统产生的触觉指标,使教育者能够评估新手的熟练程度并监测他们的进度。

虚拟手术系统是复杂的系统,在一个合适的虚拟现实平台基础上构建虚拟手术系统会大大加快实现时间、减少错误。本文对几种用于构建虚拟手术系统的虚拟现实平台进行了比较。Unity3D、Spring System、GiPSi System和SOFA对三维模型的绘制和渲染都是基于OpenGL的底层图形接口进行实现的。显然在视觉模块上,这四种方法已经做出了很多基础工作。从上文的对比分析和优缺点对照表中的内容可以看出,SOFA在涵盖了其他四种系统的优点的同时,还提供了快速便捷的开发环境,并且提供硬件加速和对力反馈设备的支持,能够很好地构建虚拟现实手术辅助系统。

使用虚拟解剖模型的主要优点是能够研究真人实施各种不同活动的生物力学效应。实现这一目标的最大挑战在于计算机仿真的实时性与生物力学所需的耗时计算之间的冲突。这种冲突的原因之一在于人体解剖结构的非线性力学性质。此外,可变形体连续仿真所需的详细几何结构也直接关系到计算时间。为了减少计算时间,我们可以在机械关系和组织特性的简化以及精度之间寻求一个平衡。另一种可能性在于使用结合离线和在线计算的方法。在这方面,计算机图形学界在过去十年中提出了许多有效的技术。此外,我们必须注意到,虚拟手术系统通常需要对大量参数进行调整以达到所需的结果,这也是耗时耗力的。一个实用方法是最初从临床实验工作中采用一些实用的参数值,然后调整它们,直到根据测量收敛到令人满意的解决方案。

表2 用于构建虚拟手术系统的几种平台比较

[参考文献]

[1] Piromchai P,Avery A,Laopaiboon M,et al.Virtual reality training for improving the skills needed for performing surgery of the ear, nose or throat[J].Cochrane Database Syst Rev,2015,(9):CD010198.

[2] Generoso JR Jr,Latoures RE,Acar Y,et al.Simulation training in early emergency response (STEER)[J].J Contin Educ Nurs,2016,47(6):255-263.

[3] Mesquita AR,Souza WM,Boaventura TC,et al.The effect of active learning methodologies on the teaching of pharmaceutical care in a Brazilian pharmacy faculty[J].PLoS One,2015,10(5):e0123141.

[4] Badash I,Burtt K,Solorzano CA,et al.Innovations in surgery simulation: a review of past, current and future techniques[J].Ann Transl Med,2016,4(23):453.

[5] Endo K,Sata N,Ishiguro Y,et al.A patient-specific surgical simulator using preoperative imaging data: an interactive simulator using a three-dimensional tactile mouse[J].J Comput Surg,2014,1:1-8.

[6] Chen GC,Lin CH,Li CM,et al.Virtual-reality simulator system for double interventional cardiac catheterization using fractional-order vascular access tracker and haptic force producer[J].Scientific World J,2015.http://dx.doi.org/10.1155/2015/697569.

[7] Fortmeier D,Mastmeyer A,Schröder J,et al.A Virtual reality system for PTCD simulation using direct visuo-haptic rendering of partially segmented image data[J].IEEE T Inf Technol B,2016,20(1):355-366.

[8] Fortmeier D,Mastmeyer A,Handels H.An image-based multiproxy palpation algorithm for patient-specific VR-simulation[J].Studies in Health Tech & Inf,2014,196:107-113.

[9] Mastmeyer A,Hecht T,Fortmeier D,et al.Ray-casting based evaluation framework for haptic force-feedback during percutaneous transhepatic catheter drainage punctures[J].Int J Comput Assist Radiol Surg,2014,9:421-431.

[10] Valentine R,Padhye V,Wormald PJ.Simulation training for vascular emergencies in endoscopic sinus and skull base surgery[J].Otolaryngol Clin North Am,2016;49:877-887.

[11] Zevin B,Aggarwal R,Grantcharov TP.Surgical simulation in 2013: why is it still not the standard in surgical training[J].J Am Coll Surg,2014,218:294-301.

[12] Alaker M,Wynn GR,Arulampalam T.Virtual reality training in laparoscopic surgery: A systematic review & meta-analysis[J].Int J Surg,2016,29:85-94.

[13] Moglia A,Ferrari V,Morelli L,et al.A Systematic Review of virtual reality simulators for robot-assisted surgery[J].Eur Urol,2016,69:1065-1080.

[14] Liu M,Curet M.A review of training research and virtual reality simulators for the da Vinci surgical system[J].Teach Learn Med,2015,27:12-26.

[15] Shenai MB,Tubbs RS,Guthrie BL,et al.Virtual interactive presence for real-time,long-distance surgical collabor-ation during complex microsurgical procedures[J].J Neurosurg,2014,121:277-284.

[16] Ponce BA,Jennings JK,Clay TB,et al.Telementoring: use of augmented reality in orthopaedic education: AAOS exhibit selection[J].J Bone Joint Surg Am,2014,96:e84.

[17] Jeong W,Kumar R,Menon M.Past, present and future of urological robotic surgery[J].Investig Clin Urol,2016,57(2):75-83.

[18] Liu S,Xia Z,Liu J,et al.Automatic multiple-needle surgical planning of robotic-assisted microwave coagulation in large liver tumor therapy[J].PLoS One,2016,11(3):e0149482.

[19] Vanhille DL,Garcia GJM,Asan O,et al.Virtual surgery for the nasal airway: a preliminary report on decision support and technology acceptance[J].JAMA Facial Plast Surg,2018,20(1):63-69.

[20] Madehkhaksar F,Luo Z,Pronost N,et al.Modeling and Simulating Virtual Anatomical Humans[M].London:Springer London,2014:137-164.

[21] Omar N,Zhong Y,Smith J,et al.Local deformation for soft tissue simulation[J].Bioengineered,2016,27(5):291-297.

[22] Li S,Zhao Q,Wang S.Interactive deformation and cutting simulation directly using patient-specific volumetric images[J].Comput Animat Virt W,2014,25(2):155-169.

[23] 张绍祥.数字化人体与数字医学的研究概况及发展趋势[J].第三军医大学学报,2009,31(1):1-2.

[24] 彭亮,乔惠婷,白净.基于可视人计划的计算医学研究进展[J].清华大学学报(自然科学版),2007,47(12):2204-2208.

[25] 陈刚,王翊,张桂华,等.肝脏外科手术虚拟系统的建立与初步应[J].中华肝胆外科杂志,2010,16(8):612-615.

[26] 吴涓,宋爱国,李建清.用于虚拟力觉再现的弹簧—质点力/变形模型研究[J].系统仿真学报,2006,18(11):3152-3156.

[27] Choi KS.Toward realistic virtual surgical simulation: using heuristically parameterized anisotropic mass-spring model to simulate tissue mechanical responses[A].International Conference on Education Technology and Computer[C].2010.

[28] 张国飚,张华,刘满禄,等.基于空间剖分的碰撞检测算法研究[J].计算机工程与应用,2014,50(7):46-49.

[29] Coppedè A,Vernengo G,Diego V.A combined approach based on Subdivision Surface and Free Form Deformation for smart ship hull form design and variation[J].Ships Offshore Struc,2018,1-10.

[30] 阚晓昕,白一帆,马韬,等.基于CT影像重建模型的主动脉夹层流固耦合模拟[J].水动力学研究与进展,2015,30(6):701-706.

[31] 时美晨.基于医学CT图像序列的主动脉夹层三维重建方法的研究[D].天津:天津工业大学,2017.

[32] 赵静,郭广春,乔文林,等.双源CTA断层图像和三维重建图像及数字减影血管造影在主动脉夹层分离腔内支架置入术前的相关对照研究[J].中国煤炭工业医学杂志,2010,13(4):493-495.

[33] 李尚喜.采用CT断层扫描图像构建DeBakeyⅢ型主动脉夹层三维血流动力学数值模拟分析模型[J].中外医疗,2011,30(29):177-178.

[34] 陈卫东,陈攀攀,朱奇光.基于改进弹簧—质点模型的形变建模及力反馈算法研究[J].生物医学工程学杂志,2015,32(5):989-996.

[35] Zhang F,Xiong Y,Zhang S,et al.Thermo-hydro-mechanicalair coupling finite element method and its application to multiphase problems[J].J Rock Mech Geot Engin,2014,6(2):77-98.

[36] 曹加明,傅栋.颈部深静脉穿刺置管三维虚拟穿刺仿真模型构建[J].中国组织工程研究,2015,19(18):2901-2905.

[37] 王磊,张耀楠,何颖,等.基于SOFA的颈静脉穿刺虚拟手术系统的初步构建[J].中国医疗设备,2018,(2):37-42.

 

Comparison of Several Platforms for Constructing Virtual Surgery System

ZHANG Yaonan 1,2 , WANG Lei 2 , ZHANG Huie 1 , LI Caihong 1 , WANG Yuanyi 1
1.College of Electronics and Information Engineering, Xi’an Siyuan University, Xi’an Shaanxi 710038, China;2.Sino-Dutch Biomedical and Information Engineering School, Northeastern University, Shenyang Liaoning 110169, China

Abstract: As we all know, virtual surgery systems are complex systems. Therefore, the proper choice of virtual reality platform will help to build the real system quickly and effectively. The functions of the key modules in the virtual surgical system such as geometric modeling, deformation calculation, collision detection, etc, were described in this paper. Then we focused on the comparison of several platforms for constructing virtual surgery systems, and the characteristics of OpenGL, Unity3D, Spring System, GiPSi System and SOFA were summarized and compared, respectively. The results showed that SOFA not only covered the advantages of the other four systems, but also provided a fast and convenient development environment and provided hardware acceleration and support for force feedback devices, which indicated that the SOFA was the best choice to build a virtual reality surgical auxiliary system.

Key words: surgery assistant system; virtual reality; collision detection; deformation calculation; finite element

作者邮箱:johanzyn@139.com

基金项目: 陕西省自然科学基础研究计划资助项目(2017JM8085);西安思源学院重点科研项目(XASY-B1801)。

修回日期: 2018-05-08

收稿日期: 2018-03-16

[文章编号] 1674-1633(2018)09-0110-07

doi: 10.3969/j.issn.1674-1633.2018.09.030

[文献标识码] A

[中图分类号] R445.1

本文编辑 王婷