儿童听觉声源定位能力自动测试系统的研制

钱柏霖1,张旭1,任朝晖1,王宁宇2,戴金升2,张娟2

1.首都医科 大学 生物医学工程学院 临床生物力学应用基础研究北京市重点实 验室,北京 100069;2.首都医科大学附属北京朝阳医院 耳鼻喉科,北京100020

[摘 要]为评测人工耳蜗植入儿童的听力及语言交流能力,越来越多的学者开始关注声源定位。本文针对儿童在声源定位测试中,配合度低,测试过程复杂等问题,研制一套儿童声源定位自动测试系统。该设计基于安卓设备,根据儿童特点设计趣味交互界面,通过蓝牙设备控制测试声源播放时间及方位,利用移动终端设备自动记录与处理获得的测试数据。测试系统对多例听障儿童进行了测试实验,效果良好,测试数据稳定准确。该测试方式较于传统的测试方法,具有效率高、配合度好、操作简单等优点,定量的测试受试者水平方向的定位能力,便于临床应用。

[关键词]听障儿童;声源定位;安卓系统;自动测试系统;蓝牙控制

引言

声源定位(Sound Localization,SL)能力是人类听觉系统的重要功能,它以双耳听觉及听觉中枢的整合为基础,是感知环境的重要方式,与视觉共同担负着感知周围事物远近、方位、大小、质地等信息的重要职责[1]。人类水平方位声源定位信号依赖于双耳时间差(Interaural Time Difference, ITD)和强度差(Interaural Level Difference,ILD)[2-3]

研究儿童声源定位,不仅可以帮助我们了解听觉发育过程,尤其是声源定位能力的发育过程,明确其快速发展期,还可为临床人工耳蜗植入及助听技术应用时间提供重要参考。同时,助听技术干预后,声源定位能力又是评价其康复效果的重要指标[4-6]。国内对于声源定位的研究较少,上世纪60年代梁之安等首次采用以弧形横架固定耳机,受试者判断连续2次发声是否来自同一耳机的方式测得正常人正前方角度辨别阈值(Minimum Audible Angle,MAA)为3.5°[7]。自此以后,国内少有人问津声源定位测试。近几年来,王宁宇团队对声源定位的测试做了深入的研究,研究感音神经聋患者佩带助听器前后声源定位能力的改变,也即是佩带助听器后对感音神经聋患者声源定位能力的影响[1],并在成人声源定位定量研究的基础上,改良角度辨别测试流程并增加游戏测听的模式,探索出一种适合4岁正常儿童水平方位声源定位能力的测试方法[8]

由于儿童注意力易被新鲜事物转移,故其测试较之成人有更大难度;目前国内外多通过测试过程中及测试后给予玩具或礼物等奖励吸引儿童注意力,以求配合;但各实验室方法不尽相同,试验所得数据亦有出入。研究中发现,以往的测试方法存在儿童注意力不易集中、配合程度差,给声系统复杂、操作繁琐,数据处理时间长等问题。因此本文研究设计了用于儿童的声源定位自动测试系统,实现儿童SL能力的简单、快速、准确测试。

1 系统设计原理与方案

1.1 系统介绍

随着生活方式与科技的提高,智能化的体检与诊疗的方式越来越体现出重要性和可行性,根据常规的声源定位测试方式,设计一种智能的自动检测系统,解决了对测试结果记录、处理的复杂性,使用游戏的测试方式提高被测试者特别是儿童的测试意愿。

智能自动测试系统需具备以下几项特点:针对性强、可靠性高、可维护性好、相对成本低。因此,本系统在保证可靠性和实用性的前提下,应尽量具有更简单的操作,更少的硬件要求,更好的兼容性,以及更低的成本。本文从安卓系统[9]开发入手,将系统的控制以及处理和储存等功能集成在安卓系统平板电脑中,通过平板电脑蓝牙集成模块控制听力测试系统的响应,达到最后的测试效果。

声源定位测试的基本过程,见图1[8]:图中小方块代表7个不同位置的测试声源,声源均匀分布在180°的半圆平面,测试者位于半圆中心点,测试时,声音随机的从7个喇叭中的一个播放,受试者判断声音的位置并给出反馈,系统记录信息。

图1 听力声源定位测试的基本过程图示

基于声源定位测试过程的需求,在设计该系统中,其所需要具备的功能如下。 首先,录入受试者的基本信息:姓名、年龄、性别。然后,对测试过程中所涉及到的所有参数进行设置:① 每次测试声音出现时间;② 每次测试等待受试者做出反应的时间;③ 每个发声设备之间的距离(角度);④ 测试中可以接受的测试误差(用于游戏成功的奖励判断);⑤ 一轮测试中受试者需要测试的次数。之后,记录下每次测试的结果,每次测试开始时进行计时,倒计时结束本次测试结束,标注本次测试失败。并且系统可以对测试结果进行处理(平均、均方差等),并判断本次测试结果是否正确,正确则进行奖励播放动画,错误则无奖励。最后,将所有数据保存文本文件,可以查看,以及通过蓝牙设备发送到电脑以进行下一步的处理。

在整个过程中最为重要的是通信过程,本文通过平板移动终端向设计的硬件控制器发送控制信号,为单向控制类型,再由移动终端对受试者作出的响应进行采集、处理、储存,并向电脑传送所获得的文件。

1.2 系统结构

在项目的设计实现中,主要是基于安卓系统的开发,在安卓系统下设计可用的 APP,结合无线端的硬件模块组成测试系统,因此在设计中主要涉及到程序开发,蓝牙通信,硬件电路单片机设计等问题。其总体框图,见图2。

图2 系统总体框图

本系统主要分为3个模块,分别为智能操作平台、信号传输模块、声音播放模块。其中,智能操作平台监控受试者测试进程并对声源播放进行控制,最终记录测试结果。信号传输模块将声源控制信号由安卓系统终端通过蓝牙无线发送给单片机。声音播放模块通过STC89C52RC单片机[10],处理接收到的声源控制信号,控制外接喇叭的播放。

1.3 系统软件设计方案

安卓系统下的应用开发,是整个系统的核心。基于安卓系统的声源定位测试装置软件系统框图,见图3。

图3 软件系统框图

本文的智能操作平台在安卓系统平台上运行,使用Java语言开发,主要由3个部分组成:第1部分为受试者可操作的平台:基本信息录入、声源定位测试、测试结果判断;第2部分为医生可操作平台-①:查看测试数据、测试数据上传工作电脑;第3部分为医生可操作平台-②:设置测试参数(测试次数、测试时长等);受试者可以通过安卓系统平板自行完成所有的测试,测试过程不需要医生的参与以及指导。

传统的测试方式,其测试过程是首先,医生播放声音信号,信号随机从7个喇叭中的一个播放;然后,受试者做出判断,选择认为发出声音的编号,与医生沟通由医生记录下来;最后,结束此次测试,可以进入下一次测试。

可见,测试过程以医生与患者沟通交流为主,导致测试耗时长。对儿童而言更是难以沟通配合,给测试增加困扰。在声源定位自动测试系统设计上避免了医患之间的交流,由系统控制测试流程,并在其中加入游戏设置,提高儿童测试的积极性,有效的避免了传统测试中的一系列问题。其基于安卓系统的自动测试系统程序流程,见图4。

图4 基于安卓系统的自动测试系统程序流程

1.3 系统硬件设计方案

硬件部分,主要是接收来自蓝牙发送过来的信号,通过单片机(STC89C52RC)做处理将对应的声源开关接通达到控制喇叭播放声音的效果,这个部分是通过嵌入式程序开发进行的控制,主要语言是C语言,系统硬件框图,见图5。

图5 系统硬件框图

系统主要由4个模块组成:蓝牙接收模块、单片机系统模块、数据缓存驱动模块和声音控制模块。系统以STC89C52RC处理器为核心,蓝牙部分为HC-05型从机模块[11],声源开关使用的是HK4100型小信号继电器。

2 结果

为了配合安装,方便印制电路板(Printed Circuit Board,PCB)装入工装盒,系统的PCB整体长度设计为148 mm × 148 mm。为防止信号之间的干扰,将PCB板表面覆铜,另加印丝网层,使得PCB板上的文字部分更为清晰,见图6。

图6 电路实物图

在工装设计上依据方案要求,主要有以下几个方面:① 发光二极管灯接口; ② 蓝牙模块接口;③ 普通DC-5V电源接口。

在工装采用的是铝制方盒,规格为:(L)150 mm ×(W)152 mm ×(H)44 mm,其外部工装设计图,见图7。

图7 系统外部工装图

本系统设计上充分考虑测试的趣味性,移动端界面上使用了较为卡通的界面,应用界面,见图8。

图8 移动端应用界面

国内目前尚无同类声源定位测试系统,该系统已测试采集40多例的人工耳蜗植入的儿童的声源定位能力数据,并已投入到相关临床声源定位研究中,测试过程稳定,通过问卷调查,受试者的满意度达到100%。以常用的测试参数设置(测试次数:10,测试响应时间:10 s,动画奖励:20 s),将传统测试方式与自动测试作对比可以看出(图9),其测试时间大大缩短。

本系统是基于安卓系统下的应用,主要涉及听力测试过程及数据处理两个主要功能,它的过程是交互性的,中途不需要医生再操作,大大减少测试过程复杂度,并添加游戏性。以平板为载体使儿童等类型的受试者更容易接受测试,并能通过系统自身对测试结果进行一定分析,减少了医生的工作量。由于采用计算机控制流程,避免了人工测试中可能产生的不定因素。整个声源定位测试系统,见图10。

图9 测试耗时时间对比

注:受试者测试完全正确且完全配合条件下。

图10 系统实物图

3 讨论

本文设计的听觉声源定位能力自动测试系统,避免了常用测试中可能产生的人为干扰,提高了受试儿童的配合度,使得测试过程高效率完成。每次测试时间约为2~3 min,测试快速而简单,为相关SL研究减轻负担。受试者测试数据自动处理保存,支持数据查询(支持Excel文档处理)并可无线传输到PC端作后续数据处理。

解决了传统测试中测试过程复杂,医生操作性差,获取结果主观,测试时间冗长,测试不连续,测试过程中易被干扰,实验中儿童配合度低、注意力低等问题。

相关听力测试中多用调查问卷方式获取数据[12],这样主观性过强,不适用于儿童等自主意识弱的人群进行测试。在儿童语音能力测试上,也没有统一有效的仪器与方法[13-14]。本系统是依据多年儿童声源定位研究的基础上设计研发的[8,15]

后续将考虑使用这套发声系统,开发相应的软件平台,用于声源定位的康复训练,与临床医生合作,依据现有硬件设备研制出声源定位康复训练仪,用于人工耳蜗植入者的术后康复训练中。

4 结论

本文研制了一款儿童听力声源定位自动测试系统,系统总体设计分为硬件电路设计和软件开发两大部分。由安卓系统智能终端将控制信号通过蓝牙发送给前端硬件,由单片机系统控制发声方向,等待受试者作出响应,并有智能终端记录数据以及简单的数据处理。该系统针对于儿童测试的特点研发,压缩了测试时间,全程无需医生参与,提高了测试的客观性以及操作性。对于临床以及声源定位相关研究具有一定意义。

[参考文献]

[1]王颖.听力障碍人群助听前后声源定位能力比较[D].北京:首都医科大学,2007.

[2]Grothe B,Pecka M,MeAlpine D.Mechanisms of sound localization in mammals[J].Physiol Rev,2010,90(3):983-1012.

[3]王宁宇,倪道凤.加强儿童声源定位能力的研究[J].中华耳鼻咽喉头颈外科杂志,2010,45(1):3-6.

[4]Beijen JW,Snik AF,Mylanus EA.Sound localization ability of young children with bilateral cochlear implants[J].Otol Neurotol,2007,28(4):479-485.

[5]Nava E,Bottari D,Portioli G,et al.Hearing again with two ears:recovery of spatial hearing after bilateral cochlear implantation[J].Neuropsychologia,2009,47(3):928-932.

[6]Laske RD,Veraguth D,Dillier N,et al.Subjective and objective results after bilateral cochlear implantation in adults[J].Otol Neurotol,2009,30(3):313-318.

[7]梁之安,杨琼华,林华英.声源定位与声源位置辨别阈[J].声学学报,1966,3(1):27-33.

[8]张娟,王洵,王宁宇,等.4岁健康儿童水平方位声源定位测试方法的初步探讨[J].中华耳鼻咽喉头颈外科杂志,2009,44 (11):906-910.

[9]岳传真.Android系统移植和应用程序开发[D].上海:复旦大学,2010.

[10]宏晶科技有限公司.STC89C51RC/RD+系列单片机器件手册[BD/OL].2012-01-20.http://www.docin.com/p-328439472.html.

[11]ATK-HC05 主从一体蓝牙串口模块用户手册[BD/OL].2013-02-27.http://wenku.baidu.com/link?url=n5aOZO6Z6iLyXK-kRAXatJ4kjJ15H57q8CwkBD_ZEV_wtWYccU0B7LJ5xthLH3vuY HxhV29Zx1wOOySDtZUOZ6bo-mAU6CJQHxSHy4JADS_.

[12]Zhang J,Tyler R,Ji H,et al.SSQ and SHQ Changes Over Time on Adults with Simultaneous Cochlear Implants[J].Am J Audiol,2015,24(3):384-397.

[13]Johnson CE.Children’s Phoneme Identif cation in Reverberation and Noise[J].J Speech Lang Hear Res,2000,43(1):144-157.

[14]Lewis DE,Manninen CM,Valente DL,et al.Children’s Under standing of Instructions Presented in Noise and Reverberation[J].Am J Audiol,2014,23(3):326-336.

[15]朱利红,王宁宇,张旭,等.声源定位仪的研制与应用[J].中国耳鼻咽喉头颈外科,2007,14(5):257-261.

Research and Development of Automatic Test System for Sound Localization Ability of Children

Abstract:In order to evaluate hearing and verbal communication skills of cochlear implanted children, an increasing number of scholars began to focus on sound localization. An automatic test system for sound localization ability of children was developed to solve problems like low degree of coordination an d complex testing process during children’s sound localization test. Based on Android system, an interesting interactive interface was designed catering to children’s characteristics. Bluetooth device was used to control the playing time and direction of the testing sound source, mobile terminal device was used to automatically record and process the obtained data. A number of hearing-impaired children were tested with this system; good results were achieved with stable and accurate data. Compared with traditional test methods, this test method has the advantages of high eff ciency, high degree of children’s cooperation and simple operation, which can be used to quantitatively test the localization ability of horizontal direction of subjects and is convenient for clinical application.

Key words:hearing-impaired child; sound localization; android system; automatic test system; bluetooth control

QIAN Bo-lin1, ZHANG Xu1, REN Zhao-hui1, WANG Ning-yu2, DAI Jin-sheng2, ZHANG Juan2
1. Beijing Key Laboratory of Fundamental Research on Biomechanics in Clinical Application, School of Biomedical Engineering, Capital Medical University, Beijing 100069, China; 2. Department of Otolaryngology Head and Neck Surgery, Beijing Chaoyang Hospital Affiliated to Capital Medical University, Beijing 100020, China

[中图分类号]R318.6;R764.04

[文献标识码]A

doi:10.3969/j.issn.1674-1633.2016.12.009

[文章编号]1674-1633(2016)12-0038-04

收稿日期:2016-10-20

修回日期:2016-11-21

基金项目:人工耳蜗植入后及助听器佩戴后声源定位能力康复训练研究(首发2016-1-2035);北京市教委科技计划重点项目:声源定位测试系统研发(KZ201410025027)。

通讯作者:张旭,教授。主要研究方向:医学信号处理。