基于多尺度熵和支持向量机的人体脑疲劳状态检测研究引言脑疲劳也称精神疲劳,是指人们长时间进行需持续精神注意力的认知活动而导致的一种脑机能下降的生理心理状态[1]。当处于脑疲劳状态时,人体主要表现出头脑昏沉、反应迟钝、注意力不集中、视觉模糊和协调性变差等状态。如果长期处于脑疲劳状态,不仅会使学习和记忆等功能下降,还会转为慢性脑疲劳疾病,甚至引发躯体性疾病。脑疲劳是许多领域发生事故的重要原因,如航空航天、军事行动、驾驶及外科手术等,这类从业人员在脑疲劳状态下工作极有可能导致不可挽回的重大损失[2]。快速评估并预警脑疲劳状态可以让人们合理安排工作,及时调整休息,从而预防和减少事故的发生,避免不必要的损失。因此,无论是从职业风险保护还是个体健康角度来考虑,研究脑疲劳均具有长远而积极的意义[3-4]。 随着信号检测技术的发展和人们对脑科学认识的不断深入,一大批评估脑疲劳的方法应运而生。目前,脑疲劳的客观评估方法主要包括生化指标法、心理与行为学指标法和生理学指标法三大类,其中生理学指标中的脑电信号具有无创性、高时间分辨率及直接反映脑皮层活动特征等特点,是公认的与脑疲劳相关度最高的指标[4-6]。然而,虽然脑电被认为是研究脑疲劳最准确的手段,但由于缺乏对疲劳本质的认识,现阶段关于脑电检测脑疲劳的研究仍然是探索性的[7]。目前,基于脑电的脑疲劳研究存在以下几方面问题:① 多数使用实验室或临床专业级脑电采集设备,不便于在现实中推广[8];② 与脑疲劳最相关的电极位置存在疑问,该方面的研究结论不尽相同[9];③ 目前仍未找到与脑疲劳状态直接相关的脑电特异性特征[7]。 近些年的研究表明,大脑是一个非线性动力学系统,脑电可以视为系统的输出,脑电信号是典型的非线性的复杂信号。传统的时域、频域和小波等方法分析非线性信号时存在一定的局限性,因此非线性的方法分析脑电信号更具有优势[10-12]。本研究针对上述前两个问题,通过持续认知负荷任务建立脑疲劳模型,采用一款便携式脑电设备采集人体清醒和疲劳两种状态下的脑电信号,以非线性动力学方法中的多尺度熵为指标,结合支持向量机分类算法,探究了二者结合检测脑疲劳的可行性,进一步比较了单通道情况下来自不同脑皮层的3个电极检测脑疲劳的效果。 1 算法简介1.1 多尺度熵多尺度熵(MultiScale Entropy,MSE)是非线性动力学理论中的一种复杂度分析算法,最早由Costa等[13]于2002年提出,目前已广泛运用于生物医学、交通和金融等许多领域。MSE由在不同的时间尺度上计算样本熵而得到,其核心是“粗粒化”过程。相比传统的近似熵、样本熵,MSE可以考虑到信号在多个时间尺度上的动态特性和远程相关性信息,从而全面地度量信号的复杂度,十分适合复杂时间序列信号分析。然而,MSE的缺点是其给出的结果是一系列时间尺度上的复杂度,不同尺度上复杂度的比较结果时常存在差异,因此MSE的结果不便于直接进行比较。 1.2 支持向量机支持向量机(Support Vector Machine,SVM)是机器学习中的一种监督学习方法,在解决小样本、非线性和高维模式识别等问题中具有突出优势。SVM算法的原理是通过核函数将原始数据映射到高维特征空间,然后寻找一个最大边界间隔超平面,从而可以使分类问题在新的特征空间中变得简单。针对MSE的不足,若是将其在一系列时间尺度上的复杂度值作为样本特征,再结合SVM算法,便可以综合考虑到MSE在所有时间尺度上的复杂度结果,从而较好地对数据进行分类和预测。 2 材料与方法2.1 实验材料脑电信号采集设备使用美国OpenBCI-V3-蓝牙版。该设备是一款开源的生物电信号采集系统,可记录脑电、心电和肌电等多种生理信号,由放大器、蓝牙接收器、电极帽和直流电源4部分组成,主要有以下几个特点:数据从放大器经由蓝牙传输至电脑,极大减少了市电和电脑中的干扰;采用6 V直流电源供电,安全可靠;整机重量约240 g,轻巧便携;采用干电极,佩戴快速简便。 脑疲劳状态评估使用美国航空航天局任务负荷指数量表(NASA-Task Load Index,NASA-TLX)[14]和卡罗林斯卡嗜睡量表(Karolinska Sleepiness Scale,KSS)[15]。一般地,在执行一项工作负荷任务时,负荷越大、时间越长,则脑疲劳程度和瞌睡程度就越强烈。NASA-TLX通过6个不同维度的加权平均计算个体的任务负荷指数,用于评价主观工作负荷程度。KSS量表把个体的清醒程度从警觉到困倦分为9个等级,用于评估主观嗜睡程度。两个量表均具有非常高的信度和效度,在脑疲劳相关研究中十分常见[16-19]。 2.2 实验对象选取12名在校大学生作为实验对象,平均年龄(24.92±3.50)岁,均为男性,右利手,近期未服用任何药物,实验当天身体和精神状况良好。 2.3 实验步骤与方法2.3.1 脑疲劳状态建立与脑电信号采集 采用英文阅读模拟持续认知负荷任务,诱发脑疲劳状态。阅读难易程度与实验对象的英语水平基本相当,数量足够。脑电信号采集时,按照10-10国际标准导联在额叶、顶叶和枕叶分别选取额极中线(Fpz)、顶中线(Pz)和枕中线(Oz)3个电极,采样率设为250 Hz。实验具体实施步骤如图1所示。其中,第一步和第三步先采集8 min脑电信号,然后填写NASA-TLX和KSS量表,采集过程中保持肌肉放松,尽量避免咳嗽和吞咽等动作,以减少肌电干扰;第二步要求实验对象在阅读过程中全神贯注,认真思考。此外,由于眼电对不同位置脑皮层的脑电干扰大小不同,为便于比较不同电极检测脑疲劳的效果,采集脑电时要求实验对象闭上眼睛。实验中脑电采集过程如图2所示。 图1 实验步骤 图2 使用OpenBCI采集脑电信号 2.3.2 脑电信号处理与分析 Matlab 2017b:对原始脑电信号进行1~40 Hz带通滤波;使用滑动窗思想,以30 s为窗宽,2 s为步长滑动,每个8 min的信号可得到226组脑电数据;计算每组数据的MSE,嵌入维数m和相似系数r分别选择2和0.15,尺度范围选择1~20,因此每组数据可得到20个值。最终每名实验对象在清醒和疲劳两个状态下的3个不同电极分别有226组数据,每组数据有20个值。 Python 3.5:基于Scikit-Learn机器学习库,使用SVM算法进行数据分析。清醒和疲劳两种状态对应的数据标签分别设为0和1;以每组数据的MSE值作为特征,每名实验对象的数据集中有452组数据;核函数使用径向基内核RBF,参数Gamma和正则化参数C使用网格搜索法优化,分别在[0.001, 1]和[0.01, 10]区间内遍历寻优;使用分层K折叠交叉验证法将数据拆分为训练集和测试集,同时提高模型的稳定性和准确度,本研究中K值取5。最终得到每名实验对象在Fpz、Pz和Oz三个电极的二分类准确率。 2.4 统计学分析使用SPSS 20.0统计软件对量表数据作配对t检验,对分类准确率数据作单因素方差分析。所有数据均以均值加减标准差的方式(±s)表示,显著性水准设为0.05。 3 实验结果3.1 NASA-TLX和KSS量表结果12名实验对象进行持续认知负荷任务前后NASA-TLX和KSS量表结果,见表1。从表1可以看出,在经过120 min的连续英文阅读任务后,实验对象的工作负荷指数和嗜睡程度明显上升,二者结果均具有显著的统计学差异(P<0.01)。该结果表明实验对象认为完成该任务需要的脑力负荷较大,完成任务后他们的困倦程度显著增加。由此说明,实验建立的脑疲劳模型是有效的,清醒和疲劳可以分别作为两种状态脑电信号的监督学习标签,进而做下一步分析。 表1 脑力负荷任务前后NASA-TLX和KSS量表结果(±s) 注:任务后与任务前对比,NASA-TLX和KSS结果*P<0.01。 images/BZ_52_236_2207_1193_2260.png任务前 13.16±5.20 3.80±1.29任务后 58.48±8.93* 5.40±1.24* 3.2 多尺度熵结果以Fpz电极为例,取每名实验对象在清醒和疲劳两种状态下的第1组脑电数据,计算并对比MSE,结果如图3所示。可以看到,在脑疲劳后,尺度1~3的熵值略微升高,尺度4~20的熵值有所降低,其中尺度9、10、11、12和16的熵值具有统计学差异(P<0.05)。由此说明,脑疲劳后脑电信号的MSE发生了一定变化,但是不同尺度的比较结果不尽相同,难以给出直观结论,也不便于分类。 3.3 SVM分类结果使用SVM分类器对清醒和疲劳两种状态的脑电信号进行分类,最终的分类准确率结果如图4所示。从图中可以看出,Fpz电极和Oz电极的分类准确率要优于Pz电极,二者均具有显著的统计学差异(P<0.05)。Fpz电极的分类准确率略微优于Oz电极,但二者没有统计学差异(P>0.05)。 图3 Fpz电极清醒和疲劳脑电信号MSE结果 注:*P<0.05。 图4 SVM对清醒和疲劳脑电信号的分类准确率结果 注:Fpz、Oz分别与Pz对比,*P<0.05。 4 讨论与展望本研究对12名实验对象清醒和疲劳两种状态脑电信号的分类结果显示,Fpz电极和Oz电极的平均分类准确率分别为92.16%和90.54%,均达到90%以上。该水平与此方面文献报道[9,20-21]中提取脑电时频或其他类型特征的二分类准确率相当,这说明MSE结合SVM可以有效地对脑电信号进行分类,从而区分出不同状态。既往采用MSE分析人体脑疲劳的研究中,多数是对不同尺度的结果分别做分析或者求均值[22-23],由于不同尺度得到的结果存在差异,这种方法不能综合考虑到所有尺度及其权重,因而难以得到一个确切结论。本研究利用SVM可以对高维数据进行分类及特征差异越大分类越准确的优势,全面而均衡地考虑到了MSE在所有尺度上的结果。经过5倍分层折叠交叉验证的SVM模型具有较好的鲁棒性,使用该模型便可以对未知状态的脑电信号进行预测,从而检测出人体是否处于脑疲劳状态。 不同电极分类准确率的统计分析结果表明,Fpz电极和Oz电极的分类效果相当(P>0.05),二者均比Pz电极的分类效果要好(P<0.05),这说明Fpz电极和Oz电极检测脑疲劳的效果要优于Pz电极。医学上通常认为人体大脑皮层中额叶主要负责思考、记忆及行为等功能,顶叶主要负责感觉功能,包括味觉、触觉和少部分视觉,枕叶主要负责视觉功能[24]。人体在脑疲劳状态下中枢神经系统的活跃性会降低,因此各个脑区表现出的疲劳程度也存在不同,即精神恍惚程度、视觉模糊程度、听力减退程度等不同[23]。此外有研究表明额叶状态变化与脑疲劳密切相关[25-26]。由于实验对象进行英文阅读时需要不断思考和记忆,同时需要长时间持续用眼,而味觉和触觉功能并未用到,因此在脑疲劳前后额叶和枕叶的脑电变化较顶叶要大,因此Fpz和Oz电极的分类准确率高于Pz电极这一结果符合医学中关于不同脑皮层功能的相关结论。这也提示我们,在通过单电极检测脑疲劳时,电极的选择需要根据导致脑疲劳的负荷因素而定,不能一概而论。 需要注意的是,脑疲劳往往是多因素共同作用的结果,除了持续认知负荷以外,还与被测者的情绪、昼夜节律和身体状况有关,甚至周围环境也会带来一定影响[27]。实际生活中脑疲劳产生的原因和场合是多种多样的,因此MSE结合SVM的方法对于现实场景中的脑疲劳是否能有较理想的分类效果,仍然有待进一步研究。另外,本次实验中仅对比了来自不同脑皮层的三个电极的脑疲劳检测效果,而人体大脑左右半球的功能具有不对称性,在其他电极是否会取得更好的检测效果也有待进一步研究。 实验过程中,我们发现量表结果和脑电分类结果的组内差异均较大,这表明个体的脑疲劳状态存在一定差异。这提醒我们在以后的实际应用中,有必要针对个体的不同情况采取个性化的分析方案。未来关于脑电法检测脑疲劳的发展趋势主要有以下几个方面,一是脑电采集系统的便携化和抗干扰性能的提升,以便更好地应用于实际生活中的疲劳检测;二是对脑疲劳程度进行分级,有时候仅区分清醒和疲劳两种状态是不够的,在实际中往往中间状态也至关重要;三是进一步探索表征脑疲劳的特异性特征和相关电极。 [1] Tanaka M,Ishii A,Watanabe Y.Neural effect of mental fatigue on physical fatigue: a magnetoencephalography study[J].Brain Resh,2014,1542(1):49-55. [2] Hopstaken JF,van der Linden D,Bakker AB,et al.A multifaceted investigation of the link between mental fatigue and task disengagement[J].Psychophysiology,2015,52(3):305-315. [3] 孙林辉,朱鹏烨,袁晓芳,等.脑疲劳测度方法对比实验研究[J].人类工效学,2018,24(6):32-38. [4] 杨硕,冀亚坤,王磊,等.基于脑疲劳的Delta-Gamma相位幅值耦合研究[J].中国生物医学工程学报,2018,37(4):445-450. [5] Laurent F,Valderrama M,Besserve M,et al.Multimodal information improves the rapid detection of mental fatigue[J].Biomed Sig Proc Control,2013,8(4):400-408. [6] Kong WZ,Zhou ZP,Jiang B,et al.Assessment of driving fatigue based on intra/inter-region phase synchronization[J].Neurocomputing,2017,219 (C):474-482. [7] 樊双义,李剑波.脑疲劳监测与抗疲劳的相关措施研究[J].灾害医学与救援(电子版),2014,3(3):194-196. [8] 曹雪亮,苗丹民,刘练红.脑力疲劳评定方法现状[J].第四军医大学学报,2006,27(4):382-384. [9] Barua S,Ahmed MU,Ahlström C,et al.Automatic driver sleepiness detection using EEG, EOG and contextual information[J].Expert Sys App,2019,115:121-135. [10] 贾花萍,赵俊龙.脑电信号分析方法与脑机接口技术[M].北京:科学出版社,2016. [11] 刘心东.混沌及其在生物医学工程中应用[J].国外生物医学工程分册,1993,16(2):36-41. [12] 高春芳,张根葆,陆晓华,等.清醒与麻醉状态下大鼠脑电复杂度特征的比较[J].临床麻醉学杂志,2017,33(1):63-65. [13] Costa M,Goldberger AL,Peng CK.Multiscale entropy analysis of complex physiologic time series[J].Phys Rev Lett,2002,89(6):068102. [14] Hart SG,Staveland LE.Development of NASA-TLX (Task Load Index): results of empirical and theoretical research[J].Human Mental Workload,1988,52(6):139-183. [15] Akerstedt T,Gillberg M.Subjective and objective sleepiness in theactive individual[J].Int J Neurosci,1990,52(1-2):29-37. [16] 肖元梅,王治明,王绵珍,等.主观负荷评估技术和NASA任务负荷指数量表的信度与效度评价[J].中华劳动卫生职业病杂志,2005,23(3):178-181. [17] Kaida K,Takahashi M,Åkerstedt T,et al.Validation of the Karolinska sleepiness scale against performance and EEG variables[J].Clin Neurophysiol,2006,117(7):1574-1581. [18] 黄杨森,程耀萍,王艳微,等.应用NASA-TLX量表与心率变异性指标评价女飞行学员脑力负荷的研究[J].中华航空航天医学杂志,2018,29(1):14-21. [19] Sampei K,Ogawa M,Torres CCC,et al.Mental Fatigue Monitoring Using a Wearable Transparent Eye Detection System[J].Micromachines,2016,7(2):20. [20] 杨硕,艾娜,王磊,等.脑疲劳状态的脑功能网络特征分类研究[J].生物医学工程学杂志,2018,35(2):171-175. [21] Zhao CL,Zheng CX,Zhao M,et al.Automatic classification of driving mental fatigue with EEG by wavelet packet energy and KPCA-SVM[J].Int J Innovat Com,2011,7(3):1157-1168. [22] Chen CX,Li J,Lu X.Multiscale entropy-based analysis and processing of EEG signal during watching 3DTV[J].Measurement,2018,125:432-437. [23] 刘苗苗,艾玲梅.驾驶疲劳脑电信号的多尺度熵分析[J].计算机技术与发展,2011,21(8):209-212. [24] 李云庆.神经科学基础[M].第3版.北京:高等教育出版社,2017:185-193. [25] Soheil K,Hidenobu S,Ryuji Y,et al.Multiscale entropy quantifies the differential effect of the medium embodiment on older adults prefrontal cortex during the story comprehension: a comparative analysis[J].Entropy,2019,21(2):199. [26] Wang C,Trongnetrpunya A,Samuel IBH,et al.Compensatory neural activity in response to cognitive fatigue[J].J Neurosci,2016,36(14):3919-3924. [27] 熊军武,杨泽龙,李杨阳.关于精神疲劳评估的研究[J].临床医学研究与实践,2016,1(12):186-189. Mental Fatigue Detection Based on Multiscale Entropy and Support Vector Machine |