心电图检查是目前应用最广泛的心脏疾病检查诊断手段,由于其具有无创、快速、重复性好等优点,在临床领域起到重要的作用。据统计,每年在世界范围内获得的心电图数据就有3亿多例[1]。近四十年来,计算机技术成功应用在心电图诊断领域,心电图的自动诊断和分析功能逐渐普及。近几年,随着人工智能和神经网络技术的发展,利用神经网络和深度学习技术开发能自动辅助医生进行诊断的人工智能心电软件成为热门研究方向,对AI心电软件性能评价方法的研究也逐渐在产品质控领域引起重视。
心电数据库在心电软件的开发和测试中发挥着重要的作用[2],也是AI心电软件产品质控的重要资源。美国、欧盟已经开发出比较权威的标准心电数据库,如MIT-BIH、AHA、CSE数据库等[3-4]。但是,在抗噪声水平测量方面,目前主流的公开数据库仅有NST数据库及CSE数据库,NST数据库是基于MIT-BIH数据库的两条数据叠加噪声而成,样本量较小;现行的心电图机标准[5]中提到的抗噪声测试采用CSE数据库中的10条数据叠加3种噪声进行,仅考虑了基线噪声、高频噪声及工频噪声这三种噪声类型,而且仅采用人工拟合的数据模拟临床噪声,噪声类型不够全面。电磁干扰带来的噪声,尚未全面用于评价AI心电软件。
心电信号噪声的随机性和多样性给AI心电软件带来了新的挑战。AI心电软件如果产生错判、漏判等质量问题,将不仅会误导医生的工作以及对疾病的诊断,还会影响到患者的身心健康和就医体验。为了更全面地评价AI心电软件的性能,有必要采用多样化的测试数据来模拟临床中可能遇到的情况。本文通过在AI软件的测试数据中叠加实测的电磁噪声,模拟实际临床中可能影响AI心电软件正常工作的电磁扰动,通过观察软件输出结果的变化来评估AI心电软件的性能。
1 试验介绍 1.1 原理介绍心电图机是AI心电软件的数据采集载体,也是临床中最常用的心电设备。本次研究重点考察心电图机直接采集的电磁干扰信号对AI心电软件性能可能产生的影响。
心电图机在复杂电磁环境中工作时,外界的骚扰源产生电磁骚扰,通过一定的路径作用到受扰心电图机上。心电图机承受电磁骚扰后输出的波形变化情况能够体现心电图机的抗干扰能力。从路径上分析,既有从空间传播(频率较高),也有通过导线、电缆来传播(频率较低)。
从电磁兼容(Electromagnetic Compatibility,EMC)测试的角度看,该问题实质上是电磁抗扰度(Electromagnetic Susceptibility,EMS)问题,可以按照电磁能量的传递划分为两类基本的EMS子问题:辐射敏感度和传导敏感度[6]。根据电磁能量两种不同的能量传递方式,共包含了7种试验验证的电磁抗扰性[7];其中静电放电抗扰度、电快速脉冲群抗扰度、浪涌抗扰度、电压暂降和短时中断抗扰度属于传导敏感度试验;射频感应的传导骚扰抗扰度、射频电磁场辐射抗扰度、工频磁场抗扰度属于辐射敏感度试验。考虑到心电图机的临床工作情况,静电放电抗扰度、电快速脉冲群抗扰度、浪涌抗扰度、电压暂降和短时中断抗扰度都属于瞬时骚扰,医生很容易查找到相关的骚扰源并将骚扰信号隔离,同时将相应受骚扰数据舍弃并重新采集。而射频感应的传导骚扰抗扰度、射频电磁场辐射抗扰度、工频磁场抗扰度三者属于空间耦合且持续骚扰信号,医生很难将相应骚扰信号屏蔽。这三类抗扰度信号中,辐射抗扰度的功率较小,对心电图机的影响较小。基于以上原因,选择采集射频传导骚扰及工频磁场骚扰这两类骚扰信号在心电图机上产生的噪声用于评价AI心电算法的准确度。
1.2 试验材料本文选择公开的AI心电算法作为本次性能测试的对象[8-11]。该算法将心电信号分为4类,分别是正常(N)、左束支阻滞(LBBB,缩写L)、右束支阻滞(RBBB,缩写R)及室性早搏(PVC,缩写V)。算法采用MIT数据库中的数据进行训练和测试,共计20000个心拍,其中随机选择10000个作为训练集,剩余10000个心拍作为测试集,2个数据集中的4类心拍的样本可看作等比例均匀分布。
同时,选择一台十二导联心电图机作为载体采集电磁噪声信号。
1.3 试验方法整个电磁噪声的采集过程参照国内现行有效的电磁兼容性标准YY 0505-2012[12]进行,涉及工频磁场抗扰度、射频传导抗扰度两项测试。
1.3.1 工频磁场抗扰度工频磁场抗扰度在电磁屏蔽室进行测试,将十二导联心电图机的所有导联连接至模拟器,模拟器输出为0 mV电平,试验采用浸入法进行,将心电图机放置在磁场感应线圈的中心,线圈上施加频率为50 Hz,场强为3 A/m试验电平的骚扰信号,分别在X/Y/Z三个维度进行试验。
采集到的噪声信号如图 1所示。
实测噪声水平最大不超过0.03 mV。
1.3.2 射频传导抗扰度对于心电图机而言,由于临床应用的需要,使用中不可避免要使用导联线及连接线缆,目前,心电图机中常用的导联线长度大多在1~3 m,极易从线缆端口引入空间电磁噪声。为了测试这种噪声的水平,对导联线进行了射频传导抗扰度的测试。骚扰信号的频段为0.15~80 MHz,80%幅度调制,调制频率为2 Hz。试验中采用电流钳方式将骚扰信号注入心电图机的导联线连接线缆。
采集到的信号如图 2所示。
为定量地观测不同幅度的噪声对AI心电算法的影响,对以上2种电磁抗扰度测试项目得到的EMS波形进行幅度变换,本文采用一个评估噪声信号等级的指标:信噪比(Signal-to-noise Ratio,SNR),具体定义:
式中,x(n)表示原始信号,y(n)表示噪声信号,N表示数据总量。
本次研究中通过将实验室采集的电磁噪声信号归一化处理,然后等比例调整噪声信号幅度以调节信噪比,分别将不同信噪比的噪声信号叠加到MIT心电公开数据库中的原始测试数据(见图 3、4中的original波形)上,获得叠加噪声的测试数据。本文采用的信噪比见表 1。
分别使用原始数据及叠加EMS噪声信号的数据对同一AI心电算法进行测试,并计算4种心拍分类的准确率,准确率的表述为一个测试集中被正确分类的样本数与总样本数之比。
以判断正常心拍(N)的二分类问题为例,如果MIT数据库中的分类结果为N,则作为阳性心拍,否则作为阴性心拍;如果AI算法判定为N,则表示AI算法的结果为阳性,如果判定为其余3种心拍,则表示AI算法的结果为阴性。分类准确率具体计算方法见表 2。
准确率计算公式如式(2)所示:
(2) |
式中,N1, 1为真阳性的数量,即被AI算法正确地预测为阳性的数据;N1, 2为假阳性的数量,即被AI算法错误地预测为阴性的数据;N2, 1为假阴性的数量,即被AI算法错误地预测为阴性的数据;N2, 2为真阴性,即被AI算法正确地预测为阴性的数据。
2 试验结果AI心电算法分别对原始数据及叠加不同信噪比EMS噪声信号的数据进行判读分类,根据上述方法计算的分类准确率结果如图 5所示。其中,曲线all代表AI软件整体分类准确率,V、L、R、N分别表示AI软件对室性早搏、左束支阻滞、右束支阻滞及正常这四种情况的分类准确率。
从图 5可以看出:
1)工频噪声施加前后,该算法的分类准确率的变化不大,信噪比<1 dB时,依旧保持在70%以上。
2)叠加传导噪声后的测试结果显示,算法的分类准确率下降明显,信噪比<1 dB时,准确率已经下降到50%以下。
3)两种EMS噪声测试中,室性早搏(V)的准确率波动均为最小。
3 结论与讨论本次研究通过实验室内相应的电磁兼容测试模拟现实生活中的电磁骚扰情况,采集了心电图机的EMS噪声数据,包括工频噪声及射频传导噪声,以不同的幅度叠加到真实心电数据上用于评价算法鲁棒性。整体来看,工频噪声对算法的影响相对较小,叠加噪声前后算法的准确率影响不大;射频传导噪声对算法的影响相对较大。这主要是考虑现有质量控制标准对抑制工频噪声的要求较明确,研究较多,在软硬件上实现工频滤波的技术已经相对成熟,这从根本上降低了工频噪声对AI算法的影响。然而,现在对于传导噪声的研究十分有限,可见,在临床应用中应特别加强对传导噪声的预防和屏蔽。
经过上述分析,本文发现随着信噪比的降低,整体AI软件的分类准确性都有所下降。这说明,EMS噪声特别是传导噪声对心电AI软件的诊断准确性影响较大,尤其在无人值守的情况下,算法本身难以识别传导噪声的存在,容易引发漏诊、误诊等情形,进而影响临床诊疗过程。在临床应用中,应尽量采取软硬件滤波、屏蔽等方式避免产生较大的电磁噪声。
通过本文的分析发现,在心电测试数据中添加噪声这一对抗测试的方法来评价AI软件的鲁棒性是AI产品质量评价的有益补充。一般来说,AI软件的质量评价是围绕数据集开展的,由于心电信号在真实世界中容易受到噪声影响,目前心电数据集中对抗噪声能力的评价仍有待深入,对AI心电软件的考察有必要全面考虑现实环境中可能影响AI软件质量的各种因素,比如本文所讨论的电磁干扰因素,进行有针对性的测试,以期达到全面客观评价AI软件的目的。
[1] |
Holst H, Ohlsson M, Peterson C, et al. A Confident Decision Support System for Interpreting Electrocardiograms[J]. Clin Physiol, 1999(19): 410-418. |
[2] |
王浩, 孟祥峰, 王权, 等. 人工智能医疗器械用数据集管理与评价方法研究[J]. 中国医疗设备, 2018, 33(12): 1-5. DOI:10.3969/j.issn.1674-1633.2018.12.001 |
[3] |
董海廷.基于心电图的异源数据库及诊断算法研究[D].哈尔滨工业大学, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10213-1016773807.htm
|
[4] |
王茜, 梁振士, 方丕华, 等. 心电算法准确性评价素材的应用[J]. 医疗装备, 2017, 30(1): 15-17. DOI:10.3969/j.issn.1002-2376.2017.01.009 |
[5] |
YY 0782-2010医用电气设备第2-51部分: 记录和分析型单道和多道心电图机安全和基本性能专用要求[S]. 2010.
|
[6] |
李澍, 李佳戈, 苏宗文. 医疗器械电磁兼容标准解析[J]. 中国医疗设备, 2014, 29(2): 14-17. DOI:10.3969/j.issn.1674-1633.2014.02.003 |
[7] |
李佳戈, 张艳丽, 苏宗文. 医疗器械电磁兼容标准关键细节解析[J]. 中国医疗设备, 2014, 29(8): 70-72. DOI:10.3969/j.issn.1674-1633.2014.08.021 |
[8] |
Hannun A, Rajpurkar P, Haghpanahi M, et al. Cardiologist-level Arrhythmia Detection and Classification in Ambulatory Electrocardiograms Using a Deep Neural Network[J]. Nature Medicine, 2019, 25(1): 65-69. DOI:10.1038/s41591-018-0268-3 |
[9] |
Pan J, Tompkins W J. A Real-time QRS Detection Algorithm[J]. IEEE Transactions on Biomedical Engineering, 1985(3): 230-236. |
[10] |
Li C, Zheng C, Tai C. Detection of ECG Characteristic Points Using Wavelet Transforms[J]. IEEE Transactions on Biomedical Engineering, 1995, 42(1): 21-28. DOI:10.1109/10.362922 |
[11] |
Wang Y, Deepu C J, Lian Y, et al. A Computationally Efficient QRS Detection Algorithm for Wearable ECG Sensors[C]. International Conference of the IEEE Engineering in Medicine and Biology Society, 2011: 5641-5644. https://www.ncbi.nlm.nih.gov/pubmed/22255619
|
[12] |
YY 0505-2012医用电气设备第1-2部分: 安全通用要求并列标准: 电磁兼容要求和试验[S]. 2012.
|