CCCF精选 | 探索移动感知的价值：从可穿戴到非接触感知

物联网被认为存在巨大的潜在价值，并且其价值还在不断增长。到2030年，物联网的全球产值预计高达12.5万亿美元。物联网即物物互联，在已经联通的信息世界的基础上将物理世界也接入到网络中。物联网通过传感器、处理器和通信硬件收集、处理和交换数据。其应用具有无限的可能性，可以连接家用电器提供远程控制照明或监控能源使用情况；可以连接工业设备监控生产线和优化流程；可以连接医疗设备监测生命体征或提醒患者服药。

近年来，传感器技术有了显著进步。传感器的模态包括无线信号、声音信号、光信号以及特定设备。当前的传感器可以覆盖更广的感知频谱，从听觉、视觉到触觉，甚至人感知不到的射频范围。同时，传感器变得更小、更便宜、更强大。因此，传感器测量物理世界的各种信息参数的手段变得更为丰富。与此同时，计算变得更快、更复杂，存储变得更实惠、更易于使用，5G等网络的覆盖范围变得更广，电池续航变得更持久，人工智能和机器学习技术也取得了重大的发展与突破。这些技术能够帮助物联网系统获取更丰富的物理世界信息，并且能使物联网系统采取更智能的决策，此即智能物联网(Artificial Intelligence of Things，AIoT)技术。

现在，AIoT技术已经开始彻底改变许多行业。在医疗健康行业中，AIoT设备已被用来协助管理糖尿病等疾病。在家居环境中，人们安装了家庭智能语音助手、自动吸尘器或安全系统等AIoT设备。在制造工厂和农场的标准化生产环境中，AIoT技术的应用可以提高运营效率，优化设备使用和库存管理。在城市管理方面，AIoT应用可提供自适应交通控制、环境监控或资源管理。在交通运输方面，AIoT可以随时监控各种交通工具的服务状态，包括运输工具的运转情况、驾驶员的操作情况以及交通的拥堵程度等。

随着现代医疗技术的发展，人们的预期寿命显著提升。随之而来的人口老龄化问题开始困扰世界上的几乎所有国家。对发达经济体来说，人口老龄化的问题尤为严重。因此，如何在有限的医疗资源条件下满足越来越多的医疗需求，将会是各国都需要面对的问题。随着智能物联网技术的发展，智能感知设备将有能力检测到诸如人生命体征的细粒度信息，这将为面向未来的医疗服务模式的设计提供新思路。

医疗服务模式的扩展和优化

在当今的医疗体系下，人们几乎只能在医院和诊所获取专业的医疗服务，即使所需要的医疗服务只是最基本的检测项目，如心电图检测。这给患者带来较大的时间成本，并对医疗系统造成较大压力。在未来的医疗服务体系设计中，可以充分考虑智能物联网设备的感知能力和低成本的特性。例如，在家中部署人生命体征的感知设备，或是建议患者配戴可监听生命体征的可穿戴式设备，让患者足不出户即可享受相应的医疗服务。当感知设备发现异常时再要求患者去医疗机构做进一步的检查。如此一来，院外监测可与院内诊疗形成互补，医疗服务的范围从仅限于医疗机构扩展到患者家中，既能节省患者的时间，又能给医疗系统减轻负担。

除此之外，智能物联网技术还将有助于优化医疗服务的品质。谈起医院，人们的第一印象或许是“治病的地方”。但医疗服务不应当仅仅包括诊疗这一个阶段。从疾病的预防、诊疗、康复，到慢性病的管理，这些阶段都应该有配套的医疗服务。显然，以医院为核心的医疗服务体系侧重于疾病的诊疗，很难覆盖从预防到康复的所有环节。但是，随着智能感知技术的加入，对疾病的每一个阶段进行介入将成为可能。

全程的医疗健康服务

在智能物联网技术的支持下，未来的医疗服务将有机会实现全程的医疗健康服务。在用户的日常生活中，智能感知设备对用户的居家活动进行监测（如饮食、睡眠、活动等），并对用户的不良生活习惯进行提醒。除此之外，智能家居设备和可穿戴设备还可以对关键体征数据进行监测（如血压、血糖、心率、呼吸、尿液成分等），以便及时发现部分疾病的早期症状。如不幸患病，在医生开具治疗处方之后，上述健康数据还可以为适时调整处方以及个性化诊疗方案提供支持。在患者康复的过程中，如需进行康复训练，家中的智能感知设备和可穿戴设备可以为康复训练作出动作指导。为了达到这一愿景，我们数年来在这个大方向上做了如下探索。

人的一生约有三分之一的时间在睡眠中度过。《2022中国国民健康睡眠白皮书》显示，中国有超过3亿人存在睡眠障碍问题，睡不着、睡不好、睡不够的困扰严重影响了人们的日常生活。在各种睡眠障碍中，睡眠呼吸暂停是最常见的一种。根据世界卫生组织的数据，睡眠呼吸暂停的患病率在2%~ 4%之间，这意味着全世界约有2亿睡眠呼吸暂停患者。

对于睡眠呼吸暂停的检测和诊断，最常用的方法是多导睡眠描记术(PolySomnoGraphy，PSG)。患者需要在专门的睡眠中心睡一整夜，并记录多通道的生理信号。这些信号由专业人员进行分析，然后诊断出是否是睡眠呼吸暂停。然而，这种检测非常昂贵、复杂且非日常化。患者需要佩戴着几十个传感器睡觉，非常不舒服。据报道，全世界80%以上的睡眠呼吸暂停患者不知道自己的病情。因此，我们需要一种更便携的设备用于实时评估用户的睡眠状态，检测呼吸暂停。

为此，我们设计并实现了一个便携式实时自动睡眠评分系统RASS（见图1）。在RASS中，便携式监测设备仅利用一个探头收集血氧、光容量描记图(PhotoPlethysmoGraphy，PPG)和体动信号，进行睡眠状态的检测和评分。我们设计了一种新的睡眠评分算法，对采集到的数据提取频域和时域统计特征，并基于模糊支持向量机(Support Vector Machine，SVM)分类器对睡眠状态进行实时评分。RASS对48个患者进行了测试，实验结果表明，RASS对清醒、快速动眼时期、轻度睡眠和深度睡眠4个睡眠状态的平均分类精度达到84%以上。

图1 便携式实时自动睡眠评分系统RASS

此外，我们还提出并实现了一个基于智能手机的自动调节枕头的系统（见图2），该系统在检测睡眠呼吸暂停的同时，还能及时作出干预以终止呼吸暂停事件。该系统主要使用血氧传感器实时检测睡眠呼吸暂停事件，枕头的高度和形状可以通过内置气囊自动调整，从而调整患者的睡眠体位，使原来阻塞呼吸道的软组织向两边倾倒，进而最大程度地打开呼吸道以终止睡眠呼吸暂停事件。枕头调整高度和形状后，传感器持续监测血氧信号，以评估枕头调整的有效性，并帮助选择合适的调整方案。因此，这形成了一个实时反馈控制系统。我们对40名患者进行了临床实验，结果表明，使用这种新型智能枕头系统，睡眠呼吸暂停的持续时间和次数都降低了50%以上。

图2 能够自动调节高度的枕头

以慢性阻塞性肺病(COPD)为代表的呼吸系统疾病影响着人类健康，每年造成大量的患者死亡。并且，这些慢性的呼吸系统疾病是不可治愈的。这意味着医疗系统需要尽可能早地发现该类疾病的患者，并且为患者提供正确的慢病管理方案延缓疾病的发展。然而，不管是对呼吸系统疾病的筛查还是呼吸功能的训练，都需要有昂贵的专业设备和专业的从业人员的支持。这对大量患者而言常常是可遇不可求的。为此，我们开发了一系列智能感知系统支持呼吸系统疾病患者的健康管理。

呼吸速率是衡量人健康状况的一项重要生理指标。然而传统的呼吸速率测量方式要求用户佩戴传感器，此种方式昂贵、耗时且会对用户造成不适。为此，我们提出了一种新方法，用日常生活中常用的音乐信号监测用户的呼吸速率，让用户听歌的同时检测自己的呼吸速率。该方法可以部署在任何有扬声器和麦克风的设备上，因而大大降低了监测成本，并且其无接触的特性不会对用户造成不适。该方法的原理是利用音乐信号片段计算出信道冲激响应，再从冲激响应中提取出用户的呼吸速率。基于11位被试者的实验表明，该系统对呼吸速率的监测误差约为0.45BPM。

除了呼吸速率，对慢阻肺患者更有意义的检查是肺功能测试。然而目前市面上的肺功能测试仪价格不菲。为此，我们开发了一套基于耳机的肺功能测试系统EarSpiro，仅依靠一副平价耳机就可以完成肺功能测试（见图3）。其工作原理为：耳机中的麦克风记录用户在用力吸气、呼气时发出的气流声，利用深度学习技术通过气流声预测肺部交换的气体流速，进而得到流速-容积曲线并计算出各项肺功能指标。为了验证EarSpiro的可行性，该项工作招募了60名志愿者进行实验。实验数据表明，EarSpiro预测的流速-容积曲线与医用级肺功能仪测量出的曲线的相关系数为0.94，并且在最常用的4个肺功能指标的预测上与医用级设备之间的误差为7.3%。

图3 EarSpiro的系统原型

对早期的慢阻肺患者来说，正确地进行腹式呼吸训练有助于延缓病情发展。但是传统的腹式呼吸训练课程需要有专业的治疗师进行指导，或是穿戴呼吸传感器并使用专业的生物反馈系统把控腹式呼吸训练的质量。这无疑增加了患者获取专业康复训练指导的成本和舒适度。为此，我们开发了BreathMentor进行非接触式的腹式呼吸训练指导。用户只需坐在一个智能音箱前进行训练，智能音箱就可以判断用户是否正确地进行了腹式呼吸（见图4）。该系统的工作原理为：智能音箱不间断地发出超声信号，并收集经人体反射后的超声信号。利用深度学习技术，智能音箱可以从收集到的超声信号中提取出呼吸的模式，并判断用户是否正确地进行了腹式呼吸。该项工作招募了15名志愿者进行实验，实验结果表明，BreathMentor能以98.2%的召回率以及95.5%的精确率区分腹式呼吸和胸式呼吸。在此基础之上，BreathMentor能以0.2 BPM的误差预估呼吸速率，并且以5.9%的误差预估呼气/吸气的时间占比。

图4 BreathMentor系统原型

现代社会的饮食问题层出不穷，很多年轻人可能不吃饭、吃得过快或情绪化进食。这些不良的饮食习惯会导致人体的营养不足或过剩，进而诱发各种疾病。同时，对于糖尿病、超重、心血管疾病患者来说，良好的饮食意识和管理也很重要。目前在健康饮食方面，人们付出了不少努力，比如通过手机App拍照，精密计算每种食物的热量与营养。然而，基于图像识别的算法尚存在诸多缺陷，很多热量与营养无法被App有效识别，再严格的运算也终究是一场空。为此，我们开发了一系列智能感知系统支持更加可用的饮食健康管理。

首先，我们开发了一套智能眼镜尝试弥补此前计算摄入热量方式的不足（见图5）。颞肌下部是眼镜柄接触头骨的地方，而颞肌是咀嚼肌之一。因此在眼镜柄上嵌入EMG肌电传感元件能捕捉颞肌的肌肉活动，感应咀嚼动作，从而检测食物摄入量。同时，咀嚼肌的电活动水平、咀嚼周期持续时间、咀嚼周期数等与食物质地密切相关。因此，辅以机器学习技术，该智能眼镜可以有效判断食物的类型、数量，最终有效计算摄入的热量。大量实验证实，该系统对咀嚼次数计数的准确率为96%，对五种食物进行分类的准确率达到80%~90%。

 图5 检测食物摄入量的智能眼镜系统原型

除此之外，我们开发了一系列智能餐具辅佐判断食物营养。由于不同光谱对食物营养成分的反射率各不相同，智能餐具可以利用光谱的反射原理，判断餐具中的食物类型。我们设计了一款有12个LED灯的智能勺子（见图6），它可以监测勺子上方是否放置了食物以及放置的食物类型。利用机器学习模型，能够以非常高的准确度（>95%）对20多种食物进行分类。在此基础上，我们探索了光谱重建技术，并通过恢复智能餐具采集到的光谱进一步分析食物的脂肪、水分、蛋白质等具体营养成分。特别地，我们关注婴幼儿的营养管理，设计了一款能够监测婴儿辅食营养浓度的智能餐具（见图7）。该系统利用一个全光谱的光源（白炽灯）和一组光电二极管组建了一个具有成本效益的光谱仪。该光谱仪通过扫描食物获得一个低维的光谱，并将其输入到系统中进行光谱重建处理，重建得到的高维光谱经机器学习算法进一步分析得到所测婴儿食物的蛋白质、脂肪、碳水化合物三种宏量营养元素的浓度。该系统对婴儿食品宏量营养元素的预测性能可以与商业光谱仪媲美，但系统的造价不到10美元，是商用光谱仪的百分之一。

 图6 利用LED进行食物分类的Smart-U系统原型

 图7 检测婴儿食品宏量营养元素的Baby-Nutri系统原型

除了营养，食物的物理特性（如黏稠度）也是一个需要被关注的维度，特别是对老年人或者患有特定疾病的人群来说。当摇晃杯子时，杯子中液体恢复稳定的速度与液体的黏稠度有关。利用这一规律，我们通过连续测量晃动液体的高度，根据杯子的容量及液体恢复稳定的时间反推得知其黏稠度。我们借助智能手机的相机连续测量晃动液体的高度。基于光的折射原理，相机能通过连续帧获取光流，感应液体表面波的高度变化。因此，只要将智能手机放在杯子上，轻轻摇动杯子，便能知道其中液体的黏稠度（见图8）。利用先进的机器学习算法对捕捉的视频帧进行分析，在可控条件下能够以96.52%准确度对液体的浓度进行三分类。

图8 ViscoCam利用手机帮助吞咽困难患者轻松分类液体黏稠度

在智能物联网系统中，深度神经网络（DNN）已经在各个领域证明了其强大的性能。经过良好训练的DNN可以挖掘出数据隐含的信息特征，达到甚至超越人类专家的表现。然而，深度学习对对抗攻击的脆弱性引起了人们的关注，这种攻击最初出现在图像处理领域，随即被证明在越来越多的领域中也能造成危害。我们通过对两个AIoT场景的研究探索了对抗攻击如何对AIoT系统造成威胁。

最近有一些备受瞩目的深度学习网络在心电图分类和诊断上能达到和人类专家相当的准确度。我们分析了心电图的不同特性，并研究了两种对抗性攻击。第一种攻击，攻击者可以直接在心电图记录上添加扰动攻击心电图分类系统。相较于传统的攻击方法，我们加入了平滑度量来量化曲线扰动的可感知性，利用它们生成不可疑的对抗性心电图。第二种攻击，攻击者通过物理过程实时向心电图注入扰动。我们分析了这种攻击的特点，并在攻击策略中考虑了它们。我们在现有的数据集上验证了两种攻击的有效性（见图9），揭示了基于DNN的心电图诊断系统在对抗攻击下的脆弱性。

 图9 对心电图分类系统的攻击

手势识别是AIoT系统中用户对感知设备进行交互的关键技术。我们发现基于Wi-Fi的手势识别系统对攻击者而言也是十分脆弱的。手势识别系统会提取环境中的动态成分，再利用这些动态成分进行后续手势识别的判断。如此一来，攻击者能够通过使用全双工的射频设备添加额外相位并反射信号的方式，人工制造出与真实反射难以区分的额外反射。我们设计了一种黑盒攻击，即不需要知道信号处理和DNN模型内部参数的攻击，解决了扰动空间的限制问题。我们使用最新的手势识别系统进行实验，设计的两种攻击方案分别达到73.64%和70.35%的总体成功率（见图10）。

图10 对手势识别系统的攻击

在未来的研究中，我们将继续探索智能物联网技术如何更好地满足人们对健康管理日益增长的需求。一方面，探索如何利用先进的传感设备和算法，从疾病发展的全过程角度管理常见病种，特别是需要日常照料的慢性病，例如帕金森病。另一方面，除了在居家环境中监测人的身体健康状况，探索智能物联网技术如何在其他场景保障人们的健康甚至生命安全，如工厂环境、驾驶环境等。在感知技术层面，我们也将继续研究如何在不改变现有感知模态的基础上提升感知的能力域。比如射频信号受工业标准的限制，其信号特性无法为适配感知场景作出相应调整。在引入了可重构智能表面技术之后，射频信号分布可以在一定程度上做出改变，从而更好地服务于特定感知场景。另外，由于健康数据是高度私密的，如何在保护用户个人隐私的前提下进行感知也是我们要关注的问题。

AIoT未来的机遇主要来自两个方面：

1.技术进步将使AIoT对物理世界的信息参数具有更细致的感知与理解。传感器的模态和特性扩展了AIoT感知物理世界信息的手段。传感器的探测范围可以覆盖从听觉到视觉的整个频谱。人工智能和机器学习提升了AIoT理解物理世界信息参数的能力。AI/ML近年来取得了重大的发展与突破，产生了一系列优秀的学习结构和学习方法，如卷积神经网络、循环神经网络、前馈神经网络、迁移学习、对抗学习、联邦学习等。这些技术的进步，极大地提升了AIoT的智能程度，使得传感器能细致地感知物理世界，并将通过物理世界连接的数据实现更快、更精细的洞察和自动化决策。

2.感知和理解能力的提升将使AIoT彻底改变医疗健康行业。在AIoT的支撑下，可实现对慢性疾病的监测和管理。居家的疾病监测管理可与院内诊疗互补，从而将医疗服务的服务范围从医院扩展到患者家中。未来的医疗健康行业还将实现全程的医疗健康服务。通过对用户日常生活的全面感知，可以预警不良习惯和疾病的早期症状，辅助个性化诊疗，指导康复训练，实现全程医疗健康服务。

同时，我们看到AIoT的发展将面临三个方面的挑战：

1.如何增强感知算法的鲁棒性。AIoT系统有非常广泛的应用场景，因此感知设备可以被部署到各种环境中。由于部署环境的异构性和用户行为的差异性，感知算法必须具有足够强的鲁棒性以适配各种环境和用户，或者具备足够强的迁移能力，以轻松适配到新的环境和用户。否则，AIoT系统无法支持大规模的部署。

2.如何通过小规模数据集构建有效的机器学习算法。AIoT场景下复杂的任务会用到各种机器学习算法。然而，与传统的机器学习任务不同的是，构建AIoT场景下各项任务数据集的成本很高。我们无法通过构建大规模数据集训练一个足够强大的机器学习模型来完成任务。因此，如何充分利用较小的数据规模来完成目标任务将是一项挑战。

3.如何进行更安全的感知。许多AIoT的感知场景都以人为中心，如人的行为感知。这些感知数据对用户来说具有极强的隐私性。然而，这些感知任务大多数是借助波来实现（如射频/超声波）的。由于这些波缺乏良好的方向性，感知数据容易被恶意捕获造成隐私泄露。因此，如何在保证用户隐私数据不被泄露的前提下进行感知也是一大挑战。 

参考文献略

张黔

谢文涛 

薛梦

CCF推荐