双利合谱显微高光谱成像系统与多数据Faster RCNN的白细胞检测创新应用

应用方向：

本文将显微高光谱成像技术应用于白细胞的快速检测与分类识别，充分发挥了高光谱图像在获取细胞空间结构与光谱特征信息上的双重优势。通过高分辨率的显微成像，系统可在纳米级尺度下对血液涂片中的白细胞进行成像，实现对细胞中蛋白质、酶类等成分差异的敏感响应。与传统基于RGB图像的检测方法相比，显微高光谱技术能更准确地区分形态相近、色泽相似的细胞类型。此外，研究还表明，该技术在结合深度学习模型后，可实现自动化、精准化、可解释的细胞识别，为血液学领域的智能辅助诊断提供了新路径，也展示了显微高光谱在临床检验、细胞分类、疾病筛查等场景中的应用潜力。

导读

背景：白细胞（WBCs）作为血液中的重要组成部分，在机体免疫防御中发挥着核心作用，其数量和形态特征常用于疾病诊断与健康评估。然而，传统的白细胞检测方法多依赖人工显微镜观察，如直接血细胞计数和分类计数等，这不仅操作复杂、效率低下，而且极易受到操作者主观判断影响，尤其在面对大量样本时容易出错。尽管近年来图像识别与计算机视觉技术已被广泛应用于血细胞自动检测，如基于支持向量机（SVM）或深度学习的图像分割与识别方法，但这类方法通常仅依赖细胞图像的空间特征，难以从根本上解决小样本和类别间差异不明显所导致的泛化能力不足的问题。此外，图像采集过程中如显微镜光照条件、载玻片厚度等环境因素也容易干扰检测结果。

高光谱成像（HSI）技术的兴起为解决上述问题提供了新思路。该技术融合了图像与光谱信息，能获取目标在空间和光谱维度的丰富特征，在医学图像分析中表现出显著优势。然而，传统HSI处理流程中往往需要人工划定感兴趣区域（ROI），限制了其在快速检测场景下的应用。因此，本文提出结合高光谱显微成像系统（HMI）与多数据融合的Faster RCNN模型，实现对白细胞的快速、自动化识别，通过融合光谱和图像信息，提升模型的识别精度与鲁棒性。这一研究不仅有助于提高白细胞检测的效率和准确性，也为其他类型的生物医学影像分析提供了参考路径。

作者信息：王慧慧，大连工业大学，博士生导师

期刊来源：Sensors and Actuators: B. Chemical

研究内容

本研究旨在提升白细胞检测的自动化水平和识别准确性，提出了一种结合高光谱显微成像系统（HMI）与多数据融合的Faster RCNN深度学习模型。本文充分利用高光谱成像可同时获取图像与光谱信息的优势，构建了一个联合分析模型。作者分别设计了基于光谱数据的一维卷积神经网络（1-D CNN）与基于伪彩色图像的Faster RCNN模型，用于单一模态下的分类性能分析。进一步地，提出融合两种模态的Multi-data Faster RCNN模型，在Faster RCNN中引入1-D CNN光谱特征提取模块，并通过特征拼接实现图像与光谱信息的联合识别。

实验设计

本研究使用的血涂片样本由大连市第二医院血液科提供，样本在送检前已完成染色处理（图1（a））。高光谱数据采集采用图1（b）所示系统完成，构建包含五类白细胞的标注数据集，所有图像数据均由专业医务人员进行标注。

本研究采用的高光谱显微成像（HMI）系统如图1(b)所示，该系统主要由以下组件构成：1）Image-λ-N17E近红外高光谱成像系统（江苏双利合谱科技有限公司）；2）配备金属卤素光源的三目生物显微镜。实验采用暗场成像模式，曝光时间设置为10 ms。如图1(c)所示，所获取的高光谱数据立方体包含360个单波段图像（波长范围382.3-1020.2 nm，光谱分辨率1.8 nm），每个单波段图像的尺寸为960（宽）×1101（高）像素。

由于高光谱图像数据占用内存较大，而显微镜获取的每张原始图像的边缘区域都是纯黑的无用区域，因此从每张图像的中心切割出一个600 × 600 像素的区域来制作数据集，以保证尽可能多的血细胞被保存在该区域内。

图1. 主要研究流程图：(a) 血涂片；(b) 高光谱成像系统（HMI）；(c) 高光谱图像；(d) 分类标签；(e) 模型与结果。

研究方法

本研究的预测集白细胞数量为90个，校正集与预测集的比例控制在约3:1。此外，在每个训练周期中，模型会以0.1的比例从校正集随机划分验证集，以提升模型的泛化能力。

针对白细胞高光谱图像的光谱数据，本研究参考VGG16模型构建了一维CNN网络结构。该架构不仅能有效提取白细胞光谱数据中的深层特征信息，同时最大限度降低了模型复杂度。如图2所示，网络具体结构包含13个采用ReLU激活函数的一维卷积层（1-D Conv）、5个最大池化层以及2个全连接层（Dense）。图中各层顶部数值表示特征图数量，底部数值则对应卷积层编号及该层卷积核数量。网络输入数据为通过分析软件从高光谱图像中提取的、包含360个波段的平均光谱反射率数据。

图2. 基于光谱数据的一维卷积神经网络（1-D CNN）结构。

针对白细胞高光谱图像的特征检测，本研究构建了基于Faster RCNN的检测框架。作为Fast RCNN的改进版本，该框架结构如图3所示，通过二维卷积层（2D-Conv）、最大池化层（Max Pooling）和全连接层（Dense）实现白细胞的特征提取、定位与分类。其中，特征提取网络采用Resnet18架构，该网络能实现更深层次的特征提取，显著提升白细胞类别间差异不明显数据的识别精度。Faster RCNN的核心优势在于其区域提议网络（RPN），该网络能大幅提升白细胞等微小目标的检测能力。

图3. Faster R-CNN的结构。

基于多源数据融合的联合检测方法能够降低模型对单一数据类型的依赖性，显著提升识别精度和模型稳定性。为此，本研究对原Faster RCNN网络进行改进：通过在网络结构中新增光谱数据提取模块、一维CNN光谱特征提取网络以及特征融合层（Concatenate），构建了多数据融合的Faster RCNN检测模型（如图4所示）。主要改进包括：在ROI池化层后接入光谱特征提取模块，以建议框坐标作为输入截取白细胞高光谱图像对应区域，计算该区域的平均光谱反射率作为一维CNN网络的输入数据。经一维CNN提取的光谱特征通过Concatenate层与图像空间特征进行融合，最终基于融合特征完成白细胞分类。

图4. 多数据Faster R-CNN的流程。

之后采用Grad-CAM算法对解释CNN对WBC特征的学习结果，并验证其对WBC分类结果的准确性。采用Precision、Recall、F1 score、AP和mAP作为WBC检测的评价指标。

结果

针对一维光谱数据，本研究构建了1-D CNN白细胞检测模型。模型在第20个周期左右基本收敛，校准集和验证集的最终损失值分别稳定在0.19和0.26，表明1-D CNN对白细胞光谱数据具有优异的适应性和分类能力。各类别的识别准确率均达到90%以上，且未出现过拟合现象，证实了模型良好的泛化能力。所有分类类别的F1分数均超过0.9，AP值也均保持在0.9以上。这些结果充分证明，基于光谱反射数据构建的1-D CNN模型在白细胞分类任务中表现出卓*的稳定性和分类性能。

在本研究中，二维伪彩色图像被应用于Faster R-CNN白细胞检测建模。模型主要关注400–570纳米和640–700纳米这两个波段范围。这两个范围内的波段被模型赋予了更高的权重，因为它们包含了更多用于白细胞识别的特征信息。作为一种目标检测网络模型，Faster R-CNN能够有效识别微小尺寸目标，特别适用于显微检测场景。图5展示了基于Faster R-CNN模型对两幅不同图像中五类白细胞的检测结果。图中采用不同颜色的检测框标注各类白细胞，并在检测框上方显示对应的预测类别及置信度评分。实验结果表明，该模型能准确区分不同类别的白细胞，并保持较高的检测精度。

图5. 基于伪彩色图像的Faster R-CNN检测白细胞的结果。

从模型训练的角度来看，总损失值在前20个训练周期内迅速下降，随后趋于平稳，并在大约80个训练周期后基本收敛，这证明了Faster R-CNN在这种白细胞图像数据集中的可行性。与1-D CNN相比，Faster R-CNN不仅在训练过程中收敛速度更慢，而且在Neu和Eos的分类准确率上也明显较低。所有白细胞分类的F1分数和AP均高于0.85，其中Bas的F1分数和AP分别达到了0.957和0.999，这证明了Faster R-CNN在预测白细胞方面的整体性能良好。

图6详细展示了多数据Faster R-CNN的性能。图6(a)展示了训练过程中总损失值的变化。当训练周期达到40时，校准集和验证集的总损失值分别下降了0.008和0.03，并随后趋于稳定，这表明模型的训练效果良好。图6(b)详细展示了白细胞的分类结果。与前两种模型相比，可以看Lym或Mon的分类准确率有所提高。此外，各分类之间的混淆也减少了，这表明该模型的预测能力得到了提升。

图6. 多数据Faster R-CNN的结果：(a) 训练过程中的总损失曲线；(b) 分类结果的混淆矩阵；(c) 每个分类的精确率-召回率（PR）曲线。

对多数据Faster R-CNN的分类性能进行综合分析。*显著的改进是Lym和Mon的AP值大幅提升，分别达到了0.917和0.911。融合特征的分类不仅减少了白细胞之间的误判，还有效减少了背景与白细胞目标之间的误判。这证明了多数据联合检测相较于单一数据检测的可行性和优势。

图7展示了多数据Faster R-CNN在预测集中获得的类别激活映射（CAM）热力图，这是联合检测模型对白细胞光谱反射率（图7(a)）和图像特征（图7(b)）的权重可视化。与单一数据1-D CNN关注的400–570纳米和640–700纳米波段范围相比，多数据Faster R-CNN模型在融合特征的引导下，关注了更广泛的380–570纳米和640–950纳米波段范围。

图7. 多数据Faster R-CNN在预测集中生成的Grad-CAM：(a) 基于光谱波长；(b) 白细胞的图像。

结论

在本研究中，基于深度学习框架，提出了单数据检测模型（1-D CNN和Faster R-CNN）以及多数据联合检测模型（多数据Faster R-CNN），以协助HMI进行白细胞检测。对于基于光谱反射率数据的1-D CNN，每个分类的F1分数和AP均超过0.9，mAP达到了0.956，这证明了光谱数据在白细胞分类中的可行性。随后，利用Faster R-CNN基于图像特征对白细胞进行定位和分类，该模型在细胞定位方面表现出色，但其对Lym和Mon的F1分数和AP甚至未能超过0.9。相比之下，多数据Faster R-CNN模型的每个F1分数和AP均超过0.9，mAP甚至达到了0.962。这一显著性能主要归功于两种数据类型的互补性，使得模型能够产生比单一数据源更准确、更完整且更可靠的估计和区分。与现有的白细胞检测方法相比，多数据Faster R-CNN能够实现大量白细胞样本的自动且快速检测。此外，引入HMI可获取高质量的细胞高光谱图像，从而显著提高了检测的准确性。最重要的是，其可行性和优势已得到验证，这可能为其他生物检测提供宝贵的参考。