高光譜顯微成像係統結合多數據Faster RCNN的白細胞快速檢測

背景

白細胞（White blood cells, WBCs）是血液的重要組成部分


，具有抵抗病毒和細*感(gan)染(ran)的(de)功(gong)能(neng)。在(zai)一(yi)定(ding)的(de)血(xue)容(rong)量(liang)中(zhong)，白(bai)細(xi)胞(bao)的(de)數(shu)量(liang)和(he)比(bi)例(li)為(wei)醫(yi)生(sheng)診(zhen)斷(duan)相(xiang)應(ying)疾(ji)病(bing)提(ti)供(gong)了(le)有(you)價(jia)值(zhi)的(de)信(xin)息(xi)。無(wu)論(lun)是(shi)白(bai)細(xi)胞(bao)計(ji)數(shu)還(hai)是(shi)形(xing)態(tai)檢(jian)測(ce)，需(xu)要(yao)解(jie)決(jue)的(de)關鍵問題是實現白細胞的分類和識別。然而，傳統的顯微鏡方法嚴重依賴於操作人員的經驗，檢測方法過於複雜。

近(jin)年(nian)來(lai)，相(xiang)應(ying)的(de)計(ji)算(suan)機(ji)視(shi)覺(jiao)算(suan)法(fa)和(he)係(xi)統(tong)已(yi)廣(guang)泛(fan)應(ying)用(yong)於(yu)血(xue)細(xi)胞(bao)自(zi)動(dong)檢(jian)測(ce)領(ling)域(yu)。然(ran)而(er)

，大(da)多(duo)數(shu)識(shi)別(bie)算(suan)法(fa)隻(zhi)是(shi)將(jiang)特(te)征(zheng)提(ti)取(qu)和(he)分(fen)類(lei)模(mo)塊(kuai)按(an)順(shun)序(xu)疊(die)加(jia)在(zai)一(yi)起(qi)。當(dang)樣(yang)本(ben)空(kong)間(jian)較(jiao)小(xiao)或(huo)類(lei)間(jian)差(cha)距(ju)不(bu)明(ming)顯(xian)時(shi)，這(zhe)些(xie)算(suan)法(fa)的(de)泛(fan)化(hua)能(neng)力(li)和(he)穩(wen)定(ding)性(xing)就(jiu)無(wu)法(fa)得(de)到(dao)保(bao)證(zheng)。深(shen)度(du)學(xue)習(xi)具(ju)有(you)準(zhun)確(que)、**
、穩定的特點，這在醫學領域和大量圖像的分析和處理中具備巨大應用價值。但是常用的僅基於具有細胞空間特征的灰度或RGB圖像，容易受到多種環境因素的影響，如顯微鏡的光學條件、載玻片的厚度等。

高光譜成像（Hyperspectral imaging, HIS）技術是圖像和光譜技術的結合。獲得的高光譜數據包含被檢測目標的空間和光譜特征。雖然HSI在zai空kong間jian特te征zheng的de基ji礎chu上shang提ti供gong了le豐feng富fu的de光guang譜pu信xin息xi，但dan數shu百bai個ge窄zhai波bo段duan使shi得de每mei張zhang高gao光guang譜pu圖tu像xiang占zhan用yong過guo多duo的de內nei存cun
，巨ju大da的de計ji算suan資zi源yuan占zhan用yong使shi得de快kuai速su檢jian測ce難nan以yi實shi現xian。降jiang低di計ji算suan成cheng本ben的de有you效xiao方fang法fa是shi從cong整zheng個ge高gao光guang譜pu圖tu像xiang中zhong選xuan取qu目mu標biao區qu域yu作zuo為wei感gan興xing趣qu區qu域yu（Region of interest, ROI），隻計算ROI的光譜信息。然而，ROI的獲取必須是手工的

，不能滿足快速和自動的要求。

具體研究內容如下：（1）利用高光譜顯微成像（Hyperspectral microscopic imaging, HMI）係統獲取血液塗片中含有白細胞區域的影像，並對每種類型的白細胞進行標記，形成五種分類的數據集。（2）根據VGG16網絡架構構建一維CNN網絡，並基於WBC的光譜數據進行相應的訓練和預測，驗證光譜數據作為WBC分類依據的可行性。（3）與一維CNN相似，采用Faster RCNN作為對照組
，基於偽彩色圖像對WBC進行識別分類
，觀察基於單一數據的分類準確率。（4）最後，構建了基於圖像和光譜特征的多數據Faster RCNN深度學習模型，並探討多數據聯合在白細胞檢測中的可行性和優勢。

試驗設計

大連工業大學王慧慧教授團隊使用如圖1b所示的HMI係統采集血液圖片的高光譜數據。它由一個image-λ -N17E近紅外高光譜成像係統（江蘇雙利合譜公司）和一個三目生物顯微鏡（Nikon Eclipse 80i）和鹵光源組成。高光譜數據的波長範圍為382.3 ~ 1020.2 nm，光譜分辨率為1.8 nm。

為了驗證高光譜成像數據用於WBC分類的可行性，本研究構建三種網絡模型並探索其性能：基於WBC光譜數據的一維CNN
、基於WBC圖像特征的Faster RCNN和基於融合光譜和圖像特征的多數據Faster RCNN。一維CNN參考VGG16
，具體結構如圖2所示。圖3是Faster RCNN的詳細結構。其特征提取網絡為Resnet18

，RPN網絡可以大大提高檢測WBC等小目標的能力。最後，Dense和Softmax層將建議的框坐標和特定WBC類別作為Faster RCNN的輸出。對原有的Faster RCNN網絡進行修改

，即在Faster RCNN的結構中加入光譜數據提取模塊、光譜特征提取網絡（一維CNN）和特征融合（Concatenate）層
，構建多數據Faster RCNN檢測模型（圖4）。

圖1 主要研究流程圖

圖2 基於光譜數據的一維CNN結構

圖3 Faster RCNN的結構

圖4 多數據Faster RCNN

結論

如圖5所示，在450 ~ 570 nm波長範圍內存在一個明顯的吸收穀，在640 ~ 680 nm波長範圍內存在一個較小的吸收穀。5種白細胞中，Neu
、Eos、Lym和Mon含有酸性磷酸酶和過氧化物酶，Bas含有大量的肝素和組胺酶。同時，Neu還含有堿性磷酸酶，Eos含有芳基硫酸酯酶，Lym含有遊離核糖體，Mon含han有you非fei特te異yi性xing酯zhi酶mei。所suo有you這zhe些xie成cheng分fen都dou是shi蛋dan白bai質zhi。因yin此ci，我wo們men認ren為wei光guang譜pu反fan射she率lv的de差cha異yi是shi由you於yu每mei個ge白bai細xi胞bao中zhong所suo含han酶mei的de差cha異yi造zao成cheng的de，這zhe兩liang個ge吸xi收shou穀gu可ke能neng是shi白bai細xi胞bao檢jian測ce模mo型xing的de重zhong點dian關guan注zhu區qu域yu。

圖5所有WBC（a）和五種WBC（b）的平均光譜反射率曲線

一維CNN對WBC的分類結果如圖6所示。從圖中可以清楚地看到，模型在第20次迭代時基本收斂，校準集和驗證集的損失分別為0.19和0.26，說明一維CNN對WBC光譜數據具有較強的適應性

，適合分類。從混淆矩陣可以看出，每次分類的準確率都達到90%以上
，沒有出現過擬合現象
，說明該模型具有很好的泛化能力。模型的精度隨著召回率的增加而降低。另外，大多數白細胞的PR曲線在下降之前是穩定的
，而Lym和Mon的PR曲線波動幅度較小，推測這兩種白細胞中的酶相似，因此它們的光譜反射率非常接近，使得模型難以有效區分。

圖6 一維CNN的分類結果

WBC二維偽彩色圖像應用於Faster RCNN建模。從圖7的光譜波段權重可視化可以看出
，模型主要關注400 ~ 570 nm和640 ~ 700 nm範圍內的波段。這兩個範圍內的波段被模型賦予了更多權重，從而包含了更多用於WBC識別的特征信息。在上述波段範圍內
，在420.8 nm、536.5 nm和672.8 nm處(chu)存(cun)在(zai)較(jiao)強(qiang)的(de)光(guang)譜(pu)響(xiang)應(ying)峰(feng)和(he)波(bo)穀(gu)，表(biao)明(ming)其(qi)對(dui)應(ying)的(de)圖(tu)像(xiang)將(jiang)包(bao)含(han)較(jiao)強(qiang)的(de)響(xiang)應(ying)信(xin)息(xi)，選(xuan)擇(ze)這(zhe)些(xie)波(bo)峰(feng)和(he)波(bo)穀(gu)進(jin)行(xing)偽(wei)彩(cai)色(se)圖(tu)像(xiang)合(he)成(cheng)。然(ran)後(hou)，將(jiang)這(zhe)三(san)個(ge)波(bo)段(duan)對(dui)應(ying)的(de)單(dan)通(tong)道(dao)光(guang)譜(pu)圖(tu)像(xiang)分(fen)別(bie)映(ying)射(she)到(dao)R、G、B三個顏色通道進行合成。

圖8顯示了基於Faster RCNN的5種WBC類別在兩種不同圖像下的檢測結果。圖9展示了Faster RCNN模型的具體分類結果。從模型訓練的角度來看，總損失在20次迭代之前迅速下降
，80次迭代之後趨於平緩

，基本收斂

，這證明了Faster RCNN在本WBC圖像數據集中是可行的。與一維CNN相比，Faster RCNN不僅在訓練過程中收斂速度更慢，而且在Neu和Eos中的分類準確率也要低得多。然而，由於Lym的形態特征與Neu和Eos有很大的不同
，因此不會與這兩者混淆。

圖10為從預測集得到的CAM圖。重點著色的區域基本集中在白細胞的細胞核上
，這證明該模型主要根據細胞核的特征來區分不同的白細胞。而Lym和Mon的細胞核占據了大部分的細胞空間，使得細胞核的形態特征難以識別，導致模型將背景中一些顏色更深、體積更大的紅細胞誤識別為Lym或Mon。然ran而er，紅hong細xi胞bao與yu白bai細xi胞bao在zai組zu成cheng上shang有you很hen大da的de不bu同tong，這zhe使shi得de它ta們men在zai光guang譜pu反fan射she率lv上shang更geng容rong易yi被bei識shi別bie。為wei此ci
，建jian立li基ji於yu光guang譜pu反fan射she率lv和he圖tu像xiang特te征zheng的de多duo數shu據juFaster RCNN聯合檢測模型，利用光譜和圖像的融合特征

，提高模型對WBC的分類精度。

圖7 基於預測集WBC光譜波長的梯度加權類激*映射

圖8 基於偽彩色圖像的Faster RCNN對白細胞的檢測結果

圖9 Faster RCNN的分類結果

圖10 基於Faster RCNN的預測集梯度加權類激*映射

圖11詳細展示了多數據Faster RCNN的分類結果。當迭代次數達到40次時，校準集和驗證集的總損失值分別下降0.008和0.03，然後趨於穩定，證明模型訓練效果良好。與前兩種模型相比
，Lym或Mon的分類精度有所提高。此外
，各類別之間的混淆較少，表明該模型的預測能力得到了提高。從圖11c和表1可以看出
，Lym和Mon的AP值改善最為明顯，分別達到0.917和0.911。融(rong)合(he)特(te)征(zheng)的(de)分(fen)類(lei)不(bu)僅(jin)減(jian)少(shao)了(le)白(bai)細(xi)胞(bao)之(zhi)間(jian)的(de)誤(wu)判(pan)
，而(er)且(qie)有(you)效(xiao)地(di)減(jian)少(shao)了(le)背(bei)景(jing)與(yu)白(bai)細(xi)胞(bao)目(mu)標(biao)之(zhi)間(jian)的(de)誤(wu)判(pan)。證(zheng)明(ming)了(le)多(duo)數(shu)據(ju)聯(lian)合(he)檢(jian)測(ce)相(xiang)對(dui)於(yu)單(dan)一(yi)數(shu)據(ju)檢(jian)測(ce)的(de)可(ke)行(xing)性(xing)和(he)優(you)勢(shi)。

多數據Faster RCNN在預測集中得到的CAM圖如圖12所示。與單一數據一維CNN聚焦的400 ~ 570 nm和640 ~ 700 nm波段範圍相比，多數據Faster RCNN模型在融合特征的指導下，聚焦的波段範圍分別為380 ~ 570 nm和640 ~ 950 nm。同時，與單一數據Faster RCNNxiangbi
，beijingdezhuyiquyumingxianbianzhai
，anhongsequyugengjizhongzaihequ。zhebiaominggaimoxinggengguanzhuxibaodegezhongtezheng，erbushibeijing
，youliyuzaifuzaqingkuangxiazhunquejiancebaixibao，tigaomoxingdefanhuanengli。

與現有的白細胞檢測方法相比，多數據Faster RCNN可以實現大量白細胞樣本的自動快速檢測，並且HMI的引入可以獲得高質量的細胞高光譜圖像
，大大提高了檢測的準確性。該研究為其他生物試驗的高*準確開展提供了技術參考。

圖11 多數據Faster RCNN的分類結果

表1 多數據Faster RCNN在不同WBC分類中的性能比較

圖12 多數據Fasteer RCNN在預測集中的梯度加權類激*映射

作者信息

王慧慧，博士，大連工業大學機械工程與自動化學院教授，博士生導師。

主要研究方向：基於機器視覺的智能檢測研究、裝備數字化設計。

參考文獻：

Zeng, F., Du, Z., Li, G., Li, C., Li, Y., He, X., An, Y., & Wang, H. (2023). Rapid detection of white blood cells using hyperspectral microscopic imaging system combined with Multi-data Faster RCNN. Sensors and Actuators B: Chemical, 389.

https://doi.org/10.1016/j.snb.2023.133865