外科手術(shù)在過去的幾十年里有著巨大的蛻變，其中特別令人感興趣的進(jìn)展是顯微外科（microsurgery）的出現(xiàn)。由于使用外科手術(shù)顯微鏡可以放大手術(shù)區(qū)域并實(shí)現(xiàn)更高的精度，這一進(jìn)展尤其有意義。將顯微外科技術(shù)與新型相機(jī)相結(jié)合，使其真正地“讓看不見的東西變得可見”。

這種方法必將為醫(yī)療帶來革命性變化。想象一下，外科醫(yī)生能夠在分子水平上根據(jù)有關(guān)組織化學(xué)成分的實(shí)時信息做出決策，“看到”流經(jīng)動脈和血管的血液氧合情況，或者在人體內(nèi)（活體組織中）區(qū)分健康組織與異常組織（例如腫瘤細(xì)胞）。這是一個比人們所想象的更接近未來的憧憬。一個重要的驅(qū)動因素是當(dāng)前醫(yī)療實(shí)踐恰好與光譜成像技術(shù)的發(fā)展相匹配。

在外科手術(shù)中使用高光譜相機(jī)的想法并不新鮮。關(guān)于這一主題的許多研究已經(jīng)進(jìn)行，但一些問題的存在阻礙了該技術(shù)融入醫(yī)院的日常工作流程。

高光譜成像（HSI）解決方案的外形尺寸因素就是一項(xiàng)重要障礙。它們通常體積龐大，因此與手術(shù)室已經(jīng)擁擠不堪的無菌區(qū)域不兼容。高光譜成像的另一個限制是缺乏可以獲取實(shí)時數(shù)據(jù)的視頻速率高光譜相機(jī)，這對于捕捉外科手術(shù)場景中的運(yùn)動和動態(tài)至關(guān)重要。imec研究機(jī)構(gòu)及一些企業(yè)需要對此需求做出響應(yīng)。

imec片上光譜成像活動的項(xiàng)目經(jīng)理Wouter Charle表示，緊湊型高光譜成像相機(jī)一旦集成到嚴(yán)格的臨床工作流程中，就會具有巨大的潛力。

據(jù)麥姆斯咨詢報道，與構(gòu)建高光譜相機(jī)的傳統(tǒng)方法不同，imec并沒有在鏡頭與圖像傳感器之間使用精密光學(xué)元件來過濾和衍射光線。相反，imec利用了直接沉積在圖像傳感器上的薄膜光譜濾波器。這意味著imec可以打造穩(wěn)定且緊湊的高光譜成像解決方案，非常類似于標(biāo)準(zhǔn)機(jī)器視覺芯片和相機(jī)。由于這種技術(shù)建立在與制造IC芯片相同的晶圓級CMOS工藝之上，因此其可大規(guī)模制造、兼具成本效益，并且能夠根據(jù)特定的客戶和應(yīng)用需求實(shí)現(xiàn)高度定制化。

imec在高光譜成像研究和原型開發(fā)領(lǐng)域擁有著豐富的經(jīng)驗(yàn)，根據(jù)光譜濾波器的圖案種類，其產(chǎn)品組合主要有兩種類型。一種類型：每行像素頂部是條紋圖案，可以實(shí)現(xiàn)高分辨率的高光譜成像，該類型產(chǎn)品與經(jīng)典的線陣掃描相機(jī)相當(dāng)，但具備更緊湊、更快速、更易操作等特點(diǎn)，其構(gòu)成了imec的“snapscan”系列高光譜傳感器。

另一種類型：在3x3像素、4x4像素或5x5像素頂部是馬賽克圖案，成像的分辨率稍低，但即使在運(yùn)動中也能夠?qū)崿F(xiàn)用于實(shí)時數(shù)據(jù)采集的視頻速率光譜成像。這種被稱為“snapshot”的高光譜傳感器有多種款式。每種款式都涵蓋了特定的光譜分辨率和范圍——從可見光（VIS）、近紅外（NIR）到短波紅外（SWIR）。

圖為各種imec高光譜傳感器，光譜濾波器以條紋圖案或馬賽克圖案直接沉積在圖像傳感器之上。

案例研究：利用高光譜成像在人體內(nèi)鑒定低級別膠質(zhì)瘤

低級別膠質(zhì)瘤是各類生長緩慢的腦腫瘤，通常發(fā)病于年輕健康的患者身上。雖然通常情況是良性的，但研究表明，低級別膠質(zhì)瘤每年可增長4mm至5mm，并有惡變風(fēng)險。因此，早期外科手術(shù)切除是一種最受青睞的治療選擇——盡管即使有外科手術(shù)顯微鏡的幫助，在人體內(nèi)檢測低級別膠質(zhì)瘤并確定其精確邊界也是極其困難的。

為外科醫(yī)生提供合適的工具在人體內(nèi)檢測這些腫瘤將是一個重要突破。正如imec的snapscan VNIR 150高光譜相機(jī)最近的研究項(xiàng)目所證明的那樣，高光譜成像技術(shù)顯示出了實(shí)現(xiàn)這一目標(biāo)的潛力。

由于其小巧的外形尺寸以及與標(biāo)準(zhǔn)C接口光學(xué)元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標(biāo)準(zhǔn)外科手術(shù)顯微鏡。

由于其小巧的外形尺寸（10cm x 7cm x 6.5cm，重645g），并與標(biāo)準(zhǔn)C接口光學(xué)元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標(biāo)準(zhǔn)外科手術(shù)顯微鏡。與以往研究中使用的體積龐大的系統(tǒng)大相徑庭，該產(chǎn)品為緊湊型，能夠順利地納入醫(yī)院嚴(yán)格的臨床工作流程中。

更重要的是，該設(shè)備能夠生成準(zhǔn)確的臨床數(shù)據(jù)，這些數(shù)據(jù)可以輸入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。這樣就能夠?qū)?shù)據(jù)轉(zhuǎn)化為可操作的知識，使外科醫(yī)生能夠區(qū)分健康組織和異常組織。因此，這是適應(yīng)體內(nèi)檢測腦腫瘤（例如低級別膠質(zhì)瘤）的重要第一步。

雖然術(shù)中使用該設(shè)備尚不成熟，但迄今為止，該方法已通過比利時魯汶大學(xué)醫(yī)學(xué)中心（Belgium’s Leuven University Hospital）6名患者的臨床數(shù)據(jù)集進(jìn)行了驗(yàn)證。imec旨在通過集成其snapshot技術(shù)來進(jìn)一步推進(jìn)該項(xiàng)目，該技術(shù)適用于視頻速率光譜成像。這將使研究人員能夠在外科手術(shù)實(shí)踐中探索低級別膠質(zhì)瘤的實(shí)時檢測。

讓高光譜成像技術(shù)實(shí)驗(yàn)更容易

越來越多的廠商正在研究“如何利用高光譜成像技術(shù)增強(qiáng)其產(chǎn)品和/或服務(wù)，或者如何在（外科手術(shù)）實(shí)踐中使用該技術(shù)”。對于一些廠商來說，從一開始就很明確最適合其需求的光譜范圍。然而，對于另一些廠商來說，合適的光譜范圍需要通過測試多種相機(jī)選項(xiàng)來確認(rèn)。雖然有多種相機(jī)選項(xiàng)可供使用，但將其數(shù)據(jù)融合到一個數(shù)據(jù)集中并從中得出結(jié)論，是一項(xiàng)公認(rèn)的挑戰(zhàn)。

這就是imec最近通過多傳感器系統(tǒng)擴(kuò)充了其snapshot產(chǎn)品組合的原因，該系統(tǒng)涵蓋可見光和近紅外光譜，并輔以高分辨率RGB圖像傳感器。該系列產(chǎn)品專門針對從事高光譜成像應(yīng)用開發(fā)的企業(yè)和研究團(tuán)隊(duì)。

imec的新型高光譜相機(jī)搭載三顆集成于一個外殼中的傳感器，并配備了標(biāo)準(zhǔn)F接口鏡頭。該高光譜相機(jī)將允許合作伙伴靈活地評估不同光譜分辨率和范圍的優(yōu)缺點(diǎn)，而無需投入大量的設(shè)備或重復(fù)實(shí)驗(yàn)。

全球首款涵蓋可見光和近紅外光譜的高光譜相機(jī)，輔以高分辨率RGB成像，可用于視頻速率下的數(shù)據(jù)采集。

在相機(jī)內(nèi)部，光線被引導(dǎo)至三個通道。其中兩個通道配備了imec現(xiàn)成的200萬像素高光譜傳感器，覆蓋可見光和近紅外光譜范圍。第三個通道配備了高分辨率RGB圖像傳感器。因此，該相機(jī)覆蓋了460nm至870nm范圍內(nèi)的30個波段，并輔以500萬像素的真彩色圖像。相機(jī)內(nèi)的三個通道均能以視頻速率同步工作，以實(shí)現(xiàn)實(shí)時數(shù)據(jù)采集（即使面對動態(tài)場景）。

這款新相機(jī)特別適合涉及不可控動態(tài)場景的用例，例如輔助（微）外科手術(shù)、環(huán)境監(jiān)測、異常檢測、汽車視覺、精準(zhǔn)農(nóng)業(yè)和農(nóng)作物檢查等。

到目前為止，潛在的復(fù)雜性阻礙了該行業(yè)構(gòu)建功能齊全的多傳感器高光譜相機(jī)。imec認(rèn)為這是其專業(yè)知識最有價值的地方：探索并原型化所需組件，幫助業(yè)界克服所有相關(guān)障礙。這款相機(jī)系統(tǒng)憑借其靈活性和附帶軟件，使得高光譜成像技術(shù)試驗(yàn)從未如此容易。該特點(diǎn)可以讓那些仍在考慮哪種傳感器最適合其需求的合作伙伴專注于其核心業(yè)務(wù)，即應(yīng)用發(fā)現(xiàn)和開發(fā)。

作為下一步發(fā)展目標(biāo)，imec計劃與相機(jī)制造商和系統(tǒng)廠商分享其經(jīng)驗(yàn)和完整開發(fā)套件，以支持高光譜成像系統(tǒng)的進(jìn)一步商業(yè)化。

審核編輯 ：李倩