【ZiDongHua 之創(chuàng)新自科文收錄關(guān)鍵詞：醫(yī)療自動化 、中科院 、人工智能、 醫(yī)療手術(shù)自動化、 機(jī)器人 】
 
 
 
 
　　中科院團(tuán)隊(duì)用人工智能進(jìn)行3D大腦重建，加速醫(yī)療手術(shù)自動化
 
 
 
 
 
　　3D 形狀重建對于微創(chuàng)和自動機(jī)器人引導(dǎo)手術(shù)的導(dǎo)航至關(guān)重要，這些手術(shù)的操作環(huán)境是間接和狹窄的。學(xué)界并且已經(jīng)有一些研究專注于通過可用的有限 2D 信息重建手術(shù)器官的 3D 形狀，但已有的方法未考慮術(shù)中突發(fā)事件（如出血）。
 
　　中國科學(xué)院深圳先進(jìn)技術(shù)研究院（SIAT）王書強(qiáng)教授領(lǐng)導(dǎo)的研究團(tuán)隊(duì)提出了一種新穎的分層形狀感知網(wǎng)絡(luò)（HSPN），可以低延遲從單個(gè)不完整圖像重建特定大腦的 3D 點(diǎn)云（PC）。該團(tuán)隊(duì)構(gòu)建了一個(gè)分支預(yù)測器和多個(gè)分層注意管線，來生成準(zhǔn)確描述不完整圖像的 PC，然后高質(zhì)量完成這些 PC。使用 HSPN，可以自發(fā)地實(shí)現(xiàn) 3D 形狀感知和完成。
 
　　該研究以「3-D Brain Reconstruction by Hierarchical Shape-Perception Network From a Single Incomplete Image」為題，于 2023 年 5 月 11 日發(fā)布在《IEEE Transactions on Neural Networks and Learning Systems》。
 
　　
 
　　醫(yī)療自動化對傳統(tǒng)醫(yī)療信息提出新要求
 
　　微創(chuàng)和自動機(jī)器人引導(dǎo)手術(shù)逐漸應(yīng)用于腦外科手術(shù)，為患者帶來更多的微創(chuàng)手術(shù)、更短的恢復(fù)時(shí)間和更好的治療體驗(yàn)。由于這些手術(shù)新的視覺環(huán)境和導(dǎo)航方式，對術(shù)中信息的獲取能力提出了新的要求。由于醫(yī)生在手術(shù)過程中無法直接觀察到病灶和手術(shù)靶點(diǎn)，因此他們的經(jīng)驗(yàn)往往效率不高。
 
　　近年來，術(shù)中核磁共振成像（iMRI）的應(yīng)用越來越廣泛，一些工作用它來緩解微創(chuàng)手術(shù)中更嚴(yán)格的視覺限制。但與大腦豐富的內(nèi)部細(xì)節(jié)不同，2-D MRI 無法提供對手術(shù)更為重要的目標(biāo)大腦表面和形狀的直觀且視覺上可接受的信息。由于直接計(jì)算 3D MRI 的空間復(fù)雜度為 O(n^3)，因此在需要實(shí)時(shí)算法的操作中使用它來感知目標(biāo)大腦的形狀也是不可取的。
 
　　更重要的是，由于3D MRI 表示不能直接與大腦坐標(biāo)位置相關(guān)聯(lián)，醫(yī)生必須手動輔助手術(shù)導(dǎo)航，從而降低了手術(shù)導(dǎo)航系統(tǒng)的自動化程度。這兩個(gè)事實(shí)共同導(dǎo)致了腦部微創(chuàng)和自動機(jī)器人引導(dǎo)手術(shù)視覺支持的匱乏。因此，尋找一些準(zhǔn)確可控的間接三維形狀信息獲取方法是這類手術(shù)的必然發(fā)展方向。此外，由于傳統(tǒng)掃描儀和醫(yī)療環(huán)境的局限性，這些方法應(yīng)該減少對物理設(shè)備的依賴和對傳統(tǒng)信息的要求。
 
　　從圖像重建三維形狀
 
　　已經(jīng)有一些工作專注于從圖像重建 3D 形狀，以幫助醫(yī)生獲得額外的視覺信息。PC 通常用作重建結(jié)果的表示。點(diǎn)云（PC）表示為 3D 空間中的一組點(diǎn)，使用 N 個(gè)頂點(diǎn)來描述目標(biāo)。除了提供準(zhǔn)確的目標(biāo)形狀外，PC 表示還攜帶每個(gè)點(diǎn)的局部位置坐標(biāo)信息，可用于醫(yī)療機(jī)器人和設(shè)備的自動導(dǎo)航。在目前的設(shè)計(jì)模式下，如果在手術(shù)場景中需要實(shí)時(shí)獲取目標(biāo)的3D結(jié)構(gòu)，3D MRI、體素、網(wǎng)格、PC是常用的解決方案。
 
　　3D MRI 的空間復(fù)雜度太高，以3D MRI 作為數(shù)據(jù)輸入的配準(zhǔn)、診斷、分割等方案的實(shí)時(shí)性對于手術(shù)場景來說將是無法接受的。體素和網(wǎng)格的空間復(fù)雜度也高于PC，而且這些數(shù)據(jù)結(jié)構(gòu)也存在精度問題。如果手術(shù)場景需要 3D 補(bǔ)充信息，PC 重建是更好的選擇。因此，繼續(xù)選擇 PC 作為腦外科場景的重建表示是一個(gè)合理的建議。
 
　　然而，大多數(shù)現(xiàn)有方法都存在以下兩個(gè)問題中的至少一個(gè)。首先是他們忽略了用于形狀重建的圖像往往不完整并且受限于光學(xué)傳感設(shè)備的光環(huán)境和手術(shù)計(jì)劃之外的各種可能的視覺污染（例如局部出血）而損壞。二是他們對輸入圖像的數(shù)量和角度要求太嚴(yán)格。輸入太多的重建方法可能會導(dǎo)致處理時(shí)間更長，從而增加術(shù)中事故的風(fēng)險(xiǎn)。到目前為止，還沒有人致力于在保持精度的同時(shí)解決 3D PC 重建中存在的這兩個(gè)問題。這篇文章的主要目的是找到一種方法，可以從盡可能少的潛在不完整圖像中感知和重建目標(biāo)的形狀。
 
　　高效完成三維形狀重建任務(wù)的新方法
 
　　為了從單個(gè)不完整圖像中的不完整圖像重建準(zhǔn)確完整的 PC 結(jié)構(gòu)，研究人員提出了一種基于生成對抗架構(gòu)和多層編碼器-解碼器結(jié)構(gòu)的新型復(fù)合模型，稱為分層形狀感知網(wǎng)絡(luò) (HSPN)，以高效完成 3D 形狀重建任務(wù)并盡可能滿足腦外科手術(shù)場景的特定需求。
 
　
 
　　圖示：模型的體系結(jié)構(gòu)。（來源：論文）
 
　　HSPN 的編碼器由一個(gè)基于生成對抗網(wǎng)絡(luò) (GAN) 架構(gòu)的預(yù)測器和幾個(gè) PointNet++ 編碼塊組成，而解碼器由多層解碼塊組成。在相應(yīng)的編碼和解碼塊之間構(gòu)建可以傳輸提取的特征信息的分層注意力管道。
 
　　一種包含多個(gè)圖卷積網(wǎng)絡(luò)（GCN）的新型分支生成器內(nèi)置于預(yù)測器中，可從單個(gè)不完整圖像準(zhǔn)確生成不完整 PC。編碼塊及其對應(yīng)的結(jié)構(gòu)一致性解碼塊分層感知目標(biāo)的形狀，重建完整的PC，并確保不同的重建級別可以由相應(yīng)的形狀結(jié)構(gòu)引導(dǎo)。
 
　　此外，他們在編碼和解碼塊中設(shè)計(jì)了注意門塊（AGB），以有效地聚合由分層注意管道傳輸?shù)牟煌暾c(diǎn)云的局部幾何特征和重建點(diǎn)云的內(nèi)部特征。AGB 的使用可以顯著提高細(xì)節(jié)表達(dá)能力，同時(shí)減少生成錯誤并增強(qiáng)穩(wěn)定性。
 
　　通過提出的 HSPN，可以自發(fā)地實(shí)現(xiàn) 3D 形狀感知和完成。通過倒角距離和點(diǎn)云到點(diǎn)云（PC 到 PC）誤差測量的綜合結(jié)果表明，所提出的 HSPN 在定性顯示、定量實(shí)驗(yàn)和分類評估方面優(yōu)于其他競爭方法。
 
　　「所提出的方法具有明顯較短的推理時(shí)間，可以有效地實(shí)時(shí)反饋局部圖像屬性?！雇踅淌谡f，「這種反饋可以指導(dǎo)醫(yī)生找到具有診斷價(jià)值的手術(shù)位置。」