您當(dāng)前的位置：檢測資訊 > 科研開發(fā)
嘉峪檢測網(wǎng) 2022-08-23 22:34
〔摘 要〕該文基于CT影像人工智能（AI）軟件產(chǎn)品的注冊現(xiàn)狀，結(jié)合現(xiàn)行 AI 相關(guān)的指南文件，從監(jiān)管信息、技術(shù)要求、軟件研究、臨床評價方面提出 CT 影像 AI 軟件的審評要點， 以期為該類產(chǎn)品的注冊申報提供參考。
〔關(guān)鍵詞〕CT影像；人工智能；軟件；技術(shù)審評
〔中圖分類號〕R445
〔文獻(xiàn)標(biāo)識碼〕A
〔文章編號〕1002-2376（2022）15-0028-04
近年來，隨著人工智能（artificial intelligence，AI）技術(shù)的快速發(fā)展，AI在醫(yī)學(xué)領(lǐng)域的應(yīng)用也越來越廣泛，特別是關(guān)于CT影像AI軟件的研究。從臨床應(yīng)用的角度來看，CT影像AI軟件可分為輔助決策類和非輔助決策類。輔助決策類軟件相當(dāng)于醫(yī)師的“助手”，可以自動識別病灶、提供輔助診斷（如肺結(jié)節(jié)良惡性的輔助診斷）；非輔助決策類軟件僅可提供信息參考，相當(dāng)于醫(yī)師的“工具”，可用于改善成像質(zhì)量及進(jìn)行流程優(yōu)化、自動測量、CT三維重建等。軟件的前處理、流程優(yōu)化、常規(guī)后處理、輔助決策等功能在產(chǎn)品層面存在交叉，具體情況需要結(jié)合產(chǎn)品的預(yù)期用途、使用場景和核心功能進(jìn)行考慮。目前，從獲批的醫(yī)療器械注冊證來看，國內(nèi)CT影像AI軟件主要應(yīng)用在肺結(jié)節(jié)、肺炎、冠狀動脈病變、骨折等方面的輔助診斷、分診和流程優(yōu)化。AI軟件因其具有輔助醫(yī)務(wù)人員進(jìn)行臨床決策的功能，因此存在很大的臨床使用風(fēng)險，若出現(xiàn)漏診和誤診甚至?xí)?dǎo)致延誤治療和過度醫(yī)療[1]。因此，很有必要對CT影像AI軟件的安全性和有效性進(jìn)行評價。本文主要從醫(yī)療器械注冊審評角度淺析CT影像AI軟件的審評要點，以期為該類產(chǎn)品的注冊申報提供參考。
1、 監(jiān)管信息
1.1 產(chǎn)品名稱
產(chǎn)品的命名應(yīng)符合《醫(yī)療器械通用名稱命名規(guī)則》[2]的要求。建議產(chǎn)品名稱應(yīng)明確目標(biāo)疾?。ㄈ绶窝?、肺結(jié)節(jié)、骨折）和臨床用途（如輔助診斷、輔助檢測、分診、測量、定位）。如：肺炎CT影像輔助分診與評估軟件、肺結(jié)節(jié)CT影像輔助檢測軟件。目前，AI軟件在決策方面的定位只是輔助角色，需要醫(yī)師做出最終決定，產(chǎn)品名稱建議明確為輔助軟件。
1.2 分類
根據(jù)《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》[3]，輔助決策類AI軟件按照三類醫(yī)療器械管理，用于測量等非輔助決策類AI軟件按照二類醫(yī)療器械管理。如廠家不確定產(chǎn)品分類，建議向國家藥品監(jiān)督管理局醫(yī)療器械標(biāo)準(zhǔn)管理中心申請分類界定。
1.3 適用范圍
適用范圍需明確處理對象（如CT影像）、目標(biāo)疾?。ㄈ绶窝住⒎谓Y(jié)節(jié)、肺氣腫、肺結(jié)核、肺癌、腦出血、血管閉塞、心臟冠脈病變、肝癌等）、適用人群（如成人、小兒）、臨床用途（如分診提示、異常識別、疾病類型分析、良惡性風(fēng)險提示、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議）、目標(biāo)用戶（如放射科醫(yī)師）等信息。如：用于肺部CT影像的顯示、處理、測量和肺炎病灶識別，可輔助用于成年的新型冠狀病毒肺炎疑似患者的分診提示以及確診患者的病情評估；供經(jīng)培訓(xùn)合格的醫(yī)師使用，不能單獨用作臨床診療決策證據(jù)。
2、技術(shù)要求
2.1 型號規(guī)格及劃分說明
如產(chǎn)品有多個型號，應(yīng)明確不同型號間的差異，明確軟件的發(fā)布版本及軟件版本的命名規(guī)則，命名規(guī)則中需涵蓋算法更新類型（區(qū)分算法驅(qū)動型和數(shù)據(jù)驅(qū)動型），還需涵蓋網(wǎng)絡(luò)安全的更新類型，并區(qū)別重大更新和輕微更新（原則上算法驅(qū)動型屬于重大更新），重大更新需列舉常見的情形。
2.2 性能指標(biāo)
明確軟件的輸入輸出數(shù)據(jù)類型。輸入數(shù)據(jù)一般包括軟件的處理對象及成像模態(tài)，如X射線計算機體層攝影；輸出數(shù)據(jù)一般指的是測量、分析、處理等結(jié)果類型，如用于4mm以上肺結(jié)節(jié)的識別。
明確軟件的接口類型，包括調(diào)用的其他應(yīng)用程序接口、數(shù)據(jù)接口、可聯(lián)合使用的其他產(chǎn)品接口。其中，數(shù)據(jù)接口還需明確數(shù)據(jù)傳輸協(xié)議或存儲格式（如比較常見的DICOM、HL7），如采用私有協(xié)議也需要說明。
明確軟件運行環(huán)境。一般需明確典型運行環(huán)境，既包括處理器、存儲器等硬件配置，也包括系統(tǒng)軟件環(huán)境，還包括網(wǎng)絡(luò)條件。需要注意的是，如適用多個版本，一般表述為“兼容版本”，不宜表述為“更高版本”或“以上版本”，如“運行環(huán)境：IE6.0版本或兼容版本”。
軟件的臨床功能需包括說明書和軟件界面所包含的所有臨床功能綱要。為方便審閱，建議可結(jié)合產(chǎn)品的邏輯組成，分模塊列明。臨床功能一般包括可以客觀測量的功能、圖像處理功能等。直線長度、角度、面積、周長、體積、平均密度、直徑等凡是可測量的物理量，都應(yīng)該在性能指標(biāo)中進(jìn)行明確，并規(guī)定測量的誤差要求。布局、放大鏡、聯(lián)動、復(fù)位、裁剪、拖移、縮放、反片、曲線窗、右轉(zhuǎn)、左轉(zhuǎn)、倒置、鏡像、偽彩、增強、濾鏡、圖像對比、多平面重建（multiplanar reformation，MPR）、最大密度投影（maximum intensity projection，MIP）、最小密度投影（minimum intensity projection，MinIP）、容積重建（Volume rendering，VR）、病灶部位、分割方式、病灶量化分析、病灶識別與標(biāo)注、病灶性質(zhì)判斷、靶區(qū)自動勾畫等采用AI算法的圖像處理功能需標(biāo)注并明確算法類型。
軟件性能包括響應(yīng)時間、系統(tǒng)響應(yīng)時間和應(yīng)用延遲時間、吞吐量、并發(fā)用戶數(shù)和資源利用率等。
明確軟件的用戶使用限制和必要的技術(shù)限制。如使用場景的限制，預(yù)期用于一般的體檢篩查還是門診病房；對患者的年齡、疾病類型或者地域是否有限制；其他限制包括CT設(shè)備的廠家，CT的掃描參數(shù)（如排數(shù)、層數(shù)、管電流、管電壓、劑量、層厚、加載時間、重建方式等），適用于CT平掃還是CT增強掃描，CT圖像質(zhì)量有何要求（如分辨率是多少，需要排除的偽影類型等），目標(biāo)疾病的分類或分型，病灶識別的部位等。
3、軟件研究
3.1 算法性能要求
疾病檢出類算法的性能一般包括召回率、病變定位率（真陽性/（真陽性+假陰性）×100%）、精確度（真陽性/（真陽性+假陽性）×100%））、F1分?jǐn)?shù)[（2×精確度×召回率/（精確率+召回率）]、平均精確度、平均精確度均值、fR0C曲線（以召回率為縱坐標(biāo)、非病變定位率為橫坐標(biāo)構(gòu)造的曲線）。
區(qū)域分割與測量類算法的性能一般包括召回率（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以參考標(biāo)準(zhǔn)分割的感興趣區(qū)域）、精確度（算法分割的感興趣區(qū)域與參考標(biāo)準(zhǔn)分割的感興趣區(qū)域的交集除以算法分割的感興趣區(qū)域）、交并比[當(dāng)感興趣區(qū)域為一般實體時（如肺結(jié)節(jié)），宜采用Dice系數(shù)或Jaccard系數(shù)計算交并比]、樹檢測長度、表面距離、密度測量、尺寸測量、體積測量。
影像分類算法的性能一般包括靈敏度、特異度、漏檢率、陽性預(yù)測值、陰性預(yù)測值、準(zhǔn)確率、約登指數(shù)、Kappa系數(shù)、R0C曲線。
隨訪評估功能算法一般需根據(jù)不同時間節(jié)點，比較算法對同一感興趣區(qū)域的分析結(jié)果與參考標(biāo)準(zhǔn)之間的符合性，計算絕對誤差，并建立各時間節(jié)點的動態(tài)曲線，計算與參考標(biāo)準(zhǔn)曲線的一致性。
患者分診功能算法一般根據(jù)不同的分診級，與算法輸出的標(biāo)簽進(jìn)行對比，建立混淆矩陣，計算靈敏度、特異度、Kappa系數(shù)等。
算法質(zhì)量特性包括泛化能力、魯棒性（包括面向硬件變化的對抗測試、面向軟件前處理的對抗測試、面向欺騙攻擊的對抗測試、壓力測試）、重復(fù)性、一致性、效率、錯誤分析。
3.2 訓(xùn)練數(shù)據(jù)要求
基于深度學(xué)習(xí)的AI技術(shù)與傳統(tǒng)統(tǒng)計學(xué)習(xí)技術(shù)的差異主要在于數(shù)據(jù)集規(guī)模與特征提取兩方面。傳統(tǒng)統(tǒng)計學(xué)習(xí)技術(shù)對數(shù)據(jù)量的要求沒有那么大，特征提取是一個白盒過程；而AI技術(shù)對于數(shù)據(jù)量要求很高，且是一個端到端的黑盒過程，可自動完成特征提取。這意味著，AI技術(shù)對數(shù)據(jù)庫的考量會更加細(xì)致，需要重點考慮其數(shù)據(jù)的可解釋性問題。
機器學(xué)習(xí)項目中的一個關(guān)鍵問題是，為了達(dá)到諸如分類器準(zhǔn)確度等特定性能指標(biāo)，我們需要多少訓(xùn)練數(shù)據(jù)。目前，主要有如下解決方案。（1）訓(xùn)練數(shù)據(jù)量的經(jīng)驗范圍：如在回歸分析中通過考慮預(yù)測變量的數(shù)量、總體樣本量以及正樣本量/總體樣本量的比例來估計訓(xùn)練數(shù)據(jù)的多少。（2）假設(shè)檢驗中樣本大小的確定：規(guī)定有專業(yè)意義的差值δ（稱為分辨力或區(qū)分度，δ值越小表示對兩個總體參數(shù)差別的區(qū)分度越強，因而所需樣本含量也越大），確定作統(tǒng)計推斷時允許犯Ⅰ類錯誤（“棄真”的錯誤）的概率α，提出所期望的檢驗效能[用1-β表示，β為允許犯Ⅱ類錯誤（“取偽”的錯誤）的概率]，檢驗效能就是推斷結(jié)論不犯Ⅱ類錯誤的概率（1-β）（稱把握度），即當(dāng)對比雙方總體參數(shù)值間差值確實達(dá)到δ以上時，根據(jù)抽樣觀測結(jié)果在規(guī)定的α水準(zhǔn)上能正確地作出有差別的推斷結(jié)論的可能性，在科研設(shè)計中常把1-β定為0.90或0.80，一般來說1-β不宜低于0.75，否則可能出現(xiàn)非真實的陰性推斷結(jié)論。（3）訓(xùn)練數(shù)據(jù)規(guī)模的統(tǒng)計學(xué)習(xí)理論：VC維（Vapnik-Chevronenkis維度）是模型復(fù)雜度的度量，模型越復(fù)雜，VC維越大，訓(xùn)練數(shù)據(jù)量N是VC維的一個函數(shù)：
其中d為失效概率，epsilon為學(xué)習(xí)誤差，由該公式可知學(xué)習(xí)所需的數(shù)據(jù)量取決于模型的復(fù)雜度。（4）逐漸增加訓(xùn)練數(shù)據(jù)，檢驗?zāi)Ｐ托阅埽河?xùn)練集的數(shù)據(jù)量逐漸增加，模型性能會隨著數(shù)據(jù)量的增加而增加，當(dāng)?shù)竭_(dá)一定數(shù)據(jù)規(guī)模（臨界數(shù)據(jù)量）時，模型性能會停滯不前。
3.3 數(shù)據(jù)采集要求
數(shù)據(jù)采集需考慮CT設(shè)備的兼容性與掃描參數(shù)、CT 影像質(zhì)量等因素，如廠家、探測器排數(shù)、層數(shù)、層厚、管電壓、管電流、加載時間、掃描方式、患者體位、掃描速度、螺距、圖像偽影與噪聲等要求。對于CT設(shè)備的要求，建議盡量覆蓋國內(nèi)外主流機型，如飛利浦、GE、西門子、東芝、聯(lián)影、東軟等。
掃描方式，如平掃、增強、低劑量，應(yīng)各有一定的占比。數(shù)據(jù)采集還需考慮患者人群、采集場所、機構(gòu)來源、數(shù)據(jù)格式、采集人員、影像學(xué)分級、分型、分期等多方面的因素。人群因素包括不同的年齡分布、性別、地域（如華東、華南、華中、西北等）。采集場所，如體檢、門診、住院。影像學(xué)分級，如肺炎包括早期、進(jìn)展期、嚴(yán)重期，肺結(jié)節(jié)類型包括肺內(nèi)實性結(jié)節(jié)、肺內(nèi)部分實性結(jié)節(jié)、肺內(nèi)純磨玻璃結(jié)節(jié)、肺內(nèi)鈣化結(jié)節(jié)、胸膜實性結(jié)節(jié)、胸膜鈣化結(jié)節(jié)、其他疾病等，不同類型的結(jié)節(jié)還包括不同尺寸。
3.4 數(shù)據(jù)標(biāo)注及質(zhì)控要求
在標(biāo)注任務(wù)開始前，標(biāo)注責(zé)任方應(yīng)明確標(biāo)注任務(wù)的分類，包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度。
標(biāo)注任務(wù)需建立標(biāo)注規(guī)則，如根據(jù)法規(guī)文件、專家共識、文獻(xiàn)分析等確定標(biāo)注規(guī)則，需明確標(biāo)注人員的要求，如標(biāo)注人員來源的醫(yī)療機構(gòu)、工作年限、職稱、工作量、培訓(xùn)考核評價情況、標(biāo)注任務(wù)，不同角色人員（如初級標(biāo)注人員、審核人員、仲裁人員）分別進(jìn)行闡述，明確人員分工，制定決策機制，明確分歧處理程序。此外，需明確標(biāo)注過程適用的標(biāo)注工具，如設(shè)備型號、標(biāo)注軟件的信息，描述標(biāo)注環(huán)境，標(biāo)注數(shù)據(jù)如何進(jìn)行數(shù)據(jù)清洗、查重等。
要求整個標(biāo)注過程中追蹤結(jié)果應(yīng)可以導(dǎo)出并可追溯，避免數(shù)據(jù)丟失，具體要求如下。（1）標(biāo)注時間監(jiān)測：可以通過記錄測試過程中醫(yī)師對于每一個病例的標(biāo)注時間，建立每一位標(biāo)注者的標(biāo)注時間分布；在實際標(biāo)注階段，可以通過不斷比對每一個病例的標(biāo)注時間、該時間在該標(biāo)注人員標(biāo)注時間分布中的位置來判斷標(biāo)注的狀態(tài)；若標(biāo)注時間多次出現(xiàn)過長或過短的情況，則需要同時評估標(biāo)注人員的狀態(tài)和數(shù)據(jù)的質(zhì)量。（2）標(biāo)注一致性監(jiān)測：在標(biāo)注過程中，引入部分病例，讓同一名標(biāo)注人員進(jìn)行二次標(biāo)注，并計算同一個人兩次標(biāo)注之間的一致性，以確保標(biāo)注人員的標(biāo)注一致性水準(zhǔn)始終能夠達(dá)到項目的要求，保證整體標(biāo)注的一致性。（3）標(biāo)注準(zhǔn)確率監(jiān)測：在標(biāo)注過程中，引入部分醫(yī)學(xué)專家提供的帶有標(biāo)準(zhǔn)標(biāo)注答案的病例，計算標(biāo)注人員對于帶標(biāo)準(zhǔn)答案病例標(biāo)注的準(zhǔn)確性，用以評估標(biāo)注人員的實時狀態(tài)。
3.5 算法訓(xùn)練
算法訓(xùn)練需結(jié)合繪制訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線，重點進(jìn)行算法性能影像因素分析以及數(shù)據(jù)多樣性分析。
算法訓(xùn)練如涉及數(shù)據(jù)擴增，需明確數(shù)據(jù)擴增的對象、方法、倍數(shù)，分析擴增倍數(shù)過大的影響及其風(fēng)險。數(shù)據(jù)擴增并不總能產(chǎn)生積極的作用，不當(dāng)?shù)臄?shù)據(jù)擴增可能產(chǎn)生負(fù)面影響。而什么是適當(dāng)?shù)臄?shù)據(jù)擴增，取決于具體的任務(wù)和數(shù)據(jù)集。因此需要慎重考慮擴增過程中的數(shù)據(jù)偏移問題，同時進(jìn)行擴增倍數(shù)過大的影響分析。
3.6 算法驗證與確認(rèn)
測試集應(yīng)與算法的研發(fā)、訓(xùn)練集和調(diào)優(yōu)集保持獨立，以保證數(shù)據(jù)集的安全性和封閉性。根據(jù)靈敏度、特異度計算單次測試的樣本量，考慮人群特征，疾病分類和分級、數(shù)據(jù)質(zhì)量要求，不同采集設(shè)備等，確保數(shù)據(jù)容量和數(shù)據(jù)多樣性。
4、 臨床評價
該類產(chǎn)品的臨床評價方式與其必備的軟件功能類型有關(guān)。用于病情評估的量化分析功能、數(shù)據(jù)對比功能、常見影像后處理功能（如多平面重建、曲面重建、最大密度投影、最小密度投影、表面遮蓋顯示、容積再現(xiàn)、仿真內(nèi)窺鏡、偽彩、圖像銳化、去噪、增強、分割、配準(zhǔn)、融合等）屬于非輔助決策類軟件功能，可基于核心功能按同品種醫(yī)療器械比對的臨床評價途徑。簡單操作類軟件功能（如隨訪結(jié)果對比、多窗口顯示、圖像縮放移動、窗寬窗位調(diào)節(jié)、長度測量、角度測量、標(biāo)注工具）、單純流程優(yōu)化類軟件功能（如一鍵輸出報告功能、批量導(dǎo)出功能、隨訪提醒功能、膠片智能排版打印、分診指引功能）可通過非臨床證據(jù)予以評價。
分診提示、異常識別、疾病類型分析、病灶種類鑒別、良惡性風(fēng)險提示、病程階段分析、提供輔助診斷結(jié)果（自動化報告）、提供醫(yī)學(xué)建議（給出臨床診斷治療依據(jù)和/或建議、用藥建議）等功能屬于輔助決策類軟件功能，可基于核心算法進(jìn)行同品種醫(yī)療器械比對，比對所選產(chǎn)品的臨床證據(jù)需基于臨床試驗。全新的核心算法、核心功能、預(yù)期用途原則上均應(yīng)開展臨床試驗[4]。
4.1 試驗設(shè)計
若無同類已上市產(chǎn)品可采用單組目標(biāo)值試驗設(shè)計；若有同類已上市產(chǎn)品可考慮平行對照試驗設(shè)計。
采用單組目標(biāo)值試驗設(shè)計，目標(biāo)值應(yīng)符合臨床應(yīng)用需求，并提供目標(biāo)值確定的依據(jù)。目標(biāo)值可來源于權(quán)威醫(yī)學(xué)組織、臨床文獻(xiàn)或回顧性臨床研究結(jié)果確定。
臨床機構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，不同于訓(xùn)練數(shù)據(jù)主要來源機構(gòu)，地域分布盡可能廣泛，機構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。
4.2 評價指標(biāo)
針對采用AI算法設(shè)計的臨床功能原則上選擇靈敏度、特異度、ROC曲線下面積（area undercurve，AUC）為主要評價指標(biāo)，亦可在此基礎(chǔ)上根據(jù)軟件特點選擇靈敏度/特異度衍生指標(biāo)、ROCAUC衍生指標(biāo)（如診斷準(zhǔn)確率、精確率、召回率）、F1系數(shù)、組內(nèi)相關(guān)系數(shù)、Kappa系數(shù)、時間效率（如輔助診斷平均時間、日人均診斷量增益率和診斷平均時間增益率）、數(shù)據(jù)有效使用率等指標(biāo)作為次要評價指標(biāo)。
5、小結(jié)
AI 技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用日益廣泛，前景廣闊，但仍存在如下問題：因其不確定性帶來潛在風(fēng)險，目前相關(guān)的監(jiān)管體系尚不健全，評估標(biāo)準(zhǔn)缺失，難以及時對潛在的醫(yī)療質(zhì)量安全問題進(jìn)行監(jiān)督與管理。國家藥監(jiān)部門有必要盡快出臺具體的評價標(biāo)準(zhǔn)，發(fā)布相關(guān)的指導(dǎo)原則、審評指南，指導(dǎo)企業(yè)從研發(fā)、注冊申報，到臨床應(yīng)用，規(guī)范注冊審評審批，構(gòu)建全生命周期的監(jiān)管體系，為產(chǎn)品的安全、有效保駕護(hù)航，使AI軟件產(chǎn)品更好地服務(wù)于臨床。
【參考文獻(xiàn)】
［1］李曼，藤依杉，郭佳穎，等 . 基于人工智能的醫(yī)學(xué)影像輔助診斷類軟件監(jiān)管與測評方法研究 [J]. 電子技術(shù)與軟件工程，2022（2）：77-82.
［2］國家食品藥品監(jiān)督管理總局 . 醫(yī)療器械通用名稱命名規(guī)則（國家食品藥品監(jiān)督管理總局令第19號）[Z].2015-12-21.
［3］國家藥品監(jiān)督管理局 . 國家藥監(jiān)局關(guān)于發(fā)布人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則的通告（2021年第47號）[Z].2021-07-01.
［4］國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心 . 國家藥監(jiān)局器審中心關(guān)于發(fā)布人工智能醫(yī)療器械注冊審查指導(dǎo)原則的通告（2022年第8號）[Z].2022-03-07.
來源：Internet
關(guān)于我們 聯(lián)系我們 營業(yè)執(zhí)照 全國服務(wù)電話：400-818-0021 嘉峪檢測版權(quán)所有 備案號：京ICP備14047019號-2 
京公網(wǎng)安備11010802046783號
