近日，器審中心發(fā)布了IVD人工智能軟件的3個審評要點，標志著對于IVD人工智能軟件的規(guī)范化審評邁上了新臺階。我國企業(yè)也在IVD人工智能軟件上做了非常多的研發(fā)工作，其中，做為第三類醫(yī)療器械管理的輔助決策類的2個產品已于去年和今年獲得批準，包含1款病理圖像分析軟件。病理圖像的輔助識別、輔助診斷決策是IVD人工智能軟件應用的重要方面之一，下面介紹一款FDA批準的該類軟件的非臨床研究審評要點，為審評提供借鑒和思考。
2021年9月21日FDA首次批準IVD病理圖像人工智能輔助決策軟件——Paige Prostate，該產品是一種用于定性輔助決策的深度學習軟件。批準類別：全新（De nove）自動分為III類，今后將作為II類特殊控制管理。
一、產品描述
（一）預期用途
該產品為專用軟件，用于幫助病理醫(yī)師對蘇木精和伊紅（H&E）染色的福爾馬林固定-石蠟包埋（FFPE）的前列腺穿刺活檢組織的全玻片數字掃描圖像（WSI，以下簡稱“掃描圖像”）做診斷時，識別可疑的癌癥病灶。該軟件在病理醫(yī)師對掃描圖像進行初診之后使用，如果軟件識別到可疑的癌癥組織形態(tài)，則在圖像上提供位置坐標（X,Y），供病理醫(yī)師對該位置進一步診斷或修改初診的結論。
該產品自動分析掃描圖像后輸出以下內容：
1. 基于神經網絡輸出的預定義閾值，對圖像是否懷疑為癌癥進行二元分類。
2. 如果切片被歸類為“懷疑不是癌癥”將沒有額外的輸出，圖像軟件查看器將顯示“懷疑不是癌癥——沒有目標區(qū)域”。
該產品為計算機輔助方法，其輸出結果不應用作最初的診斷，病理醫(yī)師應只使用該軟件結合完整的標準診療程序評估病理切片掃描圖像。該軟件不提供輔助測量（定量）或癌癥病灶的分級診斷結果。
該軟件配套使用的掃描儀為飛利浦掃描儀（Philips IntelliSite Ultra Fast Scanner），數字病理圖像查看軟件為本公司的軟件（FullFocus image viewing software）。
（二）算法研究
算法研究是基于訓練集、調優(yōu)集和測試集的數據進行的。數據訓練、調優(yōu)和測試數據集，分別來自于相互獨立病人的切片，以保證其在訓練、調優(yōu)、和測試數據集不重復使用。這些數據脫敏后被標注，并與驗證集數據相互獨立。
訓練集數量：33543例，徠卡掃描儀（Leica），與預期用途配合掃描儀品牌不同；
調優(yōu)集數量：5598例，徠卡掃描儀（Leica），同上；
測試集數量：5598例，飛利浦掃描儀（Philips），同預期用途配合掃描儀相同。
1.算法研究的3個數據集人種信息如下：白人占約80%左右，非洲族裔美國人或黑人占9%，印第安人占0.1%，亞裔和遠東人種占3%，其他占約2%，沒有種族信息的占5%左右，人種分布在三個數據集的比例基本相同。切片分別來源于公司內部（136例癌癥，183例良性）和外部機構（175例癌癥，234例良性）。
2.切片分類組成如下：
（1）非典型小腺泡增生（ASAP）、萎縮出現；
（2）高級別（PIN）前列腺上皮內腫瘤；
（3）接受過治療的組織（治療后組織有治療相關的改變）；
（4）癌組織：腫瘤大于0.5mm，其中PIN出現單獨統計；
（5）癌組織：腫瘤小于等于0.5mm，其中PIN出現單獨統計；
（6）良性組織（無萎縮、PIN和治療）。
3.數據標注：是否為癌癥的準確性由診斷報告來作為金標準確認，定位準確性由3位經過認證（有資質）的病理醫(yī)師來確定。
（三）非臨床研究
1.軟件描述
依據FDA指導文件《醫(yī)療設備中包含的軟件上市前提交內容指南》（2005年5月11日發(fā)布），該產品為中度風險考量。
申請人提交了危害分析，對該產品和網絡安全分別進行了分析，并評估了緩解前后的風險。產品危害分析包括：危害的識別、造成危害的原因（危險情況）、發(fā)生危險的概率、危害嚴重程度、控制或緩解的方法、所采取的糾正措施，包括解釋設備設計/要求中消除、減少或警告危險事件的方面，驗證控制執(zhí)行情況，并可通過列舉的可追溯矩陣進行追蹤。申請人提交了以下描述文檔，包括軟件需求規(guī)范（SRS）、軟件架構設計圖表、 軟件設計規(guī)范（SDS）、可追溯分析/矩陣、軟件開發(fā)環(huán)境、驗證和驗證測試、軟件版本修訂歷史，其中軟件版本（v）2.1.501在所有性能研究中使用之前發(fā)布，包括分析性能研究和臨床研究。在上市后，軟件版本將保持鎖定狀態(tài)，不會隨著臨床應用對算法持續(xù)訓練和更新。未解決的異常：在軟件驗證之前，所有識別的異常都已解決，沒有未解決的異常情況。
2.網絡安全
網絡安全文件與FDA指導文件《醫(yī)療設備網絡安全管理上市前提交文件內容：工業(yè)和食品藥品監(jiān)督管理局工作人員指南》（2014年10月2日發(fā)布）中概述的上市前提交文件應包含的建議信息一致。與網絡安全相關的信息包括：網絡安全風險相關的危害分析，將網絡安全控制與考慮的風險聯系起來的可追溯性文件，在醫(yī)療設備的全生命周期中驗證軟件更新和補丁的概要計劃，為確保醫(yī)療設備保持其完整性而采取的控制措施的摘要描述，與預期使用相適應的使用說明書中的推薦的網絡安全控制措施。
數據傳輸方面：數據傳輸的各個環(huán)節(jié)都采用加密的方式。
3.分析性能評估
分析性能評估包括：算法定位（X,Y）坐標準確度研究和精密度研究。采用配套用的飛利浦掃描儀和本公司數字病理圖像查看軟件。
（1）算法定位（X,Y）坐標準確度研究
該研究評估了軟件在鑒別診斷前列腺穿刺活檢數字病理圖像為可疑癌癥組織的能力，以及定位一個高度疑似癌癥病灶（X,Y）坐標的能力。
研究方法：對“該產品識別的坐標（X,Y）”與“3名對軟件輸出結果不知情的病理學家手工注釋的區(qū)域”進行了比對評估，且這些參與研究的病理學家沒有參與臨床試驗的閱片研究。所有的掃描圖像（癌和良性組織混合穿插混合）提供給病理學家，由其審閱并給予了圖像區(qū)域“有癌”的標記，3位病理醫(yī)師間互為盲法，不知道彼此對切片的注釋，也不知道該申報軟件的結果輸出。至少2-3名提供注釋的病理醫(yī)師對同一切片位置的同樣標注，才能作為真值與軟件輸出結果進行比對。
所有的病理醫(yī)師在注釋選定區(qū)域之前要遵循以下原則：
a.標記癌癥邊緣要盡量的緊貼癌癥區(qū)域，要畫出最小癌癥區(qū)域；
b.可以選擇良性細胞和癌細胞混合呈現的區(qū)域進行標記，因為軟件輸出定位坐標（X,Y）的目的就是標出病理醫(yī)師感興趣的區(qū)域并引起注意。
為了避免因病例水平重疊而產生的偏倚，數據分析只使用了獨立的患者病例，即:與研發(fā)數據集相比，所有切片在患者層面都是獨立的。研究樣本最終納入了包括728個掃描圖像（311個來自癌癥組織切片，417個來自良性組織切片）。
主要終點數據：
真陽性（TP）：算法將切片準確分類并且高度懷疑為癌癥的區(qū)域定位坐標（X,Y）在預定義閾值范圍內，294/311；
真陰性（TN）：算法將切片準確分類并且懷疑不是癌癥，392/417；
假陽性（FP）：算法將懷疑為癌癥的切片錯誤分類，25/417；
假陰性（FN）：算法將懷疑為不是癌癥的切片錯誤分類；或算法將切片準確分類為懷疑為癌癥，但未將懷疑為癌癥的坐標（X,Y）區(qū)域定位正確，17/311。
結果：敏感性：94.5%（95%CI：91.4%-96.6%）；特異性：94.0%（95%CI：91.3%-95.9%）。
同時，也分別對來源于公司內部和外部機構（217個外部機構）的準確度結果進行了敏感性和特異性的統計。這些結果顯示有些許差異，可能是由于病例人種機構分布差異和機構的切片制作方式差異性有關。
（2）精密度研究
該研究評估了高度懷疑為癌癥的圖像定位精密度（應在預期閾值范圍內）。精密度研究的切片與算法訓練、調優(yōu)和測試集相互獨立。研究包含來相互獨立病例的35個癌癥掃描圖像和36個良性掃描圖像。
a.掃描儀內精密度：同一切片掃描3次，重復用同一個掃描儀和一個操作者。
掃描儀內精密度結果：
總體：陽性符合率99.0%（97.1%-100%）；
陰性符合率94.4%（88.9%-99.1%）。
所有3次結果都正確的重復性（按組計算）：
癌癥：97.1%（34/35）；
良性：88.9%（32/36）。
總體重復性（按重復次數算）：
癌癥：99.0%（104/105）（95%CI：94.8%-99.8%）；
良性：94.4%（102/108）（95%CI：88.4%-97.4%）。
結論：按照總體重復性（按重復次數算）：癌癥99.0%（104/105）（95%CI：94.8%-99.8%），良性94.4%（102/108）(95%CI：88.4%-97.4%)。
b.重現性研究（評估掃描儀間和操作者間變異）：切片用3個不同掃描儀分別掃描1次，在不同的地點（內部研究地點），由3位不同的操作者（操作者1對應掃描儀1）進行。
重現性研究結果（按照總重復次數算）：
癌癥：100%（105/105）（95%CI：96.5%；100%）；
良性：93.5%（101/108）（95%CI：87.2%；96.8%）。
c.定位精密度：玻片被掃描5次（3個掃描儀和3個操作者：操作者1和掃描儀1，重復3次掃描；操作者2和掃描儀2，1次掃描，操作者3和掃描儀3，1次掃描）。
從前述精密度a和b研究的35個癌癥和36個良性掃描圖像中隨機選擇19個癌癥和4個良性掃描圖像進行定位精密度評估。19個癌癥切片共收錄95個區(qū)域。（注：僅對癌組織切片的定位精密度數據進行了評估）
定位精密度結果：操作者1掃描儀1重復3次掃描，n=57（19×3），錯誤定位1次，正確56次，定位正確率為98.2%（56/57）（95%CI：90.7%-99.7%）；3位操作者（1個操作者掃描1次），n=55（排除2例），錯誤定位2次，正確53次，定位正確率為96.4%（53/55）（95%CI：87.7%-99.0%）。
京公網安備11010802046783號
