廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心發(fā)布《CT影像人工智能軟件技術(shù)審評(píng)指導(dǎo)原則（征求意見(jiàn)稿）》，全文如下：
“人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建” 課題CT 影像人工智能軟件技術(shù)審評(píng)指導(dǎo)原則(征求意見(jiàn)稿)
本指導(dǎo)原則是人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建的組成部分，基于人工智能醫(yī)療器械審評(píng)指導(dǎo)原則的通用要求，細(xì)化了CT影像人工智能軟件的一般要求。
本指導(dǎo)原則是供CT影像人工智能軟件的研發(fā)、生產(chǎn)和技術(shù)審評(píng)使用的指導(dǎo)性文件，不涉及相關(guān)行政審批事項(xiàng)，亦不作為法規(guī)強(qiáng)制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的，隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善，以及科學(xué)技術(shù)的 不斷發(fā)展，在使用過(guò)程中應(yīng)對(duì)相關(guān)內(nèi)容適時(shí)進(jìn)行調(diào)整。
一、適用范圍
本指導(dǎo)原則適用于CT影像人工智能軟件的產(chǎn)品注冊(cè)。該類(lèi)產(chǎn)品以CT影像為主要處理模態(tài) (可以結(jié)合其他數(shù)據(jù)如問(wèn)診、臨床檢驗(yàn)、其他影像模態(tài)等) ，采用以機(jī)器學(xué)習(xí)為主的人工智能技術(shù)進(jìn)行處理分析，臨床用于疾病的輔助診斷或其他醫(yī)學(xué)用途。按現(xiàn)行《醫(yī)療器械分類(lèi)目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》，該類(lèi)軟件的管理類(lèi)別應(yīng)結(jié)合產(chǎn)品的預(yù)期用途、算法成熟度等因素綜合判定。
CT影像人工智能軟件包括CT影像處理軟件、CT影像輔助決策軟件，前者主要用于非輔助決策，如進(jìn)行數(shù)據(jù)的顯示、標(biāo)注、處理和測(cè)量等提供臨床參考信息，按照第二類(lèi)醫(yī)療器械管理; 后者主要用于輔助決策，如提供目標(biāo)對(duì)象特征識(shí)別病變性質(zhì)判定、用藥指導(dǎo)、治療計(jì)劃制定等臨床診療建議.按照第三類(lèi)醫(yī)療器械管理。
CT設(shè)備中采用人工智能技術(shù)的圖像后處理功能也可參考本指導(dǎo)原則。
二、注冊(cè)審查要點(diǎn)
(一) 監(jiān)管信息
明確產(chǎn)品名稱(chēng)的確定依據(jù)、管理類(lèi)別、分類(lèi)編碼、規(guī)格型號(hào)、產(chǎn)品組成等信息。
1.產(chǎn)品名稱(chēng)
獨(dú)立軟件產(chǎn)品命名應(yīng)符合《醫(yī)療器械通用名稱(chēng)命名規(guī)則》的要求，通常體現(xiàn)輸入數(shù)據(jù)(CT 影像 )、目標(biāo)疾病 (例如肺炎、骨折、肺結(jié)節(jié)等 ) 、預(yù)期用途( 如輔助分診、輔助診斷、輔助測(cè)量、三維重建等 ) 等特征詞。例如“肺炎 CT影像輔助分診與評(píng)估軟件”、“肺結(jié)節(jié) CT 影像輔助檢測(cè)軟件”。
2.分類(lèi)編碼
依據(jù)《醫(yī)療器械分類(lèi)目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則》，產(chǎn)品如主要用于非輔助決策，則分類(lèi)編碼為21-02-02，按第二類(lèi)醫(yī)療器械管理。如主要用于輔助決策，則分類(lèi)編碼為21-04-02，按第三類(lèi)醫(yī)療器械管理。
3.注冊(cè)單元?jiǎng)澐?/span>
根據(jù)產(chǎn)品的技術(shù)原理、結(jié)構(gòu)組成、性能指標(biāo)、適用范圍進(jìn)行注冊(cè)單元?jiǎng)澐帧?/span>
4.適用范圍
適用范圍需明確處理對(duì)象、核心功能、適用人群、目標(biāo)用戶(hù)、臨床用途。
( 二) 綜資料
1.產(chǎn)品描述
1.1器械及操酩作原理聾安愛(ài)棒骯濱笆捌壁把皚搬岸傲帛
1.1.1工作原理
需詳述產(chǎn)品的工作原理，例如: 基于深度學(xué)習(xí)技術(shù)對(duì)醫(yī)學(xué)影像進(jìn)行圖像重建，對(duì)感興趣區(qū)域進(jìn)行分割、三維重建、目標(biāo)檢測(cè)、圖像配準(zhǔn)等。
1.1.2結(jié)構(gòu)組成
結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊，其中交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件，功能模塊包括客戶(hù)端、服務(wù)器端(若適用 )、云端( 若適用 )，若適用注明選裝、模塊版本。基于人工智能算法( 如深度學(xué)習(xí) ) 的功能模塊，需在模塊名稱(chēng)中注明人工智能 (如深度學(xué)習(xí) )。
1.2 型號(hào)規(guī)格
需明確申報(bào)產(chǎn)品的型號(hào)規(guī)格及發(fā)布版本。產(chǎn)品型號(hào)/規(guī)格及其劃分，如同一個(gè)注冊(cè)單元包含多個(gè)型號(hào)規(guī)格，需提供產(chǎn)品型號(hào)規(guī)格區(qū)分列表或配置表。
1.3研發(fā)歷程
闡述申請(qǐng)注冊(cè)產(chǎn)品的研發(fā)背景和目的。如有參考的同類(lèi)產(chǎn)品或前代產(chǎn)品，需提供同類(lèi)產(chǎn)品或前代產(chǎn)品的信息，并說(shuō)明選擇其作為研發(fā)參考的原因。
2.適用范圍和禁忌證
(1) 適用范圍
適用范圍需明確處理對(duì)象、核心功能、適用人群、目標(biāo)用戶(hù)、臨床用途、軟件與醫(yī)生閱片順序。
(2) 預(yù)期使用環(huán)境
需明確設(shè)備使用場(chǎng)所和使用環(huán)境要求。設(shè)備使用場(chǎng)所包括: 醫(yī)療機(jī)構(gòu)機(jī)房等使用環(huán)境要求需至少包括: 推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。
(3) 適用人群
需詳述產(chǎn)品的適用人群。目標(biāo)人群信息 (如用于篩查、診斷 ) 或無(wú)預(yù)期治療特定人群的聲明、感興趣器官/疾病/目標(biāo)對(duì)象/異常、以及預(yù)期使用該產(chǎn)品的目標(biāo)用戶(hù)(如經(jīng)培訓(xùn)合格的放射科醫(yī)師、技師、專(zhuān)科醫(yī)師等)。
(4) 禁忌證
明確產(chǎn)品臨床應(yīng)用的禁忌證以及不推薦使用該產(chǎn)品的情況。
3.產(chǎn)品功能
明確軟件與醫(yī)生閱片順序。結(jié)合用戶(hù)界面圖示詳細(xì)介紹技術(shù)要求中對(duì)應(yīng)的臨床功能，如有特殊聲明，可以在功能中體現(xiàn)。明確自動(dòng)、手動(dòng)、半自動(dòng)輸出的數(shù)據(jù)、量化分析的具體內(nèi)容、服務(wù)器部署 (局域網(wǎng)、內(nèi)外網(wǎng)互聯(lián)、云端) 等。
（三）非臨床資料
1.產(chǎn)品風(fēng)險(xiǎn)管理資料
依據(jù)YY/T 0316-2016《醫(yī)療器械風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用》，提供產(chǎn)品風(fēng)險(xiǎn)管理報(bào)告。
申請(qǐng)人需重點(diǎn)說(shuō)明: 申報(bào)產(chǎn)品的研制階段已對(duì)有關(guān)可能的危害及產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行了估計(jì)和評(píng)價(jià)，針對(duì)性地實(shí)施了降低風(fēng)險(xiǎn)的技術(shù)和管理方面的措施。產(chǎn)品性能測(cè)試對(duì)上述措施的有效性進(jìn)行了驗(yàn)證，達(dá)到了通用和專(zhuān)用標(biāo)準(zhǔn)的要求。申請(qǐng)人對(duì)所有剩余風(fēng)險(xiǎn)進(jìn)行了評(píng)價(jià)，全部達(dá)到可接受的水平。產(chǎn)品風(fēng)險(xiǎn)分析資料需為申請(qǐng)人關(guān)于產(chǎn)品安全性的承諾提供支持。
風(fēng)險(xiǎn)管理報(bào)告一般包括以下內(nèi)容
(1) 申報(bào)產(chǎn)品的風(fēng)險(xiǎn)管理組織。
(2) 申報(bào)產(chǎn)品的組成。
(3) 申報(bào)產(chǎn)品符合的安全標(biāo)準(zhǔn)
(4) 申報(bào)產(chǎn)品的預(yù)期用途，與安全性有關(guān)的特征的判定
( 5) 對(duì)申報(bào)產(chǎn)品的可能危害作出判定 ( 見(jiàn)附錄1)( 6) 對(duì)所判定的危害采取的降低風(fēng)險(xiǎn)的控制措施，(7) 對(duì)采取控制措施后的剩余風(fēng)險(xiǎn)進(jìn)行估計(jì)和評(píng)價(jià)。
2.產(chǎn)品技術(shù)要求及檢測(cè)報(bào)告
2.1產(chǎn)品技術(shù)要求
依據(jù)《醫(yī)療器械產(chǎn)品技術(shù)要求編寫(xiě)指導(dǎo)原則》 (2022年第8號(hào) ) 和《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》 ( 2022年修訂版 ) 的附錄: 獨(dú)立軟件產(chǎn)品技術(shù)要求模板進(jìn)行編制。
2.1.1規(guī)格信息
明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見(jiàn)典型情況。
明確不同型號(hào)間產(chǎn)品差異。
2.1.2性能指標(biāo)
明確產(chǎn)品處理對(duì)象以及數(shù)據(jù)接口信息，包括成像模態(tài)( 如計(jì)算機(jī)體層攝影 )和特定軟硬件名稱(chēng)及型號(hào)( 如適用 ).明確軟件所有的臨床功能，如目標(biāo)對(duì)象檢出的尺寸范圍、目標(biāo)對(duì)象分類(lèi)類(lèi)別、目標(biāo)對(duì)象位置、目標(biāo)對(duì)象標(biāo)記方式( 緊密包裹目標(biāo)對(duì)象的邊界框、不緊密包裹目標(biāo)對(duì)象的邊界框)、分割方式 (自動(dòng)分割、半自動(dòng)分割、手動(dòng)分割 ) 、測(cè)量功能( 如體積、最大軸向平面最長(zhǎng)直徑、短徑、平均直徑最大三維直徑、有效直徑、平均密度、面積等 ) 、隨訪(fǎng)評(píng)估功能 (如倍增時(shí)間、數(shù)值參數(shù)的百分比(%)和絕對(duì)變化、目標(biāo)對(duì)象長(zhǎng)軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等 )、三維重建功能、分割精度 (如 Dice 系數(shù)、Hausdorff 距離等 )、測(cè)量精度(如相對(duì)誤差絕對(duì)值的平均值、絕對(duì)誤差等)、目標(biāo)對(duì)象的 3D或 MIP 可視化等。使用限制明確應(yīng)用場(chǎng)景 ( 如門(mén)診、手術(shù)、住院、急救家庭、轉(zhuǎn)運(yùn)、公共場(chǎng)所等 )、患者(年齡、地域、疾病類(lèi)型 )CT設(shè)備廠(chǎng)家、探測(cè)器排數(shù)、CT掃描參數(shù)(如管電壓、管電流、層厚/層間距、劑量、窗寬窗位、重建方式、顯示方式)、放射學(xué)檢查條件(CT增強(qiáng)掃描、CT平掃)、CT圖像質(zhì)量要求(如分辨率、偽影)、目標(biāo)對(duì)象檢出的尺寸范圍、分類(lèi)類(lèi)別。如軟件包含圖像質(zhì)量判定功能，明確軟件使用限制。若含有基于測(cè)評(píng)數(shù)據(jù)庫(kù)測(cè)試的性能指標(biāo)，其要求參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》( 2022 年第 8 號(hào) )運(yùn)行環(huán)境，運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊( 如客戶(hù)端和云端 ) 需分別描述其運(yùn)行環(huán)境、服務(wù)器部署 (局域網(wǎng)云端) 信息。
附錄中明確體系結(jié)構(gòu)圖、用戶(hù)界面關(guān)系圖與主界面圖物理拓?fù)鋱D、測(cè)評(píng)數(shù)據(jù)庫(kù) ( 如有 ) 、數(shù)據(jù)庫(kù)/集信息示。
3.軟件研究
(1) 基本要求
生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則(2022 年修訂版)》 (2022 年第 9 號(hào)) 提交相應(yīng)軟件研究資料。其中，核心算法所述人工智能算法需依據(jù) 《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》 (2022 年第 8 號(hào)) 提交相應(yīng)算法研究資料。
生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則( 2022 年修訂版)》 (2022 年第 7 號(hào))提交網(wǎng)絡(luò)安全描述文檔。按照《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》 (2022年第 8號(hào)) 提交數(shù)據(jù)安全資料。
若使用云計(jì)算服務(wù)，生產(chǎn)企業(yè)需依據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》(2022 年第 8 號(hào))提交相應(yīng)研究資料使用云計(jì)算服務(wù)需明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù) (質(zhì)量 ) 協(xié)議等要求。
軟件版本命名規(guī)則涵蓋算法驅(qū)動(dòng)型軟件更新和數(shù)據(jù)驅(qū)動(dòng)型軟件更新，區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新需列舉常見(jiàn)典型情況。
(2) 軟件安全級(jí)別
軟件風(fēng)險(xiǎn)程度采用軟件安全性級(jí)別進(jìn)行表述，軟件安全性級(jí)別越高，生存周期質(zhì)控要求越嚴(yán)格，注冊(cè)申報(bào)資料也越詳盡。軟件安全性級(jí)別基于軟件風(fēng)險(xiǎn)程度分為輕微、中等、嚴(yán)重三個(gè)級(jí)別(輕微級(jí)別、中等級(jí)別、嚴(yán)重級(jí)別分別與 YY/T0664 所定義的 A 級(jí)、B 級(jí)、C 級(jí)相對(duì)應(yīng))，其中輕微級(jí)別即軟件不可能產(chǎn)生傷害，中等級(jí)別即軟件可能直接或間接產(chǎn)生輕微 (不嚴(yán)重) 傷害，嚴(yán)重級(jí)別即軟件可能直接或間接產(chǎn)生嚴(yán)重傷害或?qū)е滤劳觥?/span>
軟件安全性級(jí)別可結(jié)合軟件的預(yù)期用途、使用場(chǎng)景、核心功能進(jìn)行綜合判定 (詳見(jiàn)IMDRF/SaMD WG/N12 FINAL:2014)。其中，預(yù)期用途主要考慮軟件的用途類(lèi)型( 如治療診斷、監(jiān)護(hù)、篩查 )、重要程度( 如重要作用、參考作用、補(bǔ)充作用 )、緊迫程度( 如危重情形、嚴(yán)重情形、普通情形 )成熟程度 ( 成熟、全新) 等因素，使用場(chǎng)景主要考慮軟件的使用場(chǎng)所 (如門(mén)診、手術(shù)、住院、急救、家庭、轉(zhuǎn)運(yùn)、公共場(chǎng)所)、疾病特征(如嚴(yán)重性、緊迫性、傳染性 ) 、適用人群(如成人、兒童、老人、孕婦)、目標(biāo)用戶(hù)(如醫(yī)務(wù)人員患者) 等因素，核心功能主要考慮軟件的功能類(lèi)型 ( 如重要程度、技術(shù)特征、復(fù)雜程度、成熟程度 )、核心算法 ( 如重要程度、復(fù)雜程度、可解釋性、成熟程度 )、輸入輸出 ( 輸入數(shù)據(jù)如醫(yī)學(xué)圖像、生理參數(shù)、體外診斷等數(shù)據(jù)，輸出結(jié)果如處理、測(cè)量、分析等結(jié)果 )、接口( 如應(yīng)用程序接口( API)數(shù)據(jù)接口、產(chǎn)品接口)等因素。
軟件安全性級(jí)別也可根據(jù)風(fēng)險(xiǎn)管理所確定的風(fēng)險(xiǎn)等級(jí)進(jìn)行判定，軟件安全性級(jí)別與風(fēng)險(xiǎn)等級(jí)的分級(jí)可以不同，但二者存在對(duì)應(yīng)關(guān)系，因此可根據(jù)風(fēng)險(xiǎn)等級(jí)來(lái)判定軟件安全性級(jí)別，但應(yīng)在采取風(fēng)險(xiǎn)控制措施之前進(jìn)行判定，后續(xù)可通過(guò)外部風(fēng)險(xiǎn)控制措施 (含軟件措施、硬件措施 ) 降低初始軟件安全性級(jí)別。
(3) 核心算法
需指出核心算法的選擇，明確算法名稱(chēng)、類(lèi)型、用途以及功能，可以參考核心算法示例如下表，其中采用全新算法(如深度學(xué)習(xí)) 需提供算法研究資料。
表1，核心算法示例
4.算法研究資料
4.1 算法基本信息
CT 影像人工智能軟件所涉及的算法一般包括檢出算法分割算法、分類(lèi)算法和測(cè)量算法等。檢出算法用于自動(dòng)檢出CT 影像中的目標(biāo)對(duì)象，輔助醫(yī)生篩查;分割算法用于自動(dòng)提取 CT 影像中的感興趣區(qū)域，輔助醫(yī)生獲取感興趣影像信息;分類(lèi)算法用于對(duì) CT 影像中的目標(biāo)對(duì)象進(jìn)行自動(dòng)分類(lèi)按照類(lèi)別不同，可根據(jù)實(shí)際分類(lèi)情況設(shè)計(jì)不同分類(lèi)算法;測(cè)量算法用于對(duì) CT 影像中的目標(biāo)對(duì)象進(jìn)行量化測(cè)量，區(qū)別于分類(lèi)算法，測(cè)量算法輸出的是連續(xù)的量化值，而分類(lèi)算法輸出的是離散的類(lèi)別。按照測(cè)量屬性不同，目標(biāo)對(duì)象測(cè)量算法包括但不限于體積測(cè)量算法，長(zhǎng)短徑測(cè)量算法，病變嚴(yán)重程度測(cè)量等。
4.1.1目標(biāo)對(duì)象檢出算法檢出算法需明確算法的輸入，比如算法采用的是 2D,2.5D 還是 3D的 CT 影像作為神經(jīng)網(wǎng)絡(luò)的輸入，并明確算法的輸出。
明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 Faster RCNN; 明確算法訓(xùn)練采用的損失函數(shù)，如交叉熵，L1 范數(shù); 明確算法設(shè)計(jì)過(guò)程中網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量、目標(biāo)對(duì)象背景正負(fù)樣本的不均衡性、假陽(yáng)性、過(guò)擬合等:若檢出采用多個(gè)模型融合，需明確不同模型訓(xùn)練與推理的方式以及模型融合的策略，如級(jí)聯(lián)，多數(shù)投票。
明確算法的流程圖，需包含算法運(yùn)行前所進(jìn)行的預(yù)處理（圖像縮放、圖像像素值歸一化、圖像重采樣、降噪等）以及算法運(yùn)行后所進(jìn)行的后處理操作 ( 圖像重采樣、連通域處理等)。明確訓(xùn)練與部署所采用的框架 (如 Tensorflow,Pytorch) 、算法運(yùn)行環(huán)境 (如內(nèi)存、顯存的需求 )。
4.1.2 感興趣區(qū)域分割算法
分割算法對(duì) CT 影像感興趣區(qū)域進(jìn)行提取，輔助醫(yī)生獲取感興趣區(qū)域影像信息。分割算法需明確算法的輸入，比如算法采用的是 2D2.5D 還是 3D 的圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并明確算法的輸?shù)摹?/span>
明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 U-Net，V-Net 等網(wǎng)絡(luò): 明確算法訓(xùn)練采用的損失函數(shù)，如交叉熵，Dice 損失損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量、不同類(lèi)別分割樣本的不均衡性、過(guò)擬合等;最后，明確算法的流程圖、訓(xùn)練與部署所采用的框架 (如 Tensorflow,Pytorch) 、算法運(yùn)行環(huán)境 ( 如內(nèi)存、顯存的需求 )。
明確算法的流程圖，需包含算法運(yùn)行前所進(jìn)行的預(yù)處理( 圖像縮放、圖像像素值歸一化、圖像重采樣、降噪等 ) 以及算法運(yùn)行后所進(jìn)行的后處理操作 ( 圖像重采樣、連通域處理等)。明確訓(xùn)練與部署所采用的框架 (如 Tensorflow,Pytorch)、算法運(yùn)行環(huán)境 ( 如內(nèi)存、顯存的需求 )。
4.1.3分類(lèi)算法
分類(lèi)算法需明確輸出類(lèi)別信息以及臨床意義，類(lèi)別制定依據(jù)以及臨床適用性。分類(lèi)算法需明確算法的輸入，比如算法采用的是 2D，2.5D 還是 3D 的圖像作為神經(jīng)網(wǎng)絡(luò)的輸入，并明確算法的輸出。
明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如 ResNet ，Dense-Net;明確算法訓(xùn)練采用的損失函數(shù)，如交叉熵,Focal損失函數(shù);損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量、不同類(lèi)別樣本的不均衡性、過(guò)擬合等;若分類(lèi)采用多個(gè)模型融合，需明確不同模型訓(xùn)練與推理的方式，以及模型融合的策略，如多數(shù)投票，最后，明確算法的流程圖，需包含算法運(yùn)行前所進(jìn)行的預(yù)處理 ( 圖像縮放、圖像像素值歸一化、圖像重采樣、降噪等 ) 以及算法運(yùn)行后所進(jìn)行的后處理操作 ( 圖像重采樣、連通域處理等 )。明確訓(xùn)練與部署所采用的框架 (如 Tensorflow， Pytorch) 、算法運(yùn)行環(huán)境(如內(nèi)存、顯存的需求)。
4.1.4 目標(biāo)對(duì)象測(cè)量算法
針對(duì)測(cè)量算法，明確測(cè)量算法實(shí)現(xiàn)的方式。如體積測(cè)量算法、長(zhǎng)短徑測(cè)量算法、病變嚴(yán)重程度測(cè)量算法等
可以通過(guò)分割技術(shù)來(lái)實(shí)現(xiàn)，也可以通過(guò)機(jī)器學(xué)習(xí)中的回歸方法來(lái)進(jìn)行預(yù)測(cè)。
若申報(bào)產(chǎn)品涉及上述多個(gè)算法，需提供算法整體流程圖，明確各個(gè)算法調(diào)用先后關(guān)系，以及輸入輸出依賴(lài)關(guān)系若使用遷移學(xué)習(xí)技術(shù)，除上述內(nèi)容外還需補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、驗(yàn)證與確認(rèn)等總結(jié)信息，并論證遷移學(xué)習(xí)的適用性。
4.2 算法需求規(guī)范
算法功能需求建議關(guān)注數(shù)據(jù)庫(kù)需求、算法性能評(píng)價(jià)指標(biāo)及制定依據(jù)。
4.2.1 數(shù)據(jù)庫(kù)需求
算法性能評(píng)價(jià)需要基于訓(xùn)練和測(cè)試數(shù)據(jù)庫(kù)，數(shù)據(jù)庫(kù)具體要求詳見(jiàn)附錄2。
4.2.2算法性能評(píng)價(jià)指標(biāo)
在指定檢出算法評(píng)估指標(biāo)之前，需明確標(biāo)記匹配的方式，即算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)目標(biāo)的匹配方式，常見(jiàn)的標(biāo)記匹配方式有按照區(qū)域重疊的比例、中心點(diǎn)的距離、中心是否落入來(lái)判斷標(biāo)記是否匹配;明確算法任務(wù)，明確算法訓(xùn)練和調(diào)優(yōu)過(guò)程中不同任務(wù)的評(píng)估指標(biāo)及定義。
明確不同任務(wù)的算法評(píng)價(jià)指標(biāo)的確定依據(jù)、分層影響因素選擇依據(jù)，建議參考相關(guān)疾病的中國(guó)專(zhuān)家共識(shí)、國(guó)內(nèi)外指南等。
檢出指標(biāo)包括不限于召回率、精確度、特異度。
分類(lèi)指標(biāo)包括不限于靈敏度、特異度、總體的 Kappa 系數(shù)、準(zhǔn)確率。
分割指標(biāo)包括不限于體積交并比、Dice 系數(shù)、Jaccard 系數(shù)、Hausdorff 距離。
尺寸測(cè)量指標(biāo)包括不限于體積相對(duì)誤差率、平均徑相對(duì)誤差率、長(zhǎng)徑絕對(duì)誤差均值MAE、短徑絕對(duì)誤差均值MAE。
提供文獻(xiàn)綜述論證評(píng)價(jià)指標(biāo)選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類(lèi)型、大小、層厚、采集協(xié)議等重要變量。
算法質(zhì)量特性包括泛化能力、魯棒性 ( 面向硬件變化的對(duì)抗測(cè)試、面向軟件預(yù)處理的對(duì)抗測(cè)試、壓力測(cè)試)、重復(fù)性、一致性、效率。
4.2.3算法性能測(cè)試基本要求
4.2.3.1目標(biāo)對(duì)象檢出軟件檢出目標(biāo)對(duì)象的召回率和精確度不低于 X%等召回率和精確度的計(jì)算一般針對(duì)全體目標(biāo)對(duì)象進(jìn)行。在設(shè)置篩選條件后，可以使用篩選后的參考標(biāo)準(zhǔn)與篩選后的自動(dòng)檢出結(jié)果進(jìn)行匹配。
4.2.3.2 分類(lèi)準(zhǔn)確度
明確分類(lèi)場(chǎng)景，如二分類(lèi)場(chǎng)景、多分類(lèi)場(chǎng)景等。對(duì)于二分類(lèi)場(chǎng)景下的指標(biāo)，如軟件能夠?qū)?A 類(lèi)型進(jìn)行分類(lèi)，準(zhǔn)確率不低于 X%,靈敏度不低于 Y%,特異性不低于 Z%?？傮w的 Kappa系數(shù)不低于 N%;多分類(lèi)問(wèn)題可以轉(zhuǎn)化為二分類(lèi)問(wèn)題，按每一類(lèi)進(jìn)行描述。
4.2.3.3分割
體積交并比不小于 X%，或 DICE 系數(shù)不小于 Y%等。
4.2.3.4 測(cè)量
體積測(cè)量偏差土X%; 長(zhǎng)徑測(cè)量偏差 土Y%; 短徑測(cè)量偏差士Z%等。
4.2.4 樣本量
明確樣本量估計(jì)的公式、參數(shù)及制定依據(jù)。研究樣本應(yīng)足夠大，以使聲稱(chēng)的性能具有統(tǒng)計(jì)學(xué)顯著性，若有分層性能的聲稱(chēng)，應(yīng)確定子集的樣本量以檢測(cè)聲稱(chēng)的統(tǒng)計(jì)學(xué)顯著性。
4.3 數(shù)據(jù)質(zhì)控
建議參考《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》( 2022年第8號(hào))及 YY/T 1833.2-2022《人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 2 部分: 數(shù)據(jù)集通用要求》。
4.3.1數(shù)據(jù)采集
需提供數(shù)據(jù)采集來(lái)源合規(guī)性證明文件 ( 如數(shù)據(jù)授權(quán)使用證明性文件、倫理批件、采集協(xié)議、科研合作協(xié)議均可 )需要考慮明確偏倚控制的方法，如通過(guò)各亞組設(shè)置進(jìn)行偏移控制，不應(yīng)為提高算法結(jié)果刻意篩選數(shù)據(jù)。采集數(shù)據(jù)的地區(qū)分布建議覆蓋具有臨床特征的代表性區(qū)域。
明確數(shù)據(jù)庫(kù)信息 (要求詳見(jiàn)附件2 )
4.3.2數(shù)據(jù)整理
明確數(shù)據(jù)轉(zhuǎn)移保存的方法。明確數(shù)據(jù)納入排除標(biāo)準(zhǔn)，以及進(jìn)行數(shù)據(jù)篩選的方法 (人工清洗、自動(dòng)清洗)，提供數(shù)據(jù)整理軟件工具的研究資料。
提供數(shù)據(jù)清洗流程圖，明確清洗規(guī)則，例如確定數(shù)據(jù)合規(guī)性、圖像唯一性、層厚、層間距等信息滿(mǎn)足要求、連續(xù)性、完整性、已完成脫敏等并加以篩選。清洗結(jié)果明確棄用數(shù)據(jù)的數(shù)量和原因。明確預(yù)處理的操作步驟和內(nèi)容。
4.3.3 數(shù)據(jù)標(biāo)注
數(shù)據(jù)標(biāo)注建議參考 YY/T 1833.3-2022《人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第 3 部分: 數(shù)據(jù)標(biāo)注通用要求》。需明確標(biāo)注任務(wù)分類(lèi) (包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度 )，提供標(biāo)注任務(wù)描述文檔(標(biāo)準(zhǔn)規(guī)則、標(biāo)注人員、標(biāo)注工具、標(biāo)注環(huán)境、數(shù)據(jù))。其中標(biāo)注規(guī)則需明確制定依據(jù)并提供參考文獻(xiàn)標(biāo)注人員建議列表給出標(biāo)注、審核、仲裁人員的基本信息，如數(shù)量、醫(yī)療機(jī)構(gòu)、科室、工作年限、職稱(chēng)、培訓(xùn)、培訓(xùn)考核情況、工作量、標(biāo)注任務(wù)、參考的所有受檢者臨床信息(如病理檢測(cè)結(jié)果)。
標(biāo)注與質(zhì)控流程建議提供業(yè)務(wù)架構(gòu)、過(guò)程組織 (任務(wù)生成、任務(wù)分配、任務(wù)實(shí)施、質(zhì)量控制、驗(yàn)收準(zhǔn)則及驗(yàn)收?qǐng)?bào)告。其中業(yè)務(wù)架構(gòu)宜采用流程圖介紹單張圖片的標(biāo)注、審核、仲裁過(guò)程。如標(biāo)注工具、標(biāo)注平臺(tái)使用人工智能算法進(jìn)行輔助標(biāo)注，需提交標(biāo)注工具、標(biāo)注平臺(tái)算法性能研究資料。
4.3.4 數(shù)據(jù)集構(gòu)建
依據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》指南明確訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。
提供查重驗(yàn)證結(jié)果，以證實(shí)訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集的樣本兩兩無(wú)交集。
明確數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對(duì)象、范圍、方式 (離線(xiàn)在線(xiàn))、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對(duì)抗網(wǎng)絡(luò)等 )、倍數(shù)、在線(xiàn)數(shù)據(jù)擴(kuò)增記錄。
提供擴(kuò)增數(shù)據(jù)庫(kù)與標(biāo)注數(shù)據(jù)庫(kù)樣本量、樣本分布 ( 注明擴(kuò)增倍數(shù) ) 對(duì)比表，以證實(shí)擴(kuò)增數(shù)據(jù)庫(kù)樣本量的充分性以及樣本分布的合理性。
如果采用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增，應(yīng)提供生成對(duì)抗網(wǎng)絡(luò)的算法基本信息以及算法選用依據(jù)資料。
4.4 算法訓(xùn)練
算法訓(xùn)練需明確訓(xùn)練過(guò)程所采用的優(yōu)化器及其相關(guān)參數(shù)，
如 Adam，SGD;在算法訓(xùn)練階段，需明確驗(yàn)證集的劃分方式如留出法，交叉驗(yàn)證法; 需明確訓(xùn)練目標(biāo)，即判斷何時(shí)停止訓(xùn)練，如設(shè)定最大的訓(xùn)練 epoch 數(shù)目，依據(jù)損失函數(shù)判斷損失穩(wěn)定且不繼續(xù)下降，根據(jù)訓(xùn)練 epoch 數(shù)量-評(píng)估指標(biāo)曲線(xiàn)判斷評(píng)估指標(biāo)不繼續(xù)提升等。當(dāng)訓(xùn)練停止后，明確訓(xùn)練模型最佳 epoch 的選擇方法，如在留出法中，根據(jù)留出部分的驗(yàn)證集選取評(píng)價(jià)指標(biāo)最優(yōu)的 epoch; 在交叉驗(yàn)證法中，計(jì)算多次隨機(jī)劃分驗(yàn)證集的評(píng)價(jià)指標(biāo)平均值，選擇最優(yōu)的 epoch同時(shí)，結(jié)合臨床需求 (如靈敏度、精準(zhǔn)度 )，明確算法出)閩值的選擇與方法，并論證訓(xùn)練所得模型是否滿(mǎn)足產(chǎn)品既定目標(biāo)。算法出廠(chǎng)閩值的選擇需提供制定依據(jù)。
算法訓(xùn)練階段需結(jié)合訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線(xiàn)驗(yàn)證算法訓(xùn)練數(shù)據(jù)量的充分性，常用的方式有以最小訓(xùn)練數(shù)據(jù)量為基礎(chǔ)，逐步增加數(shù)據(jù)量。對(duì)于不同的訓(xùn)練數(shù)據(jù)量，計(jì)算對(duì)應(yīng)的評(píng)價(jià)指標(biāo)。當(dāng)評(píng)價(jià)指標(biāo)為單一標(biāo)量時(shí) (如靈敏度 )，訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線(xiàn)的 x 軸為訓(xùn)練數(shù)據(jù)的樣本量 (如 CT 序列個(gè)數(shù) )，y 軸為在使用特定訓(xùn)練量時(shí)，算法在測(cè)試集的評(píng)價(jià)指標(biāo)。結(jié)合訓(xùn)練數(shù)據(jù)量-評(píng)估指標(biāo)曲線(xiàn)，判斷當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí)，評(píng)價(jià)指標(biāo)是否隨數(shù)據(jù)量的增加而增加，并在數(shù)據(jù)量達(dá)到一定程度后，評(píng)價(jià)指標(biāo)趨于平穩(wěn)。當(dāng)評(píng)價(jià)指標(biāo)為曲線(xiàn)時(shí)，可考慮根據(jù)不同訓(xùn)練數(shù)據(jù)量，繪制對(duì)應(yīng)的評(píng)價(jià)指標(biāo)曲線(xiàn)判斷曲線(xiàn)下面積 (AUC ) 是否先隨數(shù)據(jù)量的增加而增加，最后當(dāng)數(shù)據(jù)量達(dá)到一定程度后趨于平穩(wěn)。以 fROC 曲線(xiàn)為例，在評(píng)估訓(xùn)練數(shù)據(jù)量的充分性時(shí)，當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí)，fROC曲線(xiàn)下面積需隨數(shù)據(jù)量增加而增加，fROC 曲線(xiàn)逐步逼近坐標(biāo)左上角;當(dāng)訓(xùn)練數(shù)據(jù)量達(dá)到一定程度后，fROC 曲線(xiàn)下面積慢慢趨于穩(wěn)定。
若訓(xùn)練過(guò)程中采用了數(shù)據(jù)擴(kuò)增的方式，需明確擴(kuò)增方式，如離線(xiàn)數(shù)據(jù)擴(kuò)增，在線(xiàn)數(shù)據(jù)擴(kuò)增。同時(shí)，需明確數(shù)據(jù)擴(kuò)增的方法以及相應(yīng)的參數(shù)設(shè)置，如圖像平移，旋轉(zhuǎn)，縮放，彈性形變等。若訓(xùn)練過(guò)程未采用數(shù)據(jù)擴(kuò)增，需論證未進(jìn)行數(shù)據(jù)擴(kuò)增的理由。
4.5 算法驗(yàn)證與確認(rèn)
明確算法任務(wù)，明確不同任務(wù)的算法評(píng)價(jià)指標(biāo)的閩值及確定依據(jù)。明確算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)的匹配方式和匹配閩值。明確病例水平和目標(biāo)對(duì)象水平計(jì)算方法及定義一個(gè)目標(biāo)對(duì)象的處理方法及病例陽(yáng)性的方法。區(qū)分算法任務(wù)制定具體測(cè)試方法和結(jié)果計(jì)算方法。
4.5.1檢出算法性能評(píng)估
基于算法的出廠(chǎng)閩值，明確算法在訓(xùn)練集，調(diào)優(yōu)集和測(cè)試集的假陰性 (召回率 ) 與假陽(yáng)性 (精確度)，通過(guò)比較三個(gè)數(shù)據(jù)集的性能來(lái)評(píng)估算法的泛化性。
若在訓(xùn)練過(guò)程中使用數(shù)據(jù)擴(kuò)增，需在調(diào)優(yōu)集上比較使用與不使用數(shù)據(jù)擴(kuò)增對(duì)目標(biāo)對(duì)象檢出性能的影響。
對(duì)于目標(biāo)對(duì)象檢出算法，需分層統(tǒng)計(jì)算法對(duì)于目標(biāo)對(duì)象的檢出效能，可以通過(guò) fROC 曲線(xiàn)，召回率以及精確度等指標(biāo)來(lái)評(píng)價(jià)，同時(shí)結(jié)合臨床需求論述結(jié)果的合理性。
除此之外，還需考慮性別、年齡、設(shè)備廠(chǎng)家、重建方式、層厚/層間距、管電流、管電壓等參數(shù)對(duì)目標(biāo)對(duì)象檢出算法效能的影響。需明確設(shè)備廠(chǎng)家，且必須符合 DICOM 3.0 協(xié)議。
標(biāo)準(zhǔn)數(shù)據(jù);管電壓、管電流、層厚與層間距參數(shù)需根據(jù)相應(yīng)的 CT 影像數(shù)據(jù)集構(gòu)建及質(zhì)量控制專(zhuān)家共識(shí)和標(biāo)準(zhǔn)來(lái)確定。在亞組的分層統(tǒng)計(jì)中，目標(biāo)對(duì)象的檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下，性能結(jié)果存在差異，需進(jìn)行合理地論證，并在說(shuō)明書(shū)給出使用限制。需提供算法性能測(cè)試報(bào)告，至少包括軟件環(huán)境、硬件環(huán)境、測(cè)試平臺(tái)描述(如適用 ) 、測(cè)試集描述、算法性能指標(biāo)的符合性分析 (性能指標(biāo)的定義、測(cè)試通過(guò)準(zhǔn)則、統(tǒng)計(jì)分析 )、算法錯(cuò)誤統(tǒng)計(jì)。需包括算法性能及算法質(zhì)量特性隨訪(fǎng)功能測(cè)試結(jié)果。
4.6 算法性能綜合分析
結(jié)合算法訓(xùn)練、算法性能評(píng)估、臨床評(píng)價(jià)等結(jié)果開(kāi)展算法性能綜合評(píng)價(jià)，針對(duì)訓(xùn)練樣本量和測(cè)試樣本量過(guò)少、測(cè)試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過(guò)大等情況，對(duì)產(chǎn)品的適用范圍、使用場(chǎng)景、核心功能進(jìn)行必要限制。
5.用戶(hù)培訓(xùn)方案
對(duì)于軟件安全性級(jí)別為嚴(yán)重級(jí)別的產(chǎn)品，原則上需單獨(dú)提供一份用戶(hù)培訓(xùn)方案，包括用戶(hù)培訓(xùn)的計(jì)劃、材料、方式、師資等。
用戶(hù)培訓(xùn)需關(guān)注以下內(nèi)容: 預(yù)期用戶(hù)要求，如工作年限或執(zhí)業(yè)資格;醫(yī)生必須對(duì)軟件結(jié)果進(jìn)行確認(rèn)，軟件只用于輔助檢測(cè)，不能替代醫(yī)生。CT 圖像要求，如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的 CT 影像慎用; 基于臨床試驗(yàn)驗(yàn)證不宜使用該軟件的疾病。
(四) 臨床評(píng)價(jià)
臨床評(píng)價(jià)基本原則詳見(jiàn)醫(yī)療器械軟件指導(dǎo)原則，基于核心功能或核心算法，結(jié)合預(yù)期用途和成熟度予以綜合考慮: 非輔助決策類(lèi)功能基于核心功能開(kāi)展同品種醫(yī)療器械比對(duì),全新的功能、算法和用途原則上均需開(kāi)展臨床評(píng)價(jià):輔助決策類(lèi)功能基于核心算法開(kāi)展同品種醫(yī)療器械比對(duì)所選同品種醫(yī)療器械的臨床證據(jù)原則上需基于臨床試驗(yàn)( 含回顧性研究，下同)，全新的功能、算法和用途原則上均需開(kāi)展臨床試驗(yàn)。CT 影像人工智能軟件常見(jiàn)異常識(shí)別、疾病類(lèi)型分析良惡性風(fēng)險(xiǎn)提示、病程階段分析功能的臨床試驗(yàn)要求具體如人
1.試驗(yàn)?zāi)康?/span>
生產(chǎn)企業(yè)應(yīng)根據(jù)產(chǎn)品適用范圍確定臨床試驗(yàn)?zāi)康?。適用范圍考慮因素包括但不限于: 目標(biāo)疾病 (如肺炎、肺結(jié)節(jié)、冠脈血流分析、骨折等 ) 、臨床用途( 如分診提示、異常識(shí)別、疾病類(lèi)型分析、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議) 、禁忌癥(如急性疾病、孕婦、嬰兒、哺乳期婦女等對(duì) X 射線(xiàn)高度敏感人員、如再生障礙性貧血不宜接觸X 射線(xiàn)的病癥、合并其他病癥 ) 、預(yù)期適用人群 (如具有目標(biāo)疾病臨床表現(xiàn)的患者 ) 、預(yù)期使用場(chǎng)所 ( 如門(mén)診、手術(shù)、住院、急救、家庭、轉(zhuǎn)運(yùn)、公共場(chǎng)所等)、預(yù)期目標(biāo)用戶(hù)( 如放射科醫(yī)師等 ) 、預(yù)期兼容的 CT 設(shè)備等。
臨床試驗(yàn)?zāi)康闹饕獙?duì)臨床用途 (工作效率提升、分診提示、異常識(shí)別、疾病類(lèi)型分析、病程階段分析、提供輔助診斷結(jié)果、提供醫(yī)學(xué)建議等 ) 的診斷準(zhǔn)確度進(jìn)行確認(rèn)，確認(rèn)試驗(yàn)器械是否優(yōu)于/等效于/非劣于已上市同類(lèi)產(chǎn)品或傳統(tǒng)檢測(cè)診斷方法( 如臨床醫(yī)師的閱片/綜合診斷方法 )或單組目標(biāo)值
2.試驗(yàn)設(shè)計(jì)
對(duì)患者是否患有目標(biāo)疾病，從而對(duì)患者的分診轉(zhuǎn)診提供輔助決策建議的產(chǎn)品，該類(lèi)產(chǎn)品不給出具體病變情況，且無(wú)論輔助分診結(jié)果為陰性、陽(yáng)性，均需專(zhuān)業(yè)醫(yī)師再一次對(duì)患者影像進(jìn)行評(píng)閱，如肺炎輔助分診、腦出血輔助分診等各類(lèi)目標(biāo)疾病患者的計(jì)算機(jī)輔助分診、轉(zhuǎn)診產(chǎn)品等，可以考慮采用單組目標(biāo)值設(shè)計(jì).
對(duì)目標(biāo)疾病的病變病灶進(jìn)行輔助檢測(cè)的產(chǎn)品，如肺結(jié)節(jié)輔助檢測(cè)產(chǎn)品、骨折 CT 影像輔助檢測(cè)產(chǎn)品等，臨床試驗(yàn)建議采用對(duì)照設(shè)計(jì)，試驗(yàn)組為醫(yī)師與申報(bào)產(chǎn)品共同檢測(cè)，對(duì)照組為傳統(tǒng)檢測(cè)診斷方法(如臨床醫(yī)師的閱片/綜合診斷 )。臨床試驗(yàn)比較類(lèi)型應(yīng)能夠體現(xiàn)產(chǎn)品受益風(fēng)險(xiǎn)的可接受性，建議優(yōu)先考慮優(yōu)效性設(shè)計(jì); 根據(jù)臨床需求，必要時(shí)考慮等效/非劣效設(shè)計(jì)。如針對(duì) 4mm 以上肺結(jié)節(jié) CT 影像輔助檢測(cè)軟件可考慮患者水平的特異度優(yōu)效和病灶水平的敏感度非劣效。
臨床機(jī)構(gòu)應(yīng)當(dāng)具備代表性和廣泛性，建議不同于訓(xùn)練數(shù)據(jù)主要來(lái)源機(jī)構(gòu)，地域分布盡可能廣泛，機(jī)構(gòu)數(shù)量盡可能多，以確認(rèn)算法泛化能力。
3.受試對(duì)象
受試對(duì)象入排標(biāo)準(zhǔn)應(yīng)當(dāng)基于目標(biāo)疾病臨床特征，保證陽(yáng)性病例和陰性病例選取的合理性和充分性。在此基礎(chǔ)上，病例的選擇還需要綜合考慮以下因素:3.1 臨床試驗(yàn)納入病例應(yīng)獨(dú)立于產(chǎn)品開(kāi)發(fā)所用病例:3.2 臨床試驗(yàn)納入病例需來(lái)源于不同地域醫(yī)療機(jī)構(gòu)3.3 臨床試驗(yàn)納入陽(yáng)性病例中目標(biāo)疾病的類(lèi)型、良惡性病程階段分布合理性。
4.評(píng)價(jià)指標(biāo)
針對(duì)采用人工智能算法設(shè)計(jì)的臨床功能原則上選擇敏感性、特異性、受試者工作特性曲線(xiàn) ( ROC ) 曲線(xiàn)下面積(AUC)、檢出率等為主要評(píng)價(jià)指標(biāo)，亦可在此基礎(chǔ)上根據(jù)軟件特點(diǎn)選擇敏感性/特異性衍生指標(biāo)、受試者工作特性曲線(xiàn)(ROC) 曲線(xiàn)下面積 (AUC) 衍生指標(biāo)如診斷準(zhǔn)確率、精確率、召回率、F1 系數(shù)、組內(nèi)相關(guān)系數(shù)、Kappa 系數(shù)、時(shí)間效率(如輔助診斷平均時(shí)間、日人均診斷量增益率和診斷平均時(shí)間增益率 ) 、數(shù)據(jù)有效使用率等指標(biāo)作為次要評(píng)價(jià)指標(biāo)。對(duì)目標(biāo)疾病的病變病灶進(jìn)行輔助檢測(cè)的產(chǎn)品，一般靈敏度考慮病灶病變水平，特異度考慮患者水平。輔助分診結(jié)果的診斷準(zhǔn)確度指標(biāo) (如敏感度、特異度等 ) ，通常為患者水平。
5.金標(biāo)準(zhǔn)構(gòu)建
生產(chǎn)企業(yè)應(yīng)詳述金標(biāo)準(zhǔn)的選擇、構(gòu)建方法及理由?？晒┻x擇的金標(biāo)準(zhǔn)構(gòu)建方法包括: 一是以臨床確定結(jié)果為金標(biāo)準(zhǔn)，即流行病學(xué)史、臨床表現(xiàn) (含影像學(xué)特征) 的綜合診斷結(jié)果;二是通過(guò)專(zhuān)家閱片小組構(gòu)建金標(biāo)準(zhǔn)。適用的臨床診療規(guī)范有非影像學(xué)證據(jù)作為金標(biāo)準(zhǔn)，且相關(guān)證據(jù)獲得符合倫理要求，優(yōu)先選用方法一。
若選用方法二，需明確專(zhuān)家數(shù)量、來(lái)源科室、專(zhuān)家資質(zhì)要求 (如職稱(chēng) ) 、專(zhuān)家相關(guān)培訓(xùn)要求、培訓(xùn)效果評(píng)測(cè) ( 判定一致性 )、結(jié)果判定標(biāo)準(zhǔn)、結(jié)果判定規(guī)則( 如少數(shù)服從多數(shù)雙人背靠背評(píng)判，高水平醫(yī)師仲裁 ) 、專(zhuān)家抽取標(biāo)準(zhǔn) (隨機(jī)抽取或順序輪轉(zhuǎn) )等。建議由來(lái)自影像科和/或臨床科室等多個(gè)科室的醫(yī)師聯(lián)合閱片，以減少不完美金標(biāo)準(zhǔn)的偏倚.
6.樣本量
樣本量估算需綜合考慮臨床試驗(yàn)設(shè)計(jì)、主要評(píng)價(jià)指標(biāo)和統(tǒng)計(jì)學(xué)要求。生產(chǎn)企業(yè)需明確計(jì)算公式、相應(yīng)參數(shù)及確定理由，以及所用的統(tǒng)計(jì)軟件。
對(duì)于復(fù)合終點(diǎn)，樣本量估算需考慮滿(mǎn)足所有單項(xiàng)指標(biāo)的假設(shè)檢驗(yàn)的樣本量需求。例如: 采用單組目標(biāo)值法，假設(shè)軟件的敏感性為 95%，臨床認(rèn)可的目標(biāo)值為 90%，則在雙側(cè)顯
著性水平 0.05、把握度 80%，至少需 231 例陽(yáng)性病例。假設(shè)軟件的特異性為 85%，臨床認(rèn)可的目標(biāo)值為 80%，則在雙側(cè)顯著性水平 0.05、把握度 80%，至少需 466 例陰性病例。在此基礎(chǔ)上考慮 5%-10%脫落率確定最終樣本量。
7.其他
臨床試驗(yàn)資料需明確以下信息:
7.1 病例基線(xiàn)情況統(tǒng)計(jì)學(xué)描述，包括年齡、性別、流行病學(xué)特征、病例數(shù)(陽(yáng)性病例數(shù)、陰性病例數(shù) )、疾病分型、影像學(xué)分期等。
7.2 CT 影像采集情況統(tǒng)計(jì)學(xué)描述，包括數(shù)據(jù)來(lái)源機(jī)構(gòu)CT 設(shè)備廠(chǎng)商及型號(hào)規(guī)格、CT 設(shè)備掃描參數(shù)(如排數(shù)、層數(shù)、層厚、管電壓、管電流、加載時(shí)間) 等。
( 五) 產(chǎn)品說(shuō)明書(shū)和標(biāo)簽樣稿
說(shuō)明書(shū)、標(biāo)簽和包裝標(biāo)識(shí)需符合《醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定》(國(guó)家食品藥品監(jiān)督管理總局令第6號(hào) ) 和《醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則》 (2022年修訂版) (2022年第9號(hào) )、《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則》 (2022年修訂版) (2022年第7號(hào) ) 、《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》 ( 2022年第8號(hào) ) 和相關(guān)標(biāo)準(zhǔn)的規(guī)定。
說(shuō)明書(shū)內(nèi)容需重點(diǎn)關(guān)注:
1.用戶(hù)說(shuō)明
對(duì)預(yù)期用戶(hù)和推薦用戶(hù)培訓(xùn)的詳細(xì)說(shuō)明。如，預(yù)期用戶(hù)工作年限或執(zhí)業(yè)資格要求，且需經(jīng)培訓(xùn)合格。
2.人使用限制若產(chǎn)品采用人工智能黑盒算法，需根據(jù)算法影響因素分析報(bào)告，在說(shuō)明書(shū)中明確產(chǎn)品使用限制和必要警示提示信息。
示例: 不應(yīng)僅僅依靠本器械所標(biāo)識(shí)的輸出，應(yīng)由專(zhuān)業(yè)醫(yī)師對(duì)結(jié)果進(jìn)行解釋。
已發(fā)現(xiàn)該器械對(duì)于XX的受檢者無(wú)效。具有這種疾病/病癥/異常的受檢者不應(yīng)使用該器械。
對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)與臨床試驗(yàn)的算法性能評(píng)估結(jié)果不佳，數(shù)據(jù)量偏少的，此類(lèi)受檢者使用該器械，應(yīng)由專(zhuān)業(yè)醫(yī)師結(jié)合受檢者的病史、癥狀、體征、其他檢查結(jié)果情況綜合給出最終結(jié)論，核實(shí)是否需要進(jìn)行一步診療的決策，并對(duì)臨床診斷結(jié)果負(fù)責(zé)。
3.注意事項(xiàng)
CT影像人工智能軟件的分析結(jié)果僅供醫(yī)生參考。醫(yī)生必須對(duì)軟件結(jié)果進(jìn)行確認(rèn)，軟件只用于輔助檢測(cè)等，不能替代醫(yī)生進(jìn)行診斷。原始的分析結(jié)果應(yīng)保留，確保軟件結(jié)果的可追溯性與可責(zé)性。
CT影像質(zhì)量要求，如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問(wèn)題的CT影像慎用; 圖像序列未完整包含目標(biāo)對(duì)象全部組織的圖像數(shù)據(jù)禁用。
數(shù)據(jù)/圖像的標(biāo)注要求符合YY/T 1833.3-2022《人工智能醫(yī)療器械質(zhì)量要求和評(píng)價(jià) 第3部分: 數(shù)據(jù)標(biāo)注通用要求》的要求。
4.預(yù)防措施
需明確與器械使用相關(guān)的不良事件，并提供緩解措施建議。不良事件討論需至少包括對(duì)假陽(yáng)性事件和假陰性事件的不良事件的討論。
5.器械描述
需提供以下內(nèi)容:
算法設(shè)計(jì)和功能的概述，如有特殊聲明,可以特別說(shuō)明培訓(xùn)范例和培訓(xùn)或開(kāi)發(fā)數(shù)據(jù)庫(kù)的概述。
研發(fā)和調(diào)整算法中所用的受檢者數(shù)據(jù)的參考標(biāo)準(zhǔn)的描以與本器械兼容的采集技術(shù)。
-適當(dāng)顯示器械標(biāo)記的要求
-軟件輸出報(bào)告及界面數(shù)據(jù)圖示
6.軟件
需明確軟件發(fā)布版本、提供網(wǎng)絡(luò)安全說(shuō)明和使用指導(dǎo)，明確用戶(hù)訪(fǎng)問(wèn)控制機(jī)制、電子接口 (含網(wǎng)絡(luò)接口、電子數(shù)據(jù)交換接口) 及其數(shù)據(jù)類(lèi)型和技術(shù)特征、網(wǎng)絡(luò)安全特征配置、數(shù)據(jù)備份與災(zāi)難恢復(fù)、運(yùn)行環(huán)境 (含硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)環(huán)境，若適用 )、安全軟件兼容性列表(若適用 )外部軟件環(huán)境與安全軟件更新 (若適用 ) 、現(xiàn)成軟件清單( SBOM，若適用) 等要求。
7.產(chǎn)品接口和聯(lián)合使用設(shè)備
需明確對(duì)配合使用的圖像工作站、CT設(shè)備和PACS適當(dāng)顯示器械標(biāo)記的要求 ( 如適用 )。
需明確CT設(shè)備兼容(廠(chǎng)家、型號(hào) (如適用 )、層數(shù) ) 與掃描參數(shù)要求(如層厚、層間距、重建方式、管電壓、管電流、劑量 ( 常規(guī)劑量、低劑量 ) )。
8.算法訓(xùn)練總結(jié)
訓(xùn)練方法概述、開(kāi)發(fā)數(shù)據(jù)庫(kù)基本信息、訓(xùn)練指標(biāo)與結(jié)果調(diào)優(yōu)指標(biāo)及結(jié)果。
9.算法性能評(píng)估總結(jié)
算法輸入與輸出測(cè)試集基本信息
確定算法性能評(píng)估標(biāo)準(zhǔn)
確定算法性能目標(biāo)指標(biāo)
測(cè)試結(jié)果，含亞組分析結(jié)果
10.臨床試驗(yàn)總結(jié)
需包括臨床試驗(yàn)設(shè)計(jì)基本類(lèi)型、研究對(duì)象 (受試者及閱片者情況 )、評(píng)價(jià)指標(biāo)，金標(biāo)準(zhǔn)、對(duì)收集臨床信息方法的描述、統(tǒng)計(jì)方法描述、樣本量，臨床試驗(yàn)結(jié)果( 如各結(jié)節(jié)尺寸、各密度類(lèi)型結(jié)節(jié)情況等)。
11.公開(kāi)數(shù)據(jù)庫(kù)及測(cè)試結(jié)果 ( 如有 )。
12.第三方測(cè)評(píng)數(shù)據(jù)庫(kù)及測(cè)試結(jié)果 ( 如有)。
13.決策指標(biāo)定義 (或提供決策指標(biāo)定義所依據(jù)的臨床指南、專(zhuān)家共識(shí)等參考文獻(xiàn) ) 等信息。
三、編寫(xiě)單位
廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心、深圳睿心智能醫(yī)療科技有限公司、廣州柏視醫(yī)療科技有限公司
四、參考文獻(xiàn)
[1]醫(yī)療器械注冊(cè)與備案管理辦法 [Z].
[2]醫(yī)療器械說(shuō)明書(shū)和標(biāo)簽管理規(guī)定 [Z].
[3]醫(yī)療器械注冊(cè)申報(bào)資料要求和批準(zhǔn)證明文件格式[Z].
[4]醫(yī)療器械通用名稱(chēng)命名 指導(dǎo)原則 [Z].
[5]醫(yī)療器械安全和性能基本原則 [Z].
[6] 醫(yī)療器械產(chǎn)品技術(shù)要求編寫(xiě)指導(dǎo)原則 (2022 年修訂版) [Z]
[7]醫(yī)療器械軟件注冊(cè)審查指導(dǎo)原則 (2022 年修訂版 ) [Z].
[8]醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則 (2022 年修訂版) [Z].
[9]人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則 [Z]
[10]人工智能類(lèi)醫(yī)用軟件產(chǎn)品分類(lèi)界定指導(dǎo)原則 [Z].
[11] YY/T 0316 醫(yī)療器械 風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用 [S].
[12] YY/T 1833.1 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)第 1部分: 術(shù)語(yǔ) [S].
[13] YY/T 1833.2 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)第 2 部分: 數(shù)據(jù)集通用要求 [S].
[14] YY/T 1833.3 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)第 3 部分: 數(shù)據(jù)標(biāo)注通用要求 [S].
京公網(wǎng)安備11010802046783號(hào)
