心電圖人工智能軟件技術(shù)審評指導(dǎo)原則
本指導(dǎo)原則是人工智能醫(yī)學信息系統(tǒng)軟件審評指導(dǎo)體系構(gòu)建的組成部分，基于人工智能醫(yī)療器械審評指導(dǎo)原則的通用要求，細化了心電圖人工智能軟件的一般要求。
本指導(dǎo)原則是供心電圖人工智能軟件的研發(fā)、生產(chǎn)和技術(shù)審評使用的指導(dǎo)性文件，不涉及相關(guān)行政審批事項，亦不作為法規(guī)強制執(zhí)行，應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標準體系以及當前認知水平下制定的，隨著法規(guī)和標準的不斷完善，以及科學技術(shù)的 不斷發(fā)展，在使用過程中應(yīng)對相關(guān)內(nèi)容適時進行調(diào)整。
一、適用范圍
本指導(dǎo)原則適用于采用人工智能技術(shù)的心電圖人工智能軟件的產(chǎn)品注冊。按現(xiàn)行《醫(yī)療器械分類目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》，該類軟件的管理類別應(yīng)結(jié)合產(chǎn)品的預(yù)期用途、算法成熟度等因素綜合判定。
本審評指導(dǎo)原則適用于采用人工智能算法的心電圖人工智能軟件（含獨立軟件、軟件組件）的注冊申報。
該類軟件基于采集的心電數(shù)據(jù)，包括但不限于靜態(tài)心電、動態(tài)心電（包含單導(dǎo)心電）、運動心電和監(jiān)護心電等數(shù)據(jù)，采用人工智能算法進行疾病輔助分析和診斷，疾病類型包括但不限于心律失常、心肌缺血等。
本指導(dǎo)原則不包含光電容積描記（PPG）信號的產(chǎn)品。
二、注冊審查要點
（一）監(jiān)管信息
明確產(chǎn)品名稱的確定依據(jù)、管理類別、分類編碼、規(guī)格型號、產(chǎn)品組成等信息。
1.產(chǎn)品名稱
產(chǎn)品命名應(yīng)符合《醫(yī)療器械通用名稱命名規(guī)則》、《醫(yī)用軟件通用名稱命名指導(dǎo)原則》的要求。根據(jù)產(chǎn)品預(yù)期用途可采用心電圖輔助分析軟件進行命名。一般可以按“特征詞+核心詞”的方式命名，通常體現(xiàn)輸入數(shù)據(jù)（如靜態(tài)心電圖、動態(tài)心電圖、單導(dǎo)心電圖）、目標疾?。ㄈ缧穆墒С?、心肌缺血）、預(yù)期用途（如輔助決策、輔助診斷、輔助檢測、輔助分析）等特征詞，例如：心電圖輔助決策軟件、動態(tài)心電圖輔助診斷軟件、動態(tài)心電輔助分析軟件、深度學習心電圖輔助分析軟件、心電圖輔助檢測軟件。
2.分類編碼
依據(jù)《醫(yī)療器械分類目錄》和《人工智能醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》，明確類別和編碼。
3.注冊單元劃分
根據(jù)產(chǎn)品的技術(shù)原理、結(jié)構(gòu)組成、性能指標、適用范圍進行注冊單元劃分。
可以與心電圖機設(shè)備或心電信息系統(tǒng)一起作為軟件組件注冊，也可以按照獨立軟件注冊。
不同預(yù)期用途的獨立軟件作為不同注冊單元，按照預(yù)期用途可分為輔助決策類和非輔助決策類，輔助決策類用途如：心搏自動分類,心律失常自動診斷等，非輔助決策類用途如：心電參數(shù)的自動檢測，心電特征的自動分析（P波檢測）、心電信號質(zhì)量的優(yōu)化等，每類又可細分為診斷、監(jiān)護、臨床管理、個人管理等情形。
不同輸入數(shù)據(jù)類型作為不同注冊單元，如靜態(tài)心電圖、30s單導(dǎo)心電圖、動態(tài)心電圖應(yīng)作為不同注冊單元。
預(yù)期用途相同但核心算法類型不同的獨立軟件亦作為不同注冊單元，如傳統(tǒng)心電分析算法和深度學習算法。
軟件組件注冊單元與所屬醫(yī)療器械相同。專用型獨立軟件視為軟件組件的注冊單元與軟件組件相同。
4.適用范圍
適用范圍應(yīng)當明確預(yù)期用途、使用場景和核心功能，包括但不限于處理對象、目標疾病、臨床用途、適用人群、目標用戶、使用場所、采集設(shè)備要求、臨床使用限制（應(yīng)明確是否為持續(xù)學習/自適應(yīng)學習，根據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》的要求，在當前法律法規(guī)體系和技術(shù)水平條件下，持續(xù)學習/自適應(yīng)學習應(yīng)關(guān)閉自學習功能，或者雖然開放自學習功能但不得投入使用，即用戶始終使用產(chǎn)品原有功能，自學習功能僅用于算法訓練或醫(yī)學科研。）。
例如，本產(chǎn)品自動分析功能僅用于成人心律失常、心肌梗塞和ST-T異常分析，分析結(jié)果僅供為診斷參考，供經(jīng)培訓合格的醫(yī)師使用，不能單獨用作臨床診療決策依據(jù)。本產(chǎn)品不適用于電解質(zhì)紊亂、藥物以及肺栓塞、瓣膜病等情況下的心電圖數(shù)據(jù)分析。
（二）綜述資料
1. 產(chǎn)品描述
1.1器械及操作原理描述
1.1.1工作原理
需詳述產(chǎn)品的工作原理，例如：基于人工智能技術(shù)對心電圖特征進行分析處理、對心律失常、心肌梗塞和ST-T異常自動識別等。對于軟件安全性級別為中等、嚴重級別的產(chǎn)品，全新類型在軟件研究資料中以算法為單位，提交每個人工智能算法或算法組合的算法研究報告；成熟類型在軟件研究資料中明確算法基本信息即可，無需提供算法研究資料。
產(chǎn)品的工作原理舉例如下：
明確算法的輸入與算法的輸出：
1) 明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如LCNN、CNN、ResNet，Dense-Net等；
2) 明確算法訓練采用的損失函數(shù)，如交叉熵，F(xiàn)ocal損失函數(shù)；損失函數(shù)等核心組件選擇和設(shè)計的原則、方法與風險考量，如不同類別樣本的不均衡性、過擬合等；若算法采用多個模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如多數(shù)投票；
3) 明確算法的流程圖，訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環(huán)境（如內(nèi)存、顯存的需求）。
4) 若使用遷移學習技術(shù)，除上述內(nèi)容外還需補充預(yù)訓練模型的數(shù)據(jù)集構(gòu)建、算法測試等總結(jié)信息，并明確算法選用依據(jù)。
1.1.2結(jié)構(gòu)組成
結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊，心電圖人工智能軟件包括獨立軟件和軟件組件。
心電圖輔助診斷分析獨立軟件無需運行在心電圖機（硬件）上。它基于通用、專用的數(shù)據(jù)接口接收心電圖信號，分析并顯示在其運行的計算機平臺，交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件，功能模塊包括客戶端、服務(wù)器端（若適用）、云端（若適用），若適用注明選裝、模塊版本?；谌斯ぶ悄芩惴ǖ墓δ苣K，需在功能模塊名稱中注明人工智能算法核心算法名稱，如人工智能（如深度學習）等。
心電圖人工智能軟件組件運行在心電產(chǎn)品硬件上。它基于通用、專用的數(shù)據(jù)接口接收心電圖信號，分析并顯示在其運行的硬件上。心電圖診斷分析軟件組件通常無需在注冊證載明信息中體現(xiàn)。其軟件功能名稱可參照人工智能獨立軟件通用名稱要求。若有輔助決策類軟件功能，結(jié)構(gòu)組成（若適用）和適用范圍需予以體現(xiàn)。
1.2 型號規(guī)格
需明確申報產(chǎn)品的型號規(guī)格及發(fā)布版本。產(chǎn)品型號/規(guī)格及其劃分，如同一個注冊單元包含多個型號規(guī)格，需提供產(chǎn)品型號規(guī)格區(qū)分列表或配置表。
1.3研發(fā)歷程
闡述申請注冊產(chǎn)品的研發(fā)背景和目的。如有參考的同類產(chǎn)品（如使用傳統(tǒng)技術(shù)的心電圖自動分析診斷設(shè)備/軟件）或前代產(chǎn)品，需提供同類產(chǎn)品或前代產(chǎn)品的信息，并說明選擇其作為研發(fā)參考的原因，說明與傳統(tǒng)心電分析診斷軟件的區(qū)別。
2.適用范圍和禁忌證
（1）適用范圍
適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途、禁忌癥等。
例如，本產(chǎn)品自動分析功能僅用于成人心律失常、心肌梗塞、心室肥大和ST-T異常分析，分析結(jié)果僅供為診斷參考，供經(jīng)培訓合格的醫(yī)師使用，不能單獨用作臨床診療決策依據(jù)。本產(chǎn)品不適用于電解質(zhì)紊亂、藥物以及肺栓塞、瓣膜病等情況下的心電圖數(shù)據(jù)分析。
（2）預(yù)期使用環(huán)境
需明確設(shè)備使用環(huán)境要求。包括：醫(yī)療機構(gòu)機房等，非醫(yī)療機構(gòu)，如家庭、公共場所等。
（3）適用人群
需詳述產(chǎn)品的適用人群。目標人群信息（如用于成人、小兒或新生兒）以及預(yù)期使用該產(chǎn)品的目標用戶（如經(jīng)培訓合格的心電圖室醫(yī)師、心內(nèi)科醫(yī)師、技師、?？漆t(yī)師、經(jīng)專業(yè)培訓的個人等）
（4）禁忌證
明確產(chǎn)品臨床應(yīng)用的禁忌證以及不推薦使用該產(chǎn)品的情況。
3.產(chǎn)品功能
明確心電圖人工智能軟件能夠支持的硬件設(shè)備或能夠分析的心電數(shù)據(jù)格式，描述產(chǎn)品的功能模塊組成以及這些模塊的主要功能（如診斷數(shù)據(jù)類型、算法分析效率，診斷疾病基本種類等）描述，明確軟件工作的環(huán)境，包括但不局限于服務(wù)器部署（局域網(wǎng)、云端）等。
（三）非臨床資料
1.產(chǎn)品風險管理資料
依據(jù)YY/T 0316《醫(yī)療器械風險管理對醫(yī)療器械的應(yīng)用》，提供產(chǎn)品風險管理報告。
申請人需重點說明：申報產(chǎn)品的研制階段已對有關(guān)可能的危害及產(chǎn)生的風險進行了估計和評價，針對性地實施了降低風險的技術(shù)和管理方面的措施。產(chǎn)品性能測試對上述措施的有效性進行了驗證，達到了通用和專用標準的要求。申請人對所有剩余風險進行了評價，全部達到可接受的水平。產(chǎn)品風險分析資料需為申請人關(guān)于產(chǎn)品安全性的承諾提供支持。
風險管理報告一般包括以下內(nèi)容：
（1）申報產(chǎn)品的風險管理組織。
（2）申報產(chǎn)品的組成。
（3）申報產(chǎn)品符合的安全標準。
（4）申報產(chǎn)品的預(yù)期用途，與安全性有關(guān)的特征的判定。
（5）對申報產(chǎn)品的可能危害作出判定（見附錄1）。
（6）對所判定的危害采取的降低風險的控制措施。
（7）對采取控制措施后的剩余風險進行估計和評價。
2.產(chǎn)品技術(shù)要求及檢測報告
2.1產(chǎn)品技術(shù)要求
依據(jù)《醫(yī)療器械產(chǎn)品技術(shù)要求編寫指導(dǎo)原則》以及《醫(yī)療器械軟件注冊審查指導(dǎo)原則（2022年修訂版）》附錄“獨立軟件產(chǎn)品技術(shù)要求模板”進行編制。
2.1.1型號規(guī)格及軟件版本
明確不同型號間產(chǎn)品差異。
明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅(qū)動型更新和數(shù)據(jù)驅(qū)動型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。軟件版本命名規(guī)則的基本要求詳見《醫(yī)療器械軟件注冊審查指導(dǎo)原則（2022年修訂版）》。
2.1.2性能指標
性能模板見附錄3。
運行環(huán)境，運行在不同計算機系統(tǒng)的產(chǎn)品模塊（如客戶端和云端）需分別描述其運行環(huán)境。
2.2檢測報告
檢測單元是指同一注冊單元內(nèi)用于檢測的代表產(chǎn)品。
（1）獨立軟件
獨立軟件檢測單元原則上與注冊單元相同，但若有多個運行環(huán)境或多個發(fā)布版本，則每個互不兼容的運行環(huán)境（含云計算）或每個互不涵蓋的發(fā)布版本均需作為一個檢測單元。
若軟件核心功能相同但核心算法類型不同，則每類核心算法所對應(yīng)的核心功能均需檢測（檢測對象為核心功能而非核心算法）。
（2）軟件組件
軟件組件檢測單元原則上與所屬醫(yī)療器械相同，但醫(yī)療器械若包含多個軟件組件或多個發(fā)布版本的軟件組件，則每個軟件組件或每個發(fā)布版本的軟件組件均需作為一個檢測單元，除非檢測單元能夠完整覆蓋注冊單元全部情況。同理，若軟件核心功能相同但核心算法類型不同，則每類核心算法所對應(yīng)的核心功能均需檢測。
專用型獨立軟件視為軟件組件的檢測單元原則上與軟件組件相同，但若有多個運行環(huán)境，則每個互不兼容的運行環(huán)境（含云計算）均需作為一個檢測單元。
3.軟件研究
（1）基本要求
注冊申請人需依據(jù)《醫(yī)療器械軟件注冊審查指導(dǎo)原則（2022年修訂版）》提交自研軟件研究報告。其中，人工智能算法需依據(jù) 《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》第六章的要求提交算法研究報告。
注冊申請人需依據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則（2022年修訂版）》提交自研軟件網(wǎng)絡(luò)安全研究報告。按照《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》提交數(shù)據(jù)安全資料。也可關(guān)注課題《人工智能醫(yī)學軟件產(chǎn)品網(wǎng)絡(luò)安全指導(dǎo)原則》的相關(guān)要求。
若使用云計算服務(wù)，生產(chǎn)企業(yè)需依據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》、《移動醫(yī)療器械注冊技術(shù)審查指導(dǎo)原則》提交相應(yīng)研究資料。使用云計算服務(wù)需明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù)（質(zhì)量）協(xié)議等要求。
注冊申請人需在軟件研究資料中提交GB/T 25000.51自測報告或委托有資質(zhì)的醫(yī)療器械檢驗機構(gòu)出具檢驗報告。檢測報告需明確軟件發(fā)布版本信息。
（2）軟件安全級別
該類產(chǎn)品的軟件安全性級別為中等或嚴重。
（3）核心算法
列明軟件核心功能的名稱、所用核心算法、預(yù)期用途并注明類型，全新的核心功能、核心算法、預(yù)期用途均需提供安全有效性研究資料。
表1.核心算法示例
|
算法名稱 |
類型 |
用途 |
功能 |
|
基于深度卷積神經(jīng)網(wǎng)絡(luò)的心搏分類算法 |
成熟算法/全新算法 |
心搏分類 |
心搏類型輔助分析 |
|
基于目標檢測的心搏檢測及定位算法 |
成熟算法/全新算法 |
心搏檢測及分類 |
識別心搏位置并判斷心搏類型 |
|
端到端的心電自動診斷算法 |
成熟算法/全新算法 |
心電診斷分析 |
輔助心電圖診斷 |
|
…… |
|
|
|
4.算法研究資料
4.1算法基本信息
明確算法的名稱、類型、結(jié)構(gòu)、輸入輸出、流程圖、算法框架、運行環(huán)境等基本信息以及算法選用依據(jù)。
需描述算法每個階段（如心搏分類等）的設(shè)計和功能，通過文獻論述算法類型（成熟及全新）。
其中，算法類型從學習策略、學習方法、可解釋性等角度明確算法特性。成熟是指安全有效性已在醫(yī)療實踐中得到充分證實的情形，全新是指未上市或安全有效性尚未在醫(yī)療實踐中得到充分證實的情形。算法結(jié)構(gòu)明確算法的層數(shù)、參數(shù)規(guī)模等超參數(shù)信息。算法框架明確所用人工智能算法框架的基本信息，包括名稱（如Tensorflow, Pytorch等）、類型（自研算法框架、現(xiàn)成算法框架）、型號規(guī)格、完整版本、制造商等信息；若基于云計算平臺，明確云計算的名稱、服務(wù)模式、部署模式、配置以及云服務(wù)商的名稱、住所、服務(wù)資質(zhì)。運行環(huán)境明確算法正常運行所需的典型運行環(huán)境，包括硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)條件；若使用人工智能芯片需明確其名稱、型號規(guī)格、制造商、性能指標等信息。算法選用依據(jù)詳述人工智能算法或算法組合選用的理由和基本原則。
4.2算法需求規(guī)范
算法功能需求建議關(guān)注數(shù)據(jù)庫需求、算法性能評價指標及制定依據(jù)、性能的擬定目標及制定依據(jù)。
4.2.1數(shù)據(jù)庫需求
算法性能評價需要基于訓練和測試數(shù)據(jù)庫，數(shù)據(jù)庫具體要求詳見附錄2。
4.2.2算法性能評價指標
明確算法任務(wù)，明確算法訓練和調(diào)優(yōu)過程中不同任務(wù)的評估指標及定義。明確不同任務(wù)的算法評價指標的定義、計算公式及確定依據(jù)，如2020室性心律失常中國專家共識、等。
心律失常指標包括不限于靈敏度、特異度、陽性預(yù)測率、F1分數(shù)、準確率。
提供文獻綜述論證評價指標選擇的合理性。
4.2.3算法性能測試基本要求
基于算法流程圖評價每個器械操作點的基于病例、基于心搏分類、基于房顫分類的性能指標，需包括訓練集、調(diào)優(yōu)集、測試集的算法性能測試結(jié)果，需明確測試方法。所有性能指標均需具有相關(guān)置信區(qū)間，需提供關(guān)于估計置信區(qū)間以及與其相關(guān)的臨床顯著性的方法學描述，需提供FROC曲線圖及FROC置信區(qū)間（如適用）。
4.2.3.1心搏分類
須給出心搏各類別的靈敏度、特異度、陽性預(yù)測率、F1分數(shù)、準確率。其中：靈敏度=真陽性心搏數(shù)/(真陽性心搏數(shù)+假陰性心搏數(shù))*100%；特異度=真陰性心搏數(shù)/(真陰性心搏數(shù)+假陽性心搏數(shù))*100%；陽性預(yù)測率=真陽性心搏數(shù)/(真陽性心搏數(shù)+假陽性心搏數(shù))*100%；F1分數(shù)=(2*真陽性心搏數(shù))/ (2*真陽性心搏數(shù)+假陰性心搏數(shù)+假陽性心搏數(shù)) *100%；準確率=(真陽性心搏數(shù)+真陰性心搏數(shù))/(真陽性心搏數(shù)+假陽性心搏數(shù)+真陰性心搏數(shù)+假陰性心搏數(shù)) *100%
4.2.3.2 心律失常：
須給出心律失常檢測的靈敏度、特異度、陽性預(yù)測率、F1分數(shù)、準確率。其中：靈敏度=真陽性人數(shù)/(真陽性人數(shù)+假陰性人數(shù))*100%；特異度=真陰性人數(shù)/(真陰性人數(shù)+假陽性人數(shù))*100%；陽性預(yù)測率=真陽性人數(shù)/(真陽性人數(shù)+假陽性人數(shù))*100%；F1分數(shù)=(2*真陽性人數(shù))/ (2*真陽性人數(shù)+假陰性人數(shù)+假陽性人數(shù)) *100%；準確率=(真陽性人數(shù)+真陰性人數(shù))/(真陽性人數(shù)+假陽性人數(shù)+真陰性人數(shù)+假陰性人數(shù)) *100%。
算法測試需符合YY 0782-2010（GB 9706.225-2021）、YY 0885-2013（YY 9706.247-2021）、《IEC 60601-2-47-2012》等要求。
4.2.4樣本量
明確樣本量估計的公式、參數(shù)及制定依據(jù)。研究樣本應(yīng)足夠大，以使聲稱的性能具有統(tǒng)計學顯著性。
4.2.5測試方法
需明確測試方法及制定依據(jù)。
4.3數(shù)據(jù)質(zhì)控
建議參考《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》及YY/T 1833.2-2022 《人工智能醫(yī)療器械質(zhì)量要求和評價 第2部分：數(shù)據(jù)集通用要求》。
4.3.1明確數(shù)據(jù)庫信息
需提供數(shù)據(jù)采集協(xié)議，需要考慮明確偏倚控制的方法，如通過各亞組設(shè)置進行偏移控制，不應(yīng)為提高算法結(jié)果刻意篩選數(shù)據(jù)。
明確數(shù)據(jù)庫信息（詳見附錄2）
4.3.2數(shù)據(jù)整理
明確數(shù)據(jù)轉(zhuǎn)移保存的方法。明確數(shù)據(jù)納入排除標準（例如數(shù)據(jù)是否滿足導(dǎo)聯(lián)類型、時長、采集精度、濾波器帶寬要求），以及進行數(shù)據(jù)篩選的方法（人工清洗、自動清洗），提供數(shù)據(jù)整理軟件工具的研究資料。
提供數(shù)據(jù)清洗流程圖，明確清洗規(guī)則，例如確定數(shù)據(jù)合規(guī)性、心電數(shù)據(jù)唯一性等信息滿足要求、連續(xù)性、完整性、已完成脫敏等并加以篩選。清洗結(jié)果明確棄用數(shù)據(jù)的數(shù)量和原因。明確預(yù)處理的操作步驟和內(nèi)容。
4.3.3數(shù)據(jù)標注
數(shù)據(jù)標注建議參考YY/T 1833.3-2022 《人工智能醫(yī)療器械質(zhì)量要求和評價 第3部分：數(shù)據(jù)標注通用要求》。YY/T 1833.3附錄A.1給出了可穿戴心電的標注任務(wù)描述示例。
需明確標注任務(wù)分類（包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標注結(jié)果格式、標注結(jié)果性質(zhì)、標注結(jié)果形式等維度），提供標注任務(wù)描述文檔（標準規(guī)則、標注人員、標注工具、標注環(huán)境、數(shù)據(jù)）。其中標注規(guī)則需明確制定依據(jù)并提供參考文獻。標注人員建議列表給出標注、審核、仲裁人員的基本信息，如數(shù)量、醫(yī)療機構(gòu)、科室、工作年限、職稱、培訓、工作量、標注任務(wù)。
標注與質(zhì)控流程建議提供業(yè)務(wù)架構(gòu)、過程組織（任務(wù)生成、任務(wù)分配、任務(wù)實施、質(zhì)量控制、驗收準則及驗收報告。其中業(yè)務(wù)架構(gòu)宜采用流程圖介紹標注、審核、仲裁過程。
如標注工具、標注平臺使用人工智能算法進行輔助標注，需提交標注工具、標注平臺算法性能研究資料。
4.3.4數(shù)據(jù)集構(gòu)建
依據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》指南明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。
提供查重驗證結(jié)果，以證實訓練集、調(diào)優(yōu)集、測試集的樣本兩兩無交集。
明確數(shù)據(jù)擴增需明確擴增的對象、范圍、方式（離線、在線）、方法（心電擴增可以做頻域差值、重采樣、疊加噪聲、濾波等等）、倍數(shù)、在線數(shù)據(jù)擴增記錄。
提供擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫樣本量、樣本分布（注明擴增倍數(shù)）對比表，以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。
如果采用生成對抗網(wǎng)絡(luò)進行數(shù)據(jù)擴增，應(yīng)提供生成對抗網(wǎng)絡(luò)的算法基本信息以及算法選用依據(jù)資料。
4.4算法訓練
算法訓練需明確訓練過程所采用的優(yōu)化器及其相關(guān)參數(shù)；在算法訓練階段，需明確驗證集的劃分方式，如留出法，交叉驗證法； 需明確訓練目標，即判斷何時停止訓練。當訓練停止后，明確訓練模型最佳epoch的選擇方法；在交叉驗證法中，計算多次隨機劃分驗證集的評價指標平均值，選擇最優(yōu)的epoch。同時，結(jié)合臨床需求（如靈敏度、精準度），明確算法出廠閾值的選擇與方法，并論證訓練所得模型是否滿足產(chǎn)品既定目標。算法出廠閾值的選擇需提供制定依據(jù)。
算法訓練階段需結(jié)合訓練數(shù)據(jù)量-評估指標曲線驗證算法訓練數(shù)據(jù)量的充分性。對于不同的訓練數(shù)據(jù)量，計算對應(yīng)的評價指標。結(jié)合訓練數(shù)據(jù)量-評估指標曲線，判斷當訓練數(shù)據(jù)量有限時，評價指標是否隨數(shù)據(jù)量的增加而增加，并在數(shù)據(jù)量達到一定程度后，評價指標趨于平穩(wěn)。
若訓練過程中采用了數(shù)據(jù)擴增的方式，需明確擴增方式，如離線數(shù)據(jù)擴增，在線數(shù)據(jù)擴增。同時，需明確數(shù)據(jù)擴增的方法以及相應(yīng)的參數(shù)設(shè)置。若訓練過程未采用數(shù)據(jù)擴增，需說明不適用于數(shù)據(jù)擴增。
4.5算法驗證與確認
明確臨床醫(yī)師操作點、不同算法任務(wù)的算法評價指標的閾值及確定依據(jù)。明確算法標記目標與參考標準的匹配方式和匹配閾值。
明確病例陽性的方法。需要明確陽性以及陰性病例的定義。
4.5.1算法性能評估
基于算法的出廠閾值，明確算法在訓練集，調(diào)優(yōu)集和測試集的假陰性（召回率）與假陽性（精確度），通過比較三個數(shù)據(jù)集的性能來評估算法的泛化性。
若在訓練過程中使用數(shù)據(jù)擴增，需在調(diào)優(yōu)集上比較使用與不使用數(shù)據(jù)擴增對心搏檢出性能的影響。
需提供算法性能測試報告，至少包括軟件環(huán)境、硬件環(huán)境、測試平臺描述（如適用）、測試集描述、算法性能指標的符合性分析（性能指標的定義、測試通過準則、統(tǒng)計分析）、算法錯誤統(tǒng)計。需包括算法性能及算法質(zhì)量特性、隨訪功能測試結(jié)果。
4.6算法性能綜合分析
結(jié)合算法訓練、算法性能評估、臨床評價等結(jié)果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設(shè)計目標、算法性能變異度過大等情況，對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制。
需對算法測試產(chǎn)生的錯誤結(jié)果進行分析，評估算法在檢出、分類等任務(wù)中出現(xiàn)的假陽性、假陰性結(jié)果的含義與危險程度，形成定量報告。
5.用戶培訓方案
對于軟件安全性級別為嚴重級別的產(chǎn)品，原則上需單獨提供一份用戶培訓方案，包括用戶培訓的計劃、材料、方式、師資等。
用戶培訓需關(guān)注以下內(nèi)容：預(yù)期用戶要求，如工作年限或執(zhí)業(yè)資格；醫(yī)生必須對軟件結(jié)果進行確認，軟件只用于輔助診斷，不能替代醫(yī)生。心電數(shù)據(jù)要求，如：采集方式（單導(dǎo)，標準十二導(dǎo)）、采集參數(shù)（如：采集時間）、采集精度（如：分辨率、采樣率）等要求。
（四）臨床評價
臨床評價應(yīng)基于核心功能或核心算法，結(jié)合產(chǎn)品的預(yù)期用途和成熟度予以綜合考慮。
同品種醫(yī)療器械臨床評價要求見附錄4。
臨床試驗要求見附錄5。
（五）產(chǎn)品說明書和標簽樣稿
說明書、標簽和包裝標識需符合《醫(yī)療器械說明書和標簽管理規(guī)定》和《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則（2022年修訂版）》、《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則（2022年修訂版）》、《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》和相關(guān)標準的規(guī)定。
說明書內(nèi)容需重點關(guān)注：
1.用戶說明
對預(yù)期用戶和推薦用戶培訓的詳細說明。如，預(yù)期用戶工作年限或執(zhí)業(yè)資格要求，且需經(jīng)培訓合格。
2.使用限制
若產(chǎn)品采用人工智能黑盒算法，需根據(jù)算法影響因素分析報告，在說明書中明確產(chǎn)品使用限制和必要警示提示信息。
示例：不應(yīng)僅僅依靠本器械所標識的輸出，應(yīng)由專業(yè)醫(yī)師對結(jié)果進行解釋。
已發(fā)現(xiàn)該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應(yīng)使用該器械。
對訓練數(shù)據(jù)、測試數(shù)據(jù)與臨床試驗的算法性能評估結(jié)果不佳，數(shù)據(jù)量偏少的，此類受檢者使用該器械，應(yīng)由專業(yè)醫(yī)師結(jié)合受檢者的病史、癥狀、體征、其他檢查結(jié)果情況綜合給出最終的結(jié)論，核實是否需要進行一步診療的決策，并對臨床診斷結(jié)果負責。
3.注意事項
測量準確性、測量功能警示信息。
醫(yī)生必須對軟件結(jié)果進行確認，軟件只用于輔助診斷分析，不能替代醫(yī)生。原始的AI結(jié)果應(yīng)保留，確保軟件結(jié)果的可追溯性與可責性。
4.預(yù)防措施
需明確與器械使用相關(guān)的不良事件，并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。
5.器械描述
需提供以下內(nèi)容：
-算法設(shè)計和功能的概述，如有特殊聲明，可以特別說明。
-培訓范例和培訓或開發(fā)數(shù)據(jù)庫的概述
-研發(fā)和調(diào)整算法中所用的受檢者數(shù)據(jù)的參考標準的描述
-與本器械兼容的采集技術(shù)
-適當顯示器械標記的要求
-軟件輸出報告及界面數(shù)據(jù)圖示
6.軟件
需明確軟件發(fā)布版本、提供網(wǎng)絡(luò)安全說明和使用指導(dǎo)，明確用戶訪問控制機制、電子接口（含網(wǎng)絡(luò)接口、電子數(shù)據(jù)交換接口）及其數(shù)據(jù)類型和技術(shù)特征、網(wǎng)絡(luò)安全特征配置、數(shù)據(jù)備份與災(zāi)難恢復(fù)、運行環(huán)境（含硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)環(huán)境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環(huán)境與安全軟件更新（若適用）、現(xiàn)成軟件清單（SBOM，若適用）等要求。
7.產(chǎn)品接口和聯(lián)合使用設(shè)備
需明確對配合使用的心電圖機或心電數(shù)據(jù)格式的要求。
需明確兼容性心電圖數(shù)據(jù)格式要求（如導(dǎo)聯(lián)、采樣時間、采樣精度等）。
8.算法訓練總結(jié)
訓練集基本信息、訓練指標與結(jié)果
9.算法性能評估總結(jié)
-算法輸入與輸出
-測試集基本信息
-診斷類型結(jié)論總體敏感性、特異性指標
-使用標準數(shù)據(jù)庫、自建數(shù)據(jù)庫測試結(jié)果
10.臨床評價/臨床試驗總結(jié)
如采用臨床試驗路徑，需包括臨床試驗設(shè)計基本類型、研究對象、評價指標，金標準、對收集臨床信息方法的描述、統(tǒng)計方法描述、樣本量，臨床試驗結(jié)果。
11.公開數(shù)據(jù)庫及測試結(jié)果（如有）
12.第三方測評數(shù)據(jù)庫及測試結(jié)果（如有）
13.決策指標定義（或提供決策指標定義所依據(jù)的臨床指南、專家共識等參考文獻）等信息。
（六）質(zhì)量管理體系
除了符合質(zhì)量管理體系法規(guī)及相關(guān)規(guī)范要求外，還應(yīng)關(guān)注課題《人工智能醫(yī)學軟件產(chǎn)品現(xiàn)場檢查指導(dǎo)原則》的相關(guān)要求。
三、編寫單位
廣東省藥品監(jiān)督管理局審評認證中心、深圳市理邦精密儀器股份有限公司、上海樂普云智科技股份有限公司、深圳邁瑞生物醫(yī)療電子股份有限公司
四、參考文獻
[1] 醫(yī)療器械監(jiān)督管理條例[Z].
[2] 醫(yī)療器械注冊與備案管理辦法[Z].
[3]醫(yī)療器械說明書和標簽管理規(guī)定[Z].
[4]醫(yī)療器械注冊申報資料要求和批準證明文件格式[Z].
[5]醫(yī)療器械通用名稱命名指導(dǎo)原則[Z].
[6]醫(yī)用軟件通用名稱命名指導(dǎo)原則[Z].
[7]醫(yī)療器械安全和性能基本原則[Z].
[8]醫(yī)療器械產(chǎn)品技術(shù)要求編寫指導(dǎo)原則[Z].
[9]醫(yī)療器械軟件注冊審查指導(dǎo)原則（2022年修訂版）[Z].
[10] 醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則（2022年修訂版）[Z].
[11]移動醫(yī)療器械注冊技術(shù)審查指導(dǎo)原則[Z].
[12]深度學習輔助決策醫(yī)療器械軟件審評要點[Z].
[13]人工智能醫(yī)療器械注冊審查指導(dǎo)原則[Z].
[14]醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件[Z].
[15]人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則[Z].
[16]人工智能輔助診斷技術(shù)管理規(guī)范[Z].
[17]人工智能輔助治療技術(shù)管理規(guī)范[Z].
[18]YY/T 0287, 醫(yī)療器械 質(zhì)量管理體系 用于法規(guī)的要求[S] .
[19] YY/T 0316, 醫(yī)療器械 風險管理對醫(yī)療器械的應(yīng)用[S] .
[20] YY/T 0664,醫(yī)療器械軟件 軟件生存周期過程[S]
[21] YY/T 1406.1,醫(yī)療器械軟件 第1部分：YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南[S] .
[22]GB/T 25000.10,系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求與評價（SQuaRE）系統(tǒng)與軟件質(zhì)量模型[S] .
[23]GB/T 39725,信息安全技術(shù) 健康醫(yī)療數(shù)據(jù)安全指南 [S] .
[24]YY/T 1833.1,人工智能醫(yī)療器械 質(zhì)量要求和評價 第1部分：術(shù)語 [S] .
[25] YY/T 1833.2,人工智能醫(yī)療器械 質(zhì)量要求和評價 第2部分：數(shù)據(jù)集通用要求 [S] .
[26]YY/T 1833.3,人工智能醫(yī)療器械 質(zhì)量要求和評價 第3部分：數(shù)據(jù)標注通用要求 [S] .
[27] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft
[28] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan
[29] 人工智能醫(yī)療器械創(chuàng)新合作平臺. www.aimd.org.cn
[30] IMDRF AIMD. ww.imdrf.org/workitems/wi-aimd.asp
[31] ITU&WHO AI4H. www.itu.int/go/fgai4h
附錄：
1.風險管理文檔
2.數(shù)據(jù)庫（集）
3.人工智能心電分析軟件性能指標示例
4.臨床評價要求
5.臨床試驗要求
附錄1 風險管理文檔
風險管理文檔
下表所列為常見可預(yù)見事件及事件序列／可能的損害示例，需關(guān)注：
|
危害類型 |
可預(yù)見事件及事件序列 |
可能的損害 |
|
信息危害 |
算法對心電圖測量結(jié)果存在錯誤 |
導(dǎo)致用戶對疾病的主觀判斷產(chǎn)生誤導(dǎo) |
|
算法對心臟疾病診斷結(jié)果存在假陽性 |
導(dǎo)致用戶對疾病的主觀判斷產(chǎn)生過度診斷 |
|
算法對心臟疾病診斷結(jié)果存在假陰性現(xiàn)象 |
導(dǎo)致用戶對疾病的主觀判斷產(chǎn)生延誤診斷 |
|
未按規(guī)定編制產(chǎn)品說明書，使用說明不明確 |
導(dǎo)致軟件無法正常使用并對用戶造成不便 |
|
無法正常顯示心電圖波形，波形增益、速度存在偏差 |
導(dǎo)致軟件無法正常使用并對用戶對疾病的判斷產(chǎn)生誤導(dǎo) |
|
數(shù)據(jù)信息丟失或損壞 |
延誤治療 |
|
軟件不兼容導(dǎo)致產(chǎn)品無法正常運行 |
對用戶造成不便 |
|
AI模型失效導(dǎo)致無法進行心電圖識別 |
對用戶造成不便 |
|
無法正常顯示心電波形或結(jié)論 |
導(dǎo)致軟件無法正常使用并對用戶造成不便 |
|
服務(wù)器和客戶端之間無法正常傳輸數(shù)據(jù) |
導(dǎo)致軟件無法正常使用并對用戶造成不便 |
|
濾波器設(shè)置不當導(dǎo)致波形顯示失真 |
導(dǎo)致用戶對疾病的主觀判斷產(chǎn)生誤導(dǎo) |
|
操作危害 |
算法無法對接收到的心電數(shù)據(jù)進行處理分析 |
導(dǎo)致軟件無法正常使用并對用戶造成不便 |
|
界面定義存在歧義、客戶理解偏差 |
導(dǎo)致誤操作 |
|
無法與相關(guān)設(shè)備或系統(tǒng)進行通訊連接 |
導(dǎo)致軟件無法正常使用并對用戶造成不便 |
|
菜單設(shè)置不實用 |
導(dǎo)致誤操作 |
|
算法被未經(jīng)培訓的用戶、使用不熟練的用戶、或非專業(yè)用戶使用并完成主觀診斷 |
導(dǎo)致心臟疾病的過度診斷或延誤診斷 |
|
缺少算法準確計算相關(guān)的病人信息輸入，導(dǎo)致算法診斷結(jié)果不準確 |
導(dǎo)致用戶對疾病的主觀判斷產(chǎn)生誤導(dǎo) |
采取風險控制措施前后的風險矩陣表示例
表 采取風險控制措施前的風險分布圖
附錄2 數(shù)據(jù)庫(集)
數(shù)據(jù)庫(集)
按照產(chǎn)品開發(fā)時間順序明確使用的數(shù)據(jù)庫/集情況，需明確數(shù)據(jù)量變化原因，抽樣及合并方法及合理性。數(shù)據(jù)庫/集包括不限于基礎(chǔ)數(shù)據(jù)庫、標注數(shù)據(jù)庫、訓練集、調(diào)優(yōu)集、測試集、對抗測試集、公開數(shù)據(jù)庫，測評數(shù)據(jù)庫、臨床試驗數(shù)據(jù)庫。
每個數(shù)據(jù)庫建議提供以下信息：
-數(shù)據(jù)庫名稱及版本、類型（如外部、內(nèi)部；訓練、測調(diào)優(yōu)、測試）
-受檢者數(shù)據(jù)收集的納入和排除標準
-人口統(tǒng)計學數(shù)據(jù)（年齡、種族、人種）
-采集方式（前瞻性、回顧性）
-采集數(shù)據(jù)的方法
數(shù)據(jù)來源（體檢篩查、門診病房）
設(shè)備廠家、型號
采集參數(shù)： 采集要求應(yīng)當明確采集設(shè)備的采集方式（如：單導(dǎo)，標準十二導(dǎo)）、采集參數(shù)（如：采集時間）、采集精度（如：分辨率、采樣率）等要求。
-樣本量（正常案例數(shù)、疾病案例數(shù)、確定疾病狀態(tài)、位置、范圍的方法）
需明確總體數(shù)據(jù)范圍，并需列表對比分析各數(shù)據(jù)庫信息。
采用公開數(shù)據(jù)數(shù)據(jù)庫的需明確用途，不應(yīng)作為測評數(shù)據(jù)庫使用。
附錄3 人工智能心電分析軟件性能指標示例
人工智能心電分析軟件性能指標示例
|
序號 |
指標要求 |
考量因素及示例 |
|
1 |
功能 |
包含說明書和用戶界面的全部功能綱要。如用戶管理功能、波形回顧、心電分析功能（心率失常事件監(jiān)測、心率計算、心搏檢測功能、P波時限、QRS波時限、PR期間期、QT間期等）、心律失常種類、報告編輯及打印、后臺管理等 |
|
2 |
使用限制 |
用戶名賬號密碼的字符限制；需要專業(yè)醫(yī)生使用；應(yīng)用場景（體檢篩查、門診病房）、患者（年齡、地域、疾病類型） |
|
3 |
輸入輸出 |
輸入：明確心電數(shù)據(jù)類型，如導(dǎo)聯(lián)數(shù)目（如6導(dǎo)聯(lián)，12導(dǎo)聯(lián)，18導(dǎo)聯(lián)）、導(dǎo)聯(lián)類型（例如 wilson導(dǎo)聯(lián)體系，F(xiàn)rank導(dǎo)聯(lián)體系）、動態(tài)心電、靜態(tài)心電波形；心電圖設(shè)備或心電圖數(shù)據(jù)文件的要求，例如AD位數(shù)、采樣率、濾波器參數(shù)、增益等，DICOM ECG、SCP ECG、HL7 aECG、企業(yè)自定義格式（實例）等。 |
|
輸出結(jié)果：心搏總數(shù)、平均心率、心律失常具體類型等。 |
|
4 |
接口 |
如Dicom、TCP/IP、USB3.0版本協(xié)議等 |
|
5 |
必備軟硬件 |
如：經(jīng)過驗證的心電設(shè)備都可配合使用 |
|
6 |
運行環(huán)境 |
明確軟件運行所需的硬件、軟件和網(wǎng)絡(luò)條件，包括云端、服務(wù)器和客戶端。需要注意的是，PC端、WEB端、移動端應(yīng)分別作為一個檢測單元。不同瀏覽器IE和Chrome，不同操作系統(tǒng)Android和IOS應(yīng)分別作為一個檢測單元。 |
|
7 |
性能效率 |
在典型運行環(huán)境（序號6）下，完成心電數(shù)據(jù)分析的時間。 |
|
8 |
最大并發(fā)數(shù) |
在典型運行環(huán)境下可支持的最大并發(fā)用戶數(shù)，以及響應(yīng)時間 |
|
9 |
用戶界面 |
如圖形界面，還需明確用戶輸入類型（如文本框等） |
|
10 |
消息 |
消息類型，如提示音、錯誤等 |
|
11 |
用戶差錯防御 |
明確軟件對導(dǎo)致嚴重后果的用戶操作錯誤的防御能力 |
|
12 |
訪問控制 |
如護士、檢查醫(yī)生、診斷醫(yī)生、診斷主任、后臺管理員，明確每個角色對應(yīng)的訪問權(quán)限（序號1功能的具體模塊） |
|
13 |
版權(quán)保護 |
如加密狗、注冊碼等 |
|
14 |
可靠性 |
出錯后心電數(shù)據(jù)保存與恢復(fù)能力，明確傳輸后數(shù)據(jù)、波形的一致性和完整性。 |
|
15 |
維護性 |
日志記錄 |
|
16 |
專用要求 |
動態(tài)心電分析功能應(yīng)符合YY0885-2013第五十章的要求；心電圖符合YY0782-2010第五十章的要求。如對數(shù)據(jù)庫進行特定處理，應(yīng)在試驗方法中明確具體處理過程、檢驗要求。 |
|
17 |
網(wǎng)絡(luò)安全 |
保密性、完整性、可得性等方面的考量 |
|
18 |
測評數(shù)據(jù)庫 |
若含有基于測評數(shù)據(jù)庫測試的性能指標，需在“附錄”中明確測評數(shù)據(jù)庫的基本信息（如名稱、型號規(guī)格、完整版本、責任方、主文檔登記編號等） |
附錄4 同品種醫(yī)療器械臨床評價要求
同品種醫(yī)療器械臨床評價要求
應(yīng)按照《醫(yī)療器械臨床評價技術(shù)指導(dǎo)原則》、《醫(yī)療器械臨床評價等同性論證技術(shù)指導(dǎo)原則》、《醫(yī)療器械臨床試驗數(shù)據(jù)遞交要求注冊審查指導(dǎo)原則》以及《決策是否開展醫(yī)療器械臨床試驗》的要求提交臨床評價資料。
（一）同品種對比要求
如果采用同品種對比路徑進行臨床評價，應(yīng)按照《醫(yī)療器械臨床評價技術(shù)指導(dǎo)原則》進行同品種比對時，應(yīng)重點考慮下列因素：
1.基本原理
應(yīng)對比產(chǎn)品的工作原理。
2.性能要求
性能指標應(yīng)以“軟件功能”（不限于軟件或硬件產(chǎn)品）為單位進行對比。應(yīng)對比所有涉及到使用人工智能算法的軟件功能。
性能指標包括不限于靈敏度、特異度、陽性預(yù)測率、F1分數(shù)、準確率。AHA、MIT、NST、CU、 CTS、CSE等標準數(shù)據(jù)庫的準確性。
3.軟件核心功能
應(yīng)對比軟件產(chǎn)品中涉及到使用人工智能算法的軟件功能。如核心功能不一致，不能作為同品種。
4.適用范圍
應(yīng)對比軟件的適用人群、疾病類型。疾病類型不一致，則不能視為等同，如申報產(chǎn)品包含房顫、早搏的分析，對比產(chǎn)品僅包含房顫的分析。
5.數(shù)據(jù)來源
應(yīng)對比產(chǎn)品的心電數(shù)據(jù)來源。如來自通用設(shè)備（健康手表）采集的單導(dǎo)心電數(shù)據(jù)，與已獲批醫(yī)療器械注冊證的單導(dǎo)心電產(chǎn)品的心電數(shù)據(jù)，兩者需進行差異性評價。
（二）基本等同性判定舉例
（1）申報產(chǎn)品與對比器械具有相同的適用范圍，如：心律失常事件的類型相同。
若申報產(chǎn)品對比了多個對比醫(yī)療器械的適用范圍，在申報產(chǎn)品與多個對比器械（如A公司的房顫功能、B公司的早搏功能）具有相同適用范圍的前提下，若不同的適用范圍在申報產(chǎn)品中組合時不會相互影響，或不同適用范圍的組合分別與多個對比醫(yī)療器械相比，沒有引起不同的安全性有效性問題。
通過對申報產(chǎn)品與對比器械的適用范圍及臨床使用相關(guān)信息的比較，對二者差異進行充分識別、詳細闡述及科學評價，以做出適用范圍是否相同的判定。值得注意的是，申報產(chǎn)品與對比器械在適用范圍的差異可能引起但并非均會導(dǎo)致適用范圍的不同。
（2）申報產(chǎn)品與對比器械具有相同的適用范圍，相似的技術(shù)特征；有充分的科學證據(jù)證明申報產(chǎn)品與對比器械具有相同的安全有效性。如針對標準12導(dǎo)聯(lián)的心律失常分析，可嘗試通過臨床評價數(shù)據(jù)集進行臨床評價。臨床評價數(shù)據(jù)集同樣獨立于醫(yī)療器械生產(chǎn)廠家，與被測產(chǎn)品所用的訓練、內(nèi)部驗證數(shù)據(jù)（包含被測產(chǎn)品通過預(yù)訓練模型等方式間接使用的數(shù)據(jù)）不存在交叉。臨床評價數(shù)據(jù)集的存儲、訪問授權(quán)不低于性能獨立測試集。臨床評價數(shù)據(jù)集來源應(yīng)至少追溯至采集機構(gòu)，在不違反倫理的前提下可追溯至受試者。
附錄5 臨床試驗要求
臨床試驗要求
如果同品種對比不能充分說明申報產(chǎn)品的安全性和有效性，申請人應(yīng)按照規(guī)定提交臨床試驗資料。全新的功能、算法和用途原則上均需開展臨床試驗。臨床試驗應(yīng)在取得資質(zhì)的臨床試驗機構(gòu)內(nèi)，按照醫(yī)療器械臨床試驗質(zhì)量管理規(guī)范的要求開展臨床試驗。
臨床試驗示例如下：
1.試驗?zāi)康?/span>
生產(chǎn)企業(yè)應(yīng)根據(jù)產(chǎn)品適用范圍確定臨床試驗?zāi)康?。適用范圍考慮因素包括但不限于：目標疾?。ㄈ缧穆墒С！⑿募∪毖龋?、臨床用途（特定心律失常的識別如房顫檢測識別、特定結(jié)構(gòu)性心臟疾病的輔助診斷、輔助心搏自動分類如室性早搏識別分類等）、禁忌癥（如胸部嚴重畸形、體表皮膚大面積損傷、右位心、嚴重電解質(zhì)紊亂、肺栓塞等）、預(yù)期適用人群（如具有目標疾病臨床表現(xiàn)的成人、小兒或新生兒）、預(yù)期使用場所（醫(yī)療機構(gòu)機房等，非醫(yī)療機構(gòu)，如家庭、公共場所等）、預(yù)期目標用戶（如經(jīng)培訓合格的心電圖室醫(yī)師、心內(nèi)科醫(yī)師、技師、?？漆t(yī)師、經(jīng)專業(yè)培訓的個人等）、預(yù)期兼容的心電圖采集設(shè)備等。
臨床試驗?zāi)康闹饕獙εR床用途（如房顫的檢測識別、室性早搏的識別等）的診斷準確度進行確認，確認試驗器械是否優(yōu)于/等效于/非劣于已上市同類產(chǎn)品或單組目標值。
2.試驗設(shè)計
對采用臨床試驗方式進行臨床評價的產(chǎn)品，輔助決策類功能臨床試驗建議采用對照設(shè)計。試驗組采用申報產(chǎn)品進行自動檢測診斷，對照組為同品種醫(yī)療器械或者采用傳統(tǒng)心電分析方法的醫(yī)療器械進行檢測診斷。例如當申報產(chǎn)品采用靜息心電圖片段進行房顫的檢測時，可以采用傳統(tǒng)靜息心電圖機進行對照；當申報產(chǎn)品采用連續(xù)心電圖進行實時的室性早搏分類時，可以采用傳統(tǒng)心電監(jiān)護儀進行對照。臨床試驗比較類型應(yīng)能夠體現(xiàn)產(chǎn)品受益風險的可接受性，如進行對照的醫(yī)療器械采用傳統(tǒng)的心電分析算法，建議考慮優(yōu)效性設(shè)計。當申報產(chǎn)品為創(chuàng)新產(chǎn)品，且確認無法找到合適的已上市產(chǎn)品進行對照試驗時，才可考慮采用單組目標值的試驗設(shè)計，生產(chǎn)企業(yè)應(yīng)通過廣泛的文獻檢索綜述和定量分析確定臨床所認可的目標值。
試驗實施機構(gòu)應(yīng)當具備代表性和廣泛性，應(yīng)不同于訓練數(shù)據(jù)的主要來源機構(gòu)，地域分布盡可能廣泛，機構(gòu)數(shù)量盡可能多，以確認算法泛化能力。
3.受試對象
受試對象入排標準應(yīng)當基于目標疾病臨床特征，保證陽性病例和陰性病例選取的合理性和充分性。在此基礎(chǔ)上，病例的選擇還需要綜合考慮以下因素：
3.1臨床試驗納入病例應(yīng)獨立于產(chǎn)品開發(fā)所用病例。
3.2臨床試驗納入病例需來源于不同地域醫(yī)療機構(gòu)。
3.3臨床試驗納入陽性病例中目標疾病的類型、良惡性、病程階段分布合理性。以房顫檢測為例，應(yīng)該考慮陣發(fā)性房顫、持續(xù)性房顫、長期持續(xù)性房顫和永久性房顫等不同程度房顫的合理覆蓋；以室性早搏為例，應(yīng)考慮偶發(fā)性室性早搏、頻發(fā)性室性早搏、持續(xù)性室性早搏、單形性室性早搏、多形性室性早搏等不同程度和類型室性早搏的覆蓋。
4.評價指標和方法
針對采用人工智能算法設(shè)計的臨床功能原則上選擇敏感度、特異性、陽性預(yù)測度、受試者工作特性曲線（ROC）曲線下面積（AUC）等為主要評價指標，亦可在此基礎(chǔ)上根據(jù)軟件特點選擇敏感性/特異性衍生指標、受試者工作特性曲線（ROC）曲線下面積（AUC）衍生指標如診斷準確率、精確率、召回率）、F1系數(shù)、組內(nèi)相關(guān)系數(shù)、Kappa系數(shù)、數(shù)據(jù)有效使用率等指標作為次要評價指標。具體的評價指標和方法需要根據(jù)申報產(chǎn)品實現(xiàn)的具體功能和臨床應(yīng)用模式來確定，生成企業(yè)應(yīng)針對所選取的評價指標和方法的合理性進行闡述。
以房顫檢測識別為例，如果申報產(chǎn)品僅根據(jù)輸入的心電數(shù)據(jù)判斷是否存在房顫，可采用敏感度、特異性等常規(guī)的指標進行評價；如果申報產(chǎn)品還提供房顫段起止時間的檢測，則應(yīng)考慮將所檢測的房顫段與金標準進行重合度計算，基于重合程度來計算房顫段檢測的敏感度和陽性預(yù)測度等指標。
又例如室性早搏的分類可以參考目前已被廣泛接受認可的ANSI/AAMI EC57標準中逐搏比較的方法與金標準進行評價對比，進而計算出室性早搏分類的敏感度和陽性預(yù)測度等指標。
5.金標準構(gòu)建
臨床應(yīng)用中某些疾病或異常可以僅通過心電圖來進行診斷，例如絕大部分心律失常（如房顫、室性早搏），和傳導(dǎo)性異常（如二度房室傳導(dǎo)阻滯）等，但也有部分疾病或異常僅通過心電圖無法進行確診，需要依賴心電圖之外的其他檢測方法，例如心室肥厚需要通過超聲心動圖等影像學方法來確診，心肌損傷需要通過肌鈣蛋白等生化指標的檢測來確診。
對于無法單純由心電圖進行診斷的疾病或異常，生產(chǎn)企業(yè)應(yīng)以包含流行病學史、多模態(tài)臨床檢測數(shù)據(jù)（電生理指標、影像學特征、生化指標等）的臨床綜合診斷結(jié)果作為金標準。
對于可以采用心電圖進行診斷的疾病或異?？梢酝ㄟ^至少三名專家組成的評價小組來進行金標準構(gòu)建。生產(chǎn)企業(yè)需明確專家數(shù)量、來源科室、專家資質(zhì)要求（如職稱）、專家相關(guān)培訓要求、培訓效果評測（判定一致性）、結(jié)果判定標準、結(jié)果判定規(guī)則（如少數(shù)服從多數(shù)，雙人背靠背評判，高水平醫(yī)師仲裁）、專家抽取標準（隨機抽取或順序輪轉(zhuǎn)）等。建議由具有不同科室背景和經(jīng)驗的醫(yī)師聯(lián)合參與讀圖標注，以減少不完美金標準的偏倚。應(yīng)實施盲法，將申報產(chǎn)品和對照產(chǎn)品在試驗過程中的所有結(jié)果輸出對參與金標準構(gòu)建的專家設(shè)盲，以防止金標準構(gòu)建由于不同產(chǎn)品的結(jié)果產(chǎn)生偏倚。
6.樣本量
樣本量估算需綜合考慮臨床試驗設(shè)計、主要評價指標和統(tǒng)計學要求。生產(chǎn)企業(yè)需明確計算公式、相應(yīng)參數(shù)及確定理由，以及所用的統(tǒng)計軟件。對于復(fù)合終點，樣本量估算需考慮滿足所有單項指標的假設(shè)檢驗的樣本量需求。
當采用優(yōu)效性試驗設(shè)計時，試驗組和對照組按照1:1隨機化分組，主要評價指標為P，其方差齊且不接近于0%或100%時，其樣本量估算公式為：
nT、nC分別為試驗組和對照組的樣本量；Z1-α/2、Z1-β為標準正態(tài)分布的分數(shù)位；PT、PC分別為試驗組和對照組預(yù)期指標；為兩組預(yù)期指標差的絕對值， = ；Δ為優(yōu)效性界值，取正值。以室性早搏分類為例，如果試驗組的預(yù)期敏感度為99%，對照組預(yù)期敏感度為95%，優(yōu)效性界值Δ設(shè)定為2%，Ⅰ類錯誤概率α設(shè)定為雙側(cè)0.05，Ⅱ類錯誤概率β設(shè)定為0.2，則可以得到滿足敏感度優(yōu)效判斷至少需要1127例病例；如果試驗組的預(yù)期陽性預(yù)測度為95%，對照組預(yù)期敏感度為90%，優(yōu)效性界值Δ設(shè)定為2%，Ⅰ類錯誤概率α設(shè)定為雙側(cè)0.05，Ⅱ類錯誤概率β設(shè)定為0.2，則可以得到滿足陽性預(yù)測度優(yōu)效判斷至少需要2699例病例；綜合敏感度和陽性預(yù)測度的需求，并在此基礎(chǔ)上考慮5%脫落率確定最終樣本量需要2824例。
當采用單組目標值試驗設(shè)計時，主要評價指標為P，其樣本量估算公式為：
n為試驗組的樣本量；Z1-α/2、Z1-β為標準正態(tài)分布的分數(shù)位；PT為試驗組預(yù)期指標；P0為臨床認可的目標值。以房顫檢測識別為例，假設(shè)軟件的預(yù)期敏感性為95%，臨床認可的目標值為90%，則在雙側(cè)顯著性水平α設(shè)為0.05、把握度(1-β)設(shè)為0.8，至少需231例陽性病例；假設(shè)軟件的預(yù)期特異性為85%，臨床認可的目標值為80%，則在雙側(cè)顯著性水平α設(shè)為0.05、把握度(1-β)設(shè)為0.8，至少需466例陰性病例；綜合所需陽性及陰性病例，并在此基礎(chǔ)上考慮5%脫落率確定最終樣本量為732。
7.其他
臨床試驗資料需明確以下信息：
7.1病例基線情況統(tǒng)計學描述，包括年齡、性別、流行病學特征、病例數(shù)（陽性病例數(shù)、陰性病例數(shù)）、疾病分型、臨床診斷等。
7.2 心電圖數(shù)據(jù)采集情況統(tǒng)計學描述，包括數(shù)據(jù)來源機構(gòu)、心電圖采集設(shè)備廠商及型號規(guī)格、心電圖的導(dǎo)聯(lián)數(shù)量及電極放置位置、心電圖采集的指標參數(shù)（如采樣率，分辨率，帶寬，硬件噪聲水平）等。
京公網(wǎng)安備11010802046783號
