您當(dāng)前的位置：檢測(cè)資訊 > 法規(guī)標(biāo)準(zhǔn)
嘉峪檢測(cè)網(wǎng) 2021-12-19 21:07
摘要 | Abstract
近些年來(lái)，利用行政管理和臨床保健數(shù)據(jù)庫(kù)等常規(guī)收集的衛(wèi)生數(shù)據(jù)開(kāi)展真實(shí)世界比較效果與安全性的研究越來(lái)越多地影響藥品監(jiān)管、報(bào)銷(xiāo)和其他醫(yī)療保健決策。電子健康記錄（Electronic Health Records, EHR），尤其是電子病歷數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)含大量癥狀、體征、診斷相關(guān)數(shù)據(jù)，結(jié)合高效可行的臨床真實(shí)世界數(shù)據(jù)采集模式，將其整理為可供分析的結(jié)構(gòu)化數(shù)據(jù)，可以更好地利用這些信息開(kāi)展研究。目前已發(fā)表的多個(gè)報(bào)告規(guī)范詳細(xì)說(shuō)明了關(guān)于如何規(guī)范報(bào)告使用常規(guī)收集衛(wèi)生數(shù)據(jù)開(kāi)展觀察性研究。然而，現(xiàn)有報(bào)告規(guī)范未對(duì)電子醫(yī)療記錄、登記數(shù)據(jù)或其他醫(yī)療保健數(shù)據(jù)源中所包含的結(jié)構(gòu)化和非結(jié)構(gòu)化信息加以區(qū)分。如何更加透明、規(guī)范地報(bào)告，即將非結(jié)構(gòu)化文本提取，整理成為可以開(kāi)展比較效果研究和安全性研究分析的結(jié)構(gòu)化字段，對(duì)于此類(lèi)因果推斷研究、結(jié)果解釋有重要意義。鑒于此，哈佛醫(yī)學(xué)院Shirley V. Wang 教授帶領(lǐng)的研究團(tuán)隊(duì)提出并制定《使用非結(jié)構(gòu)化電子健康數(shù)據(jù)開(kāi)展真實(shí)世界比較效果和安全性研究的報(bào)告規(guī)范》。本文對(duì)基于非結(jié)構(gòu)化EHR 開(kāi)展真實(shí)世界比較效果和安全性研究過(guò)程中涉及的專(zhuān)業(yè)術(shù)語(yǔ)和相關(guān)技術(shù)進(jìn)行簡(jiǎn)單歸納，著重介紹現(xiàn)已發(fā)表的報(bào)告規(guī)范中對(duì)于非結(jié)構(gòu)化文本處理，如使用自然語(yǔ)言處理或機(jī)器學(xué)習(xí)方法時(shí)需重點(diǎn)報(bào)告的核心要點(diǎn)，以期為研究人員今后更好地開(kāi)展和報(bào)告此類(lèi)研究提供參考。
Research that makes secondary use of administrative and clinical healthcare databases is increasingly influential for regulatory, reimbursement, and other healthcare decision-making. Electronic health records (EHRs), especially electronic medical records, contain unstructured data that record information on symptoms, signs and diagnoses. With the help of efficient and practical clinical real-world data collection models, unstructured data can be cleaned and put to better use.Several guidance documents have been published to improve transparency, reproducibility of observational studies using routinely collected health data. However, existing guidance does not differentiate between structured and unstructured information contained in EHRs, registries, or other healthcare data sources. More transparent and standardized reporting on the extraction and organization of unstructured text into structured fields that can be used for comparative effectiveness and safety studies is of great significance to such causal inference research and interpretation. To this end, a research team led by Professor Shirley V. Wang of Harvard Medical School proposed and developed the Transparent Reporting on Research Using Unstructured Electronic Health Record Data to Generate Real World Evidence of Comparative Effectiveness and Safety. This paper summarizes the terminology and technologies involved in real-world comparative effectiveness and safety research based on unstructured EHRs, with a focus on the core points for the transparent reporting of unstructured text processing involving use of natural language processing- or machine learning-derived data fields, to provide reference for future research.
關(guān)鍵詞 | Key words
藥品監(jiān)管；電子健康數(shù)據(jù)；非結(jié)構(gòu)化文本；真實(shí)世界研究；報(bào)告規(guī)范
drug administration; electronic health records; unstructured text; real-world study; reporting guidance
01利用非結(jié)構(gòu)化文本開(kāi)展真實(shí)世界研究的價(jià)值與現(xiàn)狀
隨著信息技術(shù)的不斷發(fā)展和常規(guī)收集衛(wèi)生數(shù)據(jù)信息電子化不斷完善，越來(lái)越多的學(xué)者或決策者關(guān)注并利用包含在電子健康記錄（electronic health records，EHR） 如醫(yī)保數(shù)據(jù)、注冊(cè)登記數(shù)據(jù)和電子病歷數(shù)據(jù)等中豐富的臨床信息產(chǎn)生的有關(guān)醫(yī)療干預(yù)安全性、有效性或衛(wèi)生經(jīng)濟(jì)學(xué)的真實(shí)世界證據(jù)（real-world evidence，RWE）[1-3]。注冊(cè)登記研究或其他醫(yī)療數(shù)據(jù)源中包含的結(jié)構(gòu)化和非結(jié)構(gòu)化信息，特別是醫(yī)療電子病歷中非結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)含大量癥狀、體征、診斷相關(guān)數(shù)據(jù)，結(jié)合高效可行的臨床真實(shí)世界數(shù)據(jù)采集模式[4]，將其整理為可供分析的結(jié)構(gòu)化數(shù)據(jù)，從而可以更好地在比較有效性或安全性相關(guān)因果推斷問(wèn)題的研究和藥物流行病或藥物利用研究等領(lǐng)域利用這些信息[5]。美國(guó)食品藥品監(jiān)督管理局（Food and Drug Administration，F(xiàn)DA）于2021年9 月發(fā)布的RWE 相關(guān)的指南草案《真實(shí)世界數(shù)據(jù)：評(píng)估電子健康記錄和醫(yī)療保險(xiǎn)數(shù)據(jù)，以支持藥品和生物制品監(jiān)管決策》中提及多種電子健康數(shù)據(jù)可作為真實(shí)世界研究的重要數(shù)據(jù)來(lái)源，其中也強(qiáng)調(diào)了非結(jié)構(gòu)化文本在此類(lèi)研究中的重要價(jià)值[6]。
基于真實(shí)世界數(shù)據(jù)（real world data，RWD）在監(jiān)管領(lǐng)域開(kāi)展的觀察性研究，以及醫(yī)保支付和其他醫(yī)療衛(wèi)生決策中的重要作用，目前國(guó)內(nèi)外有關(guān)學(xué)者現(xiàn)已開(kāi)發(fā)和發(fā)布多個(gè)關(guān)于觀察性研究的報(bào)告規(guī)范[7，8] 以及針對(duì)既有數(shù)據(jù)進(jìn)行研究的具體報(bào)告建議[9-13]。這些指導(dǎo)文件旨在提高文章報(bào)告的透明度、可重復(fù)性以及評(píng)估設(shè)計(jì)和分析決策的有效性、相關(guān)性的能力。然而，上述提及的相關(guān)指南并未區(qū)分EHR 中結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)在研究過(guò)程中涉及多個(gè)環(huán)節(jié)的算法和研究步驟等方面的差異。
為了在研究中可以準(zhǔn)確、可靠地對(duì)EHR 中的暴露、納入/排除標(biāo)準(zhǔn)、協(xié)變量和結(jié)局進(jìn)行分類(lèi)和識(shí)別， 越來(lái)越多的研究專(zhuān)注于開(kāi)發(fā)和利用自然語(yǔ)言處理（natural language processing，NLP） 和機(jī)器學(xué)習(xí)（machine learning，ML）等技術(shù)與方法 [14]。許多學(xué)術(shù)組織、衛(wèi)生系統(tǒng)和商業(yè)組織利用基于NLP 和ML 方法衍生的數(shù)據(jù)支持基于EHR 的研究和臨床實(shí)踐。目前，NLP 和自由文本分析方法已被用于多種任務(wù)，包括提取臨床概念如吸煙狀況和其他風(fēng)險(xiǎn)因素[15-17]、藥物差異的識(shí)別[18-20]、檢測(cè)自發(fā)報(bào)告系統(tǒng)中潛在的藥物效應(yīng)[20-24] 以及藥物-疾病[25] 關(guān)系的評(píng)估。
目前，國(guó)際上有多個(gè)藥品上市后評(píng)價(jià)的大型分布式數(shù)據(jù)網(wǎng)絡(luò)[26]，如PCORnet [27] 和FDA 哨點(diǎn)行動(dòng)[28-29]。當(dāng)前，許多學(xué)者聚焦開(kāi)展比較效果和安全性研究，其研究熱點(diǎn)為在通用數(shù)據(jù)模型中補(bǔ)充使用NLP 和ML 方法，即實(shí)現(xiàn)從非結(jié)構(gòu)化數(shù)據(jù)得到可用于分析的表型和臨床事件[30-34]。其他分布式數(shù)據(jù)網(wǎng)絡(luò)，如歐洲的EU-ADR和AsianDURG（亞洲藥物利用研究組），也已在網(wǎng)絡(luò)上獨(dú)立實(shí)施通用數(shù)據(jù)模型方案。通過(guò)比較上述分布式網(wǎng)絡(luò)研究結(jié)果，發(fā)現(xiàn)相關(guān)研究結(jié)果可能因數(shù)據(jù)源的差異以及非結(jié)構(gòu)化數(shù)據(jù)提取信息過(guò)程而有所不同[35-37]。
02利用NLP 或ML 算法開(kāi)展藥物比較效果和安全性研究的主要任務(wù)及注意事項(xiàng)
從非結(jié)構(gòu)化的文本信息中挖掘潛在的規(guī)律需要識(shí)別大量專(zhuān)業(yè)詞匯，以及疾?。Y狀等特定的實(shí)體關(guān)系。隨著NLP 和ML 技術(shù)的發(fā)展，對(duì)這類(lèi)文本信息進(jìn)行數(shù)據(jù)挖掘的主要任務(wù)包括：命名實(shí)體識(shí)別、關(guān)系抽取和文本分類(lèi)。數(shù)據(jù)科學(xué)技術(shù)的發(fā)展對(duì)電子病歷數(shù)據(jù)的分類(lèi)任務(wù)和問(wèn)答任務(wù)也有了一定的突破[38]。
2.1 命名實(shí)體識(shí)別
命名實(shí)體識(shí)別（named entity recognition，NER）也稱(chēng)為概念抽取，即從指定的自由文本中抽取出相關(guān)的具有特定意義的詞語(yǔ)，其在醫(yī)學(xué)文本研究中被稱(chēng)為生物醫(yī)學(xué)命名實(shí)體識(shí)別（biomedicalnamed entity recognition，BioNER）。電子病歷命名實(shí)體識(shí)別是BioNER 的子領(lǐng)域，其主要任務(wù)是識(shí)別患者的電子病歷中具有特定意義的實(shí)體，并對(duì)其進(jìn)行標(biāo)注，這些實(shí)體根據(jù)研究目的不同而有所區(qū)別。通常中文電子病歷中的實(shí)體類(lèi)型包括疾病、病因、臨床表現(xiàn)、檢查方法、藥品名稱(chēng)、手術(shù)、身體部位等。電子病歷被標(biāo)注實(shí)體之后可以提高醫(yī)生查看病歷的工作效率。同時(shí)，標(biāo)注的結(jié)果也將輔助后續(xù)的如關(guān)系抽取和知識(shí)圖譜構(gòu)建等研究。
2.2 關(guān)系抽取
關(guān)系抽?。╮elation extraction，RE）通常基于命名實(shí)體識(shí)別的結(jié)果之上，也是NLP 中一個(gè)重要的子任務(wù)，但是由于深度學(xué)習(xí)的發(fā)展，也有不少深度神經(jīng)網(wǎng)絡(luò)將命名實(shí)體識(shí)別和實(shí)體關(guān)系抽取看作一個(gè)完整的任務(wù)。理論上，關(guān)系抽取任務(wù)分為２步，首先判斷一個(gè)實(shí)體對(duì)是否存在關(guān)系，若有關(guān)系，則進(jìn)一步判斷關(guān)系類(lèi)型。在實(shí)際模型設(shè)計(jì)中，通常把無(wú)關(guān)系當(dāng)作一種特殊的關(guān)系，并直接將關(guān)系抽取看作是多類(lèi)別分類(lèi)任務(wù)。關(guān)系抽取是醫(yī)療健康知識(shí)庫(kù)建立維護(hù)的基礎(chǔ)。在醫(yī)學(xué)領(lǐng)域，不同實(shí)體間的關(guān)系具有不同的定義標(biāo)準(zhǔn)，根據(jù)I2B2 2010 評(píng)估會(huì)議[39]，電子病歷中的實(shí)體關(guān)系可以分為３類(lèi)，包括疾病之間的關(guān)系、疾病與醫(yī)學(xué)檢查的關(guān)系以及疾病與治療之間的關(guān)系。在醫(yī)學(xué)領(lǐng)域，通常采用基于共生、傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法進(jìn)行關(guān)系抽取。
時(shí)序性是電子病歷數(shù)據(jù)的一大特點(diǎn)，因?yàn)殡娮硬v通常不僅包括患者當(dāng)前的治療狀況和指標(biāo)，還包括患者過(guò)去所經(jīng)歷的臨床事件。為了自動(dòng)構(gòu)建這些事件之間的時(shí)間線(xiàn)，就需要抽取臨床記錄中事件和時(shí)間的關(guān)系。
2.3 文本分類(lèi)
文本分類(lèi)是文檔級(jí)的NLP 任務(wù)，目標(biāo)是為文檔標(biāo)記預(yù)定義的文檔級(jí)標(biāo)簽。電子病歷中的醫(yī)學(xué)報(bào)告是一種具有豐富信息的資源，特別是其中主要用自然語(yǔ)言描述的自由文本部分。這部分文本包括醫(yī)生的臨床推理信息及思維過(guò)程，并能通過(guò)病人情況的詳細(xì)信息幫助醫(yī)生解決不同的臨床問(wèn)題，而且其通常不能被其他結(jié)構(gòu)化數(shù)據(jù)所代替。文檔分類(lèi)有助于處理和提取這類(lèi)數(shù)據(jù)，輔助后續(xù)的分類(lèi)預(yù)測(cè)任務(wù)，并提高敘述性臨床筆記的利用效率，因此文檔分類(lèi)也成為了臨床預(yù)測(cè)分析的一個(gè)重要研究領(lǐng)域。
2.4 注意事項(xiàng)
使用NLP 或ML 算法在不同數(shù)據(jù)系統(tǒng)、時(shí)間和基于不同目的進(jìn)行表型或臨床事件提取時(shí)有幾個(gè)重要的注意事項(xiàng)。首先，在不同的醫(yī)療機(jī)構(gòu)中，臨床文檔記錄和術(shù)語(yǔ)可能有所不同。當(dāng)臨床記錄過(guò)程和術(shù)語(yǔ)不同時(shí)，使用某一個(gè)電子病歷系統(tǒng)中上下文信息構(gòu)建的高性能NLP 和ML 算法可能不適用于其他系統(tǒng)。第二，雖然NLP 和ML 技術(shù)方法在測(cè)量暴露、排除標(biāo)準(zhǔn)、協(xié)變量和結(jié)局時(shí)是非常有用的工具，但進(jìn)行因果推論時(shí)還必須應(yīng)用其他設(shè)計(jì)和分析方法。例如，協(xié)變量評(píng)估時(shí)間窗和進(jìn)入隊(duì)列后的隨訪時(shí)間對(duì)因果推斷研究非常重要，但與進(jìn)入隊(duì)列相關(guān)的時(shí)間可能并不是針對(duì)開(kāi)發(fā)NLP 或ML 算法用以區(qū)分患者、事件或記錄這類(lèi)研究主要考慮的因素。NLP 或ML 建模過(guò)程涉及的內(nèi)容和細(xì)節(jié)對(duì)于推斷研究者和政策制定者（例如衛(wèi)生技術(shù)評(píng)估、支付和監(jiān)管人員）評(píng)價(jià)獲取的表型、結(jié)局或其他臨床事件是否與其關(guān)注的問(wèn)題相關(guān)是至關(guān)重要的。
從電子病歷提取和驗(yàn)證信息的一般過(guò)程是直接的，通常是從研究的設(shè)計(jì)和定義建立的參考標(biāo)準(zhǔn)。本文特意使用“參考標(biāo)準(zhǔn)”這個(gè)術(shù)語(yǔ)，而不是“金標(biāo)準(zhǔn)”或“真實(shí)情況”，用以強(qiáng)調(diào)由審查員做出的決定并非都是固定不變的而是審查員基于存在固有局限性的電子病歷數(shù)據(jù)記錄的臨床護(hù)理情況（通常指一個(gè)已商定的標(biāo)準(zhǔn)，例如一個(gè)已發(fā)表公開(kāi)的案例定義）而作出的解釋。在列出研究設(shè)計(jì)和參考標(biāo)準(zhǔn)后，研究人員通?？色@取電子病歷數(shù)據(jù)，并創(chuàng)建一個(gè)標(biāo)記的數(shù)據(jù)語(yǔ)料庫(kù)（其中參考標(biāo)準(zhǔn)由人工評(píng)審員確定)，然后再開(kāi)發(fā)和評(píng)估NLP 或ML 算法。上述流程雖然簡(jiǎn)單明了，但所涉及的細(xì)節(jié)比較詳細(xì)復(fù)雜，且重要的科學(xué)細(xì)節(jié)通常未被公開(kāi)報(bào)道[40]。但事實(shí)上，研究人員若能針對(duì)這一過(guò)程的每一步給予清晰的報(bào)告，將有利于審稿人和決策者對(duì)NLP 和ML 算法的有效性和相關(guān)性進(jìn)行評(píng)價(jià)，同時(shí)對(duì)其結(jié)果在不同的研究調(diào)查中（例如表型庫(kù)）重復(fù)使用并進(jìn)行評(píng)估。
鑒于此，哈佛醫(yī)學(xué)院ShirleyV. Wang 教授帶領(lǐng)的研究團(tuán)隊(duì)提出并制定《使用非結(jié)構(gòu)化電子健康數(shù)據(jù)開(kāi)展真實(shí)世界比較效果和安全性研究的報(bào)告規(guī)范》[41]。該規(guī)范由多位利用基于包含非結(jié)構(gòu)化電子病歷文本信息的真實(shí)世界研究進(jìn)行決策的利益相關(guān)者共同撰寫(xiě)而成，包括研究學(xué)者（藥物流行病學(xué)家和信息學(xué)家）、監(jiān)管人員、工業(yè)和衛(wèi)生技術(shù)評(píng)估人員等。為有效傳播證據(jù)的產(chǎn)生過(guò)程，該規(guī)范列出應(yīng)在研究中發(fā)表或其他NLP 或ML 算法相關(guān)研究公開(kāi)報(bào)告的9 項(xiàng)內(nèi)容。通過(guò)提供關(guān)于因果比較有效性和安全性研究中使用非結(jié)構(gòu)化文本數(shù)據(jù)過(guò)程時(shí)所需報(bào)告的一般性建議，為醫(yī)療衛(wèi)生決策者增加研究的透明度。這些建議旨在用于對(duì)現(xiàn)有報(bào)告、指南的補(bǔ)充， 如歐洲藥物流行病學(xué)、藥物警戒中心網(wǎng)絡(luò)、FDA兩個(gè)專(zhuān)業(yè)學(xué)會(huì)之間的聯(lián)合工作組編寫(xiě)的報(bào)告指南。該規(guī)范基于常規(guī)收集衛(wèi)生數(shù)據(jù)開(kāi)展觀察性研究的RECORD 規(guī)范，建立多變量預(yù)測(cè)模型預(yù)測(cè)個(gè)體預(yù)后或診斷的TRIPOD 規(guī)范等[9-12]。其具體的建議為希望在今后利用RWD 進(jìn)行因果推理研究時(shí)，為重復(fù)使用NLP 或ML 算法產(chǎn)生的數(shù)據(jù)字段的研究人員和醫(yī)療保健決策者提供背景和數(shù)據(jù)產(chǎn)生過(guò)程中的支持細(xì)節(jié)，使其對(duì)產(chǎn)生的暴露測(cè)量、納入/ 排除標(biāo)準(zhǔn)、協(xié)變量以及研究問(wèn)題結(jié)局的有效性和相關(guān)性具有權(quán)威性。
03《使用非結(jié)構(gòu)化電子健康數(shù)據(jù)開(kāi)展真實(shí)世界比較效果和安全性研究的報(bào)告規(guī)范》要點(diǎn)解讀
該報(bào)告規(guī)范的9 項(xiàng)關(guān)于提高研究報(bào)告透明度的內(nèi)容，主要圍繞基于RWD 開(kāi)展真實(shí)世界研究過(guò)程中所涉及提取信息的質(zhì)量、相關(guān)性和有效性等評(píng)價(jià)相關(guān)的內(nèi)容展開(kāi)。針對(duì)將非結(jié)構(gòu)化文本數(shù)據(jù)用于比較效果和安全性研究時(shí)所采用的步驟提出報(bào)告的一般性建議，其可為醫(yī)療保健決策者和因果推斷研究者提供可評(píng)估的證據(jù)，例如為涉及使用NLP 或ML算法衍生的數(shù)據(jù)字段的因果推斷研究提供足夠的上下文和支持信息，以便研究人員、審稿人和決策者能夠準(zhǔn)確地評(píng)估暴露的衍生測(cè)量、納入/ 排除標(biāo)準(zhǔn)、協(xié)變量和所關(guān)注問(wèn)題結(jié)局的有效性和相關(guān)性。研究報(bào)告的透明度將有益于審稿人對(duì)此類(lèi)研究質(zhì)量進(jìn)行評(píng)估，但需要強(qiáng)調(diào)的是，該推薦關(guān)注NLP 或ML 算法相關(guān)的研究報(bào)告透明度，并不等同于如何更好地開(kāi)展NLP 或ML 算法研究的方法學(xué)要求。
3.1 數(shù)據(jù)
3.1.1 描述研究人員所獲得的數(shù)據(jù)特點(diǎn)（包括數(shù)據(jù)來(lái)源和類(lèi)型）
提供研究人員可獲得或可用數(shù)據(jù)類(lèi)型的信息為研究人員提供研究背景、算法性能和可推廣性信息。例如，數(shù)據(jù)是只基于敘述性報(bào)告或是研究人員還利用問(wèn)題列表、實(shí)驗(yàn)室結(jié)果、藥品采購(gòu)及發(fā)放記錄和其他結(jié)構(gòu)化字段信息。
EHR 數(shù)據(jù)在到達(dá)評(píng)審員之前可能要經(jīng)過(guò)基于NLP 或ML 算法反饋系統(tǒng)的多次轉(zhuǎn)換。當(dāng)評(píng)審員從原始的EHR 中看到可擴(kuò)展標(biāo)記語(yǔ)言（extensible markup language，XML）將醫(yī)療病歷從電子病歷記錄導(dǎo)出或回顧，并已被光學(xué)字符識(shí)別軟件轉(zhuǎn)換為機(jī)器可讀的格式的醫(yī)療記錄報(bào)告的掃描圖像時(shí)其可能會(huì)失去了原有的真實(shí)性。去身份識(shí)別軟件也會(huì)帶來(lái)噪音，例如去身份識(shí)別軟件可以打亂名字，同樣可以打亂看似是名字的疾病名稱(chēng)（如克羅恩病、帕金森綜合征、橋本甲狀腺炎）。
3.1.2 描述研究者獲得數(shù)據(jù)在轉(zhuǎn)化前開(kāi)展的預(yù)處理或數(shù)據(jù)清洗
在獲得用于研究的EHR 數(shù)據(jù)后，調(diào)查人員可能在開(kāi)展研究前進(jìn)行必要的數(shù)據(jù)轉(zhuǎn)換，為進(jìn)行數(shù)據(jù)清理或以其他方式預(yù)處理數(shù)據(jù)。詳細(xì)描述創(chuàng)建為開(kāi)展人工審閱或與NLP 或ML 算法兼容的文檔語(yǔ)料庫(kù)制作的步驟，包括所使用的軟件及在每一步是否開(kāi)展有效性真實(shí)性的驗(yàn)證等信息，將有助于理解EHR 數(shù)據(jù)預(yù)處理和數(shù)據(jù)清洗等數(shù)據(jù)操作過(guò)程。
3.2 方法
3.2.1 提供研究設(shè)計(jì)的關(guān)鍵細(xì)節(jié)，以確定研究隊(duì)列和（或）抽樣框架
明確研究隊(duì)列或抽樣框架對(duì)于理解NLP 或ML 算法表現(xiàn)指標(biāo)的背景是十分必要的。例如，在開(kāi)發(fā)識(shí)別結(jié)局的算法時(shí)，非常重要的一點(diǎn)為結(jié)局事件應(yīng)發(fā)生在隨訪開(kāi)始后。另外，對(duì)納入研究的患者選擇的方法進(jìn)行描述十分重要，包括待評(píng)估確定研究對(duì)象算法的時(shí)間框架，以及病歷是如何抽樣獲取的過(guò)程。需報(bào)告的細(xì)節(jié)信息已包含在已有的報(bào)告指南中，如RECORD [10]、國(guó)際藥物流行病學(xué)學(xué)會(huì)、國(guó)際藥物經(jīng)濟(jì)學(xué)與結(jié)果研究學(xué)會(huì)聯(lián)合工作組[9] 制定的指南。此外，詳細(xì)的細(xì)節(jié)也可使用流程圖進(jìn)行展示[42]。
3.2.2 為病歷審查人員提供用以確定結(jié)局事件或參考標(biāo)準(zhǔn)的條件
病歷審查人員根據(jù)既定的條件指導(dǎo)供審查員使用參考標(biāo)準(zhǔn)的確定，例如患者是否存在某種特定的疾病表型或臨床事件。當(dāng)臨床表型或臨床事件比較復(fù)雜，亦或在電子醫(yī)療記錄中模糊不清時(shí)，制定這些判斷條件標(biāo)準(zhǔn)顯得更為重要。當(dāng)審查人員提出不一致的評(píng)估結(jié)果時(shí)，報(bào)告判斷標(biāo)準(zhǔn)、病歷審查人員的培訓(xùn)情況、是否為領(lǐng)域?qū)＜一蚺R床專(zhuān)家、以及裁定過(guò)程中對(duì)參考標(biāo)準(zhǔn)是否被正確測(cè)量等信息，在一定程度上提高了研究報(bào)告的透明度。明確用于從EHR 文檔中確定參考標(biāo)準(zhǔn)的條件對(duì)于評(píng)估NLP 或ML 算法提取信息的相關(guān)性十分重要。
發(fā)表供病歷審查人員使用的參考標(biāo)準(zhǔn)對(duì)于提升研究報(bào)告透明度具有至關(guān)重要的作用。若文章沒(méi)有明確地報(bào)告已定義的參考標(biāo)準(zhǔn)的條件，基于關(guān)注問(wèn)題獲得表型的相關(guān)性以及重要研究變量（例如暴露、納除標(biāo)準(zhǔn)、協(xié)變量、結(jié)局）的錯(cuò)誤分類(lèi)程度有可能被掩蓋。例如，研究人員可以使用從自由文本EHR 注釋中識(shí)別“糖尿病”患者的算法，以用于抗糖尿病藥物的比較評(píng)估。然而，由于沒(méi)有詳細(xì)的表型定義方式以及該定義可能的局限性，因此對(duì)于審查者或決策者來(lái)說(shuō)不易了解該算法是敏感的還是特異性的，以及是否能識(shí)別新發(fā)或現(xiàn)患糖尿病。此外，該算法如何考慮時(shí)間窗（如果有的話(huà)）以及如何區(qū)分1 型、2型和妊娠糖尿病也是值得關(guān)注的問(wèn)題[43-44]。
3.2.3 描述可供審查人員使用和軟件訪問(wèn)的數(shù)據(jù)
當(dāng)評(píng)審人員和軟件可以查看的EHR 數(shù)據(jù)全面且一致時(shí)，即可評(píng)估NLP 或ML 算法在理想條件下表型分類(lèi)或識(shí)別臨床事件的“有效性”。例如，當(dāng)參考標(biāo)準(zhǔn)和NLP 基于完全一致的數(shù)據(jù)源時(shí)，注釋者的一致性被視為待評(píng)估的NLP 性能上限。但是，當(dāng)審查人員和軟件與可以使用的數(shù)據(jù)僅有部分重疊時(shí)，評(píng)估的重點(diǎn)實(shí)際上將在NLP 或ML 算法的“有效性”上。以后者為例，可能會(huì)出現(xiàn)審查員可以人工訪問(wèn)或檢查整個(gè)醫(yī)療機(jī)構(gòu)并查看某種狀態(tài)是否存在或缺失，但如果使用NLP 或ML算法只能通過(guò)結(jié)構(gòu)化數(shù)據(jù)或部分文本記錄訪問(wèn)數(shù)據(jù)庫(kù)。
為相關(guān)審查人員提供其應(yīng)用軟件可用的EHR 數(shù)據(jù)類(lèi)型的信息，可為獲得參考標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量和完整性提供重要的背景信息。不完全獲取患者記錄或評(píng)審人員和（或）軟件可用的數(shù)據(jù)不一致，均可能會(huì)影響NLP 或ML 算法的性能、有效性和外推性的評(píng)估。
3.2.4 提供自然語(yǔ)言處理或機(jī)器學(xué)習(xí)算法的完整描述，包括輸入和輸出數(shù)據(jù)的詳細(xì)信息（用于主要、次要和敏感度分析）
該規(guī)范進(jìn)一步擴(kuò)展了TRIPOD [13] 關(guān)于預(yù)測(cè)模型報(bào)告規(guī)范的建議，用以解決NLP 或ML算法中使用非結(jié)構(gòu)化數(shù)據(jù)所帶來(lái)的其他復(fù)雜情況。
為提高全部分析復(fù)現(xiàn)性，建議共享代碼和數(shù)據(jù)。然而，通常出于對(duì)隱私和知識(shí)產(chǎn)權(quán)的考慮，研究人員會(huì)避免數(shù)據(jù)、派生數(shù)據(jù)或代碼的共享。此外，即使可以分享，在沒(méi)有清晰詳細(xì)文字描述的補(bǔ)充材料下，對(duì)于許多決策者和其他利益相關(guān)者而言也可能還是缺乏對(duì)于報(bào)告NLP 或ML 算法復(fù)雜性的透明化。此外，在缺乏共享數(shù)據(jù)和代碼能力的情況下，仍然可以報(bào)告關(guān)鍵細(xì)節(jié)用以增進(jìn)對(duì)NLP 或ML 算法中參數(shù)設(shè)置決策的理解，從而有助于對(duì)研究問(wèn)題的有效性和適合性進(jìn)行評(píng)估。
另外，該規(guī)范提倡可以用不同的格式提供輸入和輸出的細(xì)節(jié)，例如，輸入- 輸出流程圖、去標(biāo)識(shí)化的樣本圖，其應(yīng)包含流程每個(gè)步驟中相關(guān)部分的重點(diǎn)和（或）自然語(yǔ)言代碼執(zhí)行的每個(gè)步驟的匯總結(jié)果。一些有助于提高信息提取系統(tǒng)的透明度和可重復(fù)性的細(xì)節(jié)， 包括軟件包的名稱(chēng)和版本，帶有用于映射臨床概念的本體引文或附錄（ 例如RxNorm、SNOMED-CT 或研究者自定義的映射附錄），選擇用于NLP 或ML 算法中包含的輸入和調(diào)整參數(shù)（例如剪枝、詞義歧義消除、詞序等），以及輸出的詳細(xì)信息（例如算法、規(guī)則、模型、系數(shù)等）報(bào)告使用的NLP 或ML 算法或軟件名稱(chēng)，描述或列出算法、配置設(shè)置和計(jì)算環(huán)境的規(guī)范對(duì)于評(píng)審人員和其他研究人員了解如何從非結(jié)構(gòu)化數(shù)據(jù)中提取變量同樣十分重要。
3.3 結(jié)局
3.3.1 研究人群的描述
許多其他指南報(bào)告文件中也提及需要報(bào)告研究人群特征的基本原理[14-18]，其中包括信息表（顯示納入符合條件的患者編號(hào)），提取人群的基線(xiàn)特征以及研究結(jié)果數(shù)量和時(shí)間框架。該推薦為便于研究人員和評(píng)審人員能夠描述、評(píng)估所獲取變量的頻率是否與預(yù)期一致。這一推薦同樣也適用于開(kāi)發(fā)或使用從NLP 或ML 算法獲得信息的研究中。
3.3.2 提供一致性/ 等級(jí)間可靠性的表現(xiàn)情況
人工審查可能存在一定主觀性。如果評(píng)審人員之間一致性差，則會(huì)降低對(duì)用于訓(xùn)練NLP 或ML算法參考標(biāo)準(zhǔn)的可靠性的信心[45]。評(píng)審人員之間的信度評(píng)價(jià)指標(biāo)包括Kappa 值、組內(nèi)相關(guān)系數(shù)、F值等其他指標(biāo)[46]。
3.3.3 提供多種測(cè)量/ 評(píng)估訓(xùn)練算法和驗(yàn)證數(shù)據(jù)的方法（用于主要、次要和敏感性分析）
提供評(píng)估NLP 或ML 算法正確識(shí)別臨床事件表型的性能指標(biāo)，對(duì)于評(píng)估預(yù)期的錯(cuò)誤分類(lèi)程度以及算法性能是否適合目前的研究是十分必要的。為了進(jìn)行此類(lèi)評(píng)估，除了報(bào)告陽(yáng)性預(yù)測(cè)值外（PPV ：是指算法評(píng)估某種情況的存在，該情況實(shí)際真實(shí)存在的概率，也稱(chēng)為“精確度”），還需提供其他指標(biāo)（陰性預(yù)測(cè)值NPV ：即假定算法評(píng)估為不屬于某種情況，且實(shí)際上確實(shí)不存在該情況的概率），敏感性（通過(guò)算法正確識(shí)別的真實(shí)陽(yáng)性比例，也稱(chēng)為“重現(xiàn)性”），以及特異性（由算法正確識(shí)別的真實(shí)陰性的比例）[47]。為了避免高估模型的性能，應(yīng)針對(duì)未用于訓(xùn)練算法的測(cè)試（驗(yàn)證）數(shù)據(jù)樣本報(bào)告上述指標(biāo)情況。
PPV 和NPV 均取決于所評(píng)估疾病的患病率[47]。如果已知基礎(chǔ)隊(duì)列的抽樣框架，則在評(píng)估表現(xiàn)指標(biāo)時(shí)，可以通過(guò)抽樣比例對(duì)抽樣的病例和對(duì)照進(jìn)行加權(quán)[48]。盡管敏感性和特異性不取決于疾病的患病率，但這些指標(biāo)在不同人群中可能有所不同。對(duì)于算法而言，其具有的高特異性與高敏感性可能會(huì)根據(jù)測(cè)量方式不同而變化。例如，當(dāng)使用缺血性卒中的算法作為排除標(biāo)準(zhǔn)時(shí)，為確保研究人群不包括患有中風(fēng)的患者，高靈敏度可能比高PPV 更重要。相反，當(dāng)進(jìn)行一項(xiàng)比較效果研究，使用與效果相關(guān)的測(cè)量方法評(píng)估缺血性卒中風(fēng)險(xiǎn)結(jié)局發(fā)生風(fēng)險(xiǎn)，高特異性可能更優(yōu)。
分類(lèi)研究中可能涉及的其他指標(biāo)包括C 統(tǒng)計(jì)量（工作特性曲線(xiàn)下的面積）和綜合判別改善統(tǒng)計(jì)量[49]。校準(zhǔn)調(diào)整措施也可能與預(yù)測(cè)研究有關(guān)[50]。
04思考與研究展望
新證據(jù)對(duì)決策者降低決策的不確定性作用顯著。透明的數(shù)據(jù)來(lái)源和研究過(guò)程的詳細(xì)報(bào)告可一定程度提高研究可信度以及對(duì)于研究質(zhì)量的信心[9，51]。清晰地報(bào)告研究流程、方案和其他科學(xué)決策，在應(yīng)用于具有不同數(shù)據(jù)源和總體的其他研究時(shí)，有助于提高NLP 或ML 算法的重現(xiàn)性、真實(shí)性和相關(guān)性[9，51]。當(dāng)研究使用以NLP 或ML 算法獲得的表型或臨床事件，或?qū)⑵渥鳛榭芍貜?fù)使用的結(jié)構(gòu)化元素儲(chǔ)存于數(shù)據(jù)庫(kù)中時(shí)，本文建議應(yīng)注重考慮前述9 方面內(nèi)容的重要性。這些具體信息可以通過(guò)互聯(lián)網(wǎng)鏈接，引文或經(jīng)過(guò)同行評(píng)審的出版物以及報(bào)告中的附錄公開(kāi)共享。未來(lái)的研究重點(diǎn)將為如何更好引用已發(fā)表研究的相關(guān)元數(shù)據(jù)保留數(shù)據(jù)源鏈接。
利用NLP 或ML 算法基于非結(jié)構(gòu)化電子健康數(shù)據(jù)開(kāi)展真實(shí)世界比較效果和安全性研究過(guò)程中仍存在一些挑戰(zhàn)。例如，在分布式網(wǎng)絡(luò)中需關(guān)注：①將非結(jié)構(gòu)化數(shù)據(jù)中的NLP 或ML 算法編碼元素存儲(chǔ)在關(guān)系表中作為共享資源；②保留非結(jié)構(gòu)化原始數(shù)據(jù)，并存儲(chǔ)NLP 或ML 算法庫(kù)以獲取所需的元素。盡管某單一研究項(xiàng)目可以根據(jù)研究目的開(kāi)發(fā)、評(píng)估和選擇經(jīng)過(guò)優(yōu)化的算法，這些算法在用于分布數(shù)據(jù)網(wǎng)絡(luò)進(jìn)行計(jì)算數(shù)據(jù)模型時(shí)（即算法作為多個(gè)研究人員的共享資源）可能出于許多臨床因素的考慮， 很難確定一個(gè)適用所有中心情況的算法。符合真實(shí)研究環(huán)境的“ 最佳” 算法可能取決于許多因素，包括具體使用的病例、醫(yī)院系統(tǒng)和時(shí)間的變化等。例如， 一個(gè)醫(yī)院系統(tǒng)中的高性能算法可能很好地用于另一醫(yī)院系統(tǒng)， 并且隨著實(shí)踐模式和EHR 系統(tǒng)的變化，同一系統(tǒng)中算法的性能可能會(huì)隨時(shí)間而降低。一段時(shí)間內(nèi)，在多個(gè)研究人員使用的衛(wèi)生系統(tǒng)數(shù)據(jù)存儲(chǔ)中，可能存在多個(gè)用于類(lèi)似概念的算法版本。分布式數(shù)據(jù)網(wǎng)絡(luò)中的成員用來(lái)定義表型或臨床事件的算法在其他成員持有的EHR數(shù)據(jù)中不一定能夠很好地執(zhí)行。因此， 對(duì)于在分布式數(shù)據(jù)網(wǎng)絡(luò)中進(jìn)行的研究， 其關(guān)鍵操作要點(diǎn)之一應(yīng)及時(shí)保存信息提取過(guò)程的清晰文檔記錄， 以及在將要應(yīng)用這些算法的數(shù)據(jù)系統(tǒng)中對(duì)這些算法的性能進(jìn)行評(píng)估。
NLP 或ML 算法的細(xì)微差異及其在不同人群中的性能差異，可能會(huì)對(duì)研究結(jié)果產(chǎn)生實(shí)質(zhì)性影響[52]。在越來(lái)越關(guān)注分布式數(shù)據(jù)網(wǎng)絡(luò)和重復(fù)使用以前開(kāi)發(fā)的NLP 或ML 算法獲取數(shù)據(jù)元素的研究環(huán)境中， 明確這些數(shù)據(jù)變量是如何創(chuàng)建以及其在不同數(shù)據(jù)系統(tǒng)中的有效性證明，對(duì)于從分布式EHR 網(wǎng)絡(luò)提取信息生成有價(jià)值的真實(shí)世界證據(jù)都至關(guān)重要。
05結(jié) 論
本文介紹的報(bào)告規(guī)范旨在鼓勵(lì)適當(dāng)使用HER 數(shù)據(jù)基于NLP或ML 算法提取的信息，提高研究報(bào)告的透明度，更好地用以支持真實(shí)世界證據(jù)的產(chǎn)生。鑒于發(fā)表文章字?jǐn)?shù)限制，建議相關(guān)學(xué)者、研究人員可以在相關(guān)技術(shù)附錄或以單獨(dú)發(fā)表方案提供詳細(xì)信息。誠(chéng)然，一些期刊已經(jīng)開(kāi)始對(duì)數(shù)據(jù)、分析、設(shè)計(jì)和研究過(guò)程中其他要素的報(bào)告規(guī)范提出了更嚴(yán)格的要求[53]。本文對(duì)于報(bào)告規(guī)范的解讀推廣，可以使讀者增強(qiáng)對(duì)當(dāng)前報(bào)告中缺失內(nèi)容的認(rèn)識(shí)，以及如果透明地報(bào)告相關(guān)內(nèi)容，可以使決策者更好地了解來(lái)自于管理和臨床保健數(shù)據(jù)庫(kù)中產(chǎn)生的真實(shí)世界證據(jù)的質(zhì)量、有效性和相關(guān)性。
來(lái)源：中國(guó)食品藥品監(jiān)管雜志
關(guān)于我們 聯(lián)系我們 營(yíng)業(yè)執(zhí)照 全國(guó)服務(wù)電話(huà)：400-818-0021 嘉峪檢測(cè)版權(quán)所有 備案號(hào)：京ICP備14047019號(hào)-2 
京公網(wǎng)安備11010802046783號(hào)
