歐洲藥典（Ph. Eur.）于12.3版發(fā)布了《5.38 數(shù)據(jù)質(zhì)量》（Quality of Data）新通則，聚焦如何確保數(shù)據(jù)質(zhì)量，以增強對數(shù)據(jù)驅(qū)動應(yīng)用、模型及其預(yù)測結(jié)果可靠性的信心。對于依賴多源、大數(shù)據(jù)量的機器學(xué)習(xí)（ML）和人工智能（AI）而言，這一點尤為關(guān)鍵。
通則5.38為整個數(shù)據(jù)生命周期內(nèi)的數(shù)字?jǐn)?shù)據(jù)質(zhì)量管理提供了框架，覆蓋從實驗室質(zhì)量控制（QC）、過程分析技術(shù)（PAT）、實時放行檢測（RTRT）、連續(xù)制造到基于ML/AI的自動化決策（ADM）系統(tǒng)，適用于大、小數(shù)據(jù)量，批處理或流式數(shù)據(jù)，結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，是對Ph. Eur. 現(xiàn)有的支持制藥行業(yè)數(shù)字化和技術(shù)創(chuàng)新通則的進一步補充，這包括應(yīng)用于分析數(shù)據(jù)的化學(xué)計量學(xué)方法（5.21）、多變量統(tǒng)計過程控制（5.28）、實驗設(shè)計（5.33）、化學(xué)成像（5.24）和過程分析技術(shù)（5.25）。
這是主要監(jiān)管機構(gòu)首次針對“數(shù)據(jù)質(zhì)量”這一概念發(fā)布指南級別的文件，其框架與業(yè)界熟知的數(shù)據(jù)可靠性（Data Integrity）不同，因其初衷側(cè)重于確保高質(zhì)量的數(shù)據(jù)用于各類信息化自動化工具，而非確保數(shù)據(jù)本身的合規(guī)性。為便于理解，兩者的關(guān)聯(lián)似可以類比為“藥品質(zhì)量”與“藥品質(zhì)量保證”之間的關(guān)系。
以下是通則重點內(nèi)容摘要，供讀者參考。
管理數(shù)據(jù)質(zhì)量首先要梳理數(shù)據(jù)來源
理解數(shù)據(jù)的來源（即其物理來源）是評估數(shù)據(jù)質(zhì)量的第一步。數(shù)據(jù)可通過數(shù)據(jù)錄入獲得，即人工從記錄本錄入，或自動從實驗室儀器采集，也可通過第三方來源、數(shù)據(jù)庫、實驗室信息管理系統(tǒng)（LIMS）或云端提供，以不同格式、不同頻率（批處理或流式）等方式生成。來自傳感器等物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)需關(guān)注設(shè)備運行條件與數(shù)據(jù)流轉(zhuǎn)過程，以評估外部因素對數(shù)據(jù)完整性的沖擊。
此外，來自本地數(shù)據(jù)庫數(shù)據(jù)在到達一定規(guī)模后存在擴展與管理挑戰(zhàn)，需建立規(guī)范流程保障數(shù)據(jù)安全與可恢復(fù)性；數(shù)據(jù)倉庫、數(shù)據(jù)集市與數(shù)據(jù)湖在結(jié)構(gòu)化程度與應(yīng)用場景上各具特點。
GMP要求來自各種來源（生產(chǎn)系統(tǒng)、傳感器、人工輸入等）的數(shù)據(jù)必須準(zhǔn)確且一致。數(shù)據(jù)的存儲與保存必須符合既定的內(nèi)部與外部標(biāo)準(zhǔn)及法規(guī)。這里將“數(shù)據(jù)質(zhì)量”與“數(shù)據(jù)可靠性”建立了聯(lián)系。
數(shù)據(jù)質(zhì)量與數(shù)據(jù)可靠性：評估維度大同小異，各有側(cè)重
數(shù)據(jù)質(zhì)量水平取決于其符合用戶自定義的質(zhì)量維度及其具體度量值，從而確保數(shù)據(jù)適用于既定用途（fit for purpose）。
通則建議，質(zhì)量度量標(biāo)準(zhǔn)的定義應(yīng)由數(shù)據(jù)分析師與領(lǐng)域?qū)＜夜餐瑓f(xié)作制定，同時給出了業(yè)界普遍接受的數(shù)據(jù)質(zhì)量維度如下：
準(zhǔn)確性（Accuracy/Trueness）：與已知正確或真實值一致程度，控制系統(tǒng)誤差/偏倚。
不確定性（Uncertainty）：一組數(shù)據(jù)值圍繞其均值的分散程度，支持合并標(biāo)準(zhǔn)不確定度。
精密度（Precision）：重復(fù)觀測值彼此接近的程度，控制隨機誤差。
完整性（Completeness）：數(shù)據(jù)集包含其應(yīng)包含的所有值的程度（即無缺失值）。
一致性（Consistency）：數(shù)據(jù)集中、跨數(shù)據(jù)集、與標(biāo)準(zhǔn)定義保持協(xié)調(diào)。
及時性（Timeliness）：數(shù)據(jù)首次創(chuàng)建至其可被下游流程和人員實際使用之間的延遲。
可重現(xiàn)性（Reproducibility）：數(shù)據(jù)可被他人獨立驗證并重復(fù)。
真實性（Veracity）：數(shù)據(jù)的準(zhǔn)確性，與源數(shù)據(jù)驗證相關(guān)。
讀者可回顧“數(shù)據(jù)可靠性”的ALCOA+原則（翻譯采用《藥物臨床試驗計算機化系統(tǒng)和電子數(shù)據(jù)指導(dǎo)原則（征求意見稿）》）。
A（Attributable），可歸因性；
L（Legible），易讀性；
C（Contemporaneous），同時性；
O（Original），原始性；
A（Accurate），準(zhǔn)確性；
C（Complete），完整性；
C（Consistent），一致性；
E（Enduring），持久性；
A（Available When Needed），可獲得性；
T（Traceable），可追溯性。
對比可見，兩者在基本質(zhì)量維度上高度一致，均強調(diào)數(shù)據(jù)的準(zhǔn)確性、完整性與一致性，但視角與適用范圍也有所不同。數(shù)據(jù)質(zhì)量水平是一個通用性框架，旨在確保數(shù)據(jù)“適用于既定用途”，其維度定義更側(cè)重于技術(shù)度量與過程控制，如通過精密度（Precision）控制隨機誤差、通過不確定性（Uncertainty）量化數(shù)據(jù)分散程度，這些維度具有較強的統(tǒng)計與工程色彩，適用于廣泛的數(shù)據(jù)管理場景。
數(shù)據(jù)全生命周期管理：圍繞ETL流程
除了理順數(shù)據(jù)源并提出數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，通則5.38還給出如何確保數(shù)據(jù)質(zhì)量的管理框架。數(shù)據(jù)管理可概括為 ETL（Extract-Transform-Load） 流程：先從來源抽取數(shù)據(jù)，在暫存區(qū)內(nèi)進行清洗、轉(zhuǎn)換與增強，最后加載供使用。
抽取Extract
在數(shù)據(jù)抽取階段，原始數(shù)據(jù)最好以開放格式直接進入標(biāo)準(zhǔn)化或自動化的工作流管道；原始數(shù)據(jù)及其配套的元數(shù)據(jù)必須包含足夠的信息；所有原始數(shù)據(jù)與源數(shù)據(jù)必須可追溯、可檢索，以供后續(xù)評估。數(shù)據(jù)可從不同位置或來源抽取（收集），加以整合。此外，應(yīng)引入主題專家對數(shù)據(jù)進行審查，以評估其是否適用于既定用途，及時識別與解決數(shù)據(jù)異常情況。
轉(zhuǎn)換Transform
在數(shù)據(jù)轉(zhuǎn)換階段，核心任務(wù)是將原始數(shù)據(jù)整理成適于分析的標(biāo)準(zhǔn)化格式，涵蓋三個主要方面：
清洗，旨在解決數(shù)據(jù)一致性與完整性問題，依據(jù)規(guī)則處理異常值、重復(fù)值等，并通過可追溯的數(shù)據(jù)重構(gòu)與策展提升處理透明度；
轉(zhuǎn)換和集成，將數(shù)據(jù)整理成便于分析的格式與模板。標(biāo)準(zhǔn)化，可能包括過濾、聚合、匯總、單位與類型轉(zhuǎn)換、（必要時）加密、執(zhí)行治理審計及質(zhì)量檢查等操作。
增強，通過逐步或?qū)崟r補充相關(guān)信息，以充實數(shù)據(jù)內(nèi)容，使其更聚焦于分析目標(biāo)。
加載Load
在數(shù)據(jù)加載階段，轉(zhuǎn)換后的數(shù)據(jù)被傳送至目標(biāo)位置供使用，例如：決策面板，支持靈活查詢的數(shù)據(jù)庫等。
在ETL過程中，數(shù)據(jù)進入目標(biāo)暫存區(qū)后可能經(jīng)歷修改、生成新數(shù)據(jù)集，被丟棄、恢復(fù)或使用。對此過程應(yīng)有完整文檔記錄，需包含數(shù)據(jù)的來源、格式、結(jié)構(gòu)以及所作的任何轉(zhuǎn)換或修改，這些記錄可以通過版本控制系統(tǒng)進行有效跟蹤和管理。
在ETL流程基礎(chǔ)上，數(shù)據(jù)生命周期管理涵蓋如質(zhì)量評估、處理步驟、分析、計算與結(jié)果報告、數(shù)據(jù)集成與驗證等內(nèi)容。重點包括數(shù)據(jù)的歸檔與存儲，在法定保存期內(nèi)應(yīng)檢查存儲數(shù)據(jù)的可獲得性，必須在整個數(shù)據(jù)生命周期內(nèi)證明所有數(shù)據(jù)的可追溯性與完整性。
京公網(wǎng)安備11010802046783號
