金屬表面缺陷是產(chǎn)品生產(chǎn)工藝的不確定性造成的結(jié)果，對于金屬鑄造、機加工制品而言，表面缺陷是常見的質(zhì)量問題，一般的表面缺陷包括磕碰、劃痕、夾雜、氣孔、開裂、麻點、翹曲和脆化等。這些缺陷不僅會影響產(chǎn)品的外觀，更重要的是它們還會影響產(chǎn)品的機械性能。對于某些產(chǎn)品而言，表面缺陷是致命的。
表面檢測的傳統(tǒng)方法主要是通過人工目視檢測，不僅會出現(xiàn)人員疲勞、評價標(biāo)準(zhǔn)不一致等情況，同時人眼的時間及空間分辨率有限，在許多工業(yè)場景下只能進行抽檢，難以滿足生產(chǎn)過程中高速在線實時檢測的需求。熱軋、澆鑄等工藝過程對人員還有一定危險性，因此人工抽檢往往在工藝過程結(jié)束后進行，即使發(fā)現(xiàn)缺陷，過程損失也已發(fā)生，無法對工藝參數(shù)進行及時調(diào)整。
自動光學(xué)檢測技術(shù)（AOI）是一種以計算機視覺為基礎(chǔ)，通過自動光學(xué)系統(tǒng)獲取檢測目標(biāo)圖像，運用算法進行分析決策，判斷目標(biāo)是否符合檢測規(guī)范的非接觸式檢測方法。計算機視覺檢測技術(shù)相對于人工檢測，具備實時性強、效率高、節(jié)省人力成本、不易受主觀因素干擾的優(yōu)勢，逐漸成為金屬制品表面缺陷檢測的重要手段，目前在工業(yè)領(lǐng)域，尤其是熱軋鋼板、帶鋼、精密鋁帶為代表的金屬板帶類產(chǎn)品中應(yīng)用廣泛。
表面缺陷檢測系統(tǒng)的基本原理是利用金屬表面的光學(xué)物理性質(zhì)，在特定的光學(xué)成像條件下，令缺陷表現(xiàn)出區(qū)別于背景的圖像特征，然后通過圖像處理技術(shù)和缺陷檢測算法進行缺陷識別和定位。其基本流程如圖1所示，大致可分為光學(xué)成像、圖像預(yù)處理以及缺陷檢測三大步驟。
圖1 金屬表面缺陷檢測基本流程
根據(jù)金屬表面缺陷檢測的背景和成像方式，通?？煞譃槎S（2D）視覺檢測和三維（3D）視覺檢測。二維視覺檢測技術(shù)發(fā)展至今已經(jīng)有30余年，目前技術(shù)已經(jīng)十分成熟，在自動化生產(chǎn)和產(chǎn)品質(zhì)量控制體系中發(fā)揮著重要作用。但二維視覺僅僅能獲得二維灰度圖像信息，難以獲得金屬表面的深度、細(xì)微紋理、法線方向等信息。
隨著成像技術(shù)、感光元器件技術(shù)的快速發(fā)展，成像技術(shù)已經(jīng)從二維灰度圖像發(fā)展到多光譜、三維成像技術(shù)，與之對應(yīng)的數(shù)字圖像處理技術(shù)也在飛速發(fā)展，近幾年來取得了極大的進步，為金屬表面缺陷檢測提供了越來越豐富的手段。
工業(yè)金屬表面缺陷檢測技術(shù)是一項融合了光學(xué)技術(shù)、傳感器技術(shù)、圖像處理技術(shù)、人工智能和深度學(xué)習(xí)等多門學(xué)科的復(fù)雜任務(wù)，在這一領(lǐng)域仍有許多理論和關(guān)鍵應(yīng)用技術(shù)亟待解決。
1、光學(xué)成像技術(shù)
自動光學(xué)技術(shù)通過光學(xué)傳感技術(shù)模擬人眼的視覺成像功能，針對金屬表面的物理反射性質(zhì)實現(xiàn)缺陷特征增強顯示，輔助人工進行視覺外觀檢測，同時通過多個基本單元組合，可以實現(xiàn)大視場、高分辨率、快速并行的在線檢測。
自動光學(xué)技術(shù)是金屬表面異常檢測技術(shù)的前提和基礎(chǔ)，不僅可以輔助人工檢測，提高實時性和穩(wěn)定性，而且在某些場景中已經(jīng)逐漸取代人工檢測，成為金屬表面缺陷檢測的重要手段。
光學(xué)成像系統(tǒng)如圖2所示，其基本組成包括光源、光學(xué)鏡頭、相機和運動控制器。根據(jù)光學(xué)成像方式的不同，光學(xué)檢測技術(shù)可分為基于二維灰度圖像信息的檢測技術(shù)和基于三維深度圖像信息的檢測技術(shù)。二維檢測技術(shù)主要用于冷軋、熱軋金屬板帶的生產(chǎn)過程，而三維檢測常用于金屬制成品、精密加工件、金屬外觀件的生產(chǎn)過程中檢測。
圖2 自動光學(xué)成像系統(tǒng)
1.二維成像檢測技術(shù)
二維成像技術(shù)主要包括角度分辨技術(shù)、色彩分辨技術(shù)和光譜分辨技術(shù)。由于金屬制品表面往往顏色、材質(zhì)單一，因此色彩分辨技術(shù)和光譜分辨技術(shù)很少用于金屬表面缺陷檢測，最常用的是角度分辨技術(shù)。
角度分辨技術(shù)的基本原理是表面散射模型，如圖3所示。當(dāng)光束照射金屬表面時，根據(jù)產(chǎn)品表面粗糙度的不同會發(fā)生朗伯反射、方向反射和鏡面反射現(xiàn)象，通過成像光路獲取二維灰度圖像，然后根據(jù)缺陷和背景的敏明暗特征來檢測缺陷。
圖3 表面散射模型
根據(jù)光的物理反射特性，針對不同類型的金屬表面背景以及缺陷特點，產(chǎn)生了不同的光學(xué)角度散射分辨技術(shù)。美國Westinghouse公司通過高強度線光源和線陣CCD相機采集鋼板表面圖像，并提出了明場、暗場、漫反射照明技術(shù)用于金屬表面缺陷檢測。隨著光學(xué)傳感技術(shù)的發(fā)展，又出現(xiàn)了同軸、背光等多種照明技術(shù)，這一類技術(shù)被稱為角度分辨技術(shù)，如圖4所示。
圖4 照明光路類型
成像方式的選取與檢測的缺陷和背景特性緊密相關(guān)。一般金屬制品表面的反射性質(zhì)介于漫反射和鏡面反射之間，而不同類型的缺陷在特定光照條件下更容易分辨。在角度分辨檢測技術(shù)中，光源照射方向、表面法線方向與相機光軸方向之間的角度，決定了缺陷特征的主要因素，包括對比度、空間分辨率、光照一致性和曝光度，這些因素對系統(tǒng)捕獲與背景明顯區(qū)分的缺陷特征至關(guān)重要。
例如劃傷缺陷，寬度尺寸通常小于0.2 mm，其光學(xué)特性有明顯的方向性，存在大范圍的視覺盲區(qū)，僅在特定照明角度下呈現(xiàn)高度反射，當(dāng)光源方向平行于劃痕時則幾乎不可見。又如水漬、油漬，在金屬表面干涸后呈現(xiàn)圓形亮斑，在單一照明條件下極易與圓形凹痕相互混淆。大量研究表明不同的成像方式之間具有互補性，采用復(fù)合光源成像系統(tǒng)能夠有效提高表面檢測的識別精度與穩(wěn)定性。
2.三維成像檢測技術(shù)
二維成像方式在檢測具有凹凸結(jié)構(gòu)的金屬表面時缺少深度、法線方向、曲率等微觀特征信息，對于例如氣孔、夾渣等微小缺陷檢測困難、漏檢率高。對于氧化皮、水漬等偽缺陷與裂紋、輥印等具有深度信息的缺陷，在二維灰度圖像上特征十分相似，極易混淆。三維視覺成像技術(shù)可以獲取裂紋、輥印等缺陷的深度、法線方向等信息，如圖5所示，能夠顯著提高表面缺陷檢測系統(tǒng)的分辨能力。
圖5 二維成像和三維成像的對比
三維視覺成像技術(shù)在工業(yè)領(lǐng)域是一種重要的方法，近幾年來在機器人控制、機器測量、表面和內(nèi)部缺陷檢測領(lǐng)域取得了顯著的成果。三維成像檢測技術(shù)包括光學(xué)方法和非光學(xué)方法，其中光學(xué)方法應(yīng)用最為廣泛，主要包括光度立體法、飛行時間法、掃描法、立體視覺法、結(jié)構(gòu)光法和光場三維成像等。
經(jīng)典光度立體法的原理示意如圖6所示，通常由3個位置不同的光源、被測產(chǎn)品和同一個相機組成。該方法具有顯著優(yōu)勢，如空間尺度分辨能力不受視場限制，能夠有效捕捉微小的缺陷特征；采用多照明光路、多成像通道互補，能夠更有效地獲取局部缺陷深度、梯度、法線方向和曲率等信息；硬件成本具備顯著優(yōu)勢，并可兼容傳統(tǒng)二維檢測算法。
圖6 光度立體法
與僅有二維灰度圖像信息的檢測技術(shù)相比，光度立體法能夠更好地區(qū)分水漬、油污等偽缺陷與凹陷、刮痕等有深度變換的真實缺陷，在具有復(fù)雜結(jié)構(gòu)紋理的金屬表面具備更有效的分辨能力。
3.混合成像檢測技術(shù)
二維成像技術(shù)通?？色@取高分辨率以及高對比度的圖像，能夠更好地捕獲缺陷的紋理細(xì)節(jié)特征信息，對夾雜、氣孔、劃痕等微小瑕疵有更好的檢測效果，但無法獲取深度和法線方向等信息，對于油污、銹跡等偽缺陷容易發(fā)生誤判；而三維成像可以提供深度、褶皺、凹凸紋理等形狀信息，但計算量較大且空間分辨率有限，對微小缺陷特征不夠敏感。
混合成像檢測技術(shù)能夠克服兩者的局限性，結(jié)合二維紋理細(xì)節(jié)和三維深度信息更準(zhǔn)確的判別缺陷，在相同成像條件下準(zhǔn)確率高于單一成像方式檢測技術(shù)，如圖7所示。但這一類技術(shù)實現(xiàn)成本較高，目前尚難以推廣。
(a) 二維灰度圖像
(b) 具有三維深度信息的圖像
圖7 混合成像技術(shù)
2、圖像預(yù)處理技術(shù)
圖像預(yù)處理技術(shù)在表面缺陷檢測中起著至關(guān)重要的作用，它有助于提高圖像質(zhì)量和信噪比，使檢測算法更容易準(zhǔn)確識別缺陷。圖像預(yù)處理包括圖像增強、特征提取、圖像分割和拼接等技術(shù)。在傳統(tǒng)方法中，通過圖像處理技術(shù)對通過各種成像技術(shù)獲取的圖像信息進行預(yù)處理，以獲取拼接圖像、感興趣區(qū)域、復(fù)原圖像和分割子圖等，是表面缺陷檢測的關(guān)鍵步驟。在基于深度神經(jīng)網(wǎng)絡(luò)的方法中，通過圖像預(yù)處理技術(shù)來獲取適用于網(wǎng)絡(luò)輸入的圖像，能夠顯著提高檢測方法的效率和穩(wěn)定性。
圖8 基于圖像分割的缺陷檢測
3、缺陷檢測
缺陷檢測器的主要功能是從特征圖中識別缺陷，并對缺陷進行分類和定位。根據(jù)表面缺陷檢測算法的任務(wù)目標(biāo)和實現(xiàn)原理，大致可分為模板匹配、圖像分類、目標(biāo)檢測、圖像語義分割和圖像異常檢測五類。
圖像分類把缺陷檢測視為分類問題，即判斷圖像窗口內(nèi)是否為缺陷，或?qū)儆谀囊活惾毕荩荒繕?biāo)檢測可以一次性檢測出缺陷的類別、位置和大小，其中缺陷的位置和大小可以用一個包圍盒來描述；圖像語義分割需要找出背景中可能存在的缺陷區(qū)域，并輸出像素級的缺陷邊界。
這些算法會將已知的缺陷歸納成明確的類別，通過標(biāo)簽對缺陷圖像的位置、大小、邊緣、類別進行標(biāo)注，因此這類方法更關(guān)注缺陷的特征，通常用有監(jiān)督學(xué)習(xí)的方式來構(gòu)造和訓(xùn)練模型。
而異常檢測則關(guān)注正常產(chǎn)品的特征分布范圍，將與正常產(chǎn)品有明顯不同的樣本都看作缺陷樣本，通常只需要無缺陷樣本即可進行訓(xùn)練。
1.模板匹配
在工業(yè)表面缺陷檢測任務(wù)中，最理想的情況是正常樣本都高度相似，缺陷樣本與正常樣本僅在小范圍有差異。模板匹配是解決這類任務(wù)最有效的檢測方法。模板匹配根據(jù)已知模板圖像到另一待檢圖像中尋找與模板圖像相似的子圖像，然后通過相似度度量計算模板與待檢樣本之間的相似性，即可判斷樣本是否存在缺陷。
模板匹配方法一般可分為兩大類，一類是基于灰度匹配的方法，另一類是基于特征匹配的方法?；诨叶绕ヅ涞姆椒ㄒ卜Q為圖像相關(guān)匹配算法，具有計算量小、易于硬件實現(xiàn)等優(yōu)點，但是要求兩幅圖像有大量重復(fù)像素；基于特征的方法大致可分為點特征匹配、邊緣特征匹配和區(qū)域匹配三大類別。
基于模板的計算機視覺檢測方法原理簡單，對算法要求不高，在大規(guī)模生產(chǎn)、產(chǎn)品一致性較高的金屬機加工零配件生產(chǎn)中應(yīng)用十分廣泛。但這類方法需要提前制作模板，僅能用于檢測重復(fù)性強的相同部件或產(chǎn)品，應(yīng)用場景受到了一定限制，對于金屬鑄坯這一類正常樣本之間也會存在較大差異的產(chǎn)品，難以通過模板匹配進行缺陷檢測。
2.圖像分類
圖像分類是計算機視覺領(lǐng)域的基礎(chǔ)問題?；趫D像分類的表面缺陷檢測算法將已知的缺陷歸納成明確的類別，通過算法給樣本分配一個標(biāo)簽，以實現(xiàn)最小的分類誤差。通過與滑動窗口法組合，圖像分類可以實現(xiàn)較粗粒度的缺陷定位。
通過圖像分割與圖像分類組合，可以實現(xiàn)像素級的缺陷邊界檢測。根據(jù)模型結(jié)構(gòu)設(shè)計中是否有神經(jīng)網(wǎng)絡(luò)參與，通常又可分為傳統(tǒng)機器學(xué)習(xí)方法和基于深度學(xué)習(xí)的方法兩大類。
在金屬表面缺陷檢測任務(wù)中，統(tǒng)計模式識別是最基本的傳統(tǒng)機器學(xué)習(xí)方法。傳統(tǒng)機器學(xué)習(xí)方法往往依賴人工設(shè)計的特征模板和對數(shù)據(jù)分布的假設(shè)，而在真正的工業(yè)生產(chǎn)環(huán)境中，待檢圖像往往受到形狀、位置、光照、背景和成像設(shè)備差異帶來的各種噪聲影響。這使得傳統(tǒng)機器學(xué)習(xí)模型往往只能在十分苛刻的環(huán)境下使用。
隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的分類網(wǎng)絡(luò)目前已經(jīng)成為表面缺陷檢測中非常重要的技術(shù)。根據(jù)分類網(wǎng)絡(luò)的實現(xiàn)方法差異，可將其細(xì)分為直接用網(wǎng)絡(luò)分類、利用網(wǎng)絡(luò)進行缺陷定位和利用網(wǎng)絡(luò)作為特征提取器三種方式。
直接利用CNN進行缺陷分類是最早應(yīng)用于表面缺陷檢測任務(wù)中的深度學(xué)習(xí)方法。2014年，奧地利科技研究所最早訓(xùn)練CNN來實現(xiàn)軌道表面空洞缺陷檢測，整個網(wǎng)絡(luò)僅包含兩個卷積層、兩個池化層和一個全連接層，在鋼軌表面缺陷數(shù)據(jù)集上達到了1.108%的錯誤率。
與基于手工特征提取的早期方法相比，深度度量學(xué)習(xí)使用深度神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)相似度度量。這種方法對于個體級別的細(xì)粒度識別非常有用，常見的應(yīng)用是圖像匹配、行人重識別或人臉識別。常見的度量學(xué)習(xí)架構(gòu)包括孿生網(wǎng)絡(luò)和三元網(wǎng)絡(luò)（圖9）。
圖9 三元網(wǎng)絡(luò)架構(gòu)
深度度量學(xué)習(xí)用于表面缺陷檢測的一個基本策略是計算正常樣本與待檢樣本之間的距離。Kim等設(shè)計了一個基于CNN的孿生網(wǎng)絡(luò)對鋼表面缺陷進行分類，將兩幅圖像輸入到共享權(quán)值的CNN中完成特征提取，然后用基于相似度函數(shù)的對比損失計算圖像特征的差異程度，該方法在NEU-CLS數(shù)據(jù)集上僅用10張圖片樣本進行學(xué)習(xí)，即可在9種缺陷的數(shù)據(jù)集上達到86.5%的分類準(zhǔn)確率。
與表征學(xué)習(xí)相比，度量學(xué)習(xí)可以看作學(xué)習(xí)樣本在特征空間中的流形分布，而表征學(xué)習(xí)則可看作學(xué)習(xí)樣本在特征空間的分界面。在工業(yè)金屬表面缺陷檢測領(lǐng)域，經(jīng)常使用人工生成正樣本來訓(xùn)練網(wǎng)絡(luò)以解決正樣本稀少的問題。
3.目標(biāo)檢測
一般而言，目標(biāo)檢測任務(wù)是最接近于表面缺陷檢測的任務(wù)，在工業(yè)生產(chǎn)領(lǐng)域應(yīng)用十分廣泛。它將目標(biāo)的識別與定位合并成為一個任務(wù)，準(zhǔn)確性和實時性是系統(tǒng)的重要能力，尤其是在一個場景中對多個可能發(fā)生重疊的目標(biāo)進行實時處理時。
常用的基于深度學(xué)習(xí)的目標(biāo)檢測模型從結(jié)構(gòu)上可以分為二階段模型和一階段模型。兩者的主要區(qū)別在于，二階段模型需要首先提議可能包含缺陷的候選框，然后再對候選框中的子圖進行目標(biāo)分類；而一階段模型則可以通過CNN提取的特征，直接預(yù)測缺陷的位置、大小、類別和置信度。
圖10 二階段網(wǎng)絡(luò)和一階段網(wǎng)絡(luò)的對比
二階段網(wǎng)絡(luò)算法的經(jīng)典算法是R-CNN。2014年提出的R-CNN模型將目標(biāo)檢測技術(shù)成功運用于工業(yè)場景，這一類方法可以同時找出缺陷的位置、大小和類別，實現(xiàn)了端到端的外觀缺陷檢測。但是R-CNN候選區(qū)域縮放后的畸變問題和提取特征時的重復(fù)計算導(dǎo)致了模型性能和速度的瓶頸。為了解決這些問題，研究人員先后提出了SPP-net、FastR-CNN、FasterR-CNN、MaskR-CNN和CascadeR-CNN等。
2021年Guo等采用MaskR-CNN對鐵軌表面缺陷進行檢測和缺陷區(qū)域的語義分割。訓(xùn)練時采用了1140張經(jīng)過標(biāo)注的圖片，并在16張圖片上進行了測試，實驗表明MaskR-CNN可以有效檢測缺陷，具有應(yīng)用價值，如圖11所示。
圖11 基于二階段網(wǎng)絡(luò)的金屬表面缺陷檢測
YOLO的名稱意為“你只需要看一次”即可識別出所有的目標(biāo)。相比二階段網(wǎng)絡(luò)，YOLO不需要提議候選框，可直接根據(jù)全圖背景信息識別出所有的物體的類別和位置，因此又被稱為Region-free方法，流程如圖10(b)所示。
2020年Bochkovskiy等提出了YOLOv4，引入PAN作為網(wǎng)絡(luò)的Neck部分，通過將不同尺度的特征來回融合兩次，顯著提升了模型的性能。Usamentiaga等將YOLOv5應(yīng)用于金屬表面缺陷檢測，在NEU-1800金屬缺陷數(shù)據(jù)集上以28 ms/幀的檢測速度達到了最高的檢測精度，效果遠(yuǎn)遠(yuǎn)超過SSD、FastR-CNN、YOLOv2和YOLOv3的修改版本，在檢測效率和精度上均達到了工業(yè)在線實時檢測的要求。
在以往研究的基礎(chǔ)上，人們又提出了融合多重檢測的端到端金屬表面缺陷檢測方法（DDN）。該模型在缺陷檢測數(shù)據(jù)集NEU-DET上實現(xiàn)了74.8/82.3的平均精度均值以及20FPS的檢測速度，使模型達到了工業(yè)化應(yīng)用的水平。
上述一階段目標(biāo)檢測方法均基于錨框，不僅計算量大，同時正負(fù)樣本的劃分依賴一定的先驗假設(shè)，容易帶來額外的誤報或漏檢。為此提出了一種新的無錨框目標(biāo)檢測框架，通過基于中心點的關(guān)鍵點檢測算法來尋找目標(biāo)的中心點，并回歸其他對象屬性，比基于錨框的方法更快、更準(zhǔn)確。
2021年曠視科技提出了YOLOX算法，以改善單個網(wǎng)格中目標(biāo)密集的問題。Auto Assign提出了一種完全可微的動態(tài)標(biāo)簽加權(quán)分配方法，在目標(biāo)檢測領(lǐng)域?qū)崿F(xiàn)了最先進的性能。之后CA-FPN結(jié)構(gòu)被提出，通過學(xué)習(xí)不同尺度特征之間的關(guān)系實現(xiàn)了多尺度特征的自適應(yīng)融合，并結(jié)合Auto-Assign提出了改進的CA-AutoAssign網(wǎng)絡(luò)，在NEU-DET數(shù)據(jù)集上達到了82.7%的平均精度（mAP），超過了專門為NEU-DET數(shù)據(jù)集設(shè)計的DDN，并且檢測時間幾乎沒有增加。
2020年提出的DETR將基于Transfor-mer的方法成功應(yīng)用于目標(biāo)檢測領(lǐng)域，如圖12所示，輸出的結(jié)果不需要非極大抑制（NMS）計算，實現(xiàn)了真正的端到端。
圖12 DETR網(wǎng)絡(luò)結(jié)構(gòu)
4.語義分割
目標(biāo)檢測網(wǎng)絡(luò)可以檢測缺陷的類別、位置和大小，但在某些工業(yè)場景中缺陷的形態(tài)和分布是不定的，此時用一個包圍盒很難準(zhǔn)確描述缺陷的分布，因此還要對每一個缺陷以像素級的精度標(biāo)記出缺陷的邊界。
語義分割網(wǎng)絡(luò)將表面缺陷檢測任務(wù)轉(zhuǎn)化為像素級分割任務(wù)，一種簡單的分割網(wǎng)絡(luò)可以將正常背景與缺陷區(qū)域分割；另一種網(wǎng)絡(luò)可以將多個缺陷分割成不同的實體。
語義分割網(wǎng)絡(luò)不僅能分割出缺陷，而且可以精確描述缺陷的位置、類別以及像素級的集合屬性，例如長度、寬度、面積、輪廓、幾何中心等。根據(jù)分割網(wǎng)絡(luò)的原理不同，可以分為基于全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的方法和基于上下文知識的方法。
在金屬表面缺陷檢測領(lǐng)域，常用的語義分割數(shù)據(jù)集包括MT和RSDDs。MT數(shù)據(jù)集包含不同光照條件下采集的共5類磁瓦表面圖像，每類提供大量正常表面圖像和數(shù)十張帶有像素級標(biāo)注的缺陷圖像；RSDDs數(shù)據(jù)集則提供了195張包含像素級標(biāo)注的鋼軌表面缺陷圖像
5.異常檢測
在實際工業(yè)生產(chǎn)場景中，大量數(shù)據(jù)是缺乏標(biāo)注的，隨著生產(chǎn)工藝的變化，未定義過的缺陷類型也可能出現(xiàn)，這就給表面缺陷檢測帶來了極大的挑戰(zhàn)?；跓o監(jiān)督或弱監(jiān)督學(xué)習(xí)的圖像異常檢測技術(shù)是解決這個問題的有效手段。
傳統(tǒng)異常檢測方法通常會訓(xùn)練一個模型來擬合正常圖像，然后在檢測階段根據(jù)待檢樣本與模型之間的差異來進行異常檢測?；谏疃葘W(xué)習(xí)的方法嘗試重構(gòu)一個正常樣本，并根據(jù)重構(gòu)誤差來檢測可能存在的表面缺陷。
傳統(tǒng)方法主要包括基于統(tǒng)計的方法、基于圖像低秩分解的方法和基于稀疏編碼重構(gòu)的方法?；趥鹘y(tǒng)方法的表面缺陷檢測算法在很大程度上基于手動設(shè)計的特征，最常見的方法是基于統(tǒng)計和過濾器，但設(shè)計特征的過程非常費時費力，并且可能需要對每個新產(chǎn)品都要重復(fù)以上工作，因此傳統(tǒng)方法現(xiàn)在已經(jīng)很少使用，但是其理論基礎(chǔ)和設(shè)計思路對于我們設(shè)計基于深度學(xué)習(xí)的表面缺陷檢測方法有著重大的指導(dǎo)意義。
圖像重建模型的核心思想與傳統(tǒng)機器學(xué)習(xí)中稀疏編碼重構(gòu)的方法類似。首先對正常樣本的圖像進行編解碼，并以重構(gòu)輸入為目標(biāo)進行訓(xùn)練，以此學(xué)習(xí)正常樣本的分布。然后在檢測階段，通過分析重構(gòu)損失來進行缺陷檢測。圖像重構(gòu)網(wǎng)絡(luò)的訓(xùn)練方法主要包括變分自編碼機（VAE）、GAN和標(biāo)準(zhǔn)化流，如圖13和圖14所示。
圖13 基于圖像重建的缺陷檢測：(a) 變分自編碼機；(b) GAN結(jié)合AE；(c) 基于記憶池的模型
圖14 基于標(biāo)準(zhǔn)化流的缺陷檢測：(a) 原始圖像；(b) 多尺度輸入；(c) 圖像特征分布；(d) 簡單分布；(e) 標(biāo)準(zhǔn)分布；(f) 異常分布
基于圖像重構(gòu)的方法通常可以直接實現(xiàn)異常區(qū)域的定位，但難以實現(xiàn)缺陷分類。這一類方法仍然有許多值得研究的內(nèi)容，例如正常圖像區(qū)域的重構(gòu)誤差問題。由于沙漏狀的結(jié)構(gòu)，重構(gòu)過程中容易丟失圖像細(xì)節(jié)，導(dǎo)致重構(gòu)前后在正常樣本區(qū)域可能出現(xiàn)較大差異，這一缺點在結(jié)構(gòu)復(fù)雜的金屬結(jié)構(gòu)表面尤其突出。
此外，還有一類基于切片（Patch）特征的方法用于異常檢測。Yi等基于支持向量數(shù)據(jù)描述法（SVDD）提出了Patch SVDD，在MVTecAD數(shù)據(jù)集上的異常檢測和分割任務(wù)上實現(xiàn)了9.8%和7%的性能提升。
基于記憶的端到端分割網(wǎng)絡(luò)MemSeg通過引入合成缺陷樣本和內(nèi)存樣本輔助網(wǎng)絡(luò)訓(xùn)練，并用記憶池存儲正常樣本的一般模式，從而在推理階段直接定位圖像的異常區(qū)域，并且具有31.2FPS的推理速度，在工業(yè)金屬表面缺陷分割領(lǐng)域有顯著優(yōu)勢。
PatchCore提出了一種基于最具代表性特征記憶庫的方法，結(jié)合基于ImageNet預(yù)訓(xùn)練的圖像嵌入表示和離群點檢測模型，如圖15(b)所示，在MVTecAD基準(zhǔn)測試中實現(xiàn)了高達99.6%的AUROC分?jǐn)?shù)，錯誤率比當(dāng)時最好的方法降低了一半。
基于預(yù)訓(xùn)練網(wǎng)絡(luò)的方法通過非參數(shù)建模來估計正常樣本的編碼分布，但是這些方法忽略了切片之間的位置和鄰域信息。為解決這個問題提出了PNI模型，利用條件概率估計領(lǐng)域特征在給定正常分布下的表示，并用多層感知機對其進行建模。同時模型引入一個基于隨機合成異常圖像進行訓(xùn)練的網(wǎng)絡(luò)來提高異常檢測的準(zhǔn)確性，成為該領(lǐng)域最先進的方法。
另一類基于教師-學(xué)生的方法通過訓(xùn)練一個學(xué)生網(wǎng)絡(luò)來預(yù)測正常樣本的特征，當(dāng)學(xué)生網(wǎng)絡(luò)預(yù)測的特征與教師網(wǎng)絡(luò)不同時即可檢測出圖像中的異常，如圖15(a)所示。EfficientAD提出了一個訓(xùn)練損失函數(shù)來阻止學(xué)生網(wǎng)絡(luò)從教師網(wǎng)絡(luò)中學(xué)習(xí)到正常樣本以外的特征以及正常特征的無效組合，以高達600FPS的檢測速度在MVTecAD數(shù)據(jù)集上取得了98.8%的準(zhǔn)確率，成為了該領(lǐng)域速度最快的異常檢測方法。
圖15：(a) 基于教師-學(xué)生網(wǎng)絡(luò)的方法；(b) 基于最典型嵌入表示的方法
綜上，基于不同工業(yè)應(yīng)用場景的檢測需求和任務(wù)目標(biāo)不同，不同類的方法各有其優(yōu)缺點以及適用條件限制，具體如下：
4、關(guān)鍵問題和研究趨勢
1.光學(xué)成像方案
基于光學(xué)成像的自動表面缺陷檢測技術(shù)目前在工業(yè)制造領(lǐng)域正發(fā)揮著越來越重要的作用，針對金屬表面圖像的缺陷檢測算法研究也受到了學(xué)界和產(chǎn)業(yè)界的廣泛關(guān)注。然而以光學(xué)成像技術(shù)為基礎(chǔ)的AOI技術(shù)不僅是一個算法問題，同時也是一個復(fù)雜工程問題，光學(xué)成像技術(shù)對于細(xì)微特征的獲取也至關(guān)重要。
精心設(shè)計的成像方案能夠有效降低檢測算法的實現(xiàn)難度，如何針對具體的應(yīng)用場景選擇合適的光學(xué)成像方案，在硬件成本、算法精度和檢測速度之間取得最佳的平衡，仍然是一個亟待解決的問題。
同時隨著產(chǎn)業(yè)智能化升級和精密制造技術(shù)的不斷發(fā)展，AOI技術(shù)對于檢測精度、速度、分辨率的要求越來越高，直接利用光源、相機、計算機等通用工業(yè)設(shè)備搭建的簡單二維光學(xué)檢測設(shè)備已經(jīng)無法滿足越來越多的細(xì)分場景的檢測需求。針對各種具體的工業(yè)生產(chǎn)場景的特點，不斷發(fā)展特殊光學(xué)成像技術(shù)也是十分重要的研究方向。
基于三維視覺的成像技術(shù)，能夠突破二維灰度圖像的限制，獲取金屬表面的法線方向、深度等信息，對于具有縱向深度特征的微小缺陷取得了更好的檢測效果，具有良好的應(yīng)用前景。但目前三維成像技術(shù)更多的用于產(chǎn)品外形幾何測量、定位、姿態(tài)估計等場景，針對三維圖像數(shù)據(jù)的缺陷檢測方法研究較少，很多方法仍需將圖像數(shù)據(jù)從三維域轉(zhuǎn)換到二維域才能處理，在實際項目應(yīng)用中的效果仍有待驗證。
2.金屬表面缺陷數(shù)據(jù)集
在不同場景下需要采用不同的光學(xué)成像方案，不僅增加了技術(shù)的復(fù)雜度，還帶來了一個新的問題，即工業(yè)金屬表面檢測領(lǐng)域難以構(gòu)建一個大而統(tǒng)一的數(shù)據(jù)集。與ImageNet、PASCAL-VOC和COCO等擁有數(shù)百萬圖片的通用計算機視覺數(shù)據(jù)集相比，工業(yè)金屬表面檢測領(lǐng)域數(shù)據(jù)集例如NEU-DET和MVTecAD往往僅有數(shù)百至數(shù)千個樣本，另外還有許多金屬表面缺陷數(shù)據(jù)集沒有公開。
在很多視覺任務(wù)中，通過在一個較大的數(shù)據(jù)集上進行預(yù)訓(xùn)練，以獲得一個具有良好特征表達能力的模型，然后在較小的數(shù)據(jù)集上進行遷移學(xué)習(xí)和微調(diào)往往能獲得很好的效果。然而由于成像方式各不相同，在不同類型的金屬表面缺陷數(shù)據(jù)集之間幾乎沒有相似性，因此預(yù)訓(xùn)練和遷移學(xué)習(xí)難以在這個領(lǐng)域獲得很好的效果。
這也使得很多具體應(yīng)用場景下的金屬表面檢測面臨著冷啟動的問題。雖然在實施層面需要大量研究者的付出，同時也面臨著許多商業(yè)因素的阻力，但構(gòu)建一個公開的大型金屬表面缺陷數(shù)據(jù)集將是推動該領(lǐng)域研究的有效手段。
3.樣本不均衡問題
在公開數(shù)據(jù)集難以獲取的同時，研究者構(gòu)建一個真實的金屬表面缺陷數(shù)據(jù)集時，還要面臨著樣本類別嚴(yán)重不均衡的問題。在通常的機器學(xué)習(xí)任務(wù)中，理想狀態(tài)下多分類任務(wù)需要每類樣本數(shù)量巨大且均衡。但在大多數(shù)工業(yè)生產(chǎn)場景中僅能獲得大量的正常樣本，缺陷樣本的統(tǒng)計分布則會隨著生產(chǎn)工藝的改善而不斷變化。未事先定義的異常樣本或者在以往生產(chǎn)中極少出現(xiàn)的缺陷樣本，使得傳統(tǒng)的基于監(jiān)督學(xué)習(xí)的缺陷分類或目標(biāo)檢測算法難以滿足實際應(yīng)用所需的性能要求。
通常在監(jiān)督學(xué)習(xí)中可以使用數(shù)據(jù)增廣、合成和生成等方式來解決樣本不均衡問題。常規(guī)方法包括空間變換、色彩相移、剪切拼接、疊加等方式。另一些研究者用GAN生成逼真的表面缺陷樣本的同時，可以獲得一個強大的鑒別器用來進行缺陷檢測。近年來在生成領(lǐng)域大獲成功的擴散模型則為這一類研究方法構(gòu)建了新的范式。
單類別分類（OCC）是一類僅依靠正樣本即可訓(xùn)練的二分類算法，然而這一類方法不僅可能遺漏人眼會明顯認(rèn)為是異常的缺陷，同時也存在異常的定義不夠清晰、微小缺陷與正常樣本的界限不夠清晰的問題，在工業(yè)實際應(yīng)用中存在較大的風(fēng)險。小樣本學(xué)習(xí)則研究僅用極少量的標(biāo)注樣本來識別一個新類別的缺陷，已經(jīng)有許多研究者進行了初步嘗試，并取得了一定的效果。
如何提高弱監(jiān)督或半監(jiān)督學(xué)習(xí)模型的可靠性仍需要進一步探索。相比之下，人類可以僅從少量樣本中概括出一個新類別的明顯特征，是人類智慧明顯區(qū)別于人工智能的特點，同時也是機器學(xué)習(xí)中最具挑戰(zhàn)性和最有意義的研究方向。
5、總結(jié)與展望
隨著計算機視覺技術(shù)的高速發(fā)展，各種二維、三維成像技術(shù)的硬件成本不斷降低，工業(yè)金屬表面自動缺陷檢測技術(shù)在智能制造領(lǐng)域必將發(fā)揮越來越廣泛的作用。同時視覺檢測系統(tǒng)要作為工業(yè)信息系統(tǒng)中不可缺少的設(shè)備，打通機聯(lián)網(wǎng)數(shù)據(jù)，形成數(shù)據(jù)閉環(huán)上的關(guān)鍵節(jié)點，通過實時信息反饋，指導(dǎo)生產(chǎn)過程管理進行智能決策。工業(yè)生產(chǎn)不同于實驗室研究，必須綜合考慮實施條件、硬件成本、算法精度、人工參與度低等要求，選擇合適的光學(xué)成像技術(shù)、圖像處理技術(shù)和缺陷檢測算法來達到理想的效果。
隨著產(chǎn)業(yè)智能化和精密制造的不斷發(fā)展，通用工業(yè)光源、相機、檢測算法的簡單組合已經(jīng)無法滿足復(fù)雜多樣的生產(chǎn)場景需求，必須根據(jù)檢測目標(biāo)的光學(xué)性質(zhì)、表面紋理特點、缺陷的統(tǒng)計分布，并充分考慮生產(chǎn)環(huán)境的限制，選擇針對性的成像方法和圖像處理技術(shù)，并不斷發(fā)展新的檢測算法。
在統(tǒng)計質(zhì)量控制（SQC）體系中，表面缺陷檢測方法僅僅是手段和工具，自動表面缺陷檢測系統(tǒng)的最終目的是運用質(zhì)量數(shù)據(jù)使質(zhì)量控制可量化和科學(xué)化，保證所有工序產(chǎn)出盡可能接近期望值，提高生產(chǎn)過程的穩(wěn)定性。
當(dāng)缺陷數(shù)量較少時，以統(tǒng)計推斷為基礎(chǔ)的線性分類器效果往往不比深度學(xué)習(xí)算法效果差，同時可解釋性和可信度更強，能夠更好地指導(dǎo)我們建立機理模型，進行生產(chǎn)工藝優(yōu)化。
但當(dāng)樣本量增加、特征維度增大時，特征選擇和相關(guān)性分析變得極為困難，而深度學(xué)習(xí)則嘗試自動從數(shù)據(jù)中學(xué)習(xí)高級特征，在模型設(shè)計過程中盡量避免引入強假設(shè)，這毫無疑問會降低模型的可解釋性。
因此在實際工程應(yīng)用中，傳統(tǒng)方法和深度學(xué)習(xí)方法都有很大的研究價值，只有綜合多種方法，在數(shù)據(jù)標(biāo)注成本、算法可信度和預(yù)測精度之間取得平衡，才能滿足實際工業(yè)生產(chǎn)需求。
作者：伍麟，郝鴻宇，宋友
工作單位：北京航空航天大學(xué)軟件學(xué)院
來源：自動化學(xué)報
轉(zhuǎn)自：奕目光場視覺
京公網(wǎng)安備11010802046783號
