您當(dāng)前的位置：檢測(cè)資訊 > 科研開(kāi)發(fā)
嘉峪檢測(cè)網(wǎng) 2024-09-10 11:52
摘要：機(jī)器視覺(jué)作為代替人工檢測(cè)輪轂表面缺陷的重要手段,是目前該領(lǐng)域的主要研究方向,因此針對(duì)汽車(chē)輪轂表面缺陷檢測(cè)技術(shù)的研究現(xiàn)狀進(jìn)行了綜述與分析。首先,從輪轂表面缺陷的類別和人工檢測(cè)流程入手,闡述了基于機(jī)器視覺(jué)的輪轂表面缺陷檢測(cè)技術(shù)的要求和難點(diǎn)。其次,分析了基于機(jī)器視覺(jué)的智能檢測(cè)算法的發(fā)展歷程,包括傳統(tǒng)的機(jī)器視覺(jué)方法在缺陷圖像預(yù)處理、缺陷定位和特征提取、缺陷分類識(shí)別中的應(yīng)用;卷積神經(jīng)網(wǎng)絡(luò)(CNN)等深度學(xué)習(xí)方法在缺陷檢測(cè)、分割以及其他方面的應(yīng)用。最后,介紹了現(xiàn)有輪轂型號(hào)識(shí)別裝置、輪轂缺陷X射線圖像采集裝置、輪轂表面缺陷圖像采集裝置,并在分析當(dāng)前基于機(jī)器視覺(jué)的智能檢測(cè)裝置在實(shí)際應(yīng)用中的局限性及需要解決的若干關(guān)鍵技術(shù)問(wèn)題的基礎(chǔ)上,提出了3種智能檢測(cè)實(shí)驗(yàn)裝置設(shè)計(jì)方案,為全自動(dòng)快速檢測(cè)裝置的研制與性能提升提供理論與技術(shù)支撐。
關(guān)鍵詞：機(jī)器視覺(jué)；汽車(chē)輪轂；表面缺陷檢測(cè)；深度學(xué)習(xí)；智能檢測(cè)裝置
1、 引 言
作為汽車(chē)節(jié)能化、輕量化首選的鋁合金汽車(chē)輪轂,已有多年的生產(chǎn)發(fā)展歷史[1]。輪轂在其鑄造、打磨、機(jī)加工和自動(dòng)噴漆生產(chǎn)過(guò)程中,不可避免會(huì)產(chǎn)生料斷、冷夾、坑洼和氣孔等缺陷。為了確保汽車(chē)安全運(yùn)行及整車(chē)質(zhì)量,輪轂缺陷檢測(cè)是輪轂生產(chǎn)企業(yè)生產(chǎn)物流過(guò)程中的重要一環(huán)。對(duì)于氣孔、縮孔、縮松、裂紋、夾雜等缺陷一般可通過(guò)X射線成像單元進(jìn)行檢測(cè),而對(duì)于影響產(chǎn)品外觀的劃傷、擦傷等表面缺陷可通過(guò)人工觀察和表面圖像來(lái)檢測(cè)。人工檢測(cè)方法是根據(jù)檢測(cè)標(biāo)準(zhǔn)的要求以肉眼觀測(cè)的方式對(duì)缺陷進(jìn)行鑒別及標(biāo)注。這種高度枯燥重復(fù)的工作以及較高的勞動(dòng)強(qiáng)度會(huì)對(duì)人工檢測(cè)質(zhì)量和效率造成一定程度的影響。同時(shí)操作者的主觀意識(shí)、水平及經(jīng)驗(yàn)等存在的不確定因素,會(huì)造成誤判和漏判,從而影響輪轂產(chǎn)品出廠質(zhì)量,進(jìn)而影響整車(chē)組裝及銷(xiāo)售,甚至給人們的出行帶來(lái)一定的安全隱患。人工檢測(cè)的方式越來(lái)越無(wú)法滿足當(dāng)今輪轂生產(chǎn)過(guò)程對(duì)快速、準(zhǔn)確和穩(wěn)定的更高要求,因此急需開(kāi)發(fā)出自動(dòng)化與智能化的檢測(cè)方法,通過(guò)應(yīng)用機(jī)器視覺(jué)與人工智能等技術(shù)來(lái)提高自動(dòng)化檢測(cè)水平及檢測(cè)效率[2～4]。
針對(duì)汽車(chē)輪轂表面缺陷,本文介紹了常見(jiàn)的缺陷種類和檢測(cè)方法;對(duì)基于機(jī)器視覺(jué)的缺陷檢測(cè)算法,從傳統(tǒng)的機(jī)器視覺(jué)算法和基于深度學(xué)習(xí)的檢測(cè)算法2方面進(jìn)行闡述;最后在介紹和分析現(xiàn)有基于機(jī)器視覺(jué)的檢測(cè)裝置及局限性的基礎(chǔ)上,提出3種改進(jìn)智能檢測(cè)實(shí)驗(yàn)裝置的設(shè)計(jì)方案。
2、 缺陷類別及檢測(cè)方法
2.1 輪轂表面缺陷類別
輪轂表面根據(jù)其結(jié)構(gòu)分為A、B、C、D 共4個(gè)區(qū)域。區(qū)域A為車(chē)輪的樣式平面;區(qū)域B為窗口和輪輻側(cè)面,柱頭螺栓孔區(qū)域20 mm;區(qū)域C為輪轂剩下部分,包括輪輞的制動(dòng)一側(cè);區(qū)域D為車(chē)輪裝飾物或輪胎(包括輪胎緣保護(hù)圈)覆蓋的任何部分和車(chē)輪裝飾物的背面。在4個(gè)表面區(qū)域中輪轂表面缺陷檢測(cè)主要針對(duì)A、B 這2個(gè)區(qū)域。以鋁制汽車(chē)輪轂為例,在鑄造、搬運(yùn)、拋光過(guò)程中產(chǎn)生的可見(jiàn)缺陷如表1所示。
表1 鋁制輪轂表面缺陷分類表
Tab.1 Classification table of aluminum wheel surface defect
汽車(chē)輪轂從材質(zhì)上主要分為鋼輪轂和鋁輪轂,從表面加工工藝上分則有拋光輪轂、油漆和機(jī)加工輪轂、鍍鉻包鉻輪轂等。根據(jù)加工工藝的不同,其表面缺陷可能產(chǎn)生于生產(chǎn)加工和搬運(yùn)過(guò)程中的各個(gè)階段。輪轂表面缺陷根據(jù)產(chǎn)生的原因又分為鑄造缺陷、機(jī)加工缺陷、電鍍?nèi)毕?、搬運(yùn)缺陷、拋光缺陷、油漆缺陷、夾雜缺陷等。由于輪轂表面為曲面,因此輪轂表面缺陷與傳統(tǒng)鋼材表面缺陷相比具有結(jié)構(gòu)和背景復(fù)雜、種類繁多、形態(tài)各異、受拍攝角度及光源影響大等特點(diǎn)。通過(guò)傳統(tǒng)特征提取方法難以完整描述和區(qū)分不同種類的缺陷,容易出現(xiàn)人工提取特征與實(shí)際特征不匹配的現(xiàn)象。再加上缺陷尺寸相比輪轂非常小,識(shí)別難度進(jìn)一步提高。常見(jiàn)的各類輪轂表面缺陷如圖1所示。
圖1 9種輪轂表面缺陷圖
Fig.1 Nine kinds of wheel surface defect picture
2.2 輪轂表面缺陷檢測(cè)方法
2.2.1 人工檢測(cè)流程
輪轂表面缺陷檢測(cè)是輪轂出廠前的一道重要工序,人工檢測(cè)方法是工人在生產(chǎn)線固定工位,通過(guò)雙手把輪轂抬起、傾斜、旋轉(zhuǎn)等方式變換角度,以肉眼觀測(cè)來(lái)對(duì)缺陷進(jìn)行判斷、定位及手工標(biāo)注。檢查是根據(jù)車(chē)輪類型和車(chē)輪裝飾的對(duì)應(yīng)異常情況定級(jí),并規(guī)定從定義的觀察距離處和在設(shè)定的總體檢查時(shí)間內(nèi)探測(cè)不到的異常情況與評(píng)估無(wú)關(guān)。人工檢驗(yàn)現(xiàn)場(chǎng)流程如圖2所示。
圖2 人工檢測(cè)現(xiàn)場(chǎng)流程
Fig.2 Manual inspection process on site
2.2.2 基于機(jī)器視覺(jué)的檢測(cè)方法
將機(jī)器視覺(jué)技術(shù)應(yīng)用于缺陷檢測(cè)中可以在無(wú)損檢測(cè)的同時(shí),很大程度上克服人工檢測(cè)存在的缺點(diǎn),是當(dāng)下汽車(chē)輪轂表面缺陷檢測(cè)研究的主要方向。為了應(yīng)用機(jī)器視覺(jué)完成汽車(chē)輪轂表面缺陷自動(dòng)化檢測(cè)的目標(biāo),檢測(cè)方法應(yīng)該滿足自動(dòng)化、適用性和檢測(cè)效率3個(gè)方面的要求。另外,根據(jù)檢測(cè)系統(tǒng)要求和輪轂表面缺陷的特點(diǎn),不僅要考慮光源問(wèn)題、最佳拍攝位姿,還要考慮檢測(cè)算法精度、實(shí)時(shí)性和泛用性。
3、基于機(jī)器視覺(jué)的智能檢測(cè)算法研究現(xiàn)狀
基于機(jī)器視覺(jué)的智能檢測(cè)算法是實(shí)現(xiàn)輪轂表面缺陷檢測(cè)的核心部分。下面將從傳統(tǒng)的機(jī)器視覺(jué)檢測(cè)算法和基于深度學(xué)習(xí)的檢測(cè)算法2方面展開(kāi)闡述。
3.1 基于傳統(tǒng)機(jī)器視覺(jué)的輪轂缺陷檢測(cè)
3.1.1 輪轂缺陷定位與特征提取
在對(duì)輪轂缺陷檢測(cè)技術(shù)的研究上,早期主要是輪轂內(nèi)部缺陷的X光射線檢測(cè),輪轂X射線圖像具有對(duì)比度低、噪聲源多、檢測(cè)對(duì)象形狀不規(guī)則等問(wèn)題。針對(duì)這些問(wèn)題,國(guó)內(nèi)外學(xué)者展開(kāi)了豐富的研究工作。1982年,Strecker H使用扇形X射線對(duì)鋁鑄件逐層散射成像,能夠檢測(cè)出物體內(nèi)部氣孔和裂紋等缺陷,但檢測(cè)效率低下[5]。1988年Boerner H和Strecker H共同撰文介紹了基于X射線的鋁合金車(chē)輪內(nèi)部缺陷自動(dòng)檢測(cè)系統(tǒng)[6]。論文通過(guò)基于DOG算子的閾值分割法提取缺陷特征,識(shí)別單個(gè)鑄件氣泡的準(zhǔn)確率達(dá)到92%,但檢測(cè)速度低于人工檢測(cè)水平。Merry D在2002年提出一種基于單目X射線圖像序列中潛在缺陷跟蹤的輪轂缺陷自動(dòng)檢測(cè)方法[7～9]。該方法借鑒了人工檢測(cè)X射線圖像的經(jīng)驗(yàn),利用真實(shí)缺陷在輪轂中的幾何位置不變性,在不需要先驗(yàn)知識(shí)的條件下實(shí)現(xiàn)了缺陷自動(dòng)識(shí)別,且可以在1 min內(nèi)處理完成一只輪轂采集的約100張不同角度DR(digital radiography)圖像。2011年Carrasco M和Merry D改進(jìn)了上述方法,通過(guò)設(shè)計(jì)中間分類器模塊,可在多視圖中利用非線性特征分析,更精確的檢測(cè)真實(shí)缺陷,減少誤報(bào)[10]。
國(guó)內(nèi)汽車(chē)輪轂缺檢測(cè)技術(shù)起步較晚。2000年劉明利等人為秦皇島中信戴卡輪轂有限公司研制了汽車(chē)輪轂X射線探傷設(shè)備,主要改進(jìn)了機(jī)械機(jī)構(gòu)來(lái)代替進(jìn)口產(chǎn)品[11]。2004年張連玉和荊峰等分別使用X射線實(shí)時(shí)成像設(shè)備對(duì)輪轂等汽車(chē)零部件進(jìn)行缺陷檢測(cè),指出實(shí)時(shí)檢測(cè)具有直觀、靈敏度高、速度快的特點(diǎn),提高了檢測(cè)效率[12,13]。此后陸斌[14,15]、呂金旗[16]、劉軍[17]闡述了X射線實(shí)時(shí)成像技術(shù)在檢測(cè)輪轂缺陷中的應(yīng)用。
黃茜教授團(tuán)隊(duì)從2002年開(kāi)始研究鑄件內(nèi)部缺陷,對(duì)輪轂X射線圖像的缺陷檢測(cè)研究起步較早。其中談紹熙[18]針對(duì)輪轂X光圖像難以準(zhǔn)確快速分割的問(wèn)題,提出一種基于灰度信息和幾何特征的快速區(qū)域分割方法,有利于圖像分割后的缺陷定位與特征識(shí)別。司徒武超[19]為提高缺陷局部信息可靠性、降低封閉區(qū)域形狀復(fù)雜性,提出封閉區(qū)域截?cái)喾?剔除部分偽缺陷,并針對(duì)背景復(fù)雜的輪轂X射線圖引入基于偏微分方程的各向異性擴(kuò)散模型進(jìn)行目標(biāo)輪廓提取。李小俚等針對(duì)氣孔、夾雜、縮孔3種輪轂典型缺陷實(shí)驗(yàn)了多種缺陷檢測(cè)方法,結(jié)果表明只有二維小波變換分析法可以同時(shí)檢出3種缺陷[20]。何再興等人根據(jù)輪轂缺陷灰度特征特點(diǎn),利用灰度值行掃描和列掃描相結(jié)合的方法定位缺陷大致區(qū)域,再通過(guò)種子填充法精確分割缺陷部分,最后利用遞進(jìn)的模糊識(shí)別算法判斷缺陷類型[21,22]。從2009年起也有團(tuán)隊(duì)從事輪轂缺陷自動(dòng)檢測(cè)研究,其中張淑嫻[23]在經(jīng)過(guò)二次分割提取出輪轂X射線圖像缺陷的基礎(chǔ)上,提出一種將SUSAN算子應(yīng)用于輪轂缺陷邊緣和角點(diǎn)檢測(cè)的方法,以滿足工業(yè)X射線檢測(cè)評(píng)片要求,提高檢測(cè)效率與質(zhì)量。張俊生等對(duì)汽車(chē)輪轂X射線缺陷圖像進(jìn)行了基于多幀疊加的噪聲去除和基于二次動(dòng)態(tài)閾值分割的圖像分割結(jié)果重構(gòu)。最終得到的重構(gòu)結(jié)果提高了缺陷分割的準(zhǔn)確性和穩(wěn)定性[24,25]。
基于輪轂表面圖像的缺陷檢測(cè)相對(duì)于輪轂X射線圖像,背景更復(fù)雜、檢測(cè)難度更高[26]。文獻(xiàn)[27]將檢測(cè)流程分為:定位待檢測(cè)部位、提取缺陷區(qū)域、利用特征提取缺陷、利用廠家標(biāo)準(zhǔn)判定缺陷4步,檢測(cè)結(jié)果如圖3所示。文獻(xiàn)[28]使用一種基于輪廓模板匹配定位的方法,引入誤差閾值進(jìn)行二次模板匹配,提取輪轂軸承區(qū)域,改善了模板匹配耗時(shí)長(zhǎng)的問(wèn)題并排除背景干擾。文獻(xiàn)[29]對(duì)采集到的輪轂軸承端面圓環(huán)圖像進(jìn)行中值濾波和二值化處理后,將輪廓跟蹤得到的缺陷圓環(huán)與最小二乘法圓擬合得到的完整圓環(huán)相減,實(shí)現(xiàn)了對(duì)缺陷特征的提取。由前文可以看出,為了提取汽車(chē)輪轂表面缺陷的特征,需要根據(jù)汽車(chē)輪轂表面結(jié)構(gòu)特點(diǎn)、表面缺陷的特點(diǎn)及采集圖像背景情況設(shè)計(jì)算法,往往先明確了需要檢測(cè)的缺陷類型再針對(duì)性的進(jìn)行設(shè)計(jì)。大部分算法通過(guò)閾值分割方法分割出目標(biāo)缺陷區(qū)域,也有部分算法通過(guò)邊緣檢測(cè)[30]、模板匹配等方法提取缺陷邊緣或缺陷區(qū)域。因此算法在適用范圍內(nèi)準(zhǔn)確性較好,但檢測(cè)速度得不到保證,算法設(shè)計(jì)難度較大且通用性較差。
圖3 缺陷檢測(cè)示意圖
Fig.3 Defect detection diagram
3.1.2 輪轂缺陷分類識(shí)別
在輪轂缺陷分類識(shí)別問(wèn)題上,研究較多的仍是輪轂的X射線圖像。2003年Merry D在50幅含有隨機(jī)噪聲的輪轂X射線圖像上分割出23 000個(gè)區(qū)域[31],并將提取的特征分為幾何特征和灰度特征2組,使用特征選擇法減少了特征數(shù)量,實(shí)現(xiàn)了基于神經(jīng)元網(wǎng)絡(luò)的缺陷分類。結(jié)果發(fā)現(xiàn)輪轂缺陷的區(qū)分在灰度特征上比在幾何特征上更明顯。同年在該數(shù)據(jù)集上,Hernandez S為從405個(gè)特征中選取可以完整表示缺陷的部分,提出了一種自組織特征圖方法來(lái)分層降維簡(jiǎn)化模型構(gòu)建,并利用自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)(adaptive network based fuzzy inference system,ANFIS)完成對(duì)缺陷的識(shí)別和分類,其ROC曲線下面積達(dá)到0.997 6[32]。2005年,Merry D使用閾值、歐氏距離、馬氏距離、多項(xiàng)式、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等8種分類器,通過(guò)與、或、多數(shù)投票等7種方法進(jìn)行比較融合實(shí)驗(yàn),在50幅實(shí)拍圖像上進(jìn)行缺陷檢測(cè),獲得了較低的誤報(bào)率[33]。2011年Osman A等人構(gòu)建了一個(gè)包含382個(gè)真缺陷和215個(gè)偽缺陷的輪轂X射線圖像數(shù)據(jù)集,缺陷種類有氧化物、氣孔和縮松。作者提出了一種基于Dempster-Shafer數(shù)據(jù)融合理論的新方法,實(shí)驗(yàn)結(jié)果顯示真缺陷的檢測(cè)準(zhǔn)確率為99%,偽缺陷的檢測(cè)準(zhǔn)確率為98.3%,該方法顯著提高了分類性能[34]。
國(guó)內(nèi)對(duì)輪轂缺陷分類識(shí)別的研究起步依然較晚,2013年李高亮[35]根據(jù)汽車(chē)輪轂X射線圖像的缺陷分割結(jié)果提取通用特征,并提出基于增減次優(yōu)搜索的特征選擇方法和基于共軛梯度的BP神經(jīng)網(wǎng)絡(luò)分類算法,識(shí)別缺陷種類。文獻(xiàn)[36]則在提取輪轂X射線圖像缺陷通用特征后,基于一對(duì)多和改進(jìn)DAG-SVM的多分類方法設(shè)計(jì)了一種應(yīng)用粒子群算法優(yōu)化模型參數(shù)的多分類模型。文獻(xiàn)[37]采用布谷鳥(niǎo)算法改進(jìn)大津法分割輪轂X射線圖像缺陷并結(jié)合螢火蟲(chóng)算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)輪轂的氣孔、縮松、縮孔、裂紋和夾雜5種常見(jiàn)缺陷的識(shí)別檢測(cè)。
針對(duì)輪轂表面圖像,李飛在提取圖像灰度特征的同時(shí)考慮圖像紋理特征,共選取19個(gè)特征變量輸入支持向量機(jī)(SVM)訓(xùn)練,可以檢測(cè)摩托車(chē)輪轂表面氣孔、疏松、發(fā)振和表面車(chē)不出缺陷[38]。實(shí)驗(yàn)表明,在樣本數(shù)為100時(shí),識(shí)別精度可達(dá)93%。
由此可見(jiàn),輪轂缺陷的識(shí)別分類,一般在閾值分割得到缺陷區(qū)域的基礎(chǔ)上提取并篩選出足以描述缺陷類別的特征,并通過(guò)分類器訓(xùn)練得到缺陷具體分類;也可以直接提取表面圖像通用特征參與分類器訓(xùn)練之中。
3.1.3 輪轂缺陷圖像預(yù)處理
在進(jìn)行特征提取和分類識(shí)別之前采集的圖像往往需要經(jīng)過(guò)預(yù)處理。文獻(xiàn)[35]提出以改進(jìn)的幀積分降噪算法解決輪轂X射線圖像噪聲大對(duì)比度低的問(wèn)題。文獻(xiàn)[36]則在多幀疊加降噪的基礎(chǔ)上應(yīng)用梯度域引導(dǎo)濾波算法,改進(jìn)輪轂X射線圖像質(zhì)量。文獻(xiàn)[39]通過(guò)實(shí)驗(yàn)分析發(fā)現(xiàn)輪轂X射線圖像同質(zhì)平坦區(qū)域上的噪聲近似為與圖像信號(hào)相對(duì)獨(dú)立的加性高斯白噪聲,并以此提出了基于平坦塊檢測(cè)的射線圖像噪聲估計(jì)算法。算法可以有效去除噪聲干擾,并不會(huì)丟失原始圖像細(xì)節(jié)。文獻(xiàn)[40,41]使用窗位窗寬技術(shù)、多幀疊加平均法和HDR技術(shù)提升采集輪轂X射線圖像效果,同時(shí)提出了基于偽模板的圖像增強(qiáng)與基于雙邊濾波的字符去除技術(shù)。在滿足時(shí)間限制的前提下,算法提高了輪轂缺陷檢測(cè)的準(zhǔn)確率。為提高輪轂X射線圖像視覺(jué)效果,文獻(xiàn)[42]利用高低頻兩次二維小波分解達(dá)到提高對(duì)比度和增強(qiáng)圖像邊緣細(xì)節(jié)的目的;同時(shí)采取基于HSI顏色空間的偽色彩增強(qiáng)手段使得圖像更加符合人眼的視覺(jué)特性。從本小節(jié)內(nèi)容可知:根據(jù)目的,預(yù)處理可以分為圖像降噪和圖像增強(qiáng)2方面。
綜上,總結(jié)出傳統(tǒng)機(jī)器視覺(jué)方法檢測(cè)輪轂缺陷的一般方法:①對(duì)采集到的缺陷圖片進(jìn)行預(yù)處理,以減少噪聲干擾并增強(qiáng)圖像信息;②對(duì)待檢測(cè)缺陷,根據(jù)缺陷類型,出現(xiàn)的位置和圖像背景等設(shè)計(jì)專門(mén)的檢測(cè)方法,實(shí)現(xiàn)缺陷分割;③對(duì)于缺陷種類較多的情況,也可以通過(guò)提取缺陷通用特征,利用分類器對(duì)分割出的缺陷部分進(jìn)行分類識(shí)別。但②中的方法,往往只在特定檢測(cè)場(chǎng)景下有效,不具備普適性。且算法受缺陷和背景圖像復(fù)雜程度影響,實(shí)時(shí)性差,難以滿足工業(yè)生產(chǎn)的需求。③中的方法則存在選擇提取的特征與實(shí)際特征分布不符及分類器選擇的問(wèn)題,但這一思路為后來(lái)深度學(xué)習(xí)算法在輪轂缺陷檢測(cè)上的應(yīng)用做出了鋪墊。
3.2 基于深度學(xué)習(xí)的輪轂缺陷檢測(cè)
2012年隨著AlexNet網(wǎng)絡(luò)的誕生,神經(jīng)網(wǎng)絡(luò)飛速發(fā)展,開(kāi)始廣泛應(yīng)用于語(yǔ)義識(shí)別、圖像識(shí)別、無(wú)人駕駛等諸多領(lǐng)域,深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)應(yīng)用于工業(yè)缺陷檢測(cè)的趨勢(shì)也逐漸顯現(xiàn)。與傳統(tǒng)圖像處理方法不同的是,深度學(xué)習(xí)算法需要大量數(shù)據(jù)樣本使得算法可以擬合實(shí)際缺陷情況。然而缺陷輪轂相對(duì)于正常輪轂數(shù)量較少且輪轂表面結(jié)構(gòu)復(fù)雜,因此存在采集和分類數(shù)據(jù)樣本困難、樣本數(shù)量少的問(wèn)題。為防止算法過(guò)擬合,學(xué)到噪聲特征,在考慮使用傳統(tǒng)圖像預(yù)處理算法的同時(shí),還需要對(duì)樣本圖片進(jìn)行數(shù)據(jù)擴(kuò)充,常見(jiàn)方法有:圖像翻轉(zhuǎn)、隨機(jī)角度旋轉(zhuǎn)、隨機(jī)裁剪、圖像平移、缺陷特征位置變換、仿射變換、對(duì)比度調(diào)節(jié)和添加噪聲等。
3.2.1 國(guó)外基于深度學(xué)習(xí)的輪轂X射線圖像缺陷檢測(cè)研究現(xiàn)狀
深度學(xué)習(xí)方法首先仍是應(yīng)用于輪轂缺陷X射線圖像檢測(cè)領(lǐng)域。2015年,Merry D等公開(kāi)了一個(gè)包括鑄件、焊縫、行李、自然物體和背景共19 407張X射線圖像的數(shù)據(jù)集GDXray,其中與鑄造件相關(guān)圖片2 727張,主要從汽車(chē)部件采集[43]。2017年Merry D和Carlos Arteta在GDXray數(shù)據(jù)集的基礎(chǔ)上提取其中部分鑄件缺陷,統(tǒng)一裁剪到32×32大小后經(jīng)過(guò)數(shù)據(jù)增強(qiáng)得到包含23 760張有缺陷和23 760張無(wú)缺陷圖像的新數(shù)據(jù)集。之后作者在該數(shù)據(jù)集上采用簡(jiǎn)單的局部二值模式加上線性支持向量機(jī)取得了最佳的性能,達(dá)到96.5%的準(zhǔn)確率和93.8%的召回率[44]。同年Max Ferguson等使用遷移學(xué)習(xí)方法將多種深度學(xué)習(xí)目標(biāo)檢測(cè)網(wǎng)絡(luò)應(yīng)用于GDXray數(shù)據(jù)集的輪轂鑄件缺陷部分,結(jié)果表明使用ResNet-101主干網(wǎng)絡(luò)的Faster R-CNN模型在測(cè)試集上的平均精度均值最高,而使用了VGG-16主干網(wǎng)絡(luò)的SSD模型運(yùn)行時(shí)間最短[45]。之后Max Ferguson開(kāi)發(fā)了一個(gè)可以同時(shí)識(shí)別出制造缺陷和缺陷屬于哪一個(gè)部件的檢測(cè)系統(tǒng)。與之前的方法相比,同時(shí)對(duì)機(jī)器部件和缺陷像素進(jìn)行語(yǔ)義分割是GDXray數(shù)據(jù)集上缺陷分類的獨(dú)特方法,減少了系統(tǒng)錯(cuò)誤的發(fā)現(xiàn)部件外假陽(yáng)性缺陷的數(shù)量[46]。2020年Merry D為克服數(shù)據(jù)集較小,易產(chǎn)生過(guò)擬合的問(wèn)題,提出將三維橢球腔體投影并疊加在吸收系數(shù)為μ的均勻鑄件X射線圖像上和使用生成對(duì)抗網(wǎng)絡(luò)這2種模擬缺陷數(shù)據(jù)的方法,增加訓(xùn)練樣本中的缺陷數(shù)量。作者還設(shè)計(jì)了一個(gè)用于鑄件X射線圖缺陷檢測(cè)的Xnet-Ⅱ卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明,在訓(xùn)練階段使用橢球投影模擬缺陷得到的模型在測(cè)試集上取得了較好的效果,其mPA達(dá)到了71.02%,而使用GAN網(wǎng)絡(luò)構(gòu)造的缺陷并沒(méi)有很好地解決過(guò)擬合問(wèn)題,其訓(xùn)練得到的mPA僅為50%[47]。2021年,Merry D在上年數(shù)據(jù)集的基礎(chǔ)上分別測(cè)試了8種最新的深度學(xué)習(xí)目標(biāo)檢測(cè)方法(基于YOLO、RetinaNet和EfficientDet),以及分別基于CNN和手工特征的2種基線方法Xnet和CLP-SVM[48]。實(shí)驗(yàn)表明基于YOLO的檢測(cè)器表現(xiàn)較好,而作為基線方法的Xnet和CLP-SVM效果欠佳。且YOLOv5s只花了2.5 h完成了訓(xùn)練,平均精度達(dá)到0.90,且處理速度達(dá)到90張/s X射線圖像。因此該方法可以用于實(shí)時(shí)檢測(cè),輔助操作員判定。
3.2.2 國(guó)內(nèi)基于深度學(xué)習(xí)的輪轂表面缺陷檢測(cè)研究現(xiàn)狀
近些年,國(guó)內(nèi)學(xué)者應(yīng)用深度學(xué)習(xí)算法進(jìn)行輪轂表面缺陷檢測(cè)的研究也在逐步展開(kāi)。2017年韓凱等[49,50]提出一種基于深度學(xué)習(xí)的汽車(chē)輪轂表面缺陷在線檢測(cè)算法。該算法利用工業(yè)相機(jī)采集輪轂表面缺陷圖像,采用se模塊、ROI-Align、FPN特征融合方法改進(jìn)了Faster R-CNN (faster region based convolutional neural networks)網(wǎng)絡(luò),實(shí)現(xiàn)了對(duì)輪轂表面劃痕和點(diǎn)狀2種缺陷的位置標(biāo)定及分類。趙海文將采集到的有限圖像樣本經(jīng)過(guò)圖像分割、圖像灰度化、圖像銳化、圖像樣本擴(kuò)充等圖像處理方法,使用CNN對(duì)劃痕缺陷、擦傷缺陷和正常3種類別進(jìn)行檢測(cè)與分類,檢測(cè)準(zhǔn)確率分別達(dá)到94%、96%、98.7%[51]。文獻(xiàn)[52]提出了一種基于Faster R-CNN改進(jìn)ZF網(wǎng)絡(luò)的輪轂表面缺陷檢測(cè)算法,以輪轂的4種缺陷(劃痕、油污、塊狀和油漆遮蓋不足)為代表,結(jié)合向圖片添加噪聲的數(shù)據(jù)擴(kuò)充方法建立了輪轂缺陷數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果顯示R-CNN算法、YOLOv3算法和該文獻(xiàn)改進(jìn)算法的mAP分別為67.7%、70.39%和72.9%,單張圖片檢測(cè)時(shí)間分別為78、0.033和0.3 s,驗(yàn)證了改進(jìn)算法的快速性、準(zhǔn)確性。文獻(xiàn)[54]則提出了一種基于改進(jìn)YOLOv3的輪轂表面缺陷檢測(cè)算法。算法增加了自下而上的反向連接路徑,整合了多尺度特征圖與語(yǔ)義信息,并采用變形卷積技術(shù)以適應(yīng)條紋缺陷的細(xì)長(zhǎng)特征。提高了鋼裂紋、凹痕、夾雜、劃痕這4種缺陷的檢測(cè)效果。
3.2.3 國(guó)內(nèi)基于深度學(xué)習(xí)的輪轂缺陷分割研究現(xiàn)狀
深度學(xué)習(xí)的應(yīng)用使得對(duì)輪轂表面缺陷的研究不斷進(jìn)步,對(duì)輪轂缺陷的分割特別是X射線圖像的分割也向更深入更準(zhǔn)確的方向發(fā)展。2020年郭瑞琦[55]針對(duì)輪轂X射線圖像提出了一種基于U-Net網(wǎng)絡(luò)的輪轂缺陷分割技術(shù),相比傳統(tǒng)圖像分割算法具有更好的分割精度,時(shí)間開(kāi)銷(xiāo)大大降低。在與CNN及全卷積神經(jīng)網(wǎng)絡(luò)模型(FCN)算法的對(duì)比中,同樣驗(yàn)證了U-Net網(wǎng)絡(luò)的優(yōu)越性。作者改進(jìn)后的U-Net網(wǎng)絡(luò)模型在輪轂缺陷分割任務(wù)中能得到更高的結(jié)構(gòu)相似性度量(structural similarity,SSIM)和集合相似性(Dice)系數(shù),單張圖像的分割時(shí)間達(dá)到了3 ms/張[56]。2021年王陶然提出采用Mask R-CNN模型完成汽車(chē)輪轂X射線圖像缺陷自動(dòng)分割[57]。針對(duì)輪轂生產(chǎn)過(guò)程中可能出現(xiàn)的縮孔、縮松、氣孔、裂紋缺陷,改進(jìn)模型根據(jù)缺陷大小修改錨點(diǎn)框的大小并舍棄特征金字塔的后2層,實(shí)現(xiàn)了更快且較準(zhǔn)確地輪轂缺陷實(shí)例分割。為提升分割精度,作者又提出基于多級(jí)特征金字塔結(jié)構(gòu)M2Det改進(jìn)的Mask R-CNN模型[58],改進(jìn)后的特征融合模塊既考慮了特征層的感受野,也考慮到了不同層的語(yǔ)義信息,其mIoU(mean intersection over union)達(dá)到91.16%。文獻(xiàn)[59]研究了基于環(huán)形特征的卷積神經(jīng)網(wǎng)絡(luò)輪轂識(shí)別。文獻(xiàn)[60]分析了U-net圖像分割模型應(yīng)用于汽車(chē)輪轂DR圖像缺陷分割時(shí),網(wǎng)絡(luò)深度較淺,導(dǎo)致特征提取能力較弱的問(wèn)題,提出級(jí)聯(lián)2個(gè)U型特征提取網(wǎng)絡(luò)的AW-Net模型,提高了缺陷分割精度但犧牲了檢測(cè)速度。為此作者又使用EfficientNet特征提取網(wǎng)絡(luò)的DeepLabv3+分割模型,改進(jìn)后的模型在維持分割精度的同時(shí)減少了分割時(shí)間,具有較好的綜合能力。
Tang C W等也提出了一種基于DeepLabv3+改進(jìn)的汽車(chē)輪轂表面缺陷語(yǔ)義分割網(wǎng)絡(luò)[61],改進(jìn)的解碼器結(jié)合了主體、邊緣和多尺度特征。文獻(xiàn)在4個(gè)缺陷數(shù)據(jù)集(車(chē)輪、磁瓦、織物和焊縫)上進(jìn)行測(cè)試,其中鋁制汽車(chē)輪轂缺陷X射線圖像數(shù)據(jù)集涵蓋了磨損、孔隙、缺口、斑點(diǎn)4個(gè)典型缺陷。實(shí)驗(yàn)結(jié)果表明,改進(jìn)網(wǎng)絡(luò)相比SegNet、Unet和Deeplabv3+具有更好的F1分?jǐn)?shù)、平均精度和IoU值,證明了該網(wǎng)絡(luò)對(duì)不同的缺陷檢測(cè)場(chǎng)景是有效的。
3.2.4 深度學(xué)習(xí)在輪轂表面缺陷檢測(cè)方面的其他應(yīng)用
與傳統(tǒng)圖像預(yù)處理方法相比,深度學(xué)習(xí)算法為圖像信息的增強(qiáng)和消除干擾方面賦予了更多的可能。文獻(xiàn)[50]采用拉普拉斯算子判別輪轂表面圖像模糊現(xiàn)象,并使用生成式對(duì)抗網(wǎng)絡(luò)(generative adversarial network,GAN)消除模糊、生成清晰圖片,模糊消除效果如圖4所示。文獻(xiàn)[62]針對(duì)輪轂表面高反射特性對(duì)圖像質(zhì)量有嚴(yán)重影響,而傳統(tǒng)金屬表面強(qiáng)光去除算法會(huì)破壞強(qiáng)光區(qū)域特征的問(wèn)題,提出了一種使用pix2pix生成對(duì)抗網(wǎng)絡(luò)來(lái)去除輪轂表面高光的方法,能較好地恢復(fù)高光區(qū)域的表面缺陷特征。
圖4 模糊圖像消除算法結(jié)果圖
Fig.4 The result image of blur image removal algorithm
文獻(xiàn)[63]針對(duì)輪轂表面缺陷種類多、特征提取難、缺乏數(shù)據(jù)樣本,而深度學(xué)習(xí)依賴大量標(biāo)注樣本的問(wèn)題,提出了一種基于廣義零樣本學(xué)習(xí)的輪轂缺陷圖像檢測(cè)技術(shù)。該技術(shù)通過(guò)訓(xùn)練常見(jiàn)缺陷得到缺陷樣本特征空間與語(yǔ)義描述空間的映射,并利用該映射將測(cè)試樣本投射到語(yǔ)義空間中離它最近的類別。該算法通過(guò)訓(xùn)練已見(jiàn)過(guò)的類別,可以較好地識(shí)別出未見(jiàn)過(guò)的類別。
鋁制輪轂在中高檔汽車(chē)中應(yīng)用比較廣泛,由于生產(chǎn)過(guò)程的復(fù)雜性,在鋁合金輪轂產(chǎn)品中有近5類20多種缺陷。這些缺陷不僅影響了產(chǎn)品良好的外觀和品牌形象,甚至?xí)绊戄嗇灥臋C(jī)械性能。從上述的研究成果可以看出,在基于機(jī)器視覺(jué)的輪轂缺陷檢測(cè)方案中,主要以輪轂X射線圖像或工業(yè)相機(jī)拍攝的表面圖像為檢測(cè)樣本。X射線圖像主要是針對(duì)輪轂表面高度變化,通過(guò)高度差形成不規(guī)則變化曲線,然后使用識(shí)別算法檢測(cè)。X射線可檢測(cè)變形、夾雜、氣孔等缺陷,很難將表面油泥、劃傷、砂帶印、研磨印等缺陷檢測(cè)出來(lái);工業(yè)相機(jī)圖像則通過(guò)不同角度光線產(chǎn)生的對(duì)比圖像進(jìn)行缺陷判別,更適合輪轂表面缺陷的檢測(cè)。然而由于早期各種限制,對(duì)輪轂缺陷的研究主要通過(guò)X射線圖像,表面缺陷的研究較少。隨著計(jì)算機(jī)視覺(jué)技術(shù)發(fā)展和深度學(xué)習(xí)方法的出現(xiàn),對(duì)輪轂表面缺陷的研究進(jìn)入新的階段。
目前基于機(jī)器視覺(jué)的智能檢測(cè)算法,主要采用圖像處理算法、特征提取結(jié)合機(jī)器學(xué)習(xí)算法或深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法。這些方法通過(guò)分析獲取的缺陷圖像樣本,能夠?qū)嗇瀳D像中的缺陷進(jìn)行檢測(cè)與標(biāo)注。然而生產(chǎn)線上缺陷輪轂數(shù)量占比較低,人工采集大量有缺陷的表面圖像樣本困難,而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)依賴于大量的數(shù)據(jù),數(shù)據(jù)量較少的條件下,可能發(fā)生過(guò)擬合問(wèn)題,模型性能難以保證。且目前識(shí)別的種類也只有4到5種,當(dāng)增加識(shí)別種類時(shí),會(huì)增加算法的學(xué)習(xí)和設(shè)計(jì)難度,識(shí)別準(zhǔn)確率會(huì)降低,漏報(bào)、誤報(bào)和框不準(zhǔn)的情況會(huì)增加,這與實(shí)際需要檢測(cè)20多種缺陷還是有很大差距的。因此,目前的輪轂表面缺陷智能檢測(cè)算法只是停留在理論與實(shí)驗(yàn)研究上,離實(shí)際應(yīng)用還有很多問(wèn)題需要解決。
4、 基于機(jī)器視覺(jué)的智能檢測(cè)實(shí)驗(yàn)裝置
采集清晰、高對(duì)比度的圖像是機(jī)器視覺(jué)檢測(cè)缺陷的基礎(chǔ),因此需要自動(dòng)化的圖像采集裝置。將機(jī)器視覺(jué)與工業(yè)機(jī)器人相結(jié)合是目前輪轂表面缺陷檢測(cè)裝置研究的一個(gè)熱點(diǎn)。研究者們根據(jù)缺陷檢測(cè)工藝流程及檢測(cè)要求,利用機(jī)械手活動(dòng)范圍大、精度高、靈敏度高、控制簡(jiǎn)單的特點(diǎn),提出了許多智能檢測(cè)實(shí)驗(yàn)裝置設(shè)計(jì)方案。該設(shè)計(jì)的出發(fā)點(diǎn)是把視覺(jué)系統(tǒng)安裝在機(jī)器人的末端執(zhí)行器上,在輪轂生產(chǎn)線上使用X射線或指定光源對(duì)輪轂進(jìn)行掃描。每個(gè)輪轂采集多張不同角度數(shù)據(jù)以達(dá)到將檢測(cè)區(qū)域全覆蓋的目的。
4.1 現(xiàn)有的基于機(jī)器視覺(jué)的智能檢測(cè)實(shí)驗(yàn)裝置
目前市場(chǎng)上常見(jiàn)的全自動(dòng)輪轂射線檢測(cè)系統(tǒng)有YXLON公司研制的WI26和意大利Bosello公司研制的WRETHUNDER3。國(guó)內(nèi)輪轂射線檢測(cè)系統(tǒng)與國(guó)外產(chǎn)品相比精度低、速度慢,沒(méi)有被市場(chǎng)認(rèn)可,因此目前國(guó)內(nèi)輪轂制造商的檢測(cè)系統(tǒng)主要依賴進(jìn)口。而針對(duì)輪轂表面缺陷檢測(cè)的自動(dòng)化檢測(cè)裝置依然停留在研究階段,未在實(shí)際檢測(cè)中應(yīng)用。
4.1.1 輪轂型號(hào)識(shí)別系統(tǒng)
輪轂缺陷類別根據(jù)輪轂的類型有所不同,因此,檢測(cè)輪轂表面缺陷首先需要對(duì)輪轂型號(hào)進(jìn)行識(shí)別。麻金賀選用LED光源、大恒圖像DH-SV1421GM千兆以太網(wǎng)CCD相機(jī)和COMPUATR公司生產(chǎn)的M0814-MP固定焦距鏡頭,設(shè)計(jì)了輪轂在線識(shí)別系統(tǒng)[64]。整個(gè)系統(tǒng)具有輪轂輪廓識(shí)別和氣門(mén)孔自主定位的功能,輪轂中心孔和氣門(mén)孔位置檢測(cè)如圖5所示。
圖5 輪轂中心孔、氣門(mén)孔位置識(shí)別
Fig.5 Identification of hub center hole and valve hole position
文獻(xiàn)[65]提出的輪轂型號(hào)識(shí)別系統(tǒng)則將流水線上拍攝的完整輪轂圖像經(jīng)過(guò)圖像減法和圖像先開(kāi)后閉運(yùn)算去除背景和干擾后,通過(guò)邊緣檢測(cè)、圓擬合等方法獲取輪轂外直徑數(shù)據(jù),再結(jié)合輪轂高度采用系統(tǒng)標(biāo)定法獲得輪轂真實(shí)尺寸參數(shù);用所得特征與標(biāo)準(zhǔn)特征庫(kù)進(jìn)行對(duì)比,達(dá)到對(duì)輪轂型號(hào)實(shí)時(shí)分類的目的,為后續(xù)的缺陷檢測(cè)做準(zhǔn)備。
4.1.2 輪轂X射線檢測(cè)裝置
輪轂缺陷檢測(cè)中X射線檢測(cè)發(fā)展較早、相關(guān)設(shè)備裝置也更成熟。華南理工大學(xué)徐道磊將檢測(cè)裝置分3個(gè)區(qū)域[39]。其中進(jìn)倉(cāng)傳送區(qū)完成輪轂型號(hào)識(shí)別,X射線探測(cè)室負(fù)責(zé)采集圖像、出倉(cāng)傳送區(qū)負(fù)責(zé)分揀有缺陷輪轂。裝置通過(guò)機(jī)械控制系統(tǒng)完成手動(dòng)和半自動(dòng)檢測(cè)工作、高壓控制系統(tǒng)控制射線電壓電流。之后李高亮、丁杰、焦騰云等逐步完善了X射線輪轂圖像采集裝置[35,36,41]。
4.1.3 輪轂表面缺陷檢測(cè)識(shí)別系統(tǒng)
為了解決輪轂這種結(jié)構(gòu)復(fù)雜、多規(guī)格、多樣式的復(fù)雜工件表面缺陷檢測(cè)問(wèn)題,釗、宋輝提出了一種基于工業(yè)機(jī)器人的摩托車(chē)輪轂表面缺陷視覺(jué)檢測(cè)系統(tǒng)[66,67]。作者在機(jī)械手末端安裝圖像采集裝置,利用機(jī)器人的精確運(yùn)動(dòng)調(diào)整姿態(tài),檢測(cè)摩托車(chē)輪轂不同面上的表面缺陷。該系統(tǒng)通過(guò)閾值分割法計(jì)算氣閥位置與預(yù)設(shè)位置偏差,利用路徑模版對(duì)機(jī)器人位姿進(jìn)行校正。檢測(cè)一圈用時(shí)35 s,提升了輪轂表面缺陷采集效率和檢測(cè)精度。文獻(xiàn)[26]設(shè)計(jì)的檢測(cè)裝置則將輪轂固定在以軸為中心的旋轉(zhuǎn)裝置上,對(duì)不同成像面選擇不同光源和多相機(jī)采集圖像。該裝置使用線陣相機(jī)獲取高對(duì)比度的缺陷圖像,并經(jīng)過(guò)多次實(shí)驗(yàn)獲得光源顏色、照射角度和距離的參數(shù)。文獻(xiàn)[38]改進(jìn)了上述旋轉(zhuǎn)式輪轂成像裝置,利用2側(cè)旋轉(zhuǎn)裝置的摩擦力帶動(dòng)輪轂轉(zhuǎn)動(dòng),光源則照射在輪轂成像面上通過(guò)反射送入線陣相機(jī),最終以移動(dòng)光源和相機(jī)的方式對(duì)輪轂各個(gè)成像面進(jìn)行成像。
為提高檢測(cè)裝置通用性,文獻(xiàn)[27]將系統(tǒng)分為機(jī)械、成像、檢測(cè)模塊。首先標(biāo)定像素尺寸,然后通過(guò)特征計(jì)算確定輪轂中心圓和輪輻位置,最后拍攝輪轂中心圓和輪輻正面與2側(cè)圖像進(jìn)行檢測(cè)。
由于輪轂軸承表面具有高反射性,在環(huán)形光、帶狀光和表面光中容易出現(xiàn)照射不均勻的問(wèn)題,文獻(xiàn)[29]選擇淺藍(lán)色同軸光源作為檢測(cè)裝置光源,使得軸承表面為灰白色,與純黑背景板形成高對(duì)比度;同時(shí)使用了背光源采集軸承內(nèi)圈表面圖像。此外文獻(xiàn)[51]也選擇了同軸光作為拍攝光源。
上述表面缺陷檢測(cè)裝置中輪轂均放置在固定位置,而實(shí)際生產(chǎn)中輪轂在傳送帶上運(yùn)動(dòng),因此文獻(xiàn)[28]設(shè)計(jì)了基于工廠傳送帶的流水線自動(dòng)分揀系統(tǒng)。系統(tǒng)通過(guò)光電傳感器識(shí)別工件是否到達(dá)待檢測(cè)位置,再經(jīng)過(guò)檢測(cè)分揀出有缺陷的部件。文獻(xiàn)[50]則在輪轂進(jìn)入生產(chǎn)線待檢測(cè)位置后,通過(guò)下方旋轉(zhuǎn)裝置勻速轉(zhuǎn)動(dòng)一周的方式采集輪轂所有正面圖像,以此建立表面缺陷數(shù)據(jù)集。
通過(guò)分析輪轂表面缺陷人工檢測(cè)流程可以看出,缺陷檢測(cè)不僅要對(duì)缺陷進(jìn)行分類,還要用記號(hào)筆對(duì)肉眼觀測(cè)出的缺陷點(diǎn)手工標(biāo)注,以便后續(xù)處理。然而現(xiàn)有的基于工業(yè)機(jī)器人的汽車(chē)輪轂表面缺陷視覺(jué)檢測(cè)系統(tǒng)只是將多自由度機(jī)器人與圖像處理算法相結(jié)合,經(jīng)系統(tǒng)標(biāo)定圖像像素和實(shí)際物體尺寸后,規(guī)劃拍攝路徑進(jìn)行缺陷識(shí)別,并沒(méi)有完成輪轂上缺陷標(biāo)注的方案。另外,輪轂水平放置在固定的支撐平面上,而系統(tǒng)通過(guò)機(jī)器人帶動(dòng)相機(jī)移動(dòng)替代人眼獲取多張輪轂表面圖像,因此檢測(cè)范圍目前只是A面和B面,且不能進(jìn)行不同角度的傾斜、旋轉(zhuǎn)和翻轉(zhuǎn)。
4.2 輪轂表面缺陷智能檢測(cè)與標(biāo)注實(shí)驗(yàn)裝置的方案設(shè)計(jì)
4.2.1 考慮缺陷識(shí)別與標(biāo)注的智能檢測(cè)實(shí)驗(yàn)裝置設(shè)計(jì)
前文中的檢測(cè)裝置只完成了采集缺陷圖像的檢測(cè)任務(wù),并沒(méi)有在檢測(cè)出缺陷的位置畫(huà)上標(biāo)注。因此本文在文獻(xiàn)[51,65]的基礎(chǔ)上,提出了一種考慮輪轂缺陷標(biāo)注的智能檢測(cè)實(shí)驗(yàn)裝置。本實(shí)驗(yàn)裝置由機(jī)器視覺(jué)部分和缺陷標(biāo)注部分共同構(gòu)成。機(jī)器視覺(jué)部分為了定位輪轂上缺陷位置,選用Inter RealSense D435深度相機(jī)來(lái)完成對(duì)輪轂表面RGB圖像信息和深度信息的采集。D435深度相機(jī)內(nèi)含了2個(gè)紅外相機(jī),1個(gè)200萬(wàn)像素的RGB相機(jī)和1個(gè)RGB-D相機(jī),使其能夠采用結(jié)構(gòu)光結(jié)合雙目視覺(jué)的方式獲取目標(biāo)深度信息,從而達(dá)到2 m范圍內(nèi)深度誤差小于2%的精度,基本能夠滿足實(shí)驗(yàn)所需的缺陷檢測(cè)和定位要求。裝置的缺陷標(biāo)注功能則通過(guò)在HC-S6小型協(xié)作機(jī)器人的機(jī)械臂末端固定標(biāo)注工具完成。HC-S6小型協(xié)作機(jī)器人具有6個(gè)自由度,每個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)角度由伺服電機(jī)精確控制,可以在一定的三維空間范圍內(nèi)自由地進(jìn)行位姿變換。深度相機(jī)同樣加裝在HC-S6機(jī)械臂的末端,整個(gè)缺陷檢測(cè)系統(tǒng)的硬件構(gòu)成如圖6所示。
圖6 考慮缺陷識(shí)別與標(biāo)注的智能檢測(cè)實(shí)驗(yàn)裝置
Fig.6 Intelligent detection experimental device considering defect identification and labeling
4.2.2 考慮輪轂傾斜的智能檢測(cè)實(shí)驗(yàn)裝置設(shè)計(jì)
現(xiàn)有的輪轂表面缺陷檢測(cè)裝置中檢測(cè)位置處的輪轂基本是固定在流水線或?qū)嶒?yàn)支架上,缺乏檢測(cè)靈活性,而人在檢測(cè)輪轂表面缺陷時(shí)會(huì)通過(guò)傾斜、旋轉(zhuǎn)從多角度觀察輪轂表面信息。因此考慮模擬人檢測(cè)輪轂表面缺陷工作,設(shè)計(jì)了采用6-UCU并聯(lián)機(jī)構(gòu)的智能檢測(cè)裝置,如圖7所示。
圖7 采用6-UCU并聯(lián)機(jī)構(gòu)的檢測(cè)實(shí)驗(yàn)裝置示意圖
Fig.7 Diagram of the testing experimental device using a 6-UCU parallel mechanism
系統(tǒng)由六自由度運(yùn)動(dòng)平臺(tái)、輪轂夾具、視覺(jué)傳感器組成。圖8為采用6-UCU并聯(lián)機(jī)構(gòu)的六自由度運(yùn)動(dòng)平臺(tái),該并聯(lián)機(jī)構(gòu)由定平臺(tái)、6條驅(qū)動(dòng)支鏈、動(dòng)平臺(tái)組成。每條驅(qū)動(dòng)支鏈由2個(gè)虎克鉸(U副)、1個(gè)移動(dòng)副(P副)和1個(gè)轉(zhuǎn)動(dòng)副(R副)構(gòu)成,其中移動(dòng)副(P副)和轉(zhuǎn)動(dòng)副(R副)合并成1個(gè)圓柱副(C副)。該機(jī)構(gòu)選擇移動(dòng)副(P副)作為驅(qū)動(dòng)副,通過(guò)控制移動(dòng)副(P副)進(jìn)行伸縮運(yùn)動(dòng),從而使動(dòng)平臺(tái)實(shí)現(xiàn)沿X、Y、Z軸的移動(dòng)以及繞X、Y、Z軸的轉(zhuǎn)動(dòng)。輪轂夾具采用三爪卡盤(pán)固定,通過(guò)控制壓縮機(jī)供氣和排氣實(shí)現(xiàn)夾爪閉合。實(shí)驗(yàn)裝置可模擬人工檢測(cè)過(guò)程中將輪轂傾斜、旋轉(zhuǎn)的檢測(cè)過(guò)程。
圖8 6-UCU結(jié)構(gòu)簡(jiǎn)圖
Fig.8 6-UCU structure diagram
方案中僅顯示一個(gè)目鏡,若要進(jìn)一步提高輪轂缺陷檢測(cè)效率可在不同方位布置多個(gè)目鏡,同時(shí)進(jìn)行輪轂表面缺陷檢測(cè)。采用6-UCU機(jī)構(gòu)的智能檢測(cè)實(shí)驗(yàn)裝置硬件組成如圖9所示。機(jī)器人采用UR3六自由度靈巧協(xié)作機(jī)器人,它是一種小型的協(xié)作式桌面機(jī)器人,重量24.3磅(11 kg),有效載荷可達(dá)6.6磅(3 kg),所有手腕關(guān)節(jié)均可實(shí)現(xiàn)360°旋轉(zhuǎn),末端關(guān)節(jié)可無(wú)限旋轉(zhuǎn)。該機(jī)器人適合輕型裝配作業(yè)和自動(dòng)化作業(yè)臺(tái)等應(yīng)用場(chǎng)合,支持ROS系統(tǒng),便于各類硬件集成以及對(duì)控制算法進(jìn)行驗(yàn)證試驗(yàn),由機(jī)器人攜帶相機(jī)即可完成輪轂表面圖像采集作業(yè)。
圖9 采用6-UCU機(jī)構(gòu)的智能檢測(cè)實(shí)驗(yàn)裝置
Fig.9 Intelligent detection experimental device using 6-UCU mechanism
4.2.3 一種全自動(dòng)的輪轂表面缺陷檢測(cè)裝置設(shè)計(jì)
當(dāng)前的智能檢測(cè)裝置由于沒(méi)有輪轂翻轉(zhuǎn)機(jī)構(gòu),因此只能進(jìn)行輪轂表面A區(qū)和B區(qū)的缺陷檢測(cè),而對(duì)于C區(qū)和D區(qū)的缺陷檢測(cè)尚未實(shí)現(xiàn)。為解決上述技術(shù)問(wèn)題,本文設(shè)計(jì)了一種全自動(dòng)輪轂表面缺陷檢測(cè)裝置,該裝置具有輪轂表面缺陷檢測(cè)、標(biāo)注和殘次品分揀功能,系統(tǒng)組成如圖10所示。
圖10 全自動(dòng)輪轂表面缺陷檢測(cè)裝置
Fig.10 A fully automatic wheel hub surface defect detection device
1—待檢輪轂輸送單元; 2—輪轂外側(cè)缺陷檢測(cè)單元;3—輪轂內(nèi)側(cè)缺陷檢測(cè)單元; 4—已檢輪轂輸送單元
本設(shè)計(jì)基于輪轂回轉(zhuǎn)體特征將輪轂劃分為內(nèi)外兩側(cè),并據(jù)此提出一種全自動(dòng)輪轂表面缺陷檢測(cè)裝置。待檢測(cè)輪轂經(jīng)過(guò)輸送單元分別移動(dòng)至輪轂外側(cè)和內(nèi)側(cè)缺陷檢測(cè)單元,完成輪轂各個(gè)面的缺陷檢測(cè)和標(biāo)注任務(wù)。最終移動(dòng)至已檢輪轂輸送單元,完成合格品和缺陷品分揀任務(wù)。該裝置通過(guò)檢測(cè)單元之間的輪轂面翻轉(zhuǎn)實(shí)現(xiàn)了輪轂內(nèi)、外表面缺陷分區(qū)域檢測(cè)和標(biāo)注全自動(dòng)化,有效提高了缺陷檢測(cè)和標(biāo)注效率,具有良好的實(shí)際應(yīng)用價(jià)值。
4.3 智能檢測(cè)裝置實(shí)際應(yīng)用性能分析
在上述根據(jù)檢測(cè)工藝要求設(shè)計(jì)的基于機(jī)器視覺(jué)的輪轂表面缺陷檢測(cè)裝置中,主要設(shè)計(jì)思路還是基于圖像采集技術(shù)和檢測(cè)算法。圖像采集方面:檢測(cè)裝置一方面采用多自由度機(jī)器人帶動(dòng)工業(yè)相機(jī)進(jìn)行多角度拍攝;另一方面可以通過(guò)輪轂位姿調(diào)整臺(tái),如機(jī)械旋轉(zhuǎn)機(jī)構(gòu)、翻轉(zhuǎn)機(jī)構(gòu)或6DOF并聯(lián)機(jī)構(gòu)近似模擬人工翻轉(zhuǎn)流程,最終在適宜的光照條件下獲取工業(yè)現(xiàn)場(chǎng)多角度的輪轂表面原始圖像。檢測(cè)算法方面:在獲取輪轂表面圖像的基礎(chǔ)上,傳統(tǒng)視覺(jué)檢測(cè)方法通過(guò)圖像預(yù)處理、缺陷定位、缺陷特征提取和缺陷分類識(shí)別4個(gè)步驟獲得檢測(cè)結(jié)果;深度學(xué)習(xí)方法通過(guò)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集得到權(quán)重文件,再利用訓(xùn)練好的權(quán)重文件檢測(cè)樣本。最后根據(jù)檢測(cè)結(jié)果進(jìn)行缺陷定位與標(biāo)注,標(biāo)注方法可以采用機(jī)械噴涂或劃線方式。
相比于人工檢測(cè)方法,自動(dòng)檢測(cè)系統(tǒng)更加穩(wěn)定,可以減輕工人勞動(dòng)強(qiáng)度,提高生產(chǎn)線自動(dòng)化水平。但在檢測(cè)效果及效率方面還存在許多局限性,有很多關(guān)鍵技術(shù)問(wèn)題需要解決。一方面,由于人工檢測(cè)方法的靈活性,可以在30～40 s內(nèi)對(duì)單個(gè)輪轂完成A、B、C、D 4個(gè)區(qū)域的全方位檢測(cè),并進(jìn)行靈活標(biāo)注;而現(xiàn)有的檢測(cè)裝置受制于翻轉(zhuǎn)機(jī)構(gòu)的復(fù)雜性,只能實(shí)現(xiàn)對(duì)A、B 2個(gè)區(qū)域的檢測(cè)。且為了達(dá)到A、B區(qū)域表面全覆蓋,每個(gè)輪轂需要采集一百多張不同角度數(shù)據(jù),這就導(dǎo)致基于機(jī)器視覺(jué)的自動(dòng)檢測(cè)系統(tǒng)的檢測(cè)速度會(huì)低于人工檢測(cè)速度,影響生產(chǎn)進(jìn)度。另一方面,人工檢測(cè)在缺陷分類識(shí)別能力方面遠(yuǎn)高于自動(dòng)檢測(cè)系統(tǒng),這和工人檢測(cè)經(jīng)驗(yàn)的積累是有直接關(guān)系的。而傳統(tǒng)機(jī)器視覺(jué)算法對(duì)特定缺陷類別的少量樣本進(jìn)行特征提取得到檢測(cè)結(jié)果,受算法設(shè)計(jì)影響局限性較大;基于深度學(xué)習(xí)的缺陷分類識(shí)別則使用海量的樣本數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)權(quán)值進(jìn)行訓(xùn)練,受缺陷種類多、形態(tài)復(fù)雜多變和數(shù)據(jù)采集困難影響,分類的種類越多,機(jī)器視覺(jué)識(shí)別準(zhǔn)確率就越低[68,69]。這些是導(dǎo)致目前汽車(chē)輪轂表面缺陷自動(dòng)檢測(cè)系統(tǒng)沒(méi)有全面應(yīng)用的主要原因。綜上所述,全自動(dòng)檢測(cè)系統(tǒng)若要應(yīng)用于實(shí)際生產(chǎn),還需要解決輪轂全方位靈活翻轉(zhuǎn)、多種缺陷快速檢測(cè)與分類、缺陷部位快速靈活定位與標(biāo)注等關(guān)鍵技術(shù)問(wèn)題。
5、 結(jié) 論
為了確保汽車(chē)安全運(yùn)行及整車(chē)質(zhì)量,輪轂缺陷檢測(cè)是輪轂制造企業(yè)生產(chǎn)物流過(guò)程中的重要一環(huán)。本文從缺陷類別及檢測(cè)方法、基于機(jī)器視覺(jué)的智能檢測(cè)算法、基于機(jī)器視覺(jué)的智能檢測(cè)裝置3個(gè)方面對(duì)汽車(chē)輪轂表面缺陷檢測(cè)技術(shù)的研究現(xiàn)狀進(jìn)行了綜述與分析。在缺陷類別和檢測(cè)方法方面,主要介紹了輪轂檢測(cè)區(qū)域劃分及常見(jiàn)缺陷類別,并在說(shuō)明人工檢測(cè)流程的基礎(chǔ)上提出了機(jī)器視覺(jué)檢測(cè)的要求和難點(diǎn);在檢測(cè)算法方面,目前的研究主要是在采集的輪轂X射線圖像或工業(yè)相機(jī)拍攝的輪轂表面圖像基礎(chǔ)上,應(yīng)用傳統(tǒng)機(jī)器視覺(jué)算法和卷積神經(jīng)網(wǎng)絡(luò)(CNN)、Faster-RCNN、YOLO等深度學(xué)習(xí)方法檢測(cè)輪轂圖像中的缺陷;在智能檢測(cè)裝置設(shè)計(jì)方面,主要是將視覺(jué)系統(tǒng)安裝在多自由度工業(yè)機(jī)器人的末端執(zhí)行器上完成圖像的采集,然后通過(guò)圖像處理與分類識(shí)別技術(shù)實(shí)現(xiàn)智能檢測(cè)。然而自動(dòng)檢測(cè)系統(tǒng)的研究還處于開(kāi)發(fā)和完善階段,相對(duì)于人工檢測(cè),自動(dòng)檢測(cè)系統(tǒng)在檢測(cè)種類數(shù)、檢測(cè)速度、檢測(cè)效果及檢測(cè)效率方面距離實(shí)際應(yīng)用還有很大差距,需要解決涉及的相關(guān)技術(shù)問(wèn)題。
來(lái)源：期刊：《計(jì)量學(xué)報(bào)料》 作者：劉福才1,2, 張震宇1, 徐繼龍1,2, 鄭宏偉1, 劉 陽(yáng)3
(1.燕山大學(xué) 智能控制系統(tǒng)與智能裝備教育部工程研究中心，河北 秦皇島 066004；2.河北省高端裝備產(chǎn)業(yè)技術(shù)研究院，河北 秦皇島 066004；3.中信戴卡股份有限公司，河北 秦皇島 066004)
來(lái)源：Internet
關(guān)于我們 聯(lián)系我們 營(yíng)業(yè)執(zhí)照 全國(guó)服務(wù)電話：400-818-0021 嘉峪檢測(cè)版權(quán)所有 備案號(hào)：京ICP備14047019號(hào)-2 
京公網(wǎng)安備11010802046783號(hào)
