您當(dāng)前的位置：檢測(cè)資訊 > 科研開(kāi)發(fā)
嘉峪檢測(cè)網(wǎng) 2025-05-26 12:52
螺栓/鉚釘作為輸電線路、鐵路交通、橋梁及飛行器等領(lǐng)域工程應(yīng)用中不可或缺的連接緊固件，其在受到外界環(huán)境因素影響時(shí)，不免會(huì)出現(xiàn)銷釘缺失、螺母松動(dòng)、螺栓銹蝕及鉚釘損傷等故障，準(zhǔn)確識(shí)別有故障的螺栓/鉚釘對(duì)保障輸電線路、鐵路交通、飛行器等的安全穩(wěn)定運(yùn)行具有重要意義。
隨著輸電線路、鐵路軌道里程數(shù)的不斷增長(zhǎng)，螺栓/鉚釘應(yīng)用分布越來(lái)越廣泛，傳統(tǒng)人工巡檢方式已無(wú)法滿足當(dāng)前巡檢要求。
無(wú)人機(jī)或巡檢機(jī)器人搭載攝像裝置對(duì)輸電線路和鐵路軌道進(jìn)行巡檢并拍攝高清圖像或視頻已成為主要巡檢方式。由于可見(jiàn)光圖像具有豐富的形狀、紋理等特征，其成為螺栓/鉚釘故障檢測(cè)的首選數(shù)據(jù)源。
為進(jìn)一步提高無(wú)人機(jī)巡檢運(yùn)維工作的智能化、自動(dòng)化程度，眾多研究者致力于航拍圖像中螺栓/鉚釘故障檢測(cè)研究。
隨著航空技術(shù)的快速發(fā)展，飛行器的數(shù)量也越來(lái)越多。飛行器由數(shù)以萬(wàn)計(jì)的零部件裝配而成，而零部件大多由鉚釘進(jìn)行連接，鉚接質(zhì)量的檢測(cè)顯得極其關(guān)鍵。因此，如何快速、準(zhǔn)確地發(fā)現(xiàn)螺栓/鉚釘故障并進(jìn)行修復(fù)是巡檢運(yùn)維工作亟待解決的問(wèn)題。
海量的無(wú)人機(jī)航拍圖像中螺栓/鉚釘故障檢測(cè)包括人工觀察法和視覺(jué)檢測(cè)方法。人工觀察法受主觀因素影響較大，且檢測(cè)效率較低?；谝曈X(jué)的檢測(cè)方法利用圖像處理技術(shù)實(shí)現(xiàn)螺栓/鉚釘故障快速檢測(cè)，可以有效避免上述人工觀察法的不足。
目前，視覺(jué)檢測(cè)方法已廣泛應(yīng)用于輸電線路、輸電鐵塔、高鐵接觸網(wǎng)、鋼結(jié)構(gòu)建筑、航空發(fā)電機(jī)等諸多領(lǐng)域的螺栓/鉚釘識(shí)別及故障檢測(cè)。
1.螺栓/鉚釘故障特征及視覺(jué)檢測(cè)面臨的挑戰(zhàn)
1.螺栓/鉚釘故障類型
在輸電線路、鐵路交通、飛行器等領(lǐng)域，大量的設(shè)備和零部件通過(guò)螺栓/鉚釘進(jìn)行固定連接。螺栓以螺紋形式連接，通常由螺釘、螺母、銷釘組成；鉚釘采用鉚接方式連接，包括頭部和釘桿。
螺栓/鉚釘故障類型如圖1所示，包括銷釘缺失、螺母松動(dòng)、螺釘松動(dòng)、螺栓銹蝕、鉚釘劃痕、鉚釘裂紋等。
圖1 螺栓/鉚釘故障類型
2.螺栓/鉚釘故障檢測(cè)面臨的挑戰(zhàn)
隨著機(jī)器視覺(jué)技術(shù)的快速發(fā)展，越來(lái)越多的圖像處理和深度學(xué)習(xí)技術(shù)應(yīng)用到螺栓/鉚釘故障檢測(cè)中。螺栓/鉚釘在航拍圖像中占比較小，背景信息多且復(fù)雜，使用傳統(tǒng)圖像處理和深度學(xué)習(xí)方法既不能濾除大量背景信息，又難以提取特征，因此，基于視覺(jué)的螺栓/鉚釘故障自動(dòng)檢測(cè)面臨著嚴(yán)峻的挑戰(zhàn)。
(1) 螺栓/鉚釘及其故障占整幅圖像的比例非常小，通常不足整幅圖像面積的1%，難以獲取足夠的特征對(duì)其進(jìn)行故障識(shí)別。
(2) 受光照強(qiáng)度、拍攝角度和拍攝距離等因素影響，圖像中螺栓/鉚釘及其故障的形狀、大小、顏色和清晰度各不同，導(dǎo)致故障檢測(cè)的準(zhǔn)確率較低。
(3) 缺乏用于螺栓/鉚釘識(shí)別的公開(kāi)數(shù)據(jù)集，故障樣本圖像難以獲取，少量的圖像用于訓(xùn)練容易過(guò)擬合。
(4) 傳統(tǒng)圖像處理方法針對(duì)特定的圖像有較好的檢測(cè)結(jié)果，其魯棒性和泛化能力不好。
(5) 更快的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）、SSD、YOLO等主流的目標(biāo)檢測(cè)網(wǎng)絡(luò)模型小目標(biāo)檢測(cè)效果不佳，將上述深度學(xué)習(xí)算法用于螺栓/鉚釘識(shí)別及故障檢測(cè)任務(wù)時(shí)，易造成漏檢或誤判。
2.螺栓/鉚釘故障的深度學(xué)習(xí)
檢測(cè)方法
深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，自2006年以來(lái)在圖像處理與機(jī)器視覺(jué)等領(lǐng)域中的應(yīng)用取得了突破性進(jìn)展。深度學(xué)習(xí)技術(shù)將傳統(tǒng)目標(biāo)檢測(cè)方法的候選區(qū)域生成、特征提取、分類器整合到一起，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）自動(dòng)提取目標(biāo)特征，實(shí)現(xiàn)目標(biāo)端到端的檢測(cè)。
在海量數(shù)據(jù)驅(qū)動(dòng)下，深度學(xué)習(xí)網(wǎng)絡(luò)模型充分利用CNN自動(dòng)逐層學(xué)習(xí)圖像的深層特征，通過(guò)大規(guī)模訓(xùn)練優(yōu)化網(wǎng)絡(luò)模型參數(shù)，具有較強(qiáng)的特征提取能力和泛化能力，其檢測(cè)性能相對(duì)于人工設(shè)計(jì)特征的傳統(tǒng)目標(biāo)檢測(cè)方法有了大幅提升。
1.基于雙階段算法的螺栓/鉚釘故障檢測(cè)方法
Faster R-CNN作為主流的目標(biāo)檢測(cè)算法，在目標(biāo)分類和定位等方面具有優(yōu)良性能，是目前使用比較廣泛的雙階段檢測(cè)算法之一，諸多研究者利用Faster R CNN及其改進(jìn)算法進(jìn)行航拍圖像中螺栓/鉚釘故障檢測(cè)研究。
為了實(shí)現(xiàn)輸電線路巡檢圖像中電力部件故障智能識(shí)別，付晶等利用Faster R-CNN對(duì)九大類故障（桿塔、導(dǎo)地線、絕緣子、大尺寸金具、小尺寸金具、基礎(chǔ)、通道環(huán)境、接地裝置、附屬設(shè)施）進(jìn)行檢測(cè)，并討論了樣本分布對(duì)算法檢測(cè)準(zhǔn)確率的影響。
為解決復(fù)雜背景下小尺寸目標(biāo)檢測(cè)難題，趙麗娟等通過(guò)疊加殘差網(wǎng)絡(luò)結(jié)構(gòu)（Res2Net替代ResNet）、引入可變形卷積、平衡損失函數(shù)等策略改進(jìn)Faster R-CNN，改進(jìn)模型的銷釘缺失故障檢測(cè)準(zhǔn)確率達(dá)到了72.3%，與原始Faster R-CNN相比提高了10%，但是改進(jìn)算法檢測(cè)精度的提升是以增加計(jì)算量和時(shí)間成本為代價(jià)。
為了提高航拍圖像中小目標(biāo)銷釘檢測(cè)準(zhǔn)確率，顧超越等以ResNet101為前置特征提取網(wǎng)絡(luò)，利用金字塔網(wǎng)絡(luò)結(jié)合多尺度特征融合改進(jìn)Faster R-CNN，改進(jìn)模型的銷釘缺陷檢測(cè)精度達(dá)到了85%，與原始Faster R-CNN（68%）和YOLOv3（40%）相比，分別提高了17%和45%，但模型的小目標(biāo)檢測(cè)效果仍有提升空間。
針對(duì)小目標(biāo)螺栓視覺(jué)信息丟失問(wèn)題，齊鴻雨通過(guò)多尺度特征融合和擴(kuò)展感興趣區(qū)域特征提取改進(jìn)Faster R-CNN，改進(jìn)模型的螺栓故障檢測(cè)準(zhǔn)確率達(dá)到63.87%，與Faster R CNN（60.31%）相比提高了3.5%，但小目標(biāo)特征丟失問(wèn)題仍可能存在。
針對(duì)樣本質(zhì)量對(duì)網(wǎng)絡(luò)模型檢測(cè)精度的影響問(wèn)題，趙振兵等提出了結(jié)合KL散度與形狀約束的典型金具檢測(cè)方法，在Faster R-CNN的基礎(chǔ)上引入目標(biāo)邊界框分布預(yù)測(cè)和KL散度損失函數(shù)，改進(jìn)模型的金具識(shí)別精度達(dá)到了83.68%，與YOLO、Cascade R-CNN、Faster R-CNN相比，分別提高了11%、6%和4%，為后續(xù)的螺栓故障狀態(tài)檢測(cè)奠定了基礎(chǔ)。
無(wú)人機(jī)巡檢輸電線路的航拍圖像背景復(fù)雜，深度學(xué)習(xí)網(wǎng)絡(luò)模型在提取小目標(biāo)螺栓特征時(shí)容易造成信息丟失，為了解決這一問(wèn)題，一些學(xué)者通過(guò)添加注意力機(jī)制模塊改進(jìn)Faster R-CNN。
戚銀城等將雙注意力機(jī)制（多尺度注意力和空間注意力機(jī)制）嵌入Faster R-CNN中，通過(guò)注意力機(jī)制提高螺栓與背景的差異程度，改進(jìn)網(wǎng)絡(luò)模型如圖2所示，改進(jìn)模型的螺栓故障識(shí)別精度達(dá)到了82.05%，與Faster R-CNN相比提高了2%，但是多尺度注意力機(jī)制需要對(duì)不同尺度的特征進(jìn)行處理和計(jì)算注意力權(quán)重，增加了模型的復(fù)雜度。
圖2 基于雙注意力機(jī)制的改進(jìn)Faster R-CNN
為了提高銷釘?shù)刃∧繕?biāo)金具識(shí)別準(zhǔn)確率，葉飛等基于方向梯度直方圖（HOG）算子與局部二值模式（LBP）算子雙特征融合和混合注意力機(jī)制（通道注意力機(jī)制+空間注意力機(jī)制）改進(jìn)Faster R-CNN，改進(jìn)模型的銷釘故障檢測(cè)精度達(dá)到了94.21%，與Faster R-CNN、YOLOv5、Cascade R-CNN相比，分別提高了13%、9%和6%，但是兩種注意力機(jī)制結(jié)合會(huì)進(jìn)一步增加計(jì)算復(fù)雜度，且超參數(shù)調(diào)整變得更加復(fù)雜。
為實(shí)現(xiàn)航拍圖像中多目標(biāo)和多故障檢測(cè)，白潔音等結(jié)合圖像預(yù)處理、基于面積的非極大值抑制、切分檢測(cè)策略優(yōu)化Faster R-CNN，改進(jìn)模型的目標(biāo)識(shí)別精度達(dá)到了91.72%，與原始Faster R-CNN相比提高了7%，該方法可在類似多目標(biāo)檢測(cè)場(chǎng)景中推廣應(yīng)用。
除上述利用Faster R-CNN進(jìn)行螺栓識(shí)別及故障檢測(cè)外，吳軍等將Cascaded R-CNN用于航拍圖像中的螺栓故障檢測(cè)，實(shí)現(xiàn)了小目標(biāo)缺陷的準(zhǔn)確檢測(cè)，為小目標(biāo)故障檢測(cè)的推廣應(yīng)用打下了基礎(chǔ)。
雙階段檢測(cè)算法將目標(biāo)檢測(cè)問(wèn)題分成兩個(gè)階段，先獲取區(qū)域提議，在區(qū)域建議網(wǎng)絡(luò)中提取深層特征，然后對(duì)每個(gè)候選區(qū)域進(jìn)行感興趣目標(biāo)分類和位置回歸。該類算法具有良好的檢測(cè)精度，但是其運(yùn)算量較大，需要較長(zhǎng)的處理時(shí)間。表1概述了基于雙階段檢測(cè)算法的螺栓/鉚釘故障檢測(cè)研究成果。
表1 基于雙階段檢測(cè)算法的螺栓/鉚釘故障檢測(cè)研究成果
2.基于單階段算法的螺栓/鉚釘故障檢測(cè)方法
YOLO作為優(yōu)秀的單階段目標(biāo)檢測(cè)算法，其將檢測(cè)和分類任務(wù)合并處理，具有算法結(jié)構(gòu)簡(jiǎn)單、實(shí)時(shí)性強(qiáng)等優(yōu)勢(shì)。隨著YOLOv1-YOLOv8特征提取能力的不斷加強(qiáng)，越來(lái)越多的YOLO算法在工程中得到應(yīng)用，有研究者利用YOLO算法實(shí)現(xiàn)螺栓/鉚釘故障檢測(cè)。
電力桿塔上的正常螺栓與缺陷螺栓類間差異較小，針對(duì)YOLOv3算法對(duì)螺栓故障檢測(cè)效果不佳的問(wèn)題，項(xiàng)輝提出了一種先檢測(cè)再識(shí)別的螺栓故障檢測(cè)方法，以MobileNetV3為特征提取網(wǎng)絡(luò)取代DarkNet53，有效提高了螺栓檢測(cè)精度和檢測(cè)速度，與原始YOLOv3相比，航拍圖像中的螺栓檢測(cè)精度由83%提高到了90%，檢查速度由18幀/秒（FPS）提升到了45 FPS，為進(jìn)一步提高螺栓故障檢測(cè)精度奠定了基礎(chǔ)。
為實(shí)現(xiàn)動(dòng)車裙板螺栓故障檢測(cè)，徐文輝等提出了一種基于注意力引導(dǎo)改進(jìn)YOLOv3螺栓缺失檢測(cè)算法，利用注意力機(jī)制引導(dǎo)網(wǎng)絡(luò)關(guān)注圖像中與螺栓相關(guān)的關(guān)鍵區(qū)域和特征，從而提高檢測(cè)的準(zhǔn)確率和效率，該算法的螺栓識(shí)別準(zhǔn)確率和召回率達(dá)到了92.1%和93.6%，與YOLOv3相比，分別提高了11.3%和13.6%。
為提升小目標(biāo)金具故障檢測(cè)精度，王慧民通過(guò)非對(duì)稱卷積塊（ACB）和卷積塊注意力機(jī)制（CBAM）改進(jìn)YOLOv5，改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。改進(jìn)模型能夠提取更多的金具目標(biāo)底層語(yǔ)義信息和更豐富的故障特征，該模型的金具故障檢測(cè)精度達(dá)到了75%，與原始YOLOv5、Faster R-CNN、YOLOv3、SSD相比，分別提高了3.9%、5.7%、8.6%和11.3%，但是CBAM注意力機(jī)制的引入使模型結(jié)構(gòu)更復(fù)雜，增加了訓(xùn)練的難度。
圖3 改進(jìn)的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)
針對(duì)拍圖像背景復(fù)雜、電力設(shè)備缺陷尺寸差異較大等問(wèn)題，盧源文提出了一種基于改進(jìn)YOLOX的電力設(shè)備識(shí)別和故障檢測(cè)方法，在YOLOX骨干網(wǎng)絡(luò)中引入感受野模塊（RFB）以擴(kuò)大感受野，添加坐標(biāo)注意力機(jī)制模塊（CA）更好地獲取目標(biāo)方向特征信息，檢測(cè)頭前加入自適應(yīng)空間特征融合模塊（ASFF），該方法實(shí)現(xiàn)不同尺度深淺特征的高效融合。改進(jìn)模型的銷釘缺失檢測(cè)精度達(dá)到了86.09%，與YOLOX相比提高了14.27%，為輸配電線路智能巡檢提供了技術(shù)思路。
為實(shí)現(xiàn)螺栓表面故障自動(dòng)檢測(cè)，朱敏玲等在YOLOv7算法的基礎(chǔ)上，通過(guò)引入SimAM注意力機(jī)制、軟非極大值抑制（Soft-NMS）改進(jìn)YOLOv7，改進(jìn)模型有效地提高了螺栓故障檢測(cè)精度，其故障檢測(cè)精度高達(dá)97.3%，與YOLOv7相比提高了1.9%。
除YOLO算法外，還有研究者利用SSD、EfficientDet、RetinaNet等單階段算法進(jìn)行無(wú)人機(jī)航拍圖像中螺栓/鉚釘故障檢測(cè)研究，如李瑞生等基于ResNet50殘差網(wǎng)絡(luò)和多層級(jí)特征融合改進(jìn)SSD算法；李曜丞等提出了立體注意力機(jī)制模塊和EfficientDet相結(jié)合的圖像識(shí)別算法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，該算法為輸電線路巡檢圖像的高效智能識(shí)別提供參考；李志強(qiáng)結(jié)合DenseNet、通道注意力機(jī)制改進(jìn)RetinaNet，實(shí)現(xiàn)了航拍圖像中銷釘缺失缺銷高效、快速地檢測(cè)。
圖4 EfficientDet網(wǎng)絡(luò)結(jié)構(gòu)
單階段檢測(cè)算法不需要像雙階段檢測(cè)算法那樣先生成候選區(qū)域，再進(jìn)行分類和精確定位，其優(yōu)勢(shì)在于檢測(cè)速度快。與雙階段檢測(cè)算法相比，單階段檢測(cè)算法的檢測(cè)精度略遜一籌。表2概述了基于單階段檢測(cè)算法的螺栓/鉚釘故障檢測(cè)研究成果。
表2 基于單階段檢測(cè)算法的螺栓/鉚釘故障檢測(cè)研究成果
3.基于級(jí)聯(lián)檢測(cè)模型的螺栓/鉚釘故障檢測(cè)方法
受復(fù)雜背景干擾、圖像分辨率、故障區(qū)域相對(duì)較小、硬件計(jì)算資源條件限制等因素影響，單一目標(biāo)檢測(cè)算法對(duì)螺栓/鉚釘小目標(biāo)故障檢測(cè)效果不佳。為提高小目標(biāo)故障檢測(cè)準(zhǔn)確率，研究者將目標(biāo)故障檢測(cè)視為兩級(jí)目標(biāo)檢測(cè)問(wèn)題，先進(jìn)行目標(biāo)定位，再進(jìn)行故障識(shí)別。
針對(duì)高鐵接觸網(wǎng)開(kāi)口銷松脫及故障樣本匱乏等問(wèn)題，王昕鈺等提出了基于Faster R-CNN、深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）、VGG16網(wǎng)絡(luò)框架，F(xiàn)aster R-CNN用于樣本圖像中開(kāi)口銷定位，DCGAN對(duì)定位后的開(kāi)口銷進(jìn)行樣本擴(kuò)充，VGG16分類網(wǎng)絡(luò)識(shí)別開(kāi)口銷不良狀態(tài)，該級(jí)聯(lián)網(wǎng)絡(luò)框架實(shí)現(xiàn)了開(kāi)口銷故障高精度檢測(cè)（故障檢測(cè)精度高達(dá)99%）。
周雯等提出了基于2階級(jí)聯(lián)輕量化網(wǎng)絡(luò)模型的接觸網(wǎng)懸掛緊固件故障檢測(cè)方法，先利用輕量級(jí)特征提取網(wǎng)絡(luò)ResNet-18定位緊固件，再使用8層分類網(wǎng)絡(luò)（4個(gè)卷積層、2個(gè)池化層、1個(gè)全連接層和1個(gè)輸出層）識(shí)別緊固件故障，該方法的緊固件故障識(shí)別精度達(dá)到了95.8%，與單一檢測(cè)網(wǎng)絡(luò)Faster R-CNN（74.3%）相比提高了21.5%。
隨著人工智能技術(shù)的發(fā)展，智能化電力系統(tǒng)隱患檢測(cè)技術(shù)受到了越來(lái)越多的關(guān)注，徐曉華等提出了一種基于多粒度隱患檢測(cè)網(wǎng)絡(luò)（MGNet）的電力系統(tǒng)隱患檢測(cè)方法，通過(guò)兩個(gè)Faster R-CNN構(gòu)建了集多粒度分割、粒度級(jí)檢測(cè)網(wǎng)絡(luò)、多粒度協(xié)作融合為一體的MGNet，該網(wǎng)絡(luò)模型如圖5所示。
圖5 多粒度檢測(cè)網(wǎng)絡(luò)MGNet
MGNet模型將訓(xùn)練樣本多粒度信息引入到級(jí)聯(lián)檢測(cè)網(wǎng)絡(luò)中，以不同粒度檢測(cè)結(jié)果協(xié)作融合的方式，綜合捕捉桿塔連接金具隱患目標(biāo)，提高隱患檢測(cè)的準(zhǔn)確性，與SSD、FasterR-CNN、YOLOv3相比，銷釘故障檢測(cè)精度分別提高了27.8%、8.8%和7.1%。
輸電線路巡檢會(huì)產(chǎn)生海量的無(wú)人機(jī)航拍圖像，圖像中銷釘目標(biāo)較小且需要結(jié)合上下文信息才能正確判斷，為了準(zhǔn)確識(shí)別銷釘故障，王紅星等提出了Faster R-CNN、Cascade R-CNN級(jí)聯(lián)的螺栓故障檢測(cè)方法。
先利用Faster R-CNN定位圖像中的金具連接部件，并將檢測(cè)結(jié)果裁剪放大，再使用基于層級(jí)殘差卷積模塊、路徑聚合特征金字塔、double-head結(jié)構(gòu)改進(jìn)的Cascade R-CNN進(jìn)行銷釘故障檢測(cè)，該方法的銷釘故障檢測(cè)精度達(dá)到了81.2%，與單一檢測(cè)模型Faster R-CNN（65.8%）、RetinaNet（68.4%）、Cascade R-CNN（73.4%）相比分別提高了15.4%、12.8%和7.8%；該級(jí)聯(lián)檢測(cè)模型具有較強(qiáng)的魯棒性，能夠?qū)崿F(xiàn)復(fù)雜背景、模糊及遮擋圖像中的銷釘缺陷準(zhǔn)確識(shí)別，為電力巡檢圖像其他目標(biāo)智能檢測(cè)提供了技術(shù)支撐。
周香君融合銷釘安裝位置的先驗(yàn)信息提出了基于YOLOv5和Faster R-CNN級(jí)聯(lián)的銷釘故障檢測(cè)模型，先基于密度空間聚類算法設(shè)置YOLOv5預(yù)測(cè)框，再利用YOLOv5提取圖像中銷釘所在的上下文區(qū)域，最后利用特征金字塔網(wǎng)絡(luò)（FPN）改進(jìn)的Faster R-CNN對(duì)前級(jí)網(wǎng)絡(luò)檢測(cè)到的銷釘區(qū)域進(jìn)行銷釘定位及狀態(tài)分類。該模型的銷釘故障檢測(cè)精度達(dá)到82.8%，與基準(zhǔn)模型相比提高了4.8%。該方法在很大程度上縮短了深度學(xué)習(xí)網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試時(shí)間，節(jié)省了計(jì)算資源。
電力巡檢圖像中螺栓存在特征不明顯、尺寸小等特點(diǎn)，為了實(shí)現(xiàn)航拍圖像中螺栓故障檢測(cè)，張姝等提出了一種基于SSD、YOLOv3級(jí)聯(lián)的螺栓故障檢測(cè)系統(tǒng)，該系統(tǒng)采用分級(jí)檢測(cè)原則，先利用SSD定位、剪裁螺栓連接部位，再通過(guò)圖像增強(qiáng)算法擴(kuò)充螺栓故障數(shù)據(jù)集，最后使用YOLOv3進(jìn)行螺栓故障檢測(cè)，該系統(tǒng)可部署于無(wú)人機(jī)上用于輸電線路螺栓實(shí)時(shí)檢測(cè)。
倪源松等提出了基于自適應(yīng)分塊的螺栓故障級(jí)聯(lián)檢測(cè)方法，先利用擁擠場(chǎng)景識(shí)別網(wǎng)絡(luò)（CSRNet）結(jié)合基于密度的應(yīng)用空間聚類（DBSCAN）算法預(yù)測(cè)目標(biāo)密度分布圖和分塊區(qū)域圖像，再使用YOLOX對(duì)上述預(yù)測(cè)圖像進(jìn)行螺栓故障檢測(cè)，該方法提升了深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)不同類型螺栓故障的識(shí)別能力，其中螺栓故障檢測(cè)精度達(dá)到了75.7%，與基準(zhǔn)模型CSRNet相比提高了15.6%。
為實(shí)現(xiàn)螺栓特征由粗粒度到細(xì)粒度提取，李延旭提出了基于復(fù)雜知識(shí)表示的螺栓故障級(jí)聯(lián)檢測(cè)方法，先通過(guò)前級(jí)EfficientDet檢測(cè)出圖像中的重錘和連板兩類金具，將檢測(cè)到的金具設(shè)置成感興趣區(qū)域并進(jìn)行裁剪，再利用后級(jí)EfficientDet定位出感興趣區(qū)域的所有螺栓，最后對(duì)檢測(cè)到的螺栓進(jìn)行有無(wú)故障分類。實(shí)驗(yàn)結(jié)果證明該方法是實(shí)現(xiàn)電力巡檢圖像智能化檢測(cè)的有效途徑之一。
除了將目標(biāo)檢測(cè)算法級(jí)聯(lián)實(shí)現(xiàn)螺栓/鉚釘故障檢測(cè)外，還有利用目標(biāo)檢測(cè)算法與語(yǔ)義分割算法級(jí)聯(lián)檢測(cè)螺栓/鉚釘故障。羅隆福等通過(guò)SSD與DeepLab v3 plus級(jí)聯(lián)進(jìn)行高鐵接觸網(wǎng)頂緊螺栓故障檢測(cè)，該方法在檢測(cè)精度（螺栓缺陷檢測(cè)精度95.9%）和檢測(cè)速度（缺陷檢測(cè)速度達(dá)到17.9 FPS）方面具有一定優(yōu)勢(shì)；于暢等利用無(wú)錨框FCOS算法與UNet級(jí)聯(lián)實(shí)現(xiàn)螺釘缺失智能檢測(cè)，該方法具有較高的檢測(cè)準(zhǔn)確率（高達(dá)99%）和自動(dòng)化程度，為工業(yè)生產(chǎn)智能化提供了新的解決方案。
基于網(wǎng)絡(luò)模型級(jí)聯(lián)的螺栓/鉚釘故障檢測(cè)方法在小目標(biāo)檢測(cè)方面具有一定的優(yōu)勢(shì)，其故障檢測(cè)精度要優(yōu)于單一檢測(cè)模型，但是級(jí)聯(lián)網(wǎng)絡(luò)模型復(fù)雜度和參數(shù)量明顯增加，檢測(cè)速度會(huì)略有下降，且對(duì)邊緣計(jì)算設(shè)備的要求更高。表3總結(jié)了基于級(jí)聯(lián)網(wǎng)絡(luò)模型的螺栓/鉚釘故障檢測(cè)方法的相關(guān)研究成果。
表3 基于級(jí)聯(lián)網(wǎng)絡(luò)模型的螺栓/鉚釘故障檢測(cè)研究成果
3.典型應(yīng)用場(chǎng)景
隨著螺栓/鉚釘故障檢測(cè)需求日益增加，基于機(jī)器視覺(jué)的圖像識(shí)別檢測(cè)技術(shù)受到了極大關(guān)注，因此如何利用機(jī)器視覺(jué)實(shí)現(xiàn)螺栓/鉚釘故障的自動(dòng)識(shí)別是當(dāng)前研究人員關(guān)注的熱門課題。該部分主要圍繞線路類螺栓/鉚釘、箱體類螺栓/鉚釘、構(gòu)件類螺栓/鉚釘故障的視覺(jué)檢測(cè)方法進(jìn)行了概括。
1.線路類螺栓/鉚釘故障檢測(cè)
線路類螺栓/鉚釘故障檢測(cè)主要涉及輸電線路、高鐵接觸網(wǎng)、橋梁鋼索等關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域。其中，輸電線路作為電力傳輸?shù)募~帶，在我國(guó)新一代電力系統(tǒng)發(fā)展中處于重要地位，依托計(jì)算機(jī)視覺(jué)技術(shù)，從海量的航拍圖像中實(shí)現(xiàn)電力設(shè)備識(shí)別及故障檢測(cè)已成為該領(lǐng)域的研究熱點(diǎn)。
螺栓作為線路中常用的緊固件，長(zhǎng)期處于風(fēng)吹雨淋等惡劣環(huán)境中，難免會(huì)出現(xiàn)缺銷、脫落、松動(dòng)、銹蝕等故障。因此，定期巡檢線路，及時(shí)排查出故障螺栓，對(duì)線路安全穩(wěn)定供電具有重要意義。在人工智能浪潮的推動(dòng)下，研究者主要利用深度學(xué)習(xí)技術(shù)進(jìn)行航拍圖像中螺栓/鉚釘故障檢測(cè)研究。
基于目標(biāo)檢測(cè)算法的螺栓/鉚釘故障檢測(cè)方法
Faster R-CNN、SSD、YOLO等目標(biāo)檢測(cè)算法在通用目標(biāo)檢測(cè)數(shù)據(jù)集上表現(xiàn)良好，但對(duì)于復(fù)雜背景且螺栓占比小的特征識(shí)別效果不佳，有研究者以增強(qiáng)螺栓/鉚釘細(xì)粒度特征表達(dá)與提取的方式提高螺栓/鉚釘故障檢測(cè)精度。
為增強(qiáng)深層特征的語(yǔ)義信息和淺層特征的位置信息深度融合，進(jìn)一步提高小目標(biāo)特征提取能力，李雪峰等改進(jìn)FPN算法并提出了PinFPN，先利用自校正卷積網(wǎng)絡(luò)（SCNet）取代ResNet特征提取網(wǎng)絡(luò)（自校正卷積如圖6所示），再通過(guò)路徑聚合網(wǎng)絡(luò)（PANet）和橫向連接改進(jìn)多尺度特征融合，最后在自建數(shù)據(jù)集（銷釘故障和其他電力小目標(biāo)）上驗(yàn)證了PinFPN算法的有效性。
圖6 自校正卷積示意圖
吳劉宸等基于區(qū)域注意力機(jī)制和多尺度特征融合改進(jìn)Faster R-CNN，改進(jìn)模型不僅能夠更準(zhǔn)確地定位螺栓故障，減少因背景干擾等因素導(dǎo)致的誤檢，而且還可以更好地處理不同大小的螺栓，提高對(duì)多尺度螺栓故障檢測(cè)精度。
康高強(qiáng)等提出了基于Faster R CNN和SVM集成分類學(xué)習(xí)的開(kāi)口銷釘缺失檢測(cè)方法，先利用Faster R-CNN精確定位銷釘，再通過(guò)多個(gè)SVM分類器進(jìn)行銷釘缺失檢測(cè)，該方法實(shí)現(xiàn)了銷釘缺失自動(dòng)檢測(cè)。
高鐵接觸網(wǎng)巡檢圖像中的螺栓具有形狀不明顯、尺寸小的特征，準(zhǔn)確識(shí)別螺栓故障難上加難。為此，盧杰等提出了目標(biāo)檢測(cè)YOLO算法與語(yǔ)義分割U-net雙級(jí)聯(lián)架構(gòu)的螺栓故障檢測(cè)方法，該方法的螺栓故障檢測(cè)精度高達(dá)93.5%，具有較好的實(shí)際應(yīng)用價(jià)值。
由于圖像中存在目標(biāo)不顯著、目標(biāo)差異較小以及背景復(fù)雜等因素，基于深度學(xué)習(xí)的單標(biāo)簽圖像分類方法不適合直接應(yīng)用于多標(biāo)簽圖像分類任務(wù)。為解決螺栓故障識(shí)別中存在視覺(jué)不可分問(wèn)題，張珂等提出了一種基于NTS-Net網(wǎng)絡(luò)框架的螺栓屬性多標(biāo)簽分類方法，該方法在螺栓多屬性分類數(shù)據(jù)集上的檢測(cè)精度達(dá)到了84.5%，與基于AlexNet、VGG16、ResNet18、ResNet34等分類方法相比提高了近10%~20%，但是該方法的檢測(cè)性能在很大程度上依賴于高質(zhì)量螺栓圖像數(shù)據(jù)。
先驗(yàn)知識(shí)是指在進(jìn)行目標(biāo)檢測(cè)之前預(yù)先獲取的關(guān)于目標(biāo)對(duì)象、場(chǎng)景等的信息，為了進(jìn)一步提高目標(biāo)檢測(cè)準(zhǔn)確率，研究者將先驗(yàn)知識(shí)引入到目標(biāo)檢測(cè)算法中。
Zhao等提出了基于語(yǔ)義知識(shí)和結(jié)構(gòu)知識(shí)的螺栓故障多標(biāo)簽分類框架，由視覺(jué)-語(yǔ)義知識(shí)網(wǎng)絡(luò)（VFSKnet）和視覺(jué)-位置知識(shí)網(wǎng)絡(luò)（VFPKnet）加權(quán)合并組成，VFSKnet學(xué)習(xí)螺栓故障標(biāo)簽之間的關(guān)系，VFPKnet捕獲結(jié)構(gòu)化的細(xì)粒度特征，該框架在標(biāo)簽級(jí)和圖像級(jí)的故障檢測(cè)精度分別達(dá)到了93.91%和83.29%，該方法證明了降低螺栓樣本數(shù)據(jù)類內(nèi)差異大、類間差異小的影響，有利于提高螺栓故障識(shí)別準(zhǔn)確率。
閻光偉等提出了融合先驗(yàn)信息和特征約束的Faster R-CNN模型，先利用DBSCAN算法獲得先驗(yàn)信息，再引入費(fèi)舍爾損失約束樣本特征，最后基于K近鄰算法進(jìn)行難例挖掘，改進(jìn)Faster R-CNN模型的螺栓故障檢測(cè)精度達(dá)到了83.9%，與原始Faster R-CNN（71.9%）、YOLOv5（80.1%）相比分別提高了12%和3.8%。
李剛等提出了先驗(yàn)知識(shí)與檢測(cè)Transformer（DETR）融合的螺栓故障檢測(cè)方法，該方法通過(guò)注意力機(jī)制實(shí)現(xiàn)螺栓視覺(jué)特征與先驗(yàn)知識(shí)的融合。先驗(yàn)知識(shí)可以幫助算法更好地聚焦于目標(biāo)可能出現(xiàn)的區(qū)域、形狀和特征，減少誤檢或漏檢，但是如果先驗(yàn)知識(shí)本身不準(zhǔn)確，對(duì)目標(biāo)的形狀估計(jì)錯(cuò)誤或者對(duì)目標(biāo)出現(xiàn)頻率的統(tǒng)計(jì)偏差較大，將會(huì)導(dǎo)致算法檢測(cè)性能下降。
基于弱監(jiān)督或無(wú)監(jiān)督的螺栓/鉚釘故障檢測(cè)方法
添加注意力機(jī)制、多尺度特征融合、先驗(yàn)知識(shí)等策略是提高深度學(xué)習(xí)算法檢測(cè)性能的有效手段，還有研究者將無(wú)監(jiān)督或弱監(jiān)督學(xué)習(xí)與目標(biāo)檢測(cè)算法結(jié)合提高螺栓/鉚釘故障檢測(cè)精度。
Zhao等基于聚類算法和Faster R-CNN結(jié)合提出了自動(dòng)視覺(jué)形狀聚類網(wǎng)絡(luò)（AVSCNet），網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。在訓(xùn)練階段利用視覺(jué)形狀聚類方法優(yōu)化網(wǎng)絡(luò)模型，并通過(guò)特征增強(qiáng)、特征融合和擴(kuò)展感興趣區(qū)域改進(jìn)Faster R-CNN，改進(jìn)模型的螺栓缺銷故障檢測(cè)精度達(dá)到了71.4%，與Faster R-CNN相比提高了11%，但是其檢測(cè)速度僅為Faster R-CNN的三分之一。
圖7 AVSCNet網(wǎng)絡(luò)結(jié)構(gòu)圖
趙振兵等提出了基于DBSCN-FPN算法的銷釘缺失檢測(cè)方法，通過(guò)DBSCN聚類算法獲取螺栓先驗(yàn)知識(shí)指導(dǎo)FPN模型訓(xùn)練，該方法的缺銷螺栓檢測(cè)精度達(dá)到了74.2%，與Faster R-CNN、基于區(qū)域的全卷積網(wǎng)絡(luò)（R-FCN）、全卷積網(wǎng)絡(luò)（FCN）相比分別提高了9%、8%和6%。
基于全監(jiān)督檢測(cè)模型的螺栓故障檢測(cè)需要大量的目標(biāo)級(jí)標(biāo)注，為了減少目標(biāo)級(jí)標(biāo)注的人力物力消耗，趙振兵等提出了基于改進(jìn)區(qū)域聚類學(xué)習(xí)（PCL）模型的銷釘缺失弱監(jiān)督檢測(cè)方法，通過(guò)多實(shí)例學(xué)習(xí)網(wǎng)絡(luò)、實(shí)例分類提純網(wǎng)絡(luò)、多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)結(jié)合通道注意力機(jī)制構(gòu)建了圖8所示的改進(jìn)PCL模型，改進(jìn)PCL模型僅利用圖像級(jí)標(biāo)注即可實(shí)現(xiàn)螺栓缺銷檢測(cè)，雖然螺栓缺銷檢測(cè)精度僅有31.6%，但是與PCL模型相比提高了25.6%。
圖8 改進(jìn)PCL模型
為了解決弱監(jiān)督檢測(cè)方法在螺栓故障檢測(cè)中存在的類不平衡問(wèn)題，趙振兵等提出了一種基于自適應(yīng)加權(quán)損失函數(shù)（SAW）的PCL模型，SAW-PCL模型通過(guò)在主網(wǎng)絡(luò)中添加CBAM提取螺栓精細(xì)特征，并利用SAW損失函數(shù)動(dòng)態(tài)調(diào)整不同類別樣本的學(xué)習(xí)程度，從而平衡不同類別目標(biāo)的檢測(cè)性能。
基于知識(shí)推理的螺栓/鉚釘故障檢測(cè)方法
近年來(lái)，圖卷積網(wǎng)絡(luò)（GCN）和門控圖神經(jīng)網(wǎng)絡(luò)（GGNN）在眾多領(lǐng)域取得了重大成功。趙振兵等基于GGNN構(gòu)建了螺栓-螺母關(guān)聯(lián)知識(shí)圖譜，通過(guò)Faster R CNN結(jié)合目標(biāo)先驗(yàn)知識(shí)實(shí)現(xiàn)了螺栓故障高效分類，彌補(bǔ)了一些故障檢測(cè)方法僅依靠表面提取特征進(jìn)行分類的僅依靠表面提取特征進(jìn)行分類的不足。
趙振兵等根據(jù)GCN學(xué)習(xí)不同種類螺栓之間的關(guān)系，提出了基于圖知識(shí)推理的螺栓故障檢測(cè)方法，解決了螺栓故障識(shí)別任務(wù)中視覺(jué)不可分和類不平衡問(wèn)題。針對(duì)螺栓視覺(jué)不可分和語(yǔ)義歧義問(wèn)題，趙振兵等提出了基于聯(lián)合結(jié)構(gòu)-語(yǔ)義關(guān)系圖知識(shí)推理的螺栓故障檢測(cè)方法，通過(guò)GCN和圖知識(shí)推理模塊設(shè)計(jì)了如圖9所示的動(dòng)態(tài)圖知識(shí)推理網(wǎng)絡(luò)，該方法能夠有效地提高螺栓故障檢測(cè)準(zhǔn)確率，其螺栓故障檢測(cè)精度達(dá)到93.1%，與基準(zhǔn)模型（Resnet-101檢測(cè)精度為85%）相比提高了8.1%。
圖9 動(dòng)態(tài)圖知識(shí)推理網(wǎng)絡(luò)
除上述目標(biāo)檢測(cè)算法在輸電線路螺栓/鉚釘故障檢測(cè)中應(yīng)用以外，戚銀城等提出了基于遷移的圖像超分辨率處理方法，解決了樣本圖像模糊、分辨率低等問(wèn)題；王健等提出了基于生成對(duì)抗網(wǎng)絡(luò)和RetinaNet的銷釘缺陷檢測(cè)方法，RetinaNet算法實(shí)現(xiàn)銷釘缺陷自動(dòng)標(biāo)注，解決了人工標(biāo)注樣本費(fèi)時(shí)費(fèi)力問(wèn)題；趙振兵等提出了基于知識(shí)蒸餾的螺栓故障分類方法，為輕量化網(wǎng)絡(luò)模型壓縮提供了技術(shù)支持；李剛等提出了YOLOv8與語(yǔ)義知識(shí)融合的螺栓故障檢測(cè)方法，為無(wú)人機(jī)智能巡檢提供了新的檢測(cè)手段。
深度學(xué)習(xí)技術(shù)在線路類螺栓故障檢測(cè)中發(fā)揮著重要作用，上述螺栓/鉚釘故障檢測(cè)研究成果統(tǒng)計(jì)如表4所示。
表4 基于機(jī)器視覺(jué)的線路類螺栓/鉚釘故障檢測(cè)研究成果
2.箱體類螺栓/鉚釘故障檢測(cè)
箱體類螺栓/鉚釘廣泛應(yīng)用于交通運(yùn)輸與航空航天設(shè)備中，如飛行器、船舶、動(dòng)車車廂等都是這一類典型代表。鐵路作為鐵路交通的重要組成部分之一，在國(guó)民經(jīng)濟(jì)發(fā)展和國(guó)防建設(shè)中起到著舉足輕重的作用。隨著我國(guó)鐵路運(yùn)營(yíng)里程數(shù)逐年增長(zhǎng)，鐵路公司不斷地將機(jī)器視覺(jué)檢測(cè)技術(shù)應(yīng)用到鐵路檢測(cè)的諸多方面，如鐵路貨車運(yùn)行故障動(dòng)態(tài)圖像檢測(cè)系統(tǒng)（TFDS）。
為了解決TFDS中螺栓故障人工檢查效率低下的問(wèn)題，費(fèi)垚東等提出了基于傳統(tǒng)圖像處理的螺栓故障檢測(cè)方法，先利用模板匹配技術(shù)確定螺栓感興趣區(qū)域，再基于自適應(yīng)閾值的局部三值算子（LTP）提取螺栓局部特征，最后利用支持向量機(jī)（SVM）分類器進(jìn)行螺栓故障分類，該方法實(shí)現(xiàn)了螺栓故障自動(dòng)識(shí)別，螺栓故障識(shí)別準(zhǔn)確率達(dá)到了90.88%，但是傳統(tǒng)圖像處理方法受圖像質(zhì)量影響較大，其魯棒性不強(qiáng)。
為實(shí)現(xiàn)TFDS列車底部螺栓故障的精準(zhǔn)定位，張幸寧提出了YOLOv3識(shí)別結(jié)合VGG16分類的高速列車底板螺栓故障檢測(cè)方法，采用全局平均池化取代全連接層和模型剪枝優(yōu)化VGG16，改進(jìn)模型的螺栓故障檢測(cè)精度達(dá)到了97.29，與原始分類網(wǎng)絡(luò)VGG16相比，其檢測(cè)效率提高了63%。
螺栓松動(dòng)容易造成栓接結(jié)構(gòu)預(yù)應(yīng)力不足、承載力下降等缺陷，為實(shí)現(xiàn)軌道車輛螺栓松動(dòng)智能監(jiān)測(cè)，彭嘉悉提出了基于深度學(xué)習(xí)的動(dòng)車組轉(zhuǎn)向架部件故障檢測(cè)方法，先以YOLOv7作為基準(zhǔn)模型進(jìn)行部件定位，再使用AlexNet、VGG16、Inception-Resnet-v2、Resnet 50分類網(wǎng)絡(luò)進(jìn)行螺栓異常分類，最后使用帶有法向量約束的Ransac點(diǎn)云分割方法進(jìn)行螺栓高度測(cè)量，該方法實(shí)現(xiàn)了螺栓松動(dòng)的進(jìn)一步精細(xì)化診斷。
鉚接作為零件裝配中一種重要緊固連接方式，廣泛應(yīng)用于航空航天、飛行器裝配等領(lǐng)域。針對(duì)傳統(tǒng)圖像處理的故障檢測(cè)方法存在適應(yīng)性差、魯棒性低等問(wèn)題，喬天宇提出了基于深度學(xué)習(xí)的鉚釘外觀缺陷檢測(cè)方法，利用ResNet和DenseNet并聯(lián)方式加強(qiáng)特征信息提取和融合。
呂帥帥等提出了基于改進(jìn)Mask R-CNN的鉚釘裂紋故障識(shí)別方法，Mask R-CNN的基本框架如圖10所示，通過(guò)基于位置反饋機(jī)制和裂紋的感興趣區(qū)域篩選優(yōu)化Mask R-CNN，改進(jìn)模型的裂紋識(shí)別準(zhǔn)確率達(dá)到了87.5%，與原始Mask R-CNN相比提高了近34%。
圖10 Mask R-CNN的基本框架
為提高鉚釘故障檢測(cè)精度和效率，趙娜提出了基于改進(jìn)U-net++網(wǎng)絡(luò)模型的鉚釘故障檢測(cè)方法，通過(guò)將U-net++與ResNet殘差網(wǎng)絡(luò)進(jìn)行融合來(lái)更好的提取特征信息，相比于Mask R-CNN模型，改進(jìn)模型的故障檢測(cè)準(zhǔn)確率提高了10.6%，其檢測(cè)速度達(dá)到了14.3 FPS。
基于箱體類螺栓/鉚釘?shù)墓收蠙z測(cè)還有其他深度學(xué)習(xí)方法，如王慧等提出了基于Faster R-CNN的鉚釘故障檢測(cè)方法，該方法的故障檢測(cè)精度達(dá)到了93.9%；辛佳雯等提出了基于Faster R-CNN和改進(jìn)CPN級(jí)聯(lián)的螺栓安裝故障檢測(cè)方法，實(shí)現(xiàn)了航空發(fā)動(dòng)機(jī)圖像中螺栓及關(guān)鍵點(diǎn)檢測(cè)；李宗剛等提出了基于DETR與SimAM注意力機(jī)制結(jié)合的故障檢測(cè)方法，有效提高了小目標(biāo)檢測(cè)精度；武曉春等基于局部強(qiáng)化算法和多尺度通道組混排卷積改進(jìn)YOLOv8，實(shí)現(xiàn)了螺栓銹蝕故障高效檢測(cè)；陳業(yè)泓等提出了基于SSD YOLO的螺栓故障檢測(cè)算法，為動(dòng)車組狀態(tài)檢修提供了參考。
表5統(tǒng)計(jì)了機(jī)器視覺(jué)檢測(cè)方法在箱體類螺栓/鉚釘故障中應(yīng)用的研究成果。
表5 基于機(jī)器視覺(jué)的箱體類螺栓/鉚釘故障檢測(cè)研究成果
3.構(gòu)件類螺栓/鉚釘故障檢測(cè)
構(gòu)件類螺栓/鉚釘作為現(xiàn)代工程建設(shè)中不可或缺的關(guān)鍵連接件，廣泛應(yīng)用于大型建筑與基礎(chǔ)設(shè)施領(lǐng)域，橋梁、鋼構(gòu)、建筑為典型代表。
在工程應(yīng)用領(lǐng)域，螺栓的工作性能（滑動(dòng)、分離或脫落）會(huì)對(duì)連接部件產(chǎn)生重要影響。為了實(shí)現(xiàn)橋梁螺栓松動(dòng)實(shí)時(shí)檢測(cè)，Cha等提出了基于Hough變換和SVM相結(jié)合的螺栓松動(dòng)視覺(jué)檢測(cè)方法，先對(duì)手機(jī)采集的圖像進(jìn)行全變差去噪，再通過(guò)Hough變換提取螺栓關(guān)鍵點(diǎn)特征，最后訓(xùn)練SVM分類器區(qū)分松動(dòng)螺栓和正常螺栓，該方法的螺栓松動(dòng)識(shí)別準(zhǔn)確率高達(dá)95%，有望在復(fù)雜機(jī)械系統(tǒng)或土木結(jié)構(gòu)的螺栓檢測(cè)中推廣使用。
為了實(shí)現(xiàn)不同角度和螺栓遮擋圖像的螺栓松動(dòng)檢測(cè)，Luo等提出了一種基于圖像透視校正的法蘭板螺栓松動(dòng)檢測(cè)方法，該方法可以基于識(shí)別出的螺母角點(diǎn)對(duì)每個(gè)螺栓圖像的視角畸變進(jìn)行校正，有效地識(shí)別出法蘭連接螺栓松動(dòng)情況。
曾飛等提出了一種利用彈性線曲率變化的螺栓松動(dòng)檢測(cè)方法，通過(guò)螺栓間彈性線放大螺栓松動(dòng)角度結(jié)合固定點(diǎn)曲率變化確定螺栓轉(zhuǎn)動(dòng)角度，實(shí)現(xiàn)了大型建筑結(jié)構(gòu)中螺栓松動(dòng)的早期檢測(cè)，為多種類型螺栓識(shí)別及松動(dòng)檢測(cè)提供了技術(shù)支持。
上述傳統(tǒng)圖像處理方法在特征提取、檢測(cè)準(zhǔn)確率和效率、泛化能力等方面，與深度學(xué)習(xí)方法相比還存在明顯不足。為提高螺栓松動(dòng)檢測(cè)的智能化水平，勞武略等提出了基于深度學(xué)習(xí)和傳統(tǒng)圖像處理相結(jié)合的鋼橋螺栓松動(dòng)檢測(cè)方法，先利用YOLOv5和關(guān)鍵點(diǎn)檢測(cè)模型進(jìn)行螺栓定位和螺栓關(guān)鍵點(diǎn)檢測(cè)，再通過(guò)Voronoi圖分類、中心點(diǎn)匹配、最小二乘法擬合透視變換等判斷螺栓是否發(fā)生松動(dòng)，該方法通過(guò)對(duì)比圖像關(guān)鍵點(diǎn)位置變化識(shí)別螺栓松動(dòng)，大幅提升了螺栓松動(dòng)檢測(cè)自動(dòng)化程度。
為了自動(dòng)識(shí)別鐵路橋梁中缺失的高強(qiáng)度螺栓，趙欣欣等提出一種基于深度學(xué)習(xí)的螺栓缺失檢測(cè)方法，先搭建12層主干網(wǎng)絡(luò)（5層卷積層、5層池化層和2個(gè)全連接層），在主干網(wǎng)絡(luò)中添加通道和空間注意力子網(wǎng)路以提高特征和區(qū)域敏感性，該模型在真實(shí)場(chǎng)景下的螺栓故障檢測(cè)準(zhǔn)確率高達(dá)94.9%，有望在涂層裂化、異常變形等橋梁病害場(chǎng)景中推廣應(yīng)用，但是模型的訓(xùn)練速度還有待進(jìn)一步提升。
鞠曉臣等提出了基于自注意力機(jī)制與中心點(diǎn)回歸（SACPR）算法的橋梁螺栓故障檢測(cè)方法，該算法的螺栓故障檢測(cè)精度與RetinaNet算法相近，但是其推理速度是RetinaNet的5.6倍。
劉暢提出了語(yǔ)義分割與孿生網(wǎng)絡(luò)相結(jié)合的螺栓松動(dòng)缺陷檢測(cè)方法，以DeepLabv3+作為特征提取網(wǎng)絡(luò)、ResNet18作為判別器，螺栓松動(dòng)檢測(cè)準(zhǔn)確率在95%以上。
牟宗涵提出了基于YOLOv5的自適應(yīng)裁剪淺層注意力網(wǎng)絡(luò)，實(shí)現(xiàn)了鐵路橋梁鋼結(jié)構(gòu)表面缺陷智能檢測(cè)。
張洪等通過(guò)引入高效通道注意力機(jī)制、優(yōu)化空間金字塔池化結(jié)構(gòu)、替換邊界框損失函數(shù)、添加解耦檢測(cè)頭改進(jìn)YOLOv5，改進(jìn)模型的螺栓缺陷檢測(cè)精度達(dá)到92.6%，與原始YOLOv5相比提高了4.3個(gè)百分點(diǎn)，有效解決了背景噪聲干擾與小目標(biāo)情況下特征提取困難的問(wèn)題。
表6統(tǒng)計(jì)了機(jī)器視覺(jué)檢測(cè)方法在構(gòu)件類螺栓/鉚釘故障檢測(cè)中應(yīng)用的研究成果。
表6 基于機(jī)器視覺(jué)的構(gòu)件類螺栓/鉚釘故障檢測(cè)研究成果
4.未來(lái)研究展望
隨著基于機(jī)器視覺(jué)的螺栓/鉚釘故障檢測(cè)研究的不斷深入，相比于傳統(tǒng)圖像處理方法，深度學(xué)習(xí)算法對(duì)螺栓/鉚釘故障檢測(cè)有著較好的檢測(cè)結(jié)果，但是在數(shù)據(jù)集規(guī)模及樣本標(biāo)注、小目標(biāo)檢測(cè)等方面面臨著挑戰(zhàn)。未來(lái)的研究工作將從以下幾個(gè)方面展開(kāi)：
1.建立螺栓/鉚釘故障檢測(cè)公開(kāi)數(shù)據(jù)集
通過(guò)圖像增強(qiáng)技術(shù)、多源圖像融合技術(shù)、物理渲染、生成對(duì)抗網(wǎng)絡(luò)、擴(kuò)散模型等方法擴(kuò)充樣本數(shù)量，解決故障樣本類不平衡問(wèn)題，以及利用弱監(jiān)督、無(wú)監(jiān)督學(xué)習(xí)進(jìn)行樣本標(biāo)注，將是未來(lái)研究熱點(diǎn)之一。
2.提高模型的螺栓/鉚釘小目標(biāo)故障檢測(cè)能力
圖像中的螺栓/鉚釘及其故障不及圖像的1%，如何進(jìn)行小目標(biāo)故障檢測(cè)是螺栓/鉚釘故障檢測(cè)需解決的一個(gè)問(wèn)題?，F(xiàn)有目標(biāo)檢測(cè)算法結(jié)合多尺度特征融合、特征金字塔網(wǎng)絡(luò)、注意力機(jī)制、可變形卷積、調(diào)整損失函數(shù)等策略改進(jìn)將成為小目標(biāo)故障檢測(cè)研究方向之一。
3.設(shè)計(jì)螺栓/鉚釘故障檢測(cè)性能良好的檢測(cè)模型
CNN能夠充分提取待檢測(cè)目標(biāo)的局部特征，但Faster R-CNN、SSD、YOLO等主流的目標(biāo)檢測(cè)算法對(duì)小目標(biāo)檢測(cè)效果欠佳。為了進(jìn)一步捕捉圖像的全局依賴關(guān)系，充分利用上下文信息、歸一化流模型，綜合現(xiàn)有目標(biāo)檢測(cè)算法、語(yǔ)義分割算法、基于注意力機(jī)制的視覺(jué)Transformer網(wǎng)絡(luò)模型、圖卷積神經(jīng)網(wǎng)絡(luò)算法優(yōu)勢(shì)，設(shè)計(jì)一個(gè)檢測(cè)性能良好的深度學(xué)習(xí)網(wǎng)絡(luò)模型將成為小目標(biāo)螺栓/鉚釘故障檢測(cè)研究的重點(diǎn)。
4.螺栓/鉚釘故障檢測(cè)網(wǎng)絡(luò)模型輕量化
為滿足實(shí)際場(chǎng)景需求，將深度學(xué)習(xí)網(wǎng)絡(luò)模型部署在嵌入式設(shè)備上用于螺栓/鉚釘故障實(shí)時(shí)檢測(cè)，網(wǎng)絡(luò)模型輕量化尤為重要。在保證網(wǎng)絡(luò)模型檢測(cè)準(zhǔn)確率的同時(shí)，如何利用模型剪枝、知識(shí)蒸餾、低秩分解、網(wǎng)絡(luò)量化等模型壓縮技術(shù)降低模型計(jì)算開(kāi)銷是螺栓/鉚釘故障檢測(cè)研究方向之一。
5.構(gòu)建螺栓/鉚釘故障智能檢測(cè)系統(tǒng)
得益于云計(jì)算和邊緣計(jì)算技術(shù)在算力分配和存儲(chǔ)資源共享，基于人工智能技術(shù)的大模型需要具有巨大的計(jì)算能力，已遠(yuǎn)超出便攜式或在線監(jiān)控設(shè)備的計(jì)算能力。為了便于深度學(xué)習(xí)網(wǎng)絡(luò)模型部署于邊緣設(shè)備上，促進(jìn)輸電線路、鐵路交通巡檢技術(shù)落地，構(gòu)建云-邊-端協(xié)同融合檢測(cè)系統(tǒng)具有重要研究?jī)r(jià)值。
作者：劉傳洋1,2，吳一全1，劉景景2
工作單位：1. 南京航空航天大學(xué)電子信息工程學(xué)院
2. 池州學(xué)院機(jī)電工程學(xué)院
來(lái)源：儀器儀表學(xué)報(bào)
轉(zhuǎn)自：智能堅(jiān)固件及緊固工具
來(lái)源：Internet
關(guān)于我們 聯(lián)系我們 營(yíng)業(yè)執(zhí)照 全國(guó)服務(wù)電話：400-818-0021 嘉峪檢測(cè)版權(quán)所有 備案號(hào)：京ICP備14047019號(hào)-2 
京公網(wǎng)安備11010802046783號(hào)
