針對(duì)傳統(tǒng)的煤礦企業(yè)地磅稱(chēng)重管理系統(tǒng)因人工采集信息導(dǎo)致工作效率低、質(zhì)量差，以及因缺乏防 作弊監(jiān)控措施導(dǎo)致偷煤現(xiàn)象頻發(fā)等問(wèn)題，設(shè)計(jì)了一種煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別管理系統(tǒng)，詳細(xì)介紹了 該系統(tǒng)的組成、視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別原理、系統(tǒng)工作流程及軟件功能。該系統(tǒng)由視頻監(jiān)控系統(tǒng)、車(chē)輛 抓拍系統(tǒng)和數(shù)據(jù)采集系統(tǒng)組成，綜合應(yīng)用數(shù)字圖像處理、卷積神經(jīng)網(wǎng)絡(luò)、計(jì)算機(jī)網(wǎng)絡(luò)等技術(shù)，實(shí)現(xiàn)了基于車(chē)牌 識(shí)別和多特征匹配的煤礦地磅業(yè)務(wù)智能監(jiān)控功能。實(shí)際應(yīng)用表明，該系統(tǒng)可靠性高，操作簡(jiǎn)便，有效減少了 人員工作量，并能夠防止作弊盜煤現(xiàn)象發(fā)生。

0.引言

傳統(tǒng)的煤礦企業(yè)地磅稱(chēng)重管理系統(tǒng)中大部分信 息采集工作由司磅員手動(dòng)完成，很難保證工作效率 及工作質(zhì)量。另外，系統(tǒng)缺乏有效的防作弊監(jiān)控 措施，導(dǎo)致大量偷煤現(xiàn)象，給企業(yè)造成巨大經(jīng)濟(jì)損 失。常見(jiàn)的作弊手段包括模糊車(chē)牌、更換車(chē)牌、車(chē)輛 不完全上磅稱(chēng)毛重或多輛車(chē)同時(shí)上磅稱(chēng)皮重、對(duì)地 磅傳感器加裝遙控干擾裝置等。

本文綜合運(yùn)用數(shù)字圖像處理、卷積神經(jīng)網(wǎng)絡(luò) (Convolutional Neural Network,CNN)和計(jì)算機(jī)網(wǎng) 絡(luò)等技術(shù)，設(shè)計(jì)了一種煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能 識(shí)別管理系統(tǒng)。該系統(tǒng)能夠自動(dòng)檢測(cè)車(chē)輛是否完全 上磅，識(shí)別載煤車(chē)牌號(hào)并確保信息匹配，同時(shí)可自動(dòng) 采集、傳輸、存儲(chǔ)和調(diào)取稱(chēng)重?cái)?shù)據(jù)，實(shí)現(xiàn)對(duì)煤礦地鎊 業(yè)務(wù)的智能監(jiān)控。實(shí)際應(yīng)用表明，該系統(tǒng)減輕了工 作人員的勞動(dòng)強(qiáng)度，最大限度地防止了作弊行為的 發(fā)生。

1.系統(tǒng)組成

煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別管理系統(tǒng)主要 由視頻監(jiān)控系統(tǒng)、車(chē)輛抓拍系統(tǒng)和數(shù)據(jù)采集系統(tǒng)組 成，如圖1所示。

1.1視頻監(jiān)控系統(tǒng)

每臺(tái)地磅進(jìn)出口分別安裝1臺(tái)高清紅外攝像 機(jī)，進(jìn)行全天候監(jiān)控。為保證視頻的清晰度，選用低 照度彩色攝像機(jī)，配有室外防水護(hù)罩。

在視頻監(jiān)控系統(tǒng)中，管理人員能夠直接在軟件 界面上觀(guān)察整個(gè)計(jì)重過(guò)程，可重點(diǎn)觀(guān)看稱(chēng)重車(chē)輛上 磅情況、車(chē)牌號(hào)、車(chē)斗里有無(wú)其他物品。稱(chēng)重現(xiàn)場(chǎng)視 頻圖像可被錄制下來(lái)保存到硬盤(pán)上。視頻監(jiān)控系統(tǒng) 可有效杜絕司磅員與司機(jī)溝通作弊等現(xiàn)象，確保稱(chēng) 重?cái)?shù)據(jù)的可靠性。

1. 2 車(chē)輛抓拍系統(tǒng)

車(chē)輛抓拍系統(tǒng)由紅外對(duì)射對(duì)位子系統(tǒng)和車(chē)牌識(shí) 別子系統(tǒng)組成。2對(duì)紅外對(duì)射器分別安裝在磅臺(tái)的 前后部，時(shí)刻檢測(cè)車(chē)輛位置。如果車(chē)輛未完全停在 鎊臺(tái)上，紅外對(duì)射器會(huì)自動(dòng)感應(yīng)到，不允許稱(chēng)重，直 至車(chē)輛完全停在磅臺(tái)上才允許稱(chēng)重。當(dāng)車(chē)輛完全上 磅后，圖像采集設(shè)備受到地感線(xiàn)圈觸發(fā)，控制攝像機(jī) 獲取當(dāng)前時(shí)刻的圖像并保存，然后由車(chē)牌識(shí)別子系 統(tǒng)對(duì)圖像中的車(chē)輛進(jìn)行車(chē)牌識(shí)別,并輸出車(chē)牌號(hào)、時(shí) 間等信息。圖像同時(shí)被壓縮、打包，通過(guò)網(wǎng)絡(luò)傳輸并 存人數(shù)據(jù)庫(kù)。

紅外對(duì)射對(duì)位子系統(tǒng)可有效防止車(chē)輛不完全上磅稱(chēng)毛重作弊和多輛車(chē)同時(shí)上鎊稱(chēng)皮重作弊，確保 稱(chēng)重?cái)?shù)據(jù)的準(zhǔn)確性。車(chē)牌識(shí)別子系統(tǒng)可有效減少人 工作業(yè)量，實(shí)現(xiàn)煤礦地磅車(chē)輛作業(yè)流水化，提高工作 效率。

1.3 數(shù)據(jù)采集系統(tǒng)

數(shù)據(jù)采集系統(tǒng)由采集、傳輸、存儲(chǔ)和調(diào)取4個(gè)部 分組成。系統(tǒng)自動(dòng)采集稱(chēng)重儀上的數(shù)據(jù)，避免人工 操作，有效防止人為因素作弊;根據(jù)RS232協(xié)議，將 數(shù)據(jù)編譯成固定的幀格式，接入到串口服務(wù)器并轉(zhuǎn) 換為以太網(wǎng)數(shù)據(jù)格式輸入網(wǎng)絡(luò)交換機(jī)，用于視頻監(jiān) 控系統(tǒng)和車(chē)輛抓拍系統(tǒng)的信息匹配；將稱(chēng)重?cái)?shù)據(jù)保 存到數(shù)據(jù)服務(wù)器;在二次稱(chēng)重時(shí)，根據(jù)車(chē)牌號(hào)在數(shù)據(jù) 庫(kù)中調(diào)取一次稱(chēng)重時(shí)的數(shù)據(jù)，自動(dòng)進(jìn)行載煤量計(jì)算。 數(shù)據(jù)發(fā)送方式為周期主動(dòng)發(fā)送，每200 ms發(fā)送 1次。數(shù)據(jù)一旦進(jìn)人數(shù)據(jù)庫(kù)，將永久保存，在未經(jīng)許可的情況下無(wú)法修改或刪除。數(shù)據(jù)采集系統(tǒng)可有效 避免人為因素產(chǎn)生的數(shù)據(jù)錄人錯(cuò)誤，減少司磅員工 作量。

2.視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別原理

煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別管理系統(tǒng)中， 視頻監(jiān)控系統(tǒng)進(jìn)行全天候監(jiān)控。當(dāng)有車(chē)輛進(jìn)人磅臺(tái) 時(shí)，紅外對(duì)射器時(shí)刻檢測(cè)車(chē)輛位置，待車(chē)輛完全上鎊 后，攝像機(jī)對(duì)車(chē)輛進(jìn)行圖像抓拍，自動(dòng)識(shí)別車(chē)牌號(hào)并 將最終結(jié)果和壓縮后的圖像上傳至數(shù)據(jù)庫(kù)。同時(shí)稱(chēng) 重儀對(duì)載煤車(chē)輛進(jìn)行稱(chēng)重(皮重或毛重)并將數(shù)據(jù)上 傳至數(shù)據(jù)庫(kù)。

車(chē)牌識(shí)別子系統(tǒng)是整個(gè)系統(tǒng)的重要組成部分， 也是最復(fù)雜的部分，需要對(duì)捕捉的車(chē)輛監(jiān)控圖像自 動(dòng)進(jìn)行車(chē)牌識(shí)別或多特征匹配。車(chē)牌識(shí)別率高低直 接關(guān)系到系統(tǒng)性能指標(biāo)。

2.1車(chē)牌識(shí)別

車(chē)牌識(shí)別主要包括車(chē)牌定位與字符識(shí)別2個(gè)階 段。在車(chē)牌定位階段，綜合應(yīng)用2種定位方式對(duì) 車(chē)牌進(jìn)行初步定位檢測(cè)，然后使用CNN模型對(duì)檢 測(cè)到的候選車(chē)牌進(jìn)行判斷;在字符識(shí)別階段，將 分割出的字符輸人到設(shè)計(jì)好的CNN模型中進(jìn)行訓(xùn) 練，得到的輸出結(jié)果即為識(shí)別的車(chē)牌字符。

常見(jiàn)的車(chē)牌定位法有邊緣檢測(cè)定位法、顏色定 位法、文字定位法。邊緣檢測(cè)定位法適用于非車(chē)牌 區(qū)域垂直邊緣較少的情況；顏色定位法適用于車(chē)身 及背景中無(wú)藍(lán)色和黃色干擾的情況；文字定位法在 弱光條件下定位效果優(yōu)于其他2種方法。針對(duì)煤礦 常用運(yùn)輸車(chē)輛背景顏色較為復(fù)雜的情況，系統(tǒng)綜合 采用邊緣檢測(cè)定位法和文字定位法。

車(chē)牌定位算法步驟：①對(duì)待識(shí)別圖像進(jìn)行高斯 濾波，去除噪聲；②對(duì)濾波后的圖像進(jìn)行灰度化處 理，為邊緣檢測(cè)做準(zhǔn)備；③使用Sobel算子檢測(cè)圖 像中的垂直邊緣；④將Sobel算子生成的灰度圖像 轉(zhuǎn)換為二值圖像;⑤采用形態(tài)學(xué)閉操作將車(chē)牌字母 連接成一個(gè)連通域，便于取輪廓；⑥截取各連通域 輪廓，便于形成最小外接矩形；⑦根據(jù)車(chē)牌尺寸排 除不可能是車(chē)牌的矩形；⑧通過(guò)角度判斷進(jìn)一步排 除一部分車(chē)牌矩形；⑨旋轉(zhuǎn)候選車(chē)牌矩形，使其水 平；⑩歸一化候選車(chē)牌矩形。

在夜晚、陰天等弱光線(xiàn)條件下，若邊緣檢測(cè)定位 法失效，則采用文字定位法,具體步驟：①使用最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regi0nS，MSER)法提取文字；②使用種子生長(zhǎng)法 將文字塊連接起來(lái)，組合成候選車(chē)牌區(qū)域；③將候 選車(chē)牌送人CNN車(chē)牌判別分類(lèi)器進(jìn)行車(chē)牌判別。

得到車(chē)牌圖像后，將車(chē)牌上的字符分割出來(lái)進(jìn) 行字符識(shí)別，得到車(chē)牌號(hào)。具體步驟：①將車(chē)牌圖 片轉(zhuǎn)換為灰度圖片；②判斷車(chē)牌顏色，對(duì)藍(lán)色車(chē)牌 使用正二值化，對(duì)于黃色車(chē)牌使用反二值化；③截 取每個(gè)字符輪廓；④截取的字符圖片歸一化；⑤送 人訓(xùn)練好的CNN字符判別分類(lèi)器進(jìn)行字符識(shí)別。

車(chē)牌識(shí)別流程如圖2所示。

在識(shí)別訓(xùn)練階段，采用Caffe深度學(xué)習(xí)框架，搭 配CaffeNet網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。車(chē)牌判別與字符 識(shí)別采用相同的識(shí)別網(wǎng)絡(luò)，其訓(xùn)練過(guò)程基本一致，不 同之處在于車(chē)牌判別是將輸入圖片分為車(chē)牌與非車(chē) 牌2類(lèi)，而字符識(shí)別是將輸入圖片分為65類(lèi)，即 31類(lèi)中文字符、24類(lèi)英文字符和10類(lèi)數(shù)字字符。 CaffeNet網(wǎng)絡(luò)模型共有8層，前5層為卷積層，后 3層為全連接層。針對(duì)車(chē)牌模糊的情況，在訓(xùn)練CNN車(chē)牌判別分類(lèi)器與CNN字符判別分類(lèi)器時(shí)， 訓(xùn)練樣本中加入模糊的車(chē)牌圖片進(jìn)行訓(xùn)練，以提高 識(shí)別準(zhǔn)確性和識(shí)別速度。

2.2多特征匹配

為防止車(chē)輛駛出時(shí)偷換車(chē)牌，采用車(chē)頭多特征 抽取匹配方法，對(duì)沒(méi)有車(chē)牌建檔的車(chē)輛進(jìn)行關(guān)聯(lián)識(shí) 別。具體步驟：①利用車(chē)牌識(shí)別得到的車(chē)牌寬 度和高度計(jì)算車(chē)頭區(qū)域，將車(chē)頭區(qū)域均分成10個(gè)子 塊；②對(duì)車(chē)頭圖像進(jìn)行歸一化、銳化邊緣和去除噪 聲等預(yù)處理；③計(jì)算每個(gè)子塊的HSV(Hue， Saturation, Value,色調(diào)、飽和度、亮度）顏色空間， 得到每個(gè)子塊的顏色直方圖；④計(jì)算每個(gè)子塊若干 關(guān)鍵點(diǎn)的紋理特征；⑤比對(duì)當(dāng)前車(chē)頭的特征序列和 車(chē)輛檔案中對(duì)應(yīng)車(chē)牌號(hào)的車(chē)頭特征序列，如果二者 協(xié)方差距離小于0.3，則該車(chē)沒(méi)有套牌，反之為套牌 車(chē)輛。

系統(tǒng)車(chē)輛識(shí)別正確率可達(dá)到9 8 %，識(shí)別結(jié)果如圖3所示。

2.3 視頻與稱(chēng)重聯(lián)動(dòng)

在車(chē)牌識(shí)別的同時(shí)，稱(chēng)重儀對(duì)完全上磅的車(chē)輛 進(jìn)行稱(chēng)重，并將采集的數(shù)據(jù)傳輸至數(shù)據(jù)庫(kù)。系統(tǒng)直 接讀取稱(chēng)重儀數(shù)據(jù)，讀取數(shù)據(jù)時(shí)可設(shè)置讀取條件，如 當(dāng)稱(chēng)重儀數(shù)據(jù)超過(guò)16 t(可根據(jù)現(xiàn)場(chǎng)情況調(diào)整）后， 系統(tǒng)認(rèn)為有車(chē)上磅,允許記錄數(shù)據(jù)（作為車(chē)輛皮重參 考值），在一段時(shí)間內(nèi)自動(dòng)比較，記錄最大值作為裝 車(chē)總重，存人數(shù)據(jù)庫(kù)。稱(chēng)重?cái)?shù)據(jù)通過(guò)RS232通信端 口在聯(lián)網(wǎng)情況下直接送達(dá)數(shù)據(jù)庫(kù)，并通過(guò)服務(wù)器軟 件完成匯總和記錄，這樣避免人為干預(yù)，確保了數(shù)據(jù) 的真實(shí)性。

3.系統(tǒng)工作流程

煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別管理系統(tǒng)工作流程如圖4所示。

（1）視頻錄入：當(dāng)車(chē)輛上磅后，前后攝像機(jī)進(jìn)行 視頻錄人、存儲(chǔ)。

（2）車(chē)輛檢測(cè)：當(dāng)有車(chē)上磅后，紅外對(duì)射器時(shí)刻 檢測(cè)車(chē)輛位置，確保車(chē)輛完全停在磅臺(tái)上。

（3）車(chē)牌識(shí)別：當(dāng)車(chē)輛完全上鎊后，系統(tǒng)自動(dòng)抓 拍當(dāng)前圖像并識(shí)別車(chē)牌號(hào)。

（4）車(chē)輛建檔：根據(jù)一車(chē)一檔原則，將車(chē)牌號(hào)、 車(chē)輛圖片等送人相應(yīng)的數(shù)據(jù)庫(kù)，建立車(chē)輛檔案。

（5）數(shù)據(jù)讀取：在進(jìn)行車(chē)牌識(shí)別的同時(shí)，系統(tǒng)直 接讀取稱(chēng)重儀數(shù)據(jù)，將皮重?cái)?shù)據(jù)送人對(duì)應(yīng)車(chē)輛檔案， 避免人為因素。

（6）車(chē)輛匹配：車(chē)牌識(shí)別子系統(tǒng)再次對(duì)完全上 鎊的車(chē)輛進(jìn)行自動(dòng)抓拍車(chē)牌識(shí)別或多特征匹配車(chē)輛 識(shí)別，根據(jù)識(shí)別結(jié)果從數(shù)據(jù)庫(kù)中提取相應(yīng)車(chē)輛檔案。

（7）二次稱(chēng)重：若匹配成功，系統(tǒng)讀取毛重?cái)?shù)據(jù) 并錄入對(duì)應(yīng)車(chē)輛檔案；若匹配不成功，系統(tǒng)不讀取任 何數(shù)據(jù)，關(guān)閉道閘，告知檢測(cè)人員。

（8）數(shù)據(jù)計(jì)算：系統(tǒng)自動(dòng)計(jì)算凈重，并將結(jié)果存 人對(duì)應(yīng)車(chē)輛檔案，不予修改。

4.系統(tǒng)軟件功能

煤礦視頻聯(lián)動(dòng)地磅稱(chēng)重智能識(shí)別管理系統(tǒng)軟件 功能主要包括：

（1）顯示功能：可顯示地鎊數(shù)據(jù)、COM 口狀態(tài)、 車(chē)牌號(hào)、車(chē)輛皮/毛重、現(xiàn)場(chǎng)監(jiān)控畫(huà)面、車(chē)牌圖像等。

（2）多模式選擇：具有內(nèi)調(diào)、外運(yùn)、矸石選擇按 鈕，用戶(hù)可根據(jù)實(shí)際需求選擇運(yùn)輸模式。

（3）查詢(xún)功能：提供多種查詢(xún)模式，如時(shí)間、運(yùn) 輸方式、車(chē)輛信息、裝車(chē)信息等，用戶(hù)可根據(jù)需求查詢(xún)數(shù)據(jù)。

（4）車(chē)輛信息導(dǎo)入:用戶(hù)可根據(jù)實(shí)際需求，定期 導(dǎo)人最新車(chē)輛信息，確保數(shù)據(jù)實(shí)時(shí)、準(zhǔn)確。

（5）報(bào)表統(tǒng)計(jì):可生成日?qǐng)?bào)、月報(bào)、年報(bào)等，便于査詢(xún)，并提供打印功能。

（6）監(jiān)管功能：當(dāng)某一時(shí)間段內(nèi)的運(yùn)銷(xiāo)量和實(shí) 7 際銷(xiāo)量存在較大出人時(shí)，可準(zhǔn)確定位到嫌疑車(chē)輛，包括車(chē)牌、皮重、毛重、過(guò)磅時(shí)間等信息。

（7）分類(lèi)統(tǒng)計(jì)：可根據(jù)用戶(hù)設(shè)置的運(yùn)輸模式分別統(tǒng)計(jì)運(yùn)煤量。

5.結(jié)語(yǔ)

煤礦視頻聯(lián)動(dòng)地鎊稱(chēng)重智能識(shí)別管理系統(tǒng)綜合 采用數(shù)字圖像處理、CNN和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)，可實(shí) 現(xiàn)對(duì)煤礦地磅業(yè)務(wù)的智能監(jiān)控功能。該系統(tǒng)已在霍 州煤電集團(tuán)有限責(zé)任公司得到實(shí)際應(yīng)用，結(jié)果表明 該系統(tǒng)可靠性高，操作簡(jiǎn)便，可有效防止作弊盜煤?jiǎn)?/span> 題，取得了良好的經(jīng)濟(jì)效益。