深蘭科技摘得“圖表信息提取競(jìng)賽”總成績(jī)的冠軍
賽道四
賽道四需要檢測(cè)出每個(gè)X軸或Y軸上的刻度點(diǎn)并與對(duì)應(yīng)的刻度標(biāo)簽文本框關(guān)聯(lián)。該賽道使用修改后的F-measure對(duì)每個(gè)軸評(píng)分,然后對(duì)所有軸進(jìn)行得分平均。對(duì)每個(gè)檢測(cè)到的刻度點(diǎn),根據(jù)其距離真實(shí)刻度點(diǎn)之間的距離,給出0到1之間的評(píng)分。Precision計(jì)算方法為評(píng)分總和除以預(yù)測(cè)數(shù)。召回率的計(jì)算方法是得分的總和除以真實(shí)標(biāo)注刻度點(diǎn)的數(shù)量。
對(duì)于該任務(wù),我們將整個(gè)任務(wù)拆分為刻度點(diǎn)檢測(cè)和匹配兩個(gè)步驟。
在刻度點(diǎn)檢測(cè)任務(wù)中,我們將該任務(wù)視為標(biāo)準(zhǔn)的關(guān)鍵點(diǎn)估計(jì)問(wèn)題。參考CenterNet,使用DLA-34作為backbone,從底層添加更多的跳轉(zhuǎn)連接,并在上采樣階段將每個(gè)卷積層替換為可變形的卷積層,最后獲得尺寸為1/4的輸出特征圖,然后將特征圖送入頭部分支。在頭部分支中,包括三個(gè)分支。首先是刻度點(diǎn)檢測(cè)分支,在此分支中預(yù)測(cè)的熱圖中的峰值對(duì)應(yīng)于刻度點(diǎn)的位置,并通過(guò)兩個(gè)不同的特征圖將點(diǎn)分類為X軸或Y軸的刻度點(diǎn)。為了恢復(fù)由輸出步幅引起的離散化誤差,在Offset分支中預(yù)測(cè)了修正刻度點(diǎn)位置的偏移量。在第三個(gè)分支中(OTB),預(yù)測(cè)了刻度點(diǎn)到刻度標(biāo)簽文本框中心的偏移,該偏移僅在訓(xùn)練階段使用。
為了訓(xùn)練刻度點(diǎn)檢測(cè)分支,我們使用Focal Loss作為損失函數(shù)來(lái)進(jìn)行逐像素邏輯回歸。為了訓(xùn)練Offset分支,我們使用在人臉Landmark定位任務(wù)中提出的Wing Loss,其設(shè)計(jì)目的是提高深度神經(jīng)網(wǎng)絡(luò)針對(duì)中小型誤差的學(xué)習(xí)能力,并使用Smooth L1作為訓(xùn)練OTB分支的損失函數(shù)。
在檢測(cè)出X軸與Y軸上的刻度點(diǎn)后,首先使用線性分布檢查來(lái)過(guò)濾掉異常檢測(cè)點(diǎn),然后基于刻度點(diǎn)與標(biāo)簽文本框之間X軸或Y軸的L1距離,將刻度點(diǎn)和標(biāo)簽文本框進(jìn)行匹配。
在Adobe Synth,UB PMC驗(yàn)證集及Test Challenge階段不同實(shí)驗(yàn)得分如表1,2所示,可以看出不使用預(yù)訓(xùn)練模型與添加OTB分支能夠取得更好的得分。最后通過(guò)模型融合我們?cè)跍y(cè)試階段分別取得了99.90%與81.28%的成績(jī),取得第一。
表1
表2
賽道五
賽道五將圖例標(biāo)簽文本與圖例中相應(yīng)的樣式元素相關(guān)聯(lián)。我們采用先檢測(cè)圖例元素,然后匹配圖例元素和圖例標(biāo)簽的方法。為了進(jìn)一步提高匹配精度,同時(shí)檢測(cè)圖例對(duì)和圖例元素,圖例對(duì)的檢測(cè)結(jié)果輔助匹配過(guò)程。
我們的方法分為三個(gè)步驟:
使用與賽道三相同的方法對(duì)文本框進(jìn)行分類,然后篩選出圖例標(biāo)簽類別的文本框。
用CenterNet [3]檢測(cè)圖例元素和圖例對(duì)兩個(gè)類別,圖例對(duì)通過(guò)合并圖例元素和相應(yīng)文本的邊框獲得。
匹配圖例元素和圖例標(biāo)簽,對(duì)于每個(gè)圖例標(biāo)簽,如果存在圖例元素在同一個(gè)圖例對(duì)中,則該圖例標(biāo)簽和圖例元素配對(duì),然后使用匈牙利算法匹配剩余的圖例元素和圖例標(biāo)簽。為了減少賽道三的分類錯(cuò)誤對(duì)賽道五結(jié)果的影響,加入了后處理,對(duì)于賽道三的結(jié)果中沒(méi)有圖例標(biāo)簽的圖像,如果同時(shí)檢測(cè)到圖例元素和圖例對(duì),則將圖例元素與所有文本框進(jìn)行匹配。
賽道六
賽道六第一個(gè)子任務(wù)的目標(biāo),是對(duì)圖表中繪圖區(qū)域中的每個(gè)元素進(jìn)行檢測(cè)和分類,第二個(gè)子任務(wù)輸出用于生成圖表圖像的原始數(shù)據(jù),且在元素的表示形式中包含框和點(diǎn)兩種類型。我們將對(duì)這兩個(gè)子任務(wù)進(jìn)行整體介紹。
賽道六的評(píng)價(jià)指標(biāo)比較復(fù)雜,概括為采用檢測(cè)到的元素與真實(shí)標(biāo)注元素之間的歐氏距離或者IOU評(píng)價(jià)檢測(cè)的得分,通過(guò)每個(gè)分組中的點(diǎn)與真實(shí)標(biāo)注每個(gè)分組中點(diǎn)匹配程度,與提取到的坐標(biāo)軸坐標(biāo)系的數(shù)據(jù)和真實(shí)數(shù)據(jù)之間的誤差,計(jì)算分組得分與數(shù)據(jù)提取得分。
我們分別通過(guò)基于框的檢測(cè)算法和基于點(diǎn)的檢測(cè)算法來(lái)檢測(cè)元素。為了檢測(cè)框表示的元素,我們使用目標(biāo)檢測(cè)算法CenterNet進(jìn)行檢測(cè)。為了檢測(cè)點(diǎn)表示的元素,我們使用與賽道四中相同的點(diǎn)檢測(cè)算法,并刪除OTB分支。
在解決了檢測(cè)問(wèn)題之后,為了將檢測(cè)到的元素進(jìn)行分組(比如檢測(cè)到的同一條曲線上的點(diǎn),應(yīng)該被分為同一組)。對(duì)于水平框和垂直框,我們可以按X軸或Y軸的L1距離對(duì)框進(jìn)行分組,但是對(duì)于“線和散點(diǎn)圖”而言,則更為復(fù)雜。我們分別提取檢測(cè)到的元素的顏色直方圖特征和Hog特征,然后使用K-means對(duì)它們進(jìn)行聚類分組。
通過(guò)檢測(cè)我們可以得到元素在圖像坐標(biāo)系中的位置表示,為了獲得繪制圖表圖像時(shí)所使用的原始元素?cái)?shù)據(jù),我們需要將圖像坐標(biāo)系表示的元素轉(zhuǎn)化為軸坐標(biāo)系表示。經(jīng)過(guò)分析,我們將UB PMC數(shù)據(jù)集分為五個(gè)類別,將Adobe Synth數(shù)據(jù)集分為八個(gè)類別,然后分別處理每個(gè)類別。對(duì)于數(shù)據(jù)序列,如果x值為數(shù)字值,則通過(guò)插值計(jì)算x軸值。如果x值為字符串值,則使用L1距離查找最接近的字符內(nèi)容。
最終在測(cè)試階段我們使用單模型取得了76.43%與61.18%的得分,位列第三。
參考文獻(xiàn):
1. Breiman L. Random forests[J]. Machine learning, 2001, 45(1): 5-32.
2. Ke G, Meng Q, Finley T, et al. Lightgbm: A highly efficient gradient boosting decision tree[C]//Advances in neural information processing systems. 2017: 3146-3154.
3. Zhou X, Wang D, Kr¨ahenb¨uhl P. Objects as points[J]. arXiv preprint arXiv:1904.07850, 2019.

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
-
8月5日立即報(bào)名>> 【在線會(huì)議】CAE優(yōu)化設(shè)計(jì):醫(yī)療器械設(shè)計(jì)的應(yīng)用案例與方案解析
推薦專題
- 1 AI 眼鏡讓百萬(wàn) APP「集體失業(yè)」?
- 2 豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
- 3 一文看懂視覺(jué)語(yǔ)言動(dòng)作模型(VLA)及其應(yīng)用
- 4 “支付+”時(shí)代,支付即生態(tài) | 2025中國(guó)跨境支付十大趨勢(shì)
- 5 中國(guó)最具實(shí)力AI公司TOP10
- 6 深圳跑出40億超級(jí)隱形冠軍:賣機(jī)器人年入6.1億,港股上市
- 7 特斯拉Robotaxi上路,馬斯克端上畫了十年的餅
- 8 “AI六小虎”到了下一個(gè)賽點(diǎn)
- 9 張勇等人退出阿里合伙人
- 10 AI視頻,攪動(dòng)1.5萬(wàn)億市場(chǎng)