如何使用Python分析姿態(tài)估計數(shù)據(jù)集COCO?
當我們訓練姿勢估計模型,比較常用的數(shù)據(jù)集包括像COCO、MPII和CrowdPose這樣的公共數(shù)據(jù)集,但如果我們將其與不同計算機視覺任務(wù)(如對象檢測或分類)的公共可用數(shù)據(jù)集的數(shù)量進行比較,就會發(fā)現(xiàn)可用的數(shù)據(jù)集并不多。姿態(tài)估計問題屬于一類比較復(fù)雜的問題,為神經(jīng)網(wǎng)絡(luò)模型建立一個合適的數(shù)據(jù)集是很困難的,圖像中每個人的每個關(guān)節(jié)都必須定位和標記,這是一項瑣碎而費時的任務(wù)。最流行的姿態(tài)估計數(shù)據(jù)集是COCO數(shù)據(jù)集,它有大約80類圖像和大約250000個人物實例。如果你檢查此數(shù)據(jù)集中的一些隨機圖像,你可能會遇到一些與要解決的問題無關(guān)的實例。學術(shù)界希望達到最高的精度,但在實際生產(chǎn)環(huán)境中并不總是如此。在現(xiàn)實世界中,我們可能更感興趣的是在非常特定的環(huán)境中工作良好的模型,例如行人、籃球運動員、健身房等。讓我們從COCO數(shù)據(jù)集中查看此圖像:
你看到紅點了嗎?這是關(guān)鍵點:鼻子。有時,你可能不希望網(wǎng)絡(luò)看到僅包含頭部一部分的示例,尤其是在幀的底部。在這篇文章中,我會向你展示COCO數(shù)據(jù)集的一個示例分析COCO數(shù)據(jù)集COCO數(shù)據(jù)集是用于許多計算機視覺任務(wù)的大規(guī)模通用數(shù)據(jù)集。150萬個對象實例,80個對象類別,25萬人——這些都讓這個數(shù)據(jù)集令人印象深刻。你可以在源站點上找到更多詳細信息,在那里你還可以下載所有必需的文件:https://cocodataset.org/數(shù)據(jù)集由圖像文件和注釋文件組成。注釋文件是一個JSON,包含關(guān)于一個人(或其他一些類別)的所有元數(shù)據(jù)。在這里我們會找到邊界框的位置和大小,區(qū)域,關(guān)鍵點,源圖像的文件名等。我們不必手動解析JSON。有一個方便的Python庫可用使用,即pycocotools(https://github.com/cocodataset/cocoapi/tree/master/PythonAPI)我們需要train2017.zip(https://cocodataset.org/#download),val2017.zip(https://cocodataset.org/#download),annotations_trainval2017.zip(https://cocodataset.org/#download)具體來說,我們只需要人的注釋。zip中有兩個文件:annotations_trainval2017.zip:person_keypoints_train2017.json和person_keypoints_val2017.json我建議將文件放在以下這個文件夾層次結(jié)構(gòu)中:dataset_coco
|---annotations
|---person_keypoints_train2017.json
|---person_keypoints_val2017.json
|---train2017
|---*.jpg
|---val2017
|---*.jpg
下面是顯示如何加載注釋的代碼:from pycocotools.coco import COCO
...
train_annot_path = 'dataset_coco/annotations /person_keypoints_train2017.json'
val_annot_path = 'dataset_coco/annotations/person_keypoints_val2017.json'
train_coco = COCO(train_annot_path) # 加載訓練集的注釋
val_coco = COCO(val_annot_path) # 加載驗證集的注釋
...
# 函數(shù)遍歷一個人的所有數(shù)據(jù)庫并逐行返回相關(guān)數(shù)據(jù)
def get_meta(coco):
ids = list(coco.imgs.keys())
for i, img_id in enumerate(ids):
img_meta = coco.imgs[img_id]
ann_ids = coco.getAnnIds(imgIds=img_id)
# 圖像的基本參數(shù)
img_file_name = img_meta['file_name']
w = img_meta['width']
h = img_meta['height']
# 檢索當前圖像中所有人的元數(shù)據(jù)
anns = coco.loadAnns(ann_ids)
yield [img_id, img_file_name, w, h, anns]
...
# 迭代圖像
for img_id, img_fname, w, h, meta in get_meta(train_coco):
...
# 遍歷圖像的所有注釋
for m in meta:
# m是字典
keypoints = m['keypoints']
...
...
首先,我們必須加載COCO對象,它是json數(shù)據(jù)的包裝器(第6-7行)在第11行,我們加載所有圖像標識符。在接下來的幾行中,我們?yōu)槊總圖像加載元數(shù)據(jù),這是一個包含圖像寬度、高度、名稱、許可證等一般信息的詞典。在第14行,我們加載給定圖像的注釋元數(shù)據(jù),這是一個字典列表,每個字典代表一個人。第27-32行顯示了如何加載整個訓練集(train_coco),類似地,我們可以加載驗證集(val_coco)將COCO轉(zhuǎn)換為Pandas數(shù)據(jù)幀讓我們將COCO元數(shù)據(jù)轉(zhuǎn)換為pandas數(shù)據(jù)幀,我們使用如matplotlib、sklearn 和pandas。這可用使得數(shù)據(jù)的過濾、可視化和操作變得更加容易,此外,我們還可以將數(shù)據(jù)導(dǎo)出為csv或parquet等。def convert_to_df(coco):
images_data = []
persons_data = []

最新活動更多
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7.30-8.1火熱報名中>> 全數(shù)會2025(第六屆)機器人及智能工廠展
-
7月31日免費預(yù)約>> OFweek 2025具身智能機器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費參會立即報名>> 7月30日- 8月1日 2025全數(shù)會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
-
8月5日立即報名>> 【在線會議】CAE優(yōu)化設(shè)計:醫(yī)療器械設(shè)計的應(yīng)用案例與方案解析
推薦專題