2023年5月11日，北京市高級(jí)別自動(dòng)駕駛示范區(qū)(以下簡(jiǎn)稱示范區(qū))聯(lián)合清華大學(xué)智能產(chǎn)業(yè)研究院(AIR)、北京車網(wǎng)科技發(fā)展有限公司、百度Apollo、北京智源人工智能研究院，推出全球首個(gè)基于真實(shí)道路場(chǎng)景的時(shí)序車路協(xié)同數(shù)據(jù)集V2X-Seq，向境內(nèi)用戶提供下載使用。該數(shù)據(jù)集填補(bǔ)了目前業(yè)界真實(shí)道路場(chǎng)景車路協(xié)同時(shí)序數(shù)據(jù)集的空白，有效加速車路協(xié)同時(shí)序感知和車路協(xié)同軌跡預(yù)測(cè)研究。
2022年2月發(fā)布的第一期車路協(xié)同數(shù)據(jù)集DAIR-V2X，受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。截至目前，DAIR-V2X數(shù)據(jù)集已經(jīng)在國(guó)內(nèi)注冊(cè)用戶中積累了超過(guò)2000人，下載量近3萬(wàn)次?；贒AIR-V2X數(shù)據(jù)集的研究已經(jīng)有多項(xiàng)成果發(fā)表在CVPR、NeurIPS、ICLR、ICRA等人工智能領(lǐng)域的頂級(jí)會(huì)議上。這些成果的發(fā)表，不僅展示了DAIR-V2X數(shù)據(jù)集的研究?jī)r(jià)值，也充分說(shuō)明了其在人工智能領(lǐng)域的影響力。
本次發(fā)布的第二期時(shí)序車路協(xié)同數(shù)據(jù)集V2X-Seq，由車路協(xié)同時(shí)序感知數(shù)據(jù)集和車路協(xié)同軌跡預(yù)測(cè)數(shù)據(jù)集組成，旨在支撐車路協(xié)同時(shí)序感知和車路協(xié)同軌跡預(yù)測(cè)研究。通過(guò)自研的時(shí)空軌跡匹配算法，V2X-Seq數(shù)據(jù)集提供了高質(zhì)量的協(xié)同軌跡真值，為車路協(xié)同跟蹤和車路協(xié)同軌跡預(yù)測(cè)相關(guān)研究提供了評(píng)測(cè)基準(zhǔn)。同時(shí)，基于V2X-Seq數(shù)據(jù)集，定義了車路協(xié)同3D跟蹤、車路協(xié)同軌跡預(yù)測(cè)相關(guān)的三個(gè)研究任務(wù)，并提供了豐富的算法基準(zhǔn)。該數(shù)據(jù)集及相關(guān)算法成果已被CVPR2023正式接受。
車路協(xié)同時(shí)序感知
車路協(xié)同時(shí)序感知數(shù)據(jù)集，包含超過(guò)1.5萬(wàn)對(duì)車端與路端協(xié)同視角下的時(shí)序圖像和點(diǎn)云數(shù)據(jù)，并提供了完備的3D目標(biāo)及Tracking ID標(biāo)注，用于支持車路協(xié)同3D檢測(cè)和跟蹤任務(wù)。
車路協(xié)同軌跡預(yù)測(cè)
車路協(xié)同軌跡預(yù)測(cè)數(shù)據(jù)集，覆蓋28個(gè)真實(shí)路口，包含超過(guò)20萬(wàn)個(gè)片段(涵蓋目標(biāo)軌跡、紅綠燈信號(hào)等)，其中路端與車端協(xié)同視角片段約5萬(wàn)個(gè)，每個(gè)片段時(shí)長(zhǎng)10秒，按照10HZ提供8類常見(jiàn)障礙物目標(biāo)的軌跡，用于車路協(xié)同軌跡預(yù)測(cè)任務(wù)研究。
針對(duì)目前自動(dòng)駕駛數(shù)據(jù)采集制作成本過(guò)高的問(wèn)題，示范區(qū)利用現(xiàn)有建設(shè)成果，集合“車、路、云、網(wǎng)、圖”五大要素，全方位、多模態(tài)、多視角地收集大量數(shù)據(jù)，為學(xué)術(shù)界和產(chǎn)業(yè)界的研究者提供了豐富的數(shù)據(jù)資源。這些資源有助于促進(jìn)車路協(xié)同自動(dòng)駕駛技術(shù)的應(yīng)用與優(yōu)化，同時(shí)相關(guān)研究也將有助于城市提升交通運(yùn)行效率和減少交通事故的發(fā)生。
數(shù)據(jù)采集
A. 場(chǎng)景設(shè)置
路側(cè)設(shè)備：基于北京市高級(jí)別自動(dòng)駕駛示范區(qū)，選擇若干交通場(chǎng)景復(fù)雜路口，路側(cè)部署相機(jī)和激光雷達(dá)，完成GPS授時(shí)同步，并完成相應(yīng)的內(nèi)參外參標(biāo)定。
自動(dòng)駕駛車輛：利用配置好相機(jī)和激光雷達(dá)的自動(dòng)駕駛車輛，完成GPS授時(shí)同步，并完成相應(yīng)的內(nèi)參外參標(biāo)定。
設(shè)置路線并采集數(shù)據(jù)：當(dāng)自動(dòng)駕駛路線經(jīng)過(guò)路側(cè)設(shè)備附近區(qū)域時(shí)，分別保存該時(shí)段路側(cè)傳感器和自動(dòng)駕駛傳感器數(shù)據(jù)。
截取數(shù)據(jù)：從保存的傳感器數(shù)據(jù)截取20s以上片段作為車路協(xié)同數(shù)據(jù)。
B. 路端采集設(shè)備
在每個(gè)路口安裝至少一對(duì)相機(jī)和激光雷達(dá)，其中每對(duì)相機(jī)和激光雷達(dá)安裝在相同方位，同時(shí)對(duì)該相機(jī)和激光雷達(dá)進(jìn)行標(biāo)定，并對(duì)圖像去畸變。路側(cè)傳感器型號(hào)如下：
300線LiDAR
- 采樣幀率：10Hz
- 水平FOV：100° ，垂直FOV：40°
- 最大探測(cè)范圍：280m
- 探測(cè)距離精度：<=3cm
Camera
- 傳感器類型：1英寸全局曝光CMOS
- 采樣幀率：25Hz
- 圖像格式：RGB格式，按1920x1080分辨率壓縮保存為JPEG圖像
C. 車端采集設(shè)備
自動(dòng)駕駛車配備1個(gè)頂端激光雷達(dá)1個(gè)前視攝像頭，同時(shí)對(duì)該激光雷達(dá)和前視攝像頭進(jìn)行標(biāo)定，并對(duì)圖像去畸變。頂端激光雷達(dá)和前視攝像頭型號(hào)如下：
Hesai Pandar40線LiDAR
- 采樣幀率：10Hz
- 水平FOV：360° ，垂直FOV：40°，-25°~15°
- 最大探測(cè)范圍：200m；反射率：10%；最小垂直分辨率：0.33°
Camera
- 采樣幀率：20HZ
- 水平FOV：128° ，垂直FOV：77°
- 圖像格式：1920x1080分辨率
D. 標(biāo)定和坐標(biāo)系
為了達(dá)到不同傳感器之間的空間同步，車路協(xié)同需要使用傳感器參數(shù)信息進(jìn)行坐標(biāo)系轉(zhuǎn)換，其中為方便研究人員使用和數(shù)據(jù)隱私保護(hù)，路端LiDAR相關(guān)數(shù)據(jù)統(tǒng)一旋轉(zhuǎn)到與地面平行的虛擬LiDAR坐標(biāo)系，世界坐標(biāo)系統(tǒng)一旋轉(zhuǎn)平移到虛擬世界坐標(biāo)系。各坐標(biāo)系之間的關(guān)系如下圖：
-虛擬世界坐標(biāo)系
虛擬世界坐標(biāo)系是以地面某一隨機(jī)位置為原點(diǎn)，x 軸、y 軸與地面平行，z 軸垂直于地面豎直向上，符合右手坐標(biāo)系規(guī)則。
-LiDAR坐標(biāo)系
LiDAR坐標(biāo)系是以LiDAR傳感器的幾何中心為原點(diǎn)，x 軸水平向前，y 軸水平向左，z軸豎直向上，符合右手坐標(biāo)系規(guī)則。
-虛擬LiDAR坐標(biāo)系
虛擬LiDAR坐標(biāo)系是以LiDAR傳感器的幾何中心為原點(diǎn)，x 軸平行地面向前，y 軸平行地面向左，z 軸垂直于地面豎直向上，符合右手坐標(biāo)系規(guī)則。由于路端LiDAR與地面存在俯仰角，為方便研究，通過(guò)路端LiDAR外參矩陣，統(tǒng)一將路端LiDAR坐標(biāo)系轉(zhuǎn)到虛擬LiDAR坐標(biāo)系，同時(shí)將路端點(diǎn)云全部轉(zhuǎn)到虛擬LiDAR坐標(biāo)系。
-相機(jī)坐標(biāo)系
相機(jī)坐標(biāo)系是以相機(jī)光心為原點(diǎn)，x 軸和y 軸與圖像平面坐標(biāo)系的x 軸和y 軸平行，z軸與相機(jī)光軸平行向前、與圖像平面垂直。通過(guò)LiDAR到相機(jī)的外參矩陣，可以將點(diǎn)從LiDAR坐標(biāo)系轉(zhuǎn)到相機(jī)坐標(biāo)系。
-圖像坐標(biāo)系
圖像坐標(biāo)是以相機(jī)主點(diǎn)(即相機(jī)光軸與圖像平面的交點(diǎn)，一般位于圖像平面中心)為原點(diǎn)，x 軸水平向右，y 軸水平向下的二維坐標(biāo)系。相機(jī)內(nèi)參可以實(shí)現(xiàn)從相機(jī)坐標(biāo)到圖像坐標(biāo)的投影。
-定位系統(tǒng)
利用GPS/IMU等定位和慣性系統(tǒng)，可實(shí)時(shí)獲取自動(dòng)駕駛車輛在全球定位系統(tǒng)的位置以及朝向角。為保護(hù)數(shù)據(jù)安全和研究方便，將真實(shí)世界定位系統(tǒng)得到的定位轉(zhuǎn)換到虛擬世界坐標(biāo)系下。
E. 時(shí)間同步
時(shí)間同步是為實(shí)現(xiàn)車路協(xié)同針對(duì)路端和車端傳感器所做的同步操作。利用GPS授時(shí)以同步各傳感器時(shí)間，并在采集每幀數(shù)據(jù)時(shí)得到相應(yīng)的時(shí)間戳。時(shí)間戳可通過(guò)時(shí)間轉(zhuǎn)換得到相應(yīng)的標(biāo)準(zhǔn)時(shí)間。
數(shù)據(jù)標(biāo)注
數(shù)據(jù)抽樣
當(dāng)自動(dòng)駕駛車輛經(jīng)過(guò)路端設(shè)備所在路口時(shí)，車端路端傳感器同步采集車路協(xié)同序列數(shù)據(jù)，從中抽取約100段時(shí)長(zhǎng)20s左右的多模態(tài)序列數(shù)據(jù)，按照10HZ頻率分別對(duì)車端和路端序列進(jìn)行抽樣得到離散幀。
單端3D標(biāo)注
針對(duì)采樣得到的路端和車端數(shù)據(jù)，利用2D&3D聯(lián)合標(biāo)注技術(shù)，標(biāo)注圖像和點(diǎn)云數(shù)據(jù)中的道路障礙物目標(biāo)的2D和3D框，同時(shí)標(biāo)注障礙物類別、遮擋、截?cái)?、軌跡ID等信息。提供兩套3D標(biāo)注，分別以Camera和LiDAR時(shí)間戳為基準(zhǔn)。
- 障礙物類別：一共10類，包括行人、機(jī)動(dòng)車等
-障礙物截?cái)啵簭腫0, 1, 2]中取值，分別表示不截?cái)?、橫向截?cái)唷⒖v向截?cái)?br />
-障礙物遮擋：從[0, 1, 2]中取值，分別表示不遮擋、0%～50%遮擋，50%～100%遮擋
-2D box：圖像中2D bounding box框
-3D box：點(diǎn)云上3D bounding box，車端基于 LiDAR坐標(biāo)系，路端基于虛擬LiDAR坐標(biāo)系；包括 (height, width, length, x_loc, y_loc, z_loc, rotation)，其中rotation表示障礙物繞Z軸旋轉(zhuǎn)角度
-軌跡ID：不同的目標(biāo)賦予不同的軌跡ID。除靜態(tài)目標(biāo)交通錐筒(Trafficcone)，其它9類檢測(cè)框都被標(biāo)注軌跡ID。遮擋前后的目標(biāo)共享相同的軌跡ID。
車路協(xié)同3D標(biāo)注
車路協(xié)同3D標(biāo)注基于自主研發(fā)的時(shí)空同步算法和軌跡匹配算法，對(duì)車路數(shù)據(jù)進(jìn)行協(xié)同檢測(cè)、跟蹤標(biāo)注，并進(jìn)行人工二次矯正得到高質(zhì)量的車路協(xié)同標(biāo)注。
數(shù)據(jù)集文件結(jié)構(gòu)
