# waymo-open-dataset

**Repository Path**: Fj1225815367/waymo-open-dataset

## Basic Information

- **Project Name**: waymo-open-dataset
- **Description**: Waymo Open Dataset
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-03-16
- **Last Updated**: 2024-06-01

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Waymo Open Dataset

我们已经将Waymo Open Dataset公开发布，以帮助研究界在机器感知和自动驾驶技术方面取得进展。

Waymo Open Dataset由两个数据集组成 - 感知数据集包含高分辨率传感器数据和2030个场景的标签，运动数据集包含103,354个场景的物体轨迹和相应的3D地图。
## 许可协议

这个代码仓库（不包括[`src/waymo_open_dataset/wdl_limited`](src/waymo_open_dataset/wdl_limited)文件夹）
受 Apache License, Version 2.0 许可。
[`src/waymo_open_dataset/wdl_limited`](src/waymo_open_dataset/wdl_limited) 中的代码受该文件夹中的许可条款约束。
Waymo Open Dataset 本身受到单独的许可条款的约束。
请访问 [https://waymo.com/open/terms/](https://waymo.com/open/terms/) 以获取详细信息。
[`src/waymo_open_dataset/wdl_limited`](src/waymo_open_dataset/wdl_limited) 中的每个子文件夹中的代码受到 (a) BSD 3-clause 版权许可和 (b) 附加的有限专利许可的约束。
每个有限的专利许可仅适用于相应的 `wdl_limited` 子文件夹中的代码，并且仅在与 Waymo Open Dataset 相关的许可协议中所规定的用例中使用，并且符合该协议的授权和合规要求。
有关详细信息，请参阅 [wdl_limited/camera/](src/waymo_open_dataset/wdl_limited/camera)，[wdl_limited/camera_segmentation/](src/waymo_open_dataset/wdl_limited/camera_segmentation)，[wdl_limited/sim_agents_metrics/](src/waymo_open_dataset/wdl_limited/sim_agents_metrics)。

## 2023年12月更新
我们发布了 v1.6.1 版本的 pip 包，其中包含 WOSAC 指标的修复：
- 修复了检查碰撞和偏离道路有效性的错误。
- 修改了碰撞/偏离道路检查在无效时的行为。


## 2023年8月更新
我们发布了一个大规模的对象为中心的资产数据集，包含超过 120 万张图片和两个主要类别（车辆和行人）的激光雷达观测数据，来自感知数据集（v2.0.0）。

* 从多传感器数据中提取感知对象：包括所有五个摄像头和顶部激光雷达。
* 激光雷达特征包括支持 3D 对象形状重建的 3D 点云序列。我们还通过点云形状配准为所有车辆对象提供了精细的框姿态。
* 摄像头特征包括来自 `most_visible_camera` 的摄像头补丁序列，相应摄像头上的投影激光雷达返回，每像素摄像头射线信息，以及支持对象 NeRF 重建的自动标记的 2D 泛光分割。
* 添加了一个[教程](tutorial/tutorial_object_asset.ipynb)和支持代码。


## 2023年3月更新
这个重要更新包含了对 waymo.com/open 上的四个挑战的支持代码，以及对感知和运动数据集的更新。

感知数据集的 v2.0.0
- 将数据集以模块化格式引入，使用户可以选择性地仅下载他们需要的部分。
- 包含了感知数据集 v1.4.2 中的所有功能，除了地图。
- 添加了一个[教程](tutorial/tutorial_v2.ipynb)和支持代码。

感知数据集的 v1.4.2
- 对于 2D 视频泛光分割标签，添加了一个掩码以指示覆盖每个像素的摄像头数量。
- 添加了多边形或多边形线作为 3D 地图数据。

运动数据集的 v1.2.0
- 为训练集添加了激光雷达数据（每个 9 秒窗口的前 1 秒），以及相应的[教程](tutorial/tutorial_womd_lidar.ipynb)和支持代码。
- 将车道入口添加到地图数据中。调整了一些道路边界高度估计。
- 将 tf_examples 中的最大地图点数增加到 30k，并将采样率减少到 1.0m 以增加地图覆盖范围，使覆盖范围与场景 proto 格式的数据集相等。添加了从场景 proto 格式转换为 tf_examples 格式的转换代码。

添加了四个 2023 年 Waymo Open Dataset 挑战的支持代码
- 模拟代理挑战，包含一个[教程](tutorial/tutorial_sim_agents.ipynb)
- 姿态估计挑战，包含一个[教程](tutorial/tutorial_keypoints.ipynb)
- 2D 视频泛光分割挑战，包含一个[教程](tutorial/tutorial_2d_pvps.ipynb)
- 运动预测挑战，包含一个[教程](tutorial/tutorial_motion.ipynb)

## 2022年12月更新
我们发布了感知数据集的 v1.4.1 版本。
- 提升了 2D 视频泛光分割标签的质量。

## 2022年6月更新
我们发布了感知数据集的 v1.4.0 版本。
- 添加了 2D 视频泛光分割标签和支持代码。

## 2022年5月更新（第二部分）
 - 发布了用于 3D 仅摄像头检测挑战的[教程](tutorial/tutorial_camera_only.ipynb)。
 - 添加了对在 Python 指标操作中计算 3D-LET-APL 的支持。请参阅[教程](tutorial/tutorial_camera_only.ipynb)中的 `Compute Metrics` 部分。
 - 修复了 Occupancy 和 Flow 挑战中指标实现中的一个错误。

## 2022年5月更新
我们发布了感知数据集的 v1.3.2 版本，以提高标签的质量和准确性。
- 更新了 3D 语义分割标签，以获得更好的时间一致性并修正错误标记的点。
- 更新了 2D 关键点标签，以修复图像裁剪问题。
- 在 [dataset.proto](src/waymo_open_dataset/dataset.proto) 中为 3D 仅摄像头检测挑战添加了 `num_top_lidar_points_in_box`。
## 2022年4月更新
我们发布了感知数据集的 v1.3.1 版本，以支持 2022 挑战，并相应更新了此代码库。
- 为 3D 仅摄像头检测挑战添加了指标（LET-3D-APL 和 LET-3D-AP）。
- 添加了 80 段 20 秒的摄像头图像，作为 3D 仅摄像头检测挑战的测试集。
- 在 [lidar label metadata](src/waymo_open_dataset/label.proto#L53-L60) 中添加了 z 轴速度和加速度。
- 修复了 [dataset.proto](src/waymo_open_dataset/dataset.proto) 中 `projected_lidar_labels` 中的一些不一致性。
- 更新了 Occupancy 和 Flow 挑战的默认配置，从聚合路点更改为 [子采样路点](src/waymo_open_dataset/protos/occupancy_flow_metrics.proto#L38-L55)。
- 为 3D 语义分割挑战的[教程](tutorial/tutorial_3d_semseg.ipynb)添加了更详细的说明。

## 2022年3月更新

我们发布了感知数据集和 2022 挑战的 v1.3.0 版本，并更新了此代码库以添加对新标签和挑战的支持。
- 添加了 3D 语义分割标签、教程和指标。
- 添加了 2D 和 3D 关键点标签、教程和指标。
- 添加了 2D（摄像头）和 3D（激光雷达）标签之间的对应关系（仅限行人）。
- 添加了 Occupancy Flow 预测挑战的教程和实用工具。
- 为运动预测挑战添加了软 mAP 指标。

## 2021年9月更新

我们发布了 Motion 数据集的 v1.1 版本，其中包括车道连接信息。有关技术细节，请阅读 [lane_neighbors_and_boundaries.md](docs/lane_neighbors_and_boundaries.md)。
- 添加了车道连接。每条车道都有一个包含进入或退出该车道的车道 ID 列表。
- 添加了车道边界。每条车道都有一个与车道和车道活动段相关联的左右边界特征列表。
- 添加了车道邻居。每条车道都有一个左右邻近车道列表。这些是代理人可能变道进入的车道。
- 提高了时间戳精度。
- 改进了停车标志的 Z 值。

## 2021年3月更新

我们扩展了 Waymo Open Dataset，还包括一个 Motion 数据集，其中包含超过 100,000 个段的物体轨迹和相应的 3D 地图。我们已经更新了这个代码库，以添加对这个新数据集的支持。

此外，我们还为实时检测挑战添加了说明和示例。请按照这些[说明](src/waymo_open_dataset/latency/README.md)。

## 网站

要了解更多关于数据集并访问它，请访问[https://www.waymo.com/open](https://www.waymo.com/open)。

## 内容

这个代码仓库包含：

* 数据集格式的定义
* 评估指标
* TensorFlow 中用于构建模型的辅助函数

## 引用
### 感知数据集
@InProceedings{Sun_2020_CVPR,
  author = {Sun, Pei and Kretzschmar, Henrik and Dotiwalla, Xerxes and Chouard, Aurelien and Patnaik, Vijaysai and Tsui, Paul and Guo, James and Zhou, Yin and Chai, Yuning and Caine, Benjamin and Vasudevan, Vijay and Han, Wei and Ngiam, Jiquan and Zhao, Hang and Timofeev, Aleksei and Ettinger, Scott and Krivokon, Maxim and Gao, Amy and Joshi, Aditya and Zhang, Yu and Shlens, Jonathon and Chen, Zhifeng and Anguelov, Dragomir},
  title = {Scalability in Perception for Autonomous Driving: Waymo Open Dataset},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2020}
}

### 运动数据集
@InProceedings{Ettinger_2021_ICCV,
  author={Ettinger, Scott and Cheng, Shuyang and Caine, Benjamin and Liu, Chenxi and Zhao, Hang and Pradhan, Sabeek and Chai, Yuning and Sapp, Ben and Qi, Charles R. and Zhou, Yin and Yang, Zoey and Chouard, Aur\'elien and Sun, Pei and Ngiam, Jiquan and Vasudevan, Vijay and McCauley, Alexander and Shlens, Jonathon and Anguelov, Dragomir},
  title={Large Scale Interactive Motion Forecasting for Autonomous Driving: The Waymo Open Motion Dataset},
  booktitle= Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  month={October},
  year={2021},
  pages={9710-9719}
}

@article{Kan_2023_arxiv,
  author={Chen, Kan and Ge, Runzhou and Qiu, Hang and Ai-Rfou, Rami and Qi, Charles R. and Zhou, Xuanyu and Yang, Zoey and Ettinger, Scott and Sun, Pei and Leng, Zhaoqi and Mustafa, Mustafa and Bogun, Ivan and Wang, Weiyue and Tan, Mingxing and Anguelov, Dragomir},
  title={WOMD-LiDAR: Raw Sensor Dataset Benchmark for Motion Forecasting},
  month={April},
  journal={arXiv preprint arXiv:2304.03834},
  year={2023}
}

## 数据集元数据
以下表格对于此数据集被搜索引擎索引，比如 <a href="https://g.co/datasetsearch">谷歌数据集搜索</a>.
<div itemscope itemtype="http://schema.org/Dataset">
<table>
  <tr>
    <th>属性</th>
    <th>值</th>
  </tr>
  <tr>
    <td>名字</td>
    <td><code itemprop="name">Waymo Open Dataset: 一个自动驾驶数据集</code></td>
  </tr>
  <tr>
    <td>alternateName</td>
    <td><code itemprop="alternateName">Waymo Open Dataset</code></td>
  </tr>
  <tr>
    <td>url</td>
    <td><code itemprop="url">https://github.com/waymo-research/waymo-open-dataset</code></td>
  </tr>
  <tr>
    <td>sameAs</td>
    <td><code itemprop="sameAs">https://github.com/waymo-research/waymo-open-dataset</code></td>
  </tr>
    <tr>
    <td>sameAs</td>
    <td><code itemprop="sameAs">https://www.waymo.com/open</code></td>
  </tr>
  <tr>
    <td>description</td>
    <td><code itemprop="description">Waymo开放数据集由Waymo Driver操作的自动驾驶车辆收集的高分辨率传感器数据组成，涵盖了各种条件。我们公开发布这个数据集，旨在帮助研究界在机器感知和自动驾驶技术方面取得进展。</code></td>
  </tr>
  <tr>
    <td>provider</td>
    <td>
      <div itemscope itemtype="http://schema.org/Organization" itemprop="provider">
        <table>
          <tr>
            <th>property</th>
            <th>value</th>
          </tr>
          <tr>
            <td>name</td>
            <td><code itemprop="name">Waymo</code></td>
          </tr>
          <tr>
            <td>sameAs</td>
            <td><code itemprop="sameAs">https://en.wikipedia.org/wiki/Waymo</code></td>
          </tr>
        </table>
      </div>
    </td>
  </tr>
  <tr>
    <td>license</td>
    <td>
      <div itemscope itemtype="http://schema.org/CreativeWork" itemprop="license">
        <table>
          <tr>
            <th>property</th>
            <th>value</th>
          </tr>
          <tr>
            <td>name</td>
            <td><code itemprop="name">Waymo Dataset License Agreement for Non-Commercial Use (August 2019)</code></td>
          </tr>
          <tr>
            <td>url</td>
            <td><code itemprop="url">https://waymo.com/open/terms/</code></td>
          </tr>
        </table>
      </div>
    </td>
  </tr>
</table>
</div>