MMEarth

数据集概述

数据集名称

• MMEarth

数据集内容

• 数据来源：Google Earth Engine
• 数据类型：卫星数据
• 传感器/卫星：Sentinel-2, Sentinel-1, ERA5 (温度 & 降水), Aster GDEM等
• 数据下载方式：使用提供的脚本下载

数据集版本

• 当前状态：数据集正在维护中，预计将发布Version 001。

数据集结构

• 主要数据集：

  • 名称：MMEarth
  • 图像尺寸：128x128
  • 瓷砖数量：1.2M
  • 数据集大小：639GB
  • 下载链接：下载链接
  • Bash脚本：bash脚本

• 其他数据集：

  • 名称：MMEarth64

  • 图像尺寸：64x64

  • 瓷砖数量：1.2M

  • 数据集大小：163GB

  • 下载链接：下载链接

  • Bash脚本：bash脚本

  • 名称：MMEarth100k

  • 图像尺寸：128x128

  • 瓷砖数量：100k

  • 数据集大小：48GB

  • 下载链接：下载链接

  • Bash脚本：bash脚本

数据集使用

• 数据加载：提供了一个使用PyTorch加载数据的示例Jupyter Notebook。
• 数据下载与处理：
  • 创建瓷砖：使用create_tiles_polygon.py和config/config_tiles.yaml配置文件。
  • 下载数据堆栈：使用main_download.py和config/config_data.yaml配置文件。
  • 后处理：使用post_download.py进行数据合并、转换和统计计算。
  • 重新下载：使用redownload.py重新下载失败的数据瓷砖。

数据集许可证

• 许可证：CC BY 4.0

数据集引用

• 论文：MMEarth: Exploring Multi-Modal Pretext Tasks For Geospatial Representation Learning
• 作者：Vishal Nedungadi, Ankit Kariryaa, Stefan Oehmcke, Serge Belongie, Christian Igel, & Nico Lang
• 年份：2024
• arXiv链接：arXiv链接

数据集下载与执行

• 下载工具：使用SLURM进行并行处理加速数据下载。
• 执行命令：sbatch slurm_scripts/slurm_download_parallel.sh

以上信息总结了MMEarth数据集的关键细节，包括数据集的结构、内容、下载和使用方法，以及相关的许可证和引用信息。