# Dataset Merger Tool README
## 一、简介
merge_lerobot_dataset是一个功能强大的Python脚本，专门用于合并多个具有相似结构的数据集。它特别适用于包含视频、状态和动作数据的lerobot自采数据集，能够高效地整合分散的episodes和分散的任务资源，为后续的模型训练等工作提供便利。

## 二、功能概述
1. **数据集合并**：将多个源数据集文件夹合并为一个统一的数据集，简化数据管理。
2. **索引重编号**：重新编号所有的episode索引和任务索引，确保合并后数据的连续性和一致性。
3. **向量维度填充**：自动检测并填充向量维度，使所有数据在observation.state和action等方面具有一致性。
4. **统计信息合并**：智能合并多个数据集的统计信息，正确处理复杂的数据结构，如图像特征的嵌套结构。
5. **视频文件处理**：正确处理和复制视频文件，保持视频与其他数据之间的正确索引关系，支持多种视频存储结构。
6. **元数据更新**：更新所有元数据文件，准确反映合并后的数据集结构。

## 三、安装
本脚本依赖于以下Python库：
- numpy
- pandas

安装依赖项的命令如下：
```bash
pip install numpy pandas
```

## 四、使用方法
### （一）基本用法
通过命令行运行工具，示例如下：
```bash
python dataset_merger.py --sources /path/to/dataset1 /path/to/dataset2 /path/to/dataset3 --output /path/to/output_dataset
```
### （二）命令行参数
- **--sources**：源数据集文件夹路径列表，至少需要指定一个源数据集路径。
- **--output**：输出数据集文件夹路径，用于指定合并后数据集的存储位置。
- **--max_dim**：向量的最大维度，默认值为32。
- **--fps**：数据集的帧率，默认值为20。

### （三）示例
```bash
python dataset_merger.py --sources ./robot_dataset_1 ./robot_dataset_2 --output ./merged_dataset --max_dim 18 --fps 30
```

## 五、数据集格式
此工具假设输入数据集具有以下结构：
```
dataset/
├── meta/
│   ├── episodes.jsonl       # 包含每个episode的元数据
│   ├── episodes_stats.jsonl # 每个episode的统计数据
│   ├── info.json           # 数据集全局信息
│   ├── stats.json          # 全局统计信息
│   └── tasks.jsonl         # 任务定义
├── data/                   # 包含parquet格式的episode数据
│   └── chunk-xxx/
│       └── episode_xxxxxx.parquet
└── videos/                 # 可选的视频文件
    └── chunk-xxx/
        └── video_key/
            └── episode_xxxxxx.mp4 
```

## 六、功能细节
1. **数据一致性处理**：自动检测并填充状态和动作向量维度，确保所有数据具有一致的维度，满足机器学习算法对数据格式的要求。
2. **索引管理**：重新编号所有episode和任务索引，同时维护帧索引的连续性，避免数据混乱。
3. **统计信息合并**：智能合并多个数据集的统计数据，能够正确处理复杂的数据结构，如图像特征的嵌套结构，确保统计信息的准确性和完整性。
4. **视频文件处理**：正确复制视频文件，并保持视频与其他数据之间的正确索引关系，支持多种视频存储结构，保证视频数据与其他数据的同步性。
5. **任务映射**：自动检测并合并相同的任务描述，创建新的任务索引映射，方便对任务进行统一管理和调用。

## 七、注意事项
1. 确保所有源数据集具有兼容的结构，否则可能导致合并失败或数据错误。
2. 合并后的数据集可能占用较大磁盘空间，在进行合并操作前，请确保有足够的存储空间。
3. 对于非常大的数据集，合并过程可能需要较长时间，请耐心等待。

## 八、常见问题
1. **Q: 合并不同维度的数据集会发生什么？**
**A**: 工具会自动检测最大维度并用零填充较小维度的向量，确保所有数据具有一致的维度。
2. **Q: 如何处理不同FPS的数据集？**
**A**: 暂时只支持相同FPS的数据集合并。
3. **Q: 能否只合并某些特定episode？**
**A**: 当前版本会合并所有数据。如需更精细的控制，您可以先筛选数据集，然后再进行合并。