add eos token in tokenizer, working

examples/dataset/inference_pi05.py

@@ -19,8 +19,10 @@ pre_processor, post_processor = make_pre_post_processors(
     pretrained_path="/fsx/jade_choghari/outputs/pi0_training_new/checkpoints/last/pretrained_model",
 )
 
+delta_timestamps = {'action': [0.0, 0.03333333333333333, 0.06666666666666667, 0.1, 0.13333333333333333, 0.16666666666666666, 0.2, 0.23333333333333334, 0.26666666666666666, 0.3, 0.3333333333333333, 0.36666666666666664, 0.4, 0.43333333333333335, 0.4666666666666667, 0.5, 0.5333333333333333, 0.5666666666666667, 0.6, 0.6333333333333333, 0.6666666666666666, 0.7, 0.7333333333333333, 0.7666666666666667, 0.8, 0.8333333333333334, 0.8666666666666667, 0.9, 0.9333333333333333, 0.9666666666666667, 1.0, 1.0333333333333334, 1.0666666666666667, 1.1, 1.1333333333333333, 1.1666666666666667, 1.2, 1.2333333333333334, 1.2666666666666666, 1.3, 1.3333333333333333, 1.3666666666666667, 1.4, 1.4333333333333333, 1.4666666666666666, 1.5, 1.5333333333333334, 1.5666666666666667, 1.6, 1.6333333333333333]}
+
+dataset = LeRobotDataset(repo_id="local", root="/fsx/jade_choghari/outputs/pgen_annotations1", delta_timestamps=delta_timestamps)
 
-dataset = LeRobotDataset(repo_id="local", root="/fsx/jade_choghari/outputs/pgen_annotations1")
 # rename map --rename_map='{
 #         "observation.images.side": "observation.images.base_0_rgb",
 #         "observation.images.up": "observation.images.left_wrist_0_rgb"
@@ -45,6 +47,7 @@ dataloader = torch.utils.data.DataLoader(
 batch = next(iter(dataloader))
 
 batch = pre_processor(batch)
+breakpoint()
 policy.train()
 # run inference
 # action = policy.select_action(batch)

examples/dataset/run.sh

@@ -7,4 +7,4 @@ python examples/dataset/annotate.py \
     --repo-id lerobot/svla_so101_pickplace \
     --video-key observation.images.side \
     --model Qwen/Qwen3-VL-30B-A3B-Instruct \
-    --episodes 3 5 7 44
+    --episodes 5