add checkpoints
This commit is contained in:
parent
f8569bed21
commit
d4a6f4e023
|
@ -0,0 +1 @@
|
||||||
|
*.data* filter=lfs diff=lfs merge=lfs -text
|
|
@ -34,6 +34,14 @@ cd robotics_transformer
|
||||||
bazel test ...
|
bazel test ...
|
||||||
```
|
```
|
||||||
|
|
||||||
|
### Using trained checkpoints
|
||||||
|
Checkpoints are included in trained_checkpoints/ folder for three models:
|
||||||
|
1. RT-1 trained on 700 tasks
|
||||||
|
2. RT-1 jointly trained on EDR and Kuka data
|
||||||
|
3. RT-1 jointly trained on sim and real data
|
||||||
|
They are tensorflow SavedModel files. Instructions on usage can be found (here)[https://www.tensorflow.org/guide/saved_model]
|
||||||
|
|
||||||
|
|
||||||
## Future Releases
|
## Future Releases
|
||||||
|
|
||||||
The current repository includes an initial set of libraries for early adoption.
|
The current repository includes an initial set of libraries for early adoption.
|
||||||
|
|
|
@ -0,0 +1,2 @@
|
||||||
|
xmanager_id: 47030250
|
||||||
|
xmanager_wid: 1
|
|
@ -0,0 +1,2 @@
|
||||||
|
model_checkpoint_path: "/cns/tp-d/home/kanishkarao-brain/kanishkarao/rs=6.3:sl=48M/ttl=12w:gc=0/xm_fractal_experiment_47030250/1/train/policy/000424760/ckpt-424760"
|
||||||
|
all_model_checkpoint_paths: "/cns/tp-d/home/kanishkarao-brain/kanishkarao/rs=6.3:sl=48M/ttl=12w:gc=0/xm_fractal_experiment_47030250/1/train/policy/000424760/ckpt-424760"
|
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:cd750aa778cff1516e0e305b09f0b1405e134e127b00645001e749a834962152
|
||||||
|
size 423721772
|
Binary file not shown.
Binary file not shown.
|
@ -0,0 +1,596 @@
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "collect_data_spec"
|
||||||
|
value {
|
||||||
|
named_tuple_value {
|
||||||
|
name: "Trajectory"
|
||||||
|
values {
|
||||||
|
key: "step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "observation"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_pose_tool_reached"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "base_pose_tool_reached"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 7
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closed"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closed"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_commanded"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closedness_commanded"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "height_to_bottom"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "height_to_bottom"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_embedding"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_embedding"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 512
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_instruction"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_instruction"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_STRING
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_start"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_in_camera_space"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "robot_orientation_positions_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "robot_orientation_positions_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "rotation_delta_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "src_rotation"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "transform_camera_robot"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "vector_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "vector_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "workspace_bounds"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "workspace_bounds"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "action"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vertical_rotation"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vertical_rotation"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -3.1415927
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 3.1415927
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_action"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "gripper_closedness_action"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "rotation_delta"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.5707964
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.5707964
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "terminate_episode"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "terminate_episode"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
minimum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "world_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "world_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "policy_info"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "discounted_return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discounted_return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "next_step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "reward"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "reward"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "discount"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discount"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "policy_state_spec"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "action_tokens"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "action_tokens"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 11
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "step_num"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_num"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "t"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "t"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
Binary file not shown.
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:b84cc6e6a0bb9309c7250289b6a7f469d9e582863593966f3cfab008ac859509
|
||||||
|
size 141841691
|
Binary file not shown.
|
@ -0,0 +1,2 @@
|
||||||
|
xmanager_id: 46830388
|
||||||
|
xmanager_wid: 1
|
|
@ -0,0 +1,2 @@
|
||||||
|
model_checkpoint_path: "/cns/tp-d/home/karolhausman-brain/karolhausman/rs=6.3:sl=48M/ttl=12w:gc=0/xm_fractal_experiment_46830388/1/train/policy/00589960/ckpt-589960"
|
||||||
|
all_model_checkpoint_paths: "/cns/tp-d/home/karolhausman-brain/karolhausman/rs=6.3:sl=48M/ttl=12w:gc=0/xm_fractal_experiment_46830388/1/train/policy/00589960/ckpt-589960"
|
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:8889afb9202cc8df47e3e6ae81868ba8a0be71755676382d66b5d76eea61ea0c
|
||||||
|
size 536870913
|
Binary file not shown.
Binary file not shown.
|
@ -0,0 +1,596 @@
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "collect_data_spec"
|
||||||
|
value {
|
||||||
|
named_tuple_value {
|
||||||
|
name: "Trajectory"
|
||||||
|
values {
|
||||||
|
key: "step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "observation"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_pose_tool_reached"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "base_pose_tool_reached"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 7
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closed"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closed"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_commanded"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closedness_commanded"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "height_to_bottom"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "height_to_bottom"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_embedding"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_embedding"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 512
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_instruction"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_instruction"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_STRING
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_start"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_in_camera_space"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "robot_orientation_positions_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "robot_orientation_positions_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "rotation_delta_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "src_rotation"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "transform_camera_robot"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "vector_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "vector_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "workspace_bounds"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "workspace_bounds"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "action"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vertical_rotation"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vertical_rotation"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -3.1415927
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 3.1415927
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_action"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "gripper_closedness_action"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "rotation_delta"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.5707964
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.5707964
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "terminate_episode"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "terminate_episode"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
minimum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "world_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "world_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "policy_info"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "discounted_return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discounted_return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "next_step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "reward"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "reward"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "discount"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discount"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "policy_state_spec"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "action_tokens"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "action_tokens"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 11
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "step_num"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_num"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "t"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "t"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
Binary file not shown.
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:7be366a7b2e881d5fdbf8ce5eb043719db02bf7734f64c6c88157a7d2e49ff6a
|
||||||
|
size 445582518
|
Binary file not shown.
|
@ -0,0 +1,2 @@
|
||||||
|
xmanager_id: 45838476
|
||||||
|
xmanager_wid: 1
|
|
@ -0,0 +1,2 @@
|
||||||
|
model_checkpoint_path: "/cns/tp-d/home/tedxiao-brain/tedxiao/rs=6.3:sl=48M/ttl=12w:gc=0/paper_simreal_0817data_100sim_1v2_experiment_45838476/1/train/policy/000660240/ckpt-660240"
|
||||||
|
all_model_checkpoint_paths: "/cns/tp-d/home/tedxiao-brain/tedxiao/rs=6.3:sl=48M/ttl=12w:gc=0/paper_simreal_0817data_100sim_1v2_experiment_45838476/1/train/policy/000660240/ckpt-660240"
|
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:eac726405d79901edbb30e44e64fe4a387e9cbf8f348b240d34bacf6f9f5da9c
|
||||||
|
size 423721719
|
Binary file not shown.
Binary file not shown.
|
@ -0,0 +1,596 @@
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "collect_data_spec"
|
||||||
|
value {
|
||||||
|
named_tuple_value {
|
||||||
|
name: "Trajectory"
|
||||||
|
values {
|
||||||
|
key: "step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "observation"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_pose_tool_reached"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "base_pose_tool_reached"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 7
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closed"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closed"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_commanded"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "gripper_closedness_commanded"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "height_to_bottom"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "height_to_bottom"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_embedding"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_embedding"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 512
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "natural_language_instruction"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "natural_language_instruction"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_STRING
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "orientation_start"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "orientation_in_camera_space"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "robot_orientation_positions_box"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "robot_orientation_positions_box"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "rotation_delta_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "src_rotation"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "transform_camera_robot"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 4
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "vector_to_go"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "vector_to_go"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "workspace_bounds"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "workspace_bounds"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "action"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 2
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "base_displacement_vertical_rotation"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "base_displacement_vertical_rotation"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -3.1415927
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 3.1415927
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "gripper_closedness_action"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "gripper_closedness_action"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "rotation_delta"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "rotation_delta"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.5707964
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.5707964
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "terminate_episode"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "terminate_episode"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
minimum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_INT32
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
int_val: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "world_vector"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "world_vector"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: -1.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "policy_info"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "discounted_return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discounted_return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "return"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "return"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "next_step_type"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_type"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "reward"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "reward"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
values {
|
||||||
|
key: "discount"
|
||||||
|
value {
|
||||||
|
bounded_tensor_spec_value {
|
||||||
|
name: "discount"
|
||||||
|
shape {
|
||||||
|
}
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
minimum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 0.0
|
||||||
|
}
|
||||||
|
maximum {
|
||||||
|
dtype: DT_FLOAT
|
||||||
|
tensor_shape {
|
||||||
|
}
|
||||||
|
float_val: 1.0
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "policy_state_spec"
|
||||||
|
value {
|
||||||
|
dict_value {
|
||||||
|
fields {
|
||||||
|
key: "action_tokens"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "action_tokens"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 11
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "image"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "image"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 6
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 256
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 320
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 3
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_UINT8
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "step_num"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "step_num"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
fields {
|
||||||
|
key: "t"
|
||||||
|
value {
|
||||||
|
tensor_spec_value {
|
||||||
|
name: "t"
|
||||||
|
shape {
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
dim {
|
||||||
|
size: 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
dtype: DT_INT32
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
Binary file not shown.
|
@ -0,0 +1,3 @@
|
||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:73318f0762c6a7133a9f272fc00adefa9dc82e6867a65cc640f6dbbace9b5b79
|
||||||
|
size 141480831
|
Binary file not shown.
Loading…
Reference in New Issue