前言
大悲伤，写完忘记保存了。这次干脆写点新的啊。。
OpenVLA：https://github.com/openvla/openvla.git
SIMPLE：https://github.com/physical-superintelligence-lab/SIMPLE
总结
关于这两者的论文其实放现在也不算什么前沿。
关于OpenVLA，依旧是我们的V+L+A——视觉检测头SigLIP加上一个多层感知机连接到LLM，然后接上一个动作头。
之前本来写了还吐槽包括使用了Dino等各种其他的头来增加稳定性和准确性等，不过现在的VLA设计更多在动作头上开刀做文章，LLM选取当中，千问的小模型莫名还挺受欢迎？这里OpenVLA反正用的是Llama 2 7B的模型。
而SIMPLE就是在NVIDIA的Issac Sim上换了一个新的开源刚体物理计算的包：
这两个可以用于测试算法和仿真构建，试试自己的一些idea啊。
SIMPLE + OpenVLA 实验环境搭建指南
采用的是 SIMPLE（physical-superintelligence-lab/SIMPLE）作为仿真平台 + OpenVLA-7B 作为待验证策略，先跑官方已经接好的 FrankaTabletopGrasp-v0，目标先验证完整链路：
SIMPLE → RGB Observation + Language Instruction → OpenVLA → 7-DoF Action → SIMPLE 执行动作 → Success / Failure
SIMPLE 官方目前确实已经提供 FrankaTabletopGrasp-v0 + openvla 的评测入口。(GitHub)
实验目标
搭建一个用于具身智能 / Vision-Language-Action 模型验证的基础实验环境：
- 仿真平台：SIMPLE
- 机器人：Franka
- 基础任务：
FrankaTabletopGrasp-v0 - VLA：OpenVLA-7B
- 操作系统：Ubuntu 22.04
- 推理方式：OpenVLA 独立 HTTP Server
- 仿真方式：SIMPLE Client
- 渲染：headless / EGL
- 初期目标：跑通单个闭环 episode
整个系统建议拆成两个独立进程：
┌──────────────────────────────┐
│ OpenVLA Server │
│ │
│ RGB Image │
│ Language Instruction │
│ ↓ │
│ OpenVLA-7B │
│ ↓ │
│ 7-DoF Robot Action │
└─────────────┬────────────────┘
│ HTTP
│ /act
▼
┌──────────────────────────────┐
│ SIMPLE Client │
│ │
│ Isaac Sim / MuJoCo │
│ Franka │
│ ↓ ↑ │
│ Observation ↔ Action │
│ ↓ │
│ Success / Failure │
└──────────────────────────────┘
建议不要把 SIMPLE 与 OpenVLA 安装在同一个 Python 环境里。
PS：
SIMPLE 包含 Isaac Sim、MuJoCo、CuRobo、LeRobot 等大量依赖；
OpenVLA 对 PyTorch、Transformers、Timm、Tokenizers 等版本有自己的约束；
两套环境通过 HTTP 通信，本来就没有必要共用依赖；
后续更换 π0、π0.5、ACT、Diffusion Policy 等模型时，可以直接替换 Policy Server。
推荐配置
推荐：
Ubuntu: 22.04 LTS
CPU: 12 核以上
RAM: 64 GB
GPU: NVIDIA RTX 3090 / 4090 或更高
VRAM: 24 GB 推荐
NVIDIA Driver: 新版驱动
CUDA Toolkit: 12.4 推荐
Python: 3.10
SSD: 至少 100 GB 空闲
SIMPLE 基于 Isaac Sim 4.5 和 MuJoCo 3.3，官方要求 Ubuntu 22.04 与 RTX 级 NVIDIA GPU；官方文档测试过 CUDA 11.8 和 CUDA 12.4。(GitHub)
如果有两张 GPU，推荐：
GPU 0 → SIMPLE / Isaac Sim
GPU 1 → OpenVLA
因为 OpenVLA-7B 本身会占用较多显存，而 Isaac Sim 同样是重 GPU 应用。SIMPLE 官方甚至建议条件允许时，把 VLA Server 放到另一台机器。(GitHub)
安装基础依赖
CUDA就懒得赘述了，不同机器的CUDA都不太一样。
sudo apt update
sudo apt install -y \
git \
git-lfs \
curl \
wget \
unzip \
build-essential \
cmake \
python3-dev \
ffmpeg \
gstreamer1.0-libav
初始化 Git LFS：
git lfs install
检查：
git --version
git lfs version
cmake --version
安装 SIMPLE
建议目录：
mkdir -p ~/robotics
cd ~/robotics
克隆：
git clone https://github.com/physical-superintelligence-lab/SIMPLE.git
cd SIMPLE
如果 SSH GitHub 已配置，也可以：
git clone git@github.com:physical-superintelligence-lab/SIMPLE.git
拉取子模块：
git submodule update --init --recursive
官方 SIMPLE 本身也要求完整初始化 submodules。(GitHub)
安装 uv
SIMPLE 当前官方推荐优先使用 uv。虽然我知道你喜欢conda，但是你先别急。。
curl -LsSf https://astral.sh/uv/install.sh | sh
重新载入 shell：
source ~/.bashrc
确认：
uv --version
创建 SIMPLE 环境
uv来说确实没conda那么熟悉，顺便补充uv的虚拟环境
在：
cd ~/robotics/SIMPLE
执行：
UV_HTTP_TIMEOUT=3000 \
GIT_LFS_SKIP_SMUDGE=1 \
uv sync --all-groups --index-strategy unsafe-best-match
SIMPLE 会在项目目录产生：
SIMPLE/
└── .venv/
然后：
source .venv/bin/activate
安装 CuRobo
CuRobo 目前仍然属于 SIMPLE 的必需依赖。
对于 RTX 4090，compute capability 为 8.9，可以提前设置：
export TORCH_CUDA_ARCH_LIST=8.9+PTX
然后：
bash scripts/install_curobo.sh
官方文档也专门推荐针对 4090 使用：
export TORCH_CUDA_ARCH_LIST=8.9+PTX
避免为大量不相关架构编译 CUDA kernel。(物理超智能实验室)
验证安装
首先：
source ~/robotics/SIMPLE/.venv/bin/activate
验证 Python package：
python -c "import simple; print(simple.__version__)"
如果成功，会输出 SIMPLE 版本。
进一步查看任务：
python scripts/list_env.py
SIMPLE 官方也将这一步作为基本安装测试。(物理超智能实验室)
第一次启动 Isaac Sim
第一次运行 Isaac Sim 通常明显比之后慢。
推荐先：
export ACCEPT_EULA=Y
export OMNI_KIT_ACCEPT_EULA=YES
然后测试一个 SIMPLE/CuRobo 示例：
python examples/multi_arm_reacher.py
如果机器没有显示器，后面统一使用 headless 模式即可。
如果出现 Vulkan / NVIDIA library 问题，可以先检查：
sudo apt install -y vulkan-tools
vulkaninfo --summary
正常情况下应能看到 NVIDIA GPU。
OpenVLA 环境
接下来新开一个 Terminal。这次可以conda了
例如：
cd ~/robotics
建议使用 Conda 单独建立 OpenVLA 环境：
conda create -n openvla python=3.10 -y
conda activate openvla
下载 OpenVLA
cd ~/robotics
git clone https://github.com/openvla/openvla.git
cd openvla
OpenVLA 官方代码目前仍然以 Python 3.10 为主要环境。其经典、经过充分测试的软件组合是：
PyTorch 2.2.x
torchvision 0.17.x
transformers 4.40.1
tokenizers 0.19.1
timm 0.9.10
flash-attn 2.5.5
(GitHub)
安装torch,老玩家直接跳过
一种稳定方案：
conda install \
pytorch \
torchvision \
torchaudio \
pytorch-cuda=12.4 \
-c pytorch \
-c nvidia \
-y
安装后：
python - <<'PY'
import torch
print("torch:", torch.__version__)
print("cuda available:", torch.cuda.is_available())
print("cuda:", torch.version.cuda)
if torch.cuda.is_available():
print("gpu:", torch.cuda.get_device_name(0))
PY
应该得到：
cuda available: True
gpu: NVIDIA GeForce RTX 4090
安装 OpenVLA
cd ~/robotics/openvla
pip install -e .
额外安装 REST Server 相关依赖：
pip install \
fastapi \
uvicorn \
json-numpy \
requests
OpenVLA 官方自带的 vla-scripts/deploy.py 就是一个 FastAPI VLA Server，它暴露：
POST /act
输入：
RGB image
language instruction
unnorm_key
返回 OpenVLA action。
FlashAttention
如果计划按照原版 OpenVLA 配置运行：
pip install packaging ninja
确认 Ninja：
ninja --version
echo $?
应输出：
0
然后：
pip install "flash-attn==2.5.5" --no-build-isolation
如果安装 FlashAttention 出问题，注意版本问题。
OpenVLA 官方长期固定过：
flash-attn == 2.5.5
主要是因为后续 Transformers / Timm / Tokenizers 版本曾带来兼容性回归。
第一次加载
可以先做一个纯模型测试。
建立：
nano test_openvla.py
写：
from transformers import AutoModelForVision2Seq, AutoProcessor
from PIL import Image
import torch
import numpy as np
MODEL = "openvla/openvla-7b"
print("Loading processor...")
processor = AutoProcessor.from_pretrained(
MODEL,
trust_remote_code=True
)
print("Loading model...")
vla = AutoModelForVision2Seq.from_pretrained(
MODEL,
attn_implementation="flash_attention_2",
torch_dtype=torch.bfloat16,
low_cpu_mem_usage=True,
trust_remote_code=True,
).to("cuda:0")
print("Model loaded.")
# 创建一张假的 RGB 图，只用于测试 inference pipeline
image_array = np.zeros(
(256, 256, 3),
dtype=np.uint8
)
image = Image.fromarray(image_array)
instruction = "pick up the object"
prompt = (
f"In: What action should the robot take to "
f"{instruction.lower()}?\nOut:"
)
inputs = processor(
prompt,
image
).to(
"cuda:0",
dtype=torch.bfloat16
)
action = vla.predict_action(
**inputs,
unnorm_key="bridge_orig",
do_sample=False
)
print("Action:")
print(action)
运行：
python test_openvla.py
OpenVLA 的标准输出为一个 7-DoF Action。官方示例同样使用：
predict_action(
...,
unnorm_key="bridge_orig"
)
来获得 BridgeData 对应的动作尺度。(Hugging Face)
这里的假图没有任何机器人意义。
这一步只是检查：
checkpoint 下载
↓
processor
↓
GPU inference
↓
action decoding
是否正常。
启动 OpenVLA HTTP Server
这是 SIMPLE 真正需要连接的服务。
Terminal A：
conda activate openvla
cd ~/robotics/openvla
如果有两张 GPU，希望 OpenVLA 使用 GPU 1：
export CUDA_VISIBLE_DEVICES=1
然后：
python vla-scripts/deploy.py \
--openvla_path openvla/openvla-7b \
--host 0.0.0.0 \
--port 21075
OpenVLA 官方 deploy.py 内部就是：
POST /act
{
"image": ...,
"instruction": ...,
"unnorm_key": ...
}
然后：
action = vla.predict_action(...)
最后将 action 返回给 Client。(GitHub)
测试 Server
可以建立一个简单 Python Client：
nano test_server.py
内容：
import requests
import json_numpy
import numpy as np
json_numpy.patch()
image = np.zeros(
(256, 256, 3),
dtype=np.uint8
)
payload = {
"image": image,
"instruction": "pick up the object",
"unnorm_key": "bridge_orig",
}
response = requests.post(
"http://127.0.0.1:21075/act",
json=payload,
timeout=120,
)
print(response.status_code)
print(response.json())
安装：
pip install requests json-numpy
运行：
python test_server.py
预期：
200
[ ... seven action values ... ]
至此，OpenVLA Server 已经正常。
SIMPLE + OpenVLA 最小闭环 Demo
现在打开 Terminal B。
进入 SIMPLE：
cd ~/robotics/SIMPLE
source .venv/bin/activate
如果有两张 GPU，希望仿真使用 GPU 0：
export CUDA_VISIBLE_DEVICES=0
Isaac Sim：
export ACCEPT_EULA=Y
export OMNI_KIT_ACCEPT_EULA=YES
headless：
export MUJOCO_GL=egl
然后执行 SIMPLE 官方 OpenVLA Demo：
MUJOCO_GL=egl uv run eval \
simple/FrankaTabletopGrasp-v0 \
openvla \
--host=127.0.0.1 \
--port=21075 \
--sim-mode=mujoco_isaac \
--headless \
--max-episode-steps=50
这正是 SIMPLE 当前官方文档给出的 OpenVLA 示例。
其结果默认可以在：
./data/evals/openvla
中查看。
启动架构
执行：
uv run eval \
simple/FrankaTabletopGrasp-v0 \
openvla \
...
其流程——
SIMPLE
│
├─ reset Franka environment
│
├─ render camera RGB
│
├─ obtain language instruction
│
└─ OpenVLA Agent Adapter
│
│ HTTP
▼
OpenVLA Server
│
├─ processor(image, instruction)
│
├─ OpenVLA inference
│
└─ predict_action()
│
▼
7-D action
│
▼
SIMPLE Adapter
│
▼
Franka
正是后续实验非常好扩展的地方。
可以把OpenVLA换成：
OpenVLA + Noise
OpenVLA + Tracker
OpenVLA + Action Filter
OpenVLA + Replanning
OpenVLA + RTC
OpenVLA + Dynamic Target Tracking
而不修改 SIMPLE 的核心仿真逻辑。
QA
- 为什么第一步应该用 Franka，而不是直接上 G1？
原始 OpenVLA 的基础输出是：
7-DoF manipulator action
大体可以理解成：
Δx
Δy
Δz
ΔRx
ΔRy
ΔRz
gripper
它原本就是针对 Open-X Embodiment 中大量机械臂操作数据训练的。
而 SIMPLE 的 G1 Whole-body Task 动作空间完全不同。
例如 humanoid whole-body 任务可能涉及：
base locomotion
torso
left arm
right arm
hand
whole-body controller
因此：
OpenVLA-7B
↓
原始 7-D Action
不能直接等价为：
G1 Whole-Body Action
所以环境验证阶段非常适合先跑：
FrankaTabletopGrasp-v0
确认：
视觉
→ VLA
→ 动作
→ 仿真执行
这一闭环完全正确。
之后如果研究目标确实是 Humanoid VLA，再单独设计：
VLA action representation
↓
whole-body action adapter
↓
WBC
↓
G1
- OpenVLA 的 Zero-shot 限制？
这一点实验设计里必须明确。
OpenVLA 官方明确说明：
模型不能假设可以 zero-shot 泛化到训练数据完全没见过的机器人 embodiment。
也就是说：
OpenVLA pretrained
↓
陌生机器人 + 陌生动作空间
失败不能直接得出：
OpenVLA 的视觉理解能力差
因为失败可能来自：
视觉 domain mismatch
action normalization mismatch
robot embodiment mismatch
camera mismatch
control frequency mismatch
gripper semantic mismatch
OpenVLA 官方同样建议，对新的 robot setup 收集 demonstration 后再进行 fine-tuning。(Hugging Face)
因此第一阶段实验应该被称为：
pipeline validation / policy integration validation
而不是严谨的：
OpenVLA generalization benchmark
