Back to skills
SKILL.md
Handoff Humanoid Control
ASecurityHumanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers - 多教师KL蒸馏框架用于人形机器人全身控制
- 3 stars
- 0 votes
- 0 copies
- 8 views
- Added September 11, 2026
Security analysis
100/100npx -y skills add hiyenwong/ai_collection --skill handoff-humanoid-control --agent claude-codeAre you the author of Handoff Humanoid Control?
Add the live security badge to your README. It updates with every re-scan.
[](https://www.skillsdirectory.com/skills/hiyenwong-handoff-humanoid-control)---
name: handoff-humanoid-control
description: Humanoid Agentic Task-Space Whole-Body Control via Distilled Complementary Teachers - 多教师KL蒸馏框架用于人形机器人全身控制
version: 1.0.0
category: systems-engineering
tags: [control-systems, robotics, humanoid, whole-body-control, multi-teacher-distillation, mixture-of-experts]
activation_keywords: [humanoid, whole-body control, task-space, distillation, mixture-of-experts, motion tracking, locomotion, fall-recovery]
arxiv_id: 2606.06493v1
authors: Lizhi Yang, Junheng Li, Nehar Poddar, Yiling Hou, Gio Huh, Robert Griffin, Georgia Gkioxari, Aaron Ames
published: 2026-06-04
---
# HANDOFF: Humanoid Agentic Task-Space Whole-Body Control
## 概述
HANDOFF 是一个创新的人形机器人全身控制框架,通过多教师KL蒸馏方法将三个互补专家教师(全身动作跟踪、运动、跌倒恢复)蒸馏到一个混合专家学生模型中。该方法解决了任务规划与全身控制之间的接口问题,提供了一个紧凑、直观、通用且表达能力强的命令空间接口。
## 核心方法论
### 1. 命令空间设计原则
HANDOFF 提出了四个命令空间设计准则:
- **直观性** (Intuitive): 接口应易于理解和操作
- **通用性** (General): 支持多样化操作技能
- **模块化** (Modular): 允许独立开发和组合
- **表达能力** (Expressive): 能够表达复杂操作任务
### 2. 多教师KL蒸馏框架
核心蒸馏流程:
1. **三个互补教师专家**:
- **Whole-body motion tracking**: 全身动作跟踪(带安全过滤数据)
- **Locomotion**: 运动控制
- **Fall-recovery**: 跌倒恢复
2. **上下文条件门控机制** (Context-conditioned gating):
- 根据任务上下文动态选择激活哪个专家
- 门控函数: $g(x) = \sigma(W_g \cdot x + b_g)$
3. **KL蒸馏损失**:
$$L_{distill} = \sum_{i=1}^{N} KL(\pi_{student} || \pi_{teacher_i}) \cdot g_i(x)$$
### 3. 混合专家学生架构
学生模型作为MoE(Mixture-of-Experts)架构:
- 每个专家专注于特定技能域
- 门控网络根据上下文选择专家
- 支持无缝技能切换和组合
### 4. 安全过滤数据增强
全身动作跟踪教师使用安全过滤数据:
- 从高动作跟踪数据中过滤危险动作
- 保持动作语义同时确保安全性
- 安全约束: $\|q_{target} - q_{current}\| \leq \Delta_{max}$
## 系统架构
### 整体架构
```
┌─────────────────────────────────────────────────────────┐
│ VLM-Driven Planner │
│ (Natural Language → Task Commands) │
└───────────────────────┬─────────────────────────────────┘
│ Task Commands
▼
┌─────────────────────────────────────────────────────────┐
│ HANDOFF Controller │
│ ┌─────────────────────────────────────────────────┐ │
│ │ MoE Student (Distilled) │ │
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │
│ │ │Expert 1 │ │Expert 2 │ │Expert 3 │ │ │
│ │ │(Motion) │ │(Locomot)│ │(Fall-Rec)│ │ │
│ │ └─────────┘ └─────────┘ └─────────┘ │ │
│ │ ↑ Context-Conditioned Gating ↓ │ │
│ └─────────────────────────────────────────────────┘ │
└───────────────────────┬─────────────────────────────────┘
│ Whole-body Actions
▼
┌─────────────────────────────────────────────────────────┐
│ Unitree G1 Hardware │
└─────────────────────────────────────────────────────────┘
```
## 实现要点
### 1. 命令接口设计
紧凑命令空间接口:
- 位置命令: $[x, y, z, \theta]$
- 动作命令: $[action\_type, parameters]$
- 组合命令: 支持顺序和并行组合
### 2. 教师数据采集
三个教师的数据来源:
- **Motion tracking**: 人类动作捕捉数据(带安全过滤)
- **Locomotion**: 速度跟踪数据
- **Fall-recovery**: 跌倒恢复数据集
### 3. 蒸馏训练流程
```python
# 蒸馏训练伪代码
for epoch in range(N_epochs):
for context in contexts:
# 1. 从教师获取目标策略
teacher_policy = select_teacher(context)
target_actions = teacher_policy.sample(state)
# 2. 计算门控权重
gate_weights = gating_network(context)
# 3. 学生预测
student_actions = student_moe(state, context)
# 4. KL蒸馏损失
loss = kl_divergence(student_actions, target_actions)
loss *= gate_weights
# 5. 反向传播
update_student(student_moe, loss)
```
### 4. 上下文识别
上下文条件判断:
- 运动状态: 根据速度和姿态判断
- 操作状态: 根据手臂位置和目标判断
- 跌倒风险: 根据稳定性和地面距离判断
## 性能优势
### 实验结果
1. **速度跟踪性能**: 匹配SOTA速度跟踪控制器
2. **操作工作空间**: 提供最大鲁棒操作工作空间之一
3. **自然语言驱动**: 通过VLM驱动任务规划,无需任务特定数据或控制器微调
4. **硬件验证**: 在Unitree G1上成功执行多次任务roll-outs
## 应用场景
### 适用场景
- 人形机器人全身控制
- 多技能任务执行
- 自然语言驱动的机器人操作
- 安全约束下的动作学习
- 混合专家系统设计
### 触发条件
当遇到以下问题时使用此技能:
- 设计人形机器人控制架构
- 需要多技能融合的控制系统
- 任务规划与底层控制的接口设计
- 安全过滤的危险动作学习
- 自然语言驱动的机器人系统
## 系统工程学意义
### 方法论贡献
1. **命令空间设计**: 提出紧凑、直观、通用、表达性强的接口设计准则
2. **多教师蒸馏**: 创新的多教师KL蒸馏框架,解决技能融合问题
3. **上下文门控**: 上下文条件门控机制,实现动态专家选择
4. **安全过滤**: 数据安全过滤方法,确保危险动作的安全性
5. **系统验证**: 完整的硬件验证流程,从仿真到真实部署
### 可扩展性
- 支持添加更多教师专家
- 上下文门控可扩展到更复杂场景
- 命令接口可适配不同机器人平台
- 蒸馏框架可用于其他多技能学习任务
## 技术实现细节
### 关键参数
- 专家数量: 3 (可扩展)
- 门控维度: context_size
- 蒸馏温度: $\tau$ (KL温度参数)
- 安全约束阈值: $\Delta_{max}$
### 训练策略
- 分阶段蒸馏: 先单独训练教师,再联合蒸馏学生
- 课程学习: 从简单到复杂任务
- 安全约束注入: 在训练过程中逐步引入安全约束
## 参考资源
- arXiv论文: https://arxiv.org/abs/2606.06493
- 项目代码: 待发布
- 硬件平台: Unitree G1
- 规划器: VLM-driven agentic planner
## 总结
HANDOFF 提供了一个完整的系统工程学解决方案,从命令空间设计、多教师蒸馏、上下文门控到硬件验证。该方法展示了如何通过蒸馏框架融合互补专家技能,为人形机器人全身控制提供了紧凑且表达能力强的接口,是系统工程学在机器人控制领域的创新应用。Attribution
Related skills
View all in tools →Comments
Loading comments…
Newsletter
Get the weekly list of safe new skills, and the ones we pulled.