AKA-Sim 是一个用于模拟环境训练和 ACT (Action Chunking Transformer) 策略学习的平台。

• 模拟环境 - 内置 3D 小车物理模拟器
• ACT 策略学习 - 基于 LeRobot 实现的 Action Chunking Transformer
• Web 控制界面 - html前端 + Flask 后端，支持实时控制
• WebSocket 通信 - 实时双向通信，低延迟控制

类别	技术
后端	Flask, Flask-SocketIO, PyTorch
前端	HTML
机器学习	PyTorch, einops, torchvision
实时通信	Socket.IO

AKA-Sim/
├── app/                    # Flask 应用
│   └── routes/            # API 路由
├── backend/               # 核心源代码
│   ├── app/               # Flask 应用模块
│   │   └── routes/       # API 路由
│   ├── cameras/          # 摄像头接口
│   │   └── opencv/       # OpenCV 摄像头
│   ├── configs/          # 配置文件
│   ├── policies/act/     # ACT 神经网络模型
│   ├── sim/model/        # 小车物理模型
│   ├── train.py          # ACT 训练逻辑
│   └── utils/            # 工具函数
├── frontend/              # React 前端
├── main.html             # HTML 前端
├── docs/                 # 项目文档
├── run.py                # 主入口
└── requirements.txt      # Python 依赖

创建 Python 3.11 环境：

conda create -n aka-sim python=3.11 -y
conda activate aka-sim

pip install -r requirements.txt

python run.py

后端启动后，将main.html拖到浏览器中打开前端页面：

服务启动后访问：

• http://localhost/sim - 模拟器

端点	方法	描述
/api/control	GET	小车控制
/api/ip	GET	获取IP地址
/api/dataset	POST	创建数据集
/api/datasets	GET	获取数据集列表
/api/datasets/<id>	DELETE	删除数据集
/api/train/start	POST	开始训练
/api/train/status	GET	训练状态
/api/models	GET	获取模型列表
/api/models/<id>	DELETE	删除模型
/api/infer/start	POST	开始推理
/api/infer/step	POST	推理步进
/api/infer/stop	POST	停止推理
/ws	WebSocket	实时通信

• LeRobot - ACT 策略实现参考

MIT