具身智能全栈工程师课程

机构介绍

大林上位机机器视觉实训中心成立于2012年。以培育工控领域专业人才为理念，致力于培养工控软件方向技术人员，目前拥有苏州（苏州木渎）、常州（常州新北）两个实训中心，累计2200多平米教学场地。中心专业从事机器视觉、上位机软件开发、深度学习、AGV等培训，为零基础学员提供工业机器人及PLC等工业基础硬件编程及调试培训，同时从事数字自动化设备检测设备开发及改造。

中心配备先进的教学实践设备，全部使用主流品牌硬件搭建，同时提供软件封装和技术资料支持，帮助学员巩固学习效果。此外，中心汇聚了一批工控领域专业技术人员与行业从业者，相关人员在工控行业均有平均15年以上大型项目开发经验，且具备丰富的培训授课经验。

具身智能全栈工程师课程定位

培养目标：能独立完成具身智能系统“感知→决策→控制→部署”的全栈工程师。

能力覆盖：工业机器人开发、上位机开发、大模型集成、真机调试、Sim-to-Real迁移。

课程特色：同时覆盖上位机（工控底层）+运动控制（小脑）+大模型（大脑）相关内容的课程。

具身智能全栈工程师课程大纲

1. 理论总览：具身智能导论与核心架构

具身智能核心定义：本体+环境+任务三位一体

离身AI与具身AI的核心差异

莫拉维克悖论与技术演进三大阶段

全球产业格局与长三角落地价值

全栈开发技术路线与学习地图

2. 基础理论篇：机器人学与AI融合基础（课时：8）

机器人学核心基础与运动学原理

具身智能系统组成与工作流程

传感器、执行器、上位机基础通信

行业应用：3C/汽车/物流/新能源落地场景

3. 大脑篇：感知决策与大模型规划（理论+实战，课时：20）

环境感知：语义分割、点云重建、BEV、NeRF

多传感器融合与SLAM、视觉里程计

决策系统：模块化/端到端/VLA架构；LLM常识推理、世界模型、RT-2大模型控制

实战项目：视觉语义分割实战、ORB-SLAM3实时建图定位、多模态大模型机器人控制

4. 小脑篇：运动控制与轨迹生成（理论+实战，课时：24）

1000Hz高频实时控制闭环

正/逆运动学FK/IK、MPC、DRL、WBC全身控制

柔顺控制、状态估计、安全约束

MPC+RL混合控制策略

实战项目：机械臂逆运动学IK求解、四足机器人平衡控制、强化学习自主抓取训练

5. 身体篇：硬件系统与上位机集成（理论+实战，课时：16）

谐波减速器、QDD电机、灵巧手相关内容

边缘计算平台：NVIDIA Orin/Thor相关介绍

智能电池BMS与能源管理

上位机通信：CAN/EtherCAT/串口

实战项目：关节电机驱动与上位机调试、灵巧手力控数据读取与可视化、上位机机器人状态监控开发

6. 数据篇：仿真环境与Sim-to-Real迁移（理论+实战，课时：16）

具身数据采集与多模态对齐

仿真引擎：Isaac Sim、MuJoCo相关介绍

模仿学习、行为克隆、扩散策略

Sim-to-Real虚实迁移核心方法

实战项目：Isaac Sim仿真环境搭建、仿真抓取→真机抓取迁移、VR遥操作采集专家演示数据

7. 产业与趋势篇（理论总结，课时：16）

全球主流相关企业与产品介绍

国内相关企业与产品、供应链国产化相关内容

技术瓶颈、安全伦理、商业化落地难点

AGI通用机器人未来趋势与就业路线

综合实战项目（20课时）

项目1（基础实战）：家居服务具身机器人开发，包含语音指令交互、视觉识别追踪、机械臂抓取与路径规划、上位机UI监控与控制，技术栈：VLA模型、SLAM、逆运动学、上位机开发

项目2（进阶实战）：工业搬运具身机器人开发，包含复杂环境自主导航、货物精准抓取与避障、工业安全机制与真机部署，技术栈：WBC全身控制、MPC、Isaac Sim、真机调试

项目3（工控实战）：上位机定制化开发，包含机器人全状态实时监控看板、参数在线调试与日志记录、对接工控产线标准协-议

具身智能全栈工程师课程特点

理论体系完整，从基础到前沿，循序渐进，便于学习理解

实战内容丰富，真机+仿真双训练，配套落地项目实操

兼顾上位机与AI相关能力培养，助力学员职业发展

具身智能全栈工程师课程适合人群

工控/上位机开发从业者，希望从自动化升级到智能化，提升相关技术能力

机器人工程师，希望补充大模型与全栈部署相关能力

AI算法工程师，希望落地具身智能相关项目，补充硬件与控制算法知识

高校学生，希望掌握企业所需技术，积累工业级实战项目经验