使用微信扫一扫分享到朋友圈
使用微信扫一扫进入小程序分享活动
某自动驾驶独角兽高级工程师、迈微Al研习社号主,CSDN博客专家,拥有发明专利15项、4篇一作论文;荣获国省级奖项12项(一等、二等奖);专注于机器学习算法、计算机视觉。
1. 自动驾驶行业研发相关从业人员;
2. 对自动驾驶系统感兴趣,尤其是感知模块,对自动驾驶有相关了解,有数理基础;
3. 对机器人系统有相关实践经验,对感知算法有基本了解;
4. 其他算法从业者,有数理基础;
1. 对自动驾驶有更深的理解,尤其是视觉和雷达感知系统;
2. 有较为全面的认识,对感知系统全算法链路有一定了解,能够自己动手开始一些感知系统中子任务;
3. 对当前自动驾驶行业有更深的了解,抛砖引玉开展相关工作;
4. 了解几种经典的感知算法模型,从实现原理到模型产出;
一、输入:相机+雷达
1.相机
1.1 相机的成像原理
1.2 数字图像处理:去畸变、resize、颜色变换、转柱面、透视变换等
1.3 实现方案及性能分析:opencv、nvmedia
2. 激光雷达
2.1 雷达模块概述
2.2 雷达感知原理
2.3 雷达感知算法概述
二、感知系统任务/目标
1. 目标检测:行人检测、车辆检测、车道线检测、可通行区域检测、多目标跟踪
主要模型介绍分析:Mask R-CNN、Inception v2
2. 目标分类:红绿灯识别、障碍物检测
主要模型介绍分析:AlexNet、VGG、FCN
3. 实例分割:可通行区域检测、障碍物检测、异形物检测
主要模型介绍分析:UNet、SegNet
三、多传感器融合感知方案详解
1. 感知方案:前融合、后融合、中融合
1.1 lidar-基于激光雷达进行障碍物检测、分割、分类
1.2 相机-红绿灯检测、障碍物检测和分类
1.3 radar-基于毫米波传感器进行速度、姿态估计
1.4 融合Fusion-前融合、后融合、中融合中两种及以上
2. BEV模型
BEV 基于图像/Lidar/多模态数据的3D检测与分割任务
2.1 坐标变换
2.3 时间同步、时序任务
2.4 精度选择
2.5 性能分析
3. 发展方向:多模态感知、多任务处理、大模型
四、感知算法模型生产线
1. 数据选择(数据采集、数据增强)
2. 数据标注
3. 模型训练
4. 模型量化
5. 模型部署
6. 测试与验证
五 纯视觉感知和雷达方案对比
成本和效果两个角度,第一性原理
1. 特斯拉方案
2. 非特斯拉方案
六、总结:如何打造“高可靠、多冗余、可量化、数据驱动的感知系统”
1. 高可靠:对障碍物、红绿灯的识别精度有保证
2. 多冗余:各个模块相互支撑、非串行
3. 可量化:PRT、仿真场景测试、Profiling
4. 数据驱动(全流程闭环)
一、输入:相机+雷达
二、感知系统任务/目标
三、多传感器融合感知方案详解
四、感知算法模型生产线
五 纯视觉感知和雷达方案对比
六、总结:如何打造“高可靠、多冗余、可量化、数据驱动的感知系统”