技术应用

基于双目立体视觉伺服的智能车室内弯道控制

发布时间:2016-04-12 00:00:00 责任编辑:wenwei

【导读】智能车环境感知系统的一个重要任务就是实时地提供车辆在行使过程中的位置信息。机器视觉因其有信号探测范围宽、获取信息完整、符合人类认知习惯、维护成本低、不产生环境污染等多优点,已在智能车环境感知系统中广泛采用。
 
机器视觉车辆环境感知系统中的主要任务是完成道路及目标的识别和跟踪,为智能车行使提供必须的本车位置信息和周围环境距离信息。
 
对于现实情况下的道路,一般可以将其分为两大类,即:结构化道路和非结构化道路。结构化道路上有明显的道路标记,且这些标记具有较强的几何特征,道路路面主要是由这些标记界分确定的,如高速公路上道路中间黄色的连续标志线或白色的间断标志线以及两旁白色的连续标志线;非结构化道路上没有明显的道路标记,在二维图像中道路路面与非路面主要依靠纹理与色彩而区分的,如没有标记的水泥路、野外土路或石板路等。
 
弯道图像包含丰富的道路信息和环境信息,解释了道路周围场景。弯道检测是从道路图像中检测出弯曲车道线的边界,这也是对弯道理解的基础。建立弯道模型;提取车道线像素点;拟合车道线模型属于目前较常采用的认知方法,并在特定的结构化道路体现出较好的检测效果。文献[6]介绍了弯道检测在车道偏离预警、弯道限速以及弯道防碰撞预警等领域的应用情况,并提出了弯道检测应该建立三维车道线模型,提高适用性。
 
均采用的Hough变换求出车道线直线方程,从而确定对应直线段上的最低点和最高点,然后根据相应准则判断曲线道路的弯曲方向,最后分段拟合车道线的直线段和曲线段实现车道线的二维重建。
 
弯道检测不仅需要识别出道路边界线,还需要判断道路弯曲方向,确定转弯的曲率半径。常用的车道检测方法可分为2大类:基于道路特征和基于道路模型的方法。目前国外主要常用基于道路模型的方法,即将弯道检测转化为各种曲线模型中数学参数的求解问题。省略弯道曲线模型建立和数学参数的复杂求解过程,本文采用立体视觉感知环境的三维信息,利用它的视差原理对所获取室内道路周边环境图像中角点特征的位置恢复其三维信息来判断车体的弯道转向和偏航角度。建立了视觉信息直接控制车体驱动偏离角与偏离距离视觉伺服控制系统,初步采用了BP控制策略,利用Simulink仿真环境实现了针对未知弯道曲率的智能车转弯控制运动。
  
1 室内道路环境信息的视觉感知

1.1 立体视觉系统模型
 
采用针孔成像模型将图像中任何点的投影位置与实际点的物理位置建立连线关系,摄像机光心O与空间P点间的连线OP与图像平面的交点即为图像投影的位置(u,v)。用齐次坐标和矩阵表示上述透视投影关系为:
 
基于双目立体视觉伺服的智能车室内弯道控制 
 
本文采用的双目平行相机的模型如图1所示,C1与C2摄像机的焦距相等,各内部参数也相等,而且两个相机的光轴互相平行,x轴互相重合,y轴互相平行,因此,将第一个摄像机沿x轴平移一段距离b后与第二个摄像机完全重合。假设C1坐标系为O1 x1 y1 z1,C2坐标系为O2 x2 y2 z2,则在上述摄像机配置下,若任何空间点P的坐标在C1坐标系下为(x1),y1,z1,在C2坐标系下为(x1)-b,y1,z1。由中心摄影的比例关系可得:
 
基于双目立体视觉伺服的智能车室内弯道控制 
 
其中(u1,v1)、(u2,v2)分别为P1与P2的图像坐标。由P1与P2的图像坐标(u2,v2)、(u2,v2)可求出空间点P的三维坐标(x1,y1,z1)。
 
基于双目立体视觉伺服的智能车室内弯道控制  
 
1.2 室内环境特征向量的提取与匹配
 
由于噪声、光照变化、遮挡和透视畸变等因素的影响,空间同一点投影到两个摄像机的图像平面上形成的对应点的特性可能不同,对在一幅图像中的一个特征点或者一小块子图像,在另一幅图像中可能存在好几个相似的候选匹配。因此需要另外的信息或者约束作为辅助判据,以便能得到惟一准确的匹配。最近邻法是一种有效的为每个特征点寻找匹配点的方法。最近邻点被定义为与特征点的不变描述子向量之间的欧氏距离最短的点。
 
假定参考图像P的SIFT特征点集合为:FP ={FP (1),FP (2),-,FP (m)},m为图像P的特征点的个数;待匹配图像Q的特征点的个数为N,SIFT特征点集合为FQ ={FQ (1),FQ (2),-,FQ (m)}。当在建立参考图像中的特征点和待匹配图像的特征筛选对应匹配关系时,应按照图2所示的算法进行对称性测试,只有当两个匹配集中的对应点完全一致时,才视为有效匹配。
 
基于双目立体视觉伺服的智能车室内弯道控制  
 
SIFT特征向量生成后,利用特征点向量的欧式距离来作为两幅图像中特征点的相似性判定度量。最近邻法是一种有效的为每个特征点寻找匹配点的方法。
 
最近邻点被定义为与特征点的不变描述子向量之间的欧氏距离最短的点。对特征点集合FP中的每个点,逐一计算其与特征点集合FQ中每个点的距离,得到特征点之间的距离集合D。将距离集合D中的元素进行排序,得到最近邻距离dmin和次近邻距离dn–nim。SIFT算法通过判断最近邻和次近邻距离的比值:
 
基于双目立体视觉伺服的智能车室内弯道控制  
 
来区分正确匹配对和错误匹配对。
  
对于正确的匹配对,其最近邻距离dmin要远远小于次近邻距离dn-nim,即DistanceRatio-1;而错误的匹配对,由于特征空间的维数很高,其最近邻距离dmin与次近邻距离dn-nim差距不大,即DistanceRatio≈1。所以可取一个距离比阈值Threh∈(0,1)来区分正确匹配对和错误匹配对。
 
1.3 运动估计
 
进行特征点立体匹配和跟踪匹配如图2所示,对当前时刻t获得图像对(ImgL1和ImgL2)进行SIFT特征匹配之后获得道路环境匹配特征点Ni个,再对相邻时刻t+1获得的Ni+1个特征点计算欧式距离,寻找t与t+1时刻获取图像中相同的特征点,得到一系列匹配点在车体运动前后的三维坐标。
 
本文实验环境是在室内,在假定室内环境为理想的水平面的基础上,同一特征点三维坐标中y坐标保持基本不变,即车体运动参数仅在x-z坐标平面内发生变化。
 
图3中点P(x1,y1,z1)为所提取环境特征点,在t时刻立体匹配后得到其在摄像头坐标系下的三维坐标,由于摄像头固定安装在小车上,因此通过坐标系的旋转与平移变换可将点P的三维坐标转换到小车坐标系ΣBt下表示。同理,t+1时刻所获取的图像中相同点P的(u,v)二维坐标发生变化,经坐标转换后可得到小车坐标系ΣBt+1下表示。
 
基于双目立体视觉伺服的智能车室内弯道控制 
 
小车t时刻位于位置A时,特征点P在坐标系ΣBt为参考位置的三维坐标是[x1],y1,z1T,当经过t+1时刻后移动到空间位置B时,同一特征点P在以B为参考位置的三维坐标为[x]t+1,yt+1,zt+1T,所以得到:
 
基于双目立体视觉伺服的智能车室内弯道控制 
 
当这些位置满足3个及以上相同的匹配特征点时,小车所在坐标系间的平移与旋转向量就可以通过以上方程获得。
  
2 车体的转弯控制

2.1 车体定位参数计算
 
环境特征点投影到车体坐标系下表示后,即为所有的环境坐标均统一在世界坐标系下的表示。如图4所示,其中小车前进方向为zw轴,xw水平垂直于zw,方向向右,其交点为原点Ow。直线为lmid为道路中间线,lmid与zw的夹角为φ,即为车辆的偏航角。点Ow到左车道线lL的距离为DL,到右车道线lR的距离为DR,可行驶区域的道路宽度为w = DL+DR。
 
基于双目立体视觉伺服的智能车室内弯道控制 
 
2.2 弯道控制策略

2.2.1 控制策略
 
机器人的底层运动控制是非常重要的一个环节,机器人运动控制的好坏直接决定了能否有效执行决策意图,准确无误地沿着预定轨迹行进,完成导航任务。传统的定位控制中,PI、PID是广泛采用的控制方法,这些方法比较成熟,但却具有一定的局限性。对被控系统的参数变化比较敏感,难以克服系统中非线性因素的影响。本文采用BP神经网络控制器在行使过程中经学习对网络进行训练,以适应当前的环境路况来调整车的左右轮速控制量。智能车左右轮速的大小,和车体偏离道路中间线lmid的距离d和车运动时方向偏离中间线的角度φ有关。小车控制输入为d,φ,输出为VL,VR。
 
基于双目立体视觉获取得到的三维信息,即为经左右图像SIFT特征点匹配,在摄像头坐标系中获取前景环境中各关键点的坐标信息。选取关键点中与机器人基坐标系原点高度靠近的点,并且该点的个数需大于3,之后,采用最小二乘法拟合可得行驶区域的边界直线,即确定了车体定位参数中左、右车道线lL、lR。直线与图像右边界存在交点,即可判断出弯道转向。同时,拟合确定的左车道线与图像下边缘的交点Pl0为第一个控制点;以图像右边界与拟合直线的交点处为第二个控制点Pln。图5表示为前景环境中对特征点的匹配结果图和判断可行驶区域。
  
对序列图像进行实时处理时,由于摄像机采集系统速度为30帧/s,车速在不超过33cm/s的情况下,采集一帧图像智能车向前行驶约小于1cm,连续采集的两帧图像中所判断的车道左右车道线和弯道方向偏差不会太大。
  
基于双目立体视觉伺服的智能车室内弯道控制
 
2.2.2 控制仿真实验
 
实验采用BP神经网络作为控制对偏离角φ进行仿真实验。在Simulink环境下搭建的系统模型中BP神经网络的搭建如图6所示。U为经由视觉信息得到的偏航角φ作为系统输入量,输出Y为小车质心速度V。小车左、右轮速可在判断弯道转向的前提下,由两轮速差VD经计算得出。若如图5所示,弯道转向向右:
 
基于双目立体视觉伺服的智能车室内弯道控制  
 
利用Simulink库中Signal Builder产生变化的Signal仿真实际环境中视觉系统得到的当前车体的偏移量。
 
小车经左右轮差速转弯运动中质心位置实际偏转角度作为网络的输入,经训练学习反馈回系统的控制输入端。图7为控制仿真结果图,由图示可知该方法基本完成了对信号的控制跟踪,由此说明了利用双目立体视觉所获得的信息,并采用BP网络自学习对道路的变化可适用于不同弯道的道路,避免了传统PID控制方法因弯道曲率变化使得小车转弯控制失败。
 
3 结论
 
借助机器视觉系统判断小车可行驶区域,同时还可清晰地判断出弯曲线路的走向,避免了弯道方向的复杂判别方法,且该方法普遍适用于不同的道路环境,特别是非结构化的道路环境,也增强了算法的实用性和鲁棒性。但目前对双目摄像机进行精确匹配和标定仍然是个技术难题;神经网络训练方法在选取训练样本数据和精确定位车辆位置方面也比较困难,这将是进一步研究的主要关键问题。来源:电子发烧友。


【推荐阅读】




 
要采购标记么,点这里了解一下价格!

为您推荐

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基 技术应用

CRA 合规驱动嵌入式安全升级|意法半导体落地 Security by Design 筑牢芯片信任根基

随着互联设备普及与欧盟《网络弹性法案》(CRA)落地,嵌入式产品安全已经从附加功能变成硬性要求。意法半导体 MDRF 安全平台总监 Jacques Fournier 分享 ST“安全始于设计(Security by Design)” 战略:把安全前置到产品定义阶段,依托 IDM 垂直整合能力,打通软硬件安全、密码技术、漏洞评估全链条;同时提前布局后量子密码 PQC,正视 AI 带来的攻防双面变化,通过跨部门安全协作机制,把安全能力转化为客户产品的信任基石。

ST(意法半导体)

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案 业界新闻

灵巧手市场高速增长,NXP i.MX RT1180 助力大联大世平推出可落地机器人末端执行方案

机器人行业重心正从展台演示转向工业、服务场景工程化落地,灵巧手作为机器人末端核心执行单元迎来爆发增长。近期大联大世平联合恩智浦(NXP)举办线上研讨会,恩智浦分享机器人分层架构、TSN 确定性通信方案以及 i.MX RT1180 在关节与灵巧手实时控制上的技术优势;大联大世平则解读灵巧手市场数据、主流驱动路线,并推出基于 NXP 芯片、搭载压力感知、支持 ROS2 与 EtherCAT 的完整灵巧手参考方案,依托分销技术服务与生态协同,帮助客户缩短研发周期,推动人形机器人、工业机器人规模化落地。

通信广电 NXP(恩智浦)

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利 业界新闻

打通终端接入链路|紫光展锐 T8300、T7300 助力 Entel D2C 卫星通信生态落地智利

手机直连卫星 D2C 是补齐地面通信盲区的关键技术。紫光展锐与智利头部电信运营商 Entel 完成 D2C 现场测试,搭载 T8300(5G)、T7300(LTE)两大平台,在真实卫星与地面混合网络环境下,验证卫星建链、消息收发、天地切换等核心能力。Entel 已认可本次测试成果,将其作为终端厂商接入当地 D2C 服务的技术参考文档,有效降低品牌厂商的适配难度与验证成本,加速智利地区手机直连卫星终端生态规模化。

通信广电 测试测量 紫光展锐

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可 业界新闻

艾迈斯欧司朗斩获荣耀旗舰能力建设奖,光学传感技术、质量与交付能力获认可

智能旗舰终端对光学传感性能、品质稳定性与供应链交付提出严苛标准。数字光电技术厂商艾迈斯欧司朗近期荣获荣耀 “旗舰能力建设奖”,该奖项是对其光学传感技术、全流程质量管理体系以及稳定交付能力的认可。艾迈斯欧司朗为荣耀提供环境光、接近传感、dToF 测距等多款传感产品,依托全球研发制造与本地化快速响应机制,支撑旗舰机型量产迭代。未来双方将持续协同,以光学传感方案升级智能终端用户体验。

传感技术

人形机器人高自由度协同难点:关节实时控制与确定性位置感知是流畅运动基石 技术应用

人形机器人高自由度协同难点:关节实时控制与确定性位置感知是流畅运动基石

人形机器人流畅的类人运动,本质是数十个自由度之间的协同涌现行为,关节耦合、信号延迟、扰动传递极易引发失稳与振荡。想要实现稳定平衡、姿态自适应调节,离不开关节层级高集成、低延迟的实时电机控制,以及断电不掉位的多圈绝对位置感知。本文从自由度耦合痛点切入,拆解扭矩控制、电流采样、位置反馈等核心环节,介绍 ADI 电机控制平台、ADMT4000 多圈位置传感器、TMC6460 伺服驱动方案如何提供确定性执行底座,支撑全身多关节同步协同,让高层智能策略可靠落地为物理动作。

传感技术

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆