图像处理系统及位置测量系统
2019-11-22

图像处理系统及位置测量系统

本发明公开一种图像处理系统和位置测量系统,该系统包括:暂存单元,暂储车辆行驶期间图像拍摄位置包含在预定区域中的多个拍摄图像作为处理对象拍摄图像;第一类似度计算单元,计算处理对象拍摄图像的类似度;第一有用图像选择单元,选择类似度彼此不同的处理对象拍摄图像作为有用图像;第一特征点提取单元,从每个有用图像中提取图像特征点;第一图像特征点数据生成单元,生成包括第一特征点提取单元提取的图像特征点的图像特征点数据;以及参考数据数据库创建单元,通过将图像特征点数据与图像拍摄位置相关联,生成在执行风景图像识别时使用的参考数据,并且创建作为参考数据的数据库的参考数据数据库。本发明能够精确地确定车辆位置。

下文中,将参照附图详细描述本发明的实施例。图1示意性地显示位置测量技术的基本概念,在该位置测量技术中,通过利用由根据本发明实施例的图像处理系统创建的参考数据进行匹配处理来识别车载相机(在本实施例中是沿车辆行驶方向拍摄车辆前方的风景的前方相机)所拍摄的风景图像,从而确定拍摄风景图像的位置(即车辆位置)。将基于在车辆沿着预定路线持续行驶的同时收集参考数据这一假设来进行如下描述。

在根据第三方案和第四方案的每种方案的位置测量系统中,如上所述使用用于风景匹配的参考数据,因此,能够精确地确定车辆位置。

(6)在上述实施例中,根据图像特征点的重要度为每一图像特征点分配与重要度分开计算的权重系数。但是,重要度可以被用作权重系数。

在根据本实施例的图像处理系统中,基于在车辆行驶期间按序获得的拍摄图像来收集参考数据。此时,基本上,在车辆沿着预定路径连续行驶的同时收集参考数据。鉴于这种情况,优选地,包括处理对象拍摄图像的图像拍摄位置的预定区域可以与预定行驶距离(行驶距离区域)对应。通过获得预定区域内的多个处理对象拍摄图像且以使得分配给选择的处理对象拍摄图像的类似度彼此不同的方式来选择预定数目的处理对象拍摄图像作为有用图像,可以创建能够在预定行驶距离区域中有效地执行匹配处理的参考数据数据库。还是在这种情形下,优选地,行驶距离区域可以与估计车辆位置的误差范围对应。

在根据本实施例的图像处理系统中,基于在车辆行驶期间按序获得的拍摄图像来收集参考数据。此时,基本上,在车辆沿着预定路径连续行驶的同时收集参考数据。鉴于这种情况,优选地,包括处理对象拍摄图像的图像拍摄位置的预定区域可以与预定行驶距离(行驶距离区域)对应。通过获得预定区域内的多个处理对象拍摄图像且以使得分配给选择的处理对象拍摄图像的类似度彼此不同的方式来选择预定数目的处理对象拍摄图像作为有用图像,可以创建能够在预定行驶距离区域中有效地执行匹配处理的参考数据数据库。还是在这种情形下,优选地,行驶距离区域可以与估计车辆位置的误差范围对应。

图2是显示图像处理系统的主要功能的前段组的功能性框图,且图3是显示图像处理系统的主要功能的后段组的功能性框图。图像处理系统包括多个功能单元,例如数据输入单元51、暂存单元61、类似度计算单元62、有用图像选择单元63、特征点提取单元52、特征点重要度确定单元53、加权单元55、调整系数设置单元54、图像特征点数据生成单元56和参考数据数据库创建单元57。每一个功能均可通过硬件、软件或硬件与软件的组合来实施。

附图说明

特征点重要度确定单元53基于包含在图像拍摄情况信息中的每一数据的内容来确定由特征点提取单元52提取的图像特征点的重要度。例如,当使用行驶车道数据IX的内容时,与分配给位于拍摄图像中的行驶车道内侧的区域中的图像特征点的重要度相比,将高重要度分配给位于拍摄图像中的行驶车道外侧的路肩侧区域中的图像特征点。当使用移动物体数据Do时,与分配给拍摄图像中不存在移动物体的区域中的图像特征点的重要度相比,将低重要度分配给拍摄图像中存在移动物体的区域中的图像特征点。此外,当使用区属性数据Da的内容时,根据上述区属性来改变按照拍摄图像中的图像特征点的位置将重要度分配给图像特征点的规则。例如,在山区的拍摄图像中,因为在用于图像拍摄的中心光轴上方很可能是天空,而在用于图像拍摄的中心光轴的左右两侧为森林,所以,与分配给除了用于图像拍摄的中心光轴周围的中心区域之外的其它区域中的图像特征点的重要度相比,将高重要度分配给中心区域中的图像特征点。在郊区的拍摄图像中,因为交通量不是很大,并且周围有如房子等结构性物体,所以,与分配给用于图像拍摄的中心光轴上方的区域中的图像特征点的重要度相比,将高重要度分配给在用于图像拍摄的中心光轴下方的区域中的图像特征点。在市区的拍摄图像中,因为交通量很大,所以,与用于图像拍摄的中心光轴下方的区域相比,将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。在高层建筑区的拍摄图像中,因为有很多高架路和高架桥,所以与用于图像拍摄的中心光轴下方的区域相比,将高重要度分配给在用于图像拍摄的中心光轴上方的区域中的图像特征点。

优选地,图像特征点可以是在图像中被稳定地检测的点。因此,通常使用利用边缘检测滤波器等检测的边缘点。构成显示建筑物的轮廓、建筑物的窗户轮廓和各种广告牌的轮廓的线性边缘的边缘点组是适用于本发明的实施例的图像特征点。因此,在本发明的实施例中,优选地,特征点提取单元52提取的图像特征点可以是边缘点,并且当边缘点是构成直线的直线成分边缘点时,优选地,与分配给除了直线成分边缘点之外的其它边缘点的重要度相比,可以将高重要度分配给直线成分边缘点。采用这种配置,能够创建能够以精确和简单的方式识别作为风景特征的特定人造物(如建筑物或广告牌)的参考数据。在此情形下,优选地,与分配给除了交叉点边缘点之外的其它的直线成分边缘点的重要度相比,可以将高重要度分配给直线成分边缘点中的交叉点边缘点。交叉点边缘点是两条直线成分的交叉点。因而,能够将包含在参考数据中的图像特征点限制在角上,即作为建筑物、桥、广告牌等中最重要的特征点的交叉点边缘点。因而,能够减小图像识别中的运算量。应注意:交叉点边缘点可以利用例如Harris算子来检测。

特征点提取单元52利用适当的算子从拍摄图像(有用图像)中提取边缘点,作为图像特征点。特征点重要度确定单元53确定提取的图像特征点(边缘点)的重要度。在实施例中,在通过边缘检测处理获得的边缘点之中,特别地,构成一条线段的线段边缘点(直线成分边缘点)和角边缘点(交叉点边缘点)被视为有用的图像特征点。角边缘点(交叉点边缘点)与线段彼此相交的交叉点对应,优选地,线段基本上彼此垂直。即,与分配给除了线段边缘点之外的其它边缘点的重要度相比,特征点重要度确定单元53将高重要度分配给线段边缘点。与分配给除了角边缘点之外的其它线段边缘点的重要度相比,特征点重要度确定单元53将高重要度分配给角边缘点。