CN101389977A - 物体检测装置和检测物体的方法 - Google Patents

物体检测装置和检测物体的方法 Download PDF

Info

Publication number
CN101389977A
CN101389977A CNA2007800063672A CN200780006367A CN101389977A CN 101389977 A CN101389977 A CN 101389977A CN A2007800063672 A CNA2007800063672 A CN A2007800063672A CN 200780006367 A CN200780006367 A CN 200780006367A CN 101389977 A CN101389977 A CN 101389977A
Authority
CN
China
Prior art keywords
fusion
dimension information
radar
image
testing result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800063672A
Other languages
English (en)
Other versions
CN101389977B (zh
Inventor
土田淳
所节夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN101389977A publication Critical patent/CN101389977A/zh
Application granted granted Critical
Publication of CN101389977B publication Critical patent/CN101389977B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Abstract

一种物体检测装置，包括：雷达装置，其检测物体的位置信息；成像装置，其检测物体的位置和尺寸；融合处理装置，其在所述雷达装置和所述成像装置的检测结果满足预定融合条件时融合由所述雷达装置检测到的物体和由所述成像装置检测到的物体以生成具有位置信息和尺寸信息的融合物体。如果所述成像装置的检测结果相对于所述雷达的检测结果不满足所述融合条件，则生成临时融合物体。

Description

物体检测装置和检测物体的方法
技术领域
本发明涉及一种物体检测装置和检测物体的方法，其结合雷达装置及成像装置的检测结果来检测物体。
背景技术
近年来，已开发出了诸如碰撞减少装置、自适应巡航控制装置以及车辆跟驰装置之类的驾驶辅助装置。在这些驾驶辅助装置中，对宿主车辆前方的车辆的检测是至关重要的。为了提高检测的准确性，某些物体检测装置具有诸如毫米波雷达之类的雷达装置和诸如立体摄像机之类的成像装置。在具有雷达装置和成像装置的物体检测装置中，雷达装置检测物体的位置(距离)，成像装置检测物体的尺寸(例如，参见日本专利申请公报No.JP-A-2001-134769)。在具有雷达装置和成像装置的物体检测装置中，将基于雷达信息检测到的雷达检出物体与基于图像信息检测到的图像检出物体进行比较并且判定雷达检出物体与图像检出物体是否相同。如果判定出所述物体是相同物体，则所述物体被设定为检出物体(融合物体)-例如宿主车辆前方的车辆(例如，参见日本专利申请公报No.JP-A-2004-117071)。
当设定了新的融合物体时，与前次记录的融合物体进行一致性比较，如果具有一致性，则更新该融合物体信息。然而，如果不具有一致性，则重新记录该新的融合物体，并且立即删除不具有一致性的之前的融合物体。
然而，如果由诸如立体摄像机之类的成像装置获取的图像由于光线接收条件(例如傍晚或有阴影)而变得不稳定，即便物体存在(并且由雷达检测到)，图像检测物体也经常瞬时消失(未检测到)。通常情况下，当发生这种瞬时图像消失时，不具有一致性的前次的物体被立即删除并且反复地更新、删除、更新融合物体，使得不能正确地更新物体的尺寸。因此，通过使用融合物体的历史信息(连续检测率)算出的信息的可靠性可能不同于实际情况。例如当前方车辆与路上的白线瞬时重叠时，或者当两个或更多个前方车辆瞬时重叠时，可能会对融合物体进行不正确的更新，从而使图像检出物体的宽度由于显得过宽而被错误地删除。
发明内容
本发明提供一种物体检测装置和检测物体的方法，即便在来自于成像装置的瞬时不稳定结果而不能正确地获得融合物体的尺寸信息时，所述物体检测装置和检测物体的方法也能够适当地更新融合物体。
根据本发明第一个方面的物体检测装置具有：雷达装置，其检测物体的位置；成像装置，其检测物体的位置和尺寸；融合处理装置，其在雷达装置和成像装置的检测结果满足预定融合条件时融合由雷达装置检测到的物体和由成像装置检测到的物体以生成具有位置信息和尺寸信息的融合物体。该融合处理装置具有更新装置，如果来自成像装置的检测结果相对于来自雷达装置的检测结果不满足融合条件，则该更新装置通过基于之前获得的融合物体的尺寸信息进行插值而生成临时融合物体并且将之前获得的融合物体更新成该临时融合物体。
根据本发明第一个方面的物体检测装置，即便由于成像装置因检测不到图像或误检了图像而使得来自成像装置的瞬时不稳定检测结果而不能正确地获得尺寸信息，在假定来自成像装置的检测结果错误并且之前检测到的物体仍然存在的情况下，雷达装置也可以检测到生成的融合物体。而且，考虑到尺寸信息的可靠性降低，通过生成临时融合物体——该临时融合物体具有通过基于之前获得的融合物体的尺寸信息进行插值而获得的尺寸信息——能够在使无法正确地获得尺寸信息的影响最小化的情况下更新融合物体。
在本发明第一个方面的物体检测装置中，随着时间的流逝，当来自成像装置的检测结果相对于来自雷达装置的检测结果不满足融合条件时，更新装置可改变临时融合物体的尺寸信息以使临时融合物体的尺寸信息偏离与之前获得的融合物体的尺寸信息接近的值。
根据本发明第一个方面的物体检测装置，因为随着时间的流逝，当来自成像装置的检测结果相对来自雷达装置的检测结果而言不满足融合条件时，改变通过插值获取的临时融合物体的尺寸信息以使其偏离与之前获得的融合物体的尺寸信息接近的值，所以能够减小随着时间的经过尺寸信息的可靠性的减小的影响程度。
在本发明第一个方面的物体检测装置中，随着时间的流逝，更新装置非线性地增大临时融合物体的尺寸信息的变化量。
根据本发明第一个方面的物体检测装置，因为临时融合物体的尺寸信息的变化量非线性地增大，所以当成像装置在提供瞬时不稳定检测结果之后而再次提供正常检测结果时，根据插值过程中的预测结果便于恢复为初始融合物体。另外，当与预测结果相反——即来自雷达装置的检测结果错误而来自成像装置的检测结果正确时，在插值过程中可以减小错误信息对后续阶段逻辑处理的影响。
附图说明
通过下文中结合附图对示例性实施方式的描述，本发明的上述以及其它目的、特征和优点将变得显而易见，附图中相同的附图标记用于表示相同的元件，其中：
图1示出了根据本发明实施方式的碰撞减少装置的构造；
图2是示出相对于雷达物体设定的搜索区域的示例的示意图；
图3A、图3B和图3C分别是示出在多个图像物体存在于搜索区域内的情况下插值操作和融合物体生成的示例的示意图；
图4是示出融合逻辑部件进行的实际搜索操作的示例的示意图；
图5是示出在融合逻辑部件进行搜索操作及融合物体生成之后的状态的示意图；
图6是示出消失次数与系数值之间特性关系的图表；
图7A、图7B、图7C和图7D是按时间顺序示出在各种次数的图像消失的情形下融合物体生成的示例的示意图；以及
图8是示出本发明实施方式中的融合物体操作的流程的简化流程图。
具体实施方式
下面参照附图描述根据本发明的物体检测装置的示例性实施方式。该实施方式是本发明的物体检测装置在安装于车辆(“宿主车辆”)上的碰撞减少装置上的应用的一个示例。该实施方式的碰撞减少装置将宿主车辆前方的车辆(“前方车辆”)作为检测目标进行检测并执行各种控制以防止或减少与前方车辆的碰撞。具体而言，该实施方式的碰撞减少装置具有两个传感器、毫米波雷达以及立体摄像机，所述传感器、毫米波雷达以及立体摄像机通过将毫米波雷达检测到的物体与立体摄像机检测到的物体进行比较来检测前方车辆。
下面将参照图1至图8描述根据本发明实施方式的碰撞减少装置1。图1示出根据该实施方式的碰撞减少装置1的构造。碰撞减少装置1检测前方车辆，并且当检测到前方车辆时根据发生碰撞的可能性执行制动控制、悬架控制、座椅安全带控制以及警示信号控制。为了检测前方车辆，碰撞减少装置1基于来自毫米波雷达的检测信息设定雷达物体并基于来自立体摄像机的立体图像设定图像物体，并且还通过比较雷达物体和图像物体而设定融合物体。
上述碰撞减少装置1具有对应于雷达装置的实施方式的毫米波雷达2、对应于成像装置的实施方式的立体摄像机3、制动ECU(电子控制单元)4、悬架控制致动器5、座椅安全带致动器6、蜂鸣器7以及碰撞减少ECU10等，这些元件经由CAN(控制器区域网络；一种标准的车载局域网规范)发送和接收各种信号。
首先来描述各种类型的物体。雷达物体是由毫米波雷达2检测出的物体。该雷达检测到的距物体的距离以及物体的水平位置被设定为雷达物体信息。图像物体是由立体摄像机3检测出的物体。立体摄像机3检测到的距物体的距离以及水平位置(包括作为物体尺寸的物体宽度)被设定为图像物体信息。融合物体是雷达物体和图像物体被确定为同一物体的物体，该融合物体是通过将在同一搜索区域内存在的满足融合条件的雷达物体和图像物体融合在一起形成的物体。在融合物体中设定由雷达物体与图像物体的信息融合在一起的融合水平位置(包括作为尺寸信息的水平宽度)和距雷达物体的距离。前方车辆的水平位置以宿主车辆的中心位置作为参照位置，宿主车辆的中心位置被设定为零，宿主车辆的中心位置右侧的位置为正值，朝向宿主车辆的中心位置左侧的为负值。每个所述物体的位置可通过距离(位置信息)和水平位置(尺寸信息)限定为相对于车辆位置的位置。相对速度等也可被设定为雷达物体信息，并且深度、高度、高度位置以及相对速度等可被设定为图像物体信息。在这些情况下，其它信息也可被设定为融合物体信息。
在该实施方式中，响应于下文将要描述的融合操作结果，除了上述正常的融合物体之外，还将使用单独雷达融合物体、单独图像融合物体以及图像消失融合物体。单独雷达融合物体是不能与图像物体融合的单独雷达物体。单独图像融合物体是不能与雷达物体融合的单独图像物体。图像消失融合物体是在由于例如当相对于已生成的融合物体更新图像时发生的图像消失所致的不可能继续融合时生成的物体。图像消失融合物体是临时融合物体的示例。
毫米波雷达2通过使用毫米波来检测物体。毫米波雷达2安装在车辆前部的中央位置。毫米波雷达2在水平面内扫描毫米波，沿向前的方向传输毫米波并接收经过反射的毫米波。毫米波雷达2将传输出去的毫米波数据和接收到的毫米波数据做为雷达信号发送给碰撞减少ECU10。所述传输出去和接收到的数据包括这样的信息：例如传输出去的毫米波信息、关于是否可以接收到对应于传输出去的毫米波的反射波的信息以及来自反射波的任何接收到的信息。
立体摄像机3具有沿水平方向以预定距离分开的两个电荷耦合装置式摄像机(CCD摄像机)。立体摄像机3安装在车辆前部的中央位置。立体摄像机3通过上述两个CCD摄像机进行摄像并将左侧和右侧图像的数据发送给碰撞减少ECU10。
制动ECU4调节四个车轮的轮缸的液压从而控制四个车轮的制动力。制动ECU4根据用于各个车轮的目标制动力来设定用于各个车轮的液压控制信号，这些液压控制信号被发送给制动控制致动器，所述制动控制致动器改变各个车轮的轮缸液压。具体而言，当制动ECU4接收到来自碰撞减少ECU10的用于各个车轮的目标制动力信号时，制动ECU4基于由目标制动力信号指示的目标制动力来设定各个车轮的液压控制信号。当接收到液压控制信号时，制动控制致动器根据压力控制信号指示的目标液压来改变轮缸的液压。
悬架控制致动器5改变四个车轮处的主动式悬架的液压。当悬架控制致动器5接收到来自碰撞减少ECU10的目标阻尼力信号时，各个悬架控制致动器基于由目标阻尼力信号指示的目标阻尼力设定目标液压从而基于目标液压来改变主动式液压悬架的液压。尽管图1中仅示出了一个悬架控制致动器5，但实际上每个车轮处都设置有一个悬架控制致动器。
座椅安全带致动器6张紧各条座椅安全带从而改变座椅安全带的束缚力。当座椅安全带致动器6接收到来自碰撞减少ECU10的用于各条座椅安全带的目标张紧量信号时，座椅安全带致动器6响应于由目标张紧量信号指示的目标张紧量而张紧所述座椅安全带。尽管图1中仅示出了一个座椅安全带致动器6，但是事实上每条座椅安全带都设置有座椅安全带致动器6。当蜂鸣器7接收到来自碰撞减少ECU10的报警信号时，蜂鸣器7便发出蜂鸣声音。
碰撞减少ECU10由诸如中央处理器(CPU)、只读存储器(ROM)以及随机存取存储器(RAM)等元件形成，并且执行碰撞减少装置1的总体控制。碰撞减少ECU10具有雷达物体设定器11、图像物体设定器12、融合逻辑部件13、存储器14、碰撞预测器15、车辆控制器16等。在基于CPU的主时钟的每个时间段，碰撞减少ECU10获取来自于毫米波雷达2获取雷达信号以及来自于立体摄像机3的图像信号，并且在每个预定时间段由雷达物体设定器11基于雷达信息执行雷达物体设定操作、由图像物体设定器12基于立体图像执行图像物体设定操作、并由融合逻辑部件13基于设定的雷达物体和图像物体执行融合操作。这样一来，便能够检测出前方车辆，并能够响应于与前方车辆碰撞的可能性而执行对制动ECU4、悬架控制致动器5、座椅安全带致动器6以及蜂鸣器7的控制。
现在描述雷达物体设定器11。碰撞减少ECU10基于从发射到接收毫米波的时间计算与前方物体之间的距离。在由毫米波雷达2检测物体时，由于在接收到具有高于预定阈值的强度的反射毫米波时便检测到了物体，所以在接收到具有高于预定阈值的强度的反射毫米波时雷达物体设定器11便设定一个雷达物体。因为这样一来可以根据由毫米波雷达2进行的物体检测而准确地检测出与物体之间的距离，因此设定的雷达物体的距离准确性非常高。
现在将描述图像物体设定器12。图像物体设定器12利用在左侧立体图像和右侧立体图像之间物体的视觉变动通过三角测量来识别车辆前方的物体，并在可以识别出物体时设定图像物体。当设定了图像物体时，图像物体设定器12基于所述立体图像计算立体摄像机3与物体之间的距离以及物体的水平位置。该距离和位置构成图像物体信息。具体而言，该位置信息是包括物体的水平宽度并表示由立体摄像机3检测到的物体沿水平方向的范围的信息。由于立体摄像机3在可以根据左侧立体图像和右侧立体图像识别出物体时便进行物体识别，因此在每次识别出物体时图像物体设定器12便设定一个图像物体。
现在描述作为具有更新装置的融合处理装置的融合逻辑部件13。融合逻辑部件13在每一给定时间段内便周期性地执行物体搜索操作和融合物体生成操作。首先，当雷达物体设定器11检测到雷达物体时，如图2所示，融合逻辑部件13将相对于中心位置沿纵向为±L沿横向为±W的搜索区域SA设定为融合条件，其中将设定的雷达物体的距离和水平位置作为该中心位置。图2示出了相对于该雷达物体设定的搜索区域的示例。诸如SA之类的搜索区域基于诸如车辆平均尺寸之类的因素预先建立并保存在存储器14中。基于由图像物体设定器12检测到的图像物体，融合逻辑部件13判定在搜索区域SA内在图像物体的位置处(距离和水平位置)是否存在物体。如果搜索区域SA内存在图像物体，则融合逻辑部件13判定雷达物体与图像物体之间存在相似性并判定雷达物体与图像物体是同一物体。
如果判定出雷达物体与图像物体是同一物体，则融合逻辑部件13通过融合雷达物体信息与相应的图像物体信息而生成融合物体。雷达物体的距离被设定为用作融合物体信息的距离。雷达物体的水平位置以及多个图像物体的具有左边缘和右边缘的一个水平位置被设定为融合物体的信息的水平位置。因此，水平位置是包括物体水平宽度的信息，并且是毫米波雷达2和立体摄像机3能够检测物体的最宽的水平方向范围。
如图2所示，搜索区域被设定为以雷达物体MP为中心，并且一个图像物体IP存在于搜索区域SA内。在图2中，例如，雷达物体用X表示，图像物体用H表示，并且融合物体用方框表示。H表示图像物体，并且方框表示融合物体，融合物体由水平长度和水平宽度表示，水平宽度设定在图像物体和融合物体中。因此，在图2的示例中，雷达物体MP和图像物体IP是满足融合条件的同一检测物体，并且融合物体FP通过使图像物体IP的水平宽度与雷达物体MP的中心位置重合而进行设定，如箭头所示。在这种情况下，因为融合物体基于雷达物体而生成，所以雷达物体标号不变地用作融合物体标号历史控制，以便用于追踪融合物体。
而且，在多个图像物体存在于搜索区域SA内的情况下，多个图像物体被判定为与雷达物体相同。图3A、图3B和图3C是示出了多个图像物体存在于搜索区域内时插值操作和融合物体生成的示例的示意图。因为立体摄像机3检测竖向边缘图像，所以可能会出现例如图3A所示的情况，即，检测到位于搜索区域SA内的一个物体的两个边缘从而检测出所包含的多个图像物体IPa和IPb。为了处理这种情况下，在生成融合物体之前，执行插值操作以获取图像物体IPa和IPb的最大宽度，如图3B所示，从而生成单个经过插值的图像物体IPab，融合物体FPab通过采用插值的图像物体IPab而生成，如图3C所示。
图4是示出了由融合逻辑部件13进行的实际搜索操作的示例的示意图。图4中示出的情形是：作为操作对象的雷达物体MP2被设定在宿主车辆OV前方的车辆FV后部，图像物体IP1存在于使用雷达物体MP2作为基准的搜索区域SA2内，从而满足融合条件并设定融合物体FP2。下标标号表示各个物体的物体标号，并且融合物体标号用雷达物体标号控制。其它雷达物体MP1、MP3、MP4以及图像物体IP2、IP3等表示当以雷达物体MP2作为基准时不满足融合条件的示例。
图5是示出相对于图4所示情形由融合逻辑部件13进行的搜索操作和融合物体生成之后的状态的示意图。如上所述，除了设定融合物体FP2之外，还相对于雷达物体MP1、MP3、MP4分别设定了单独雷达融合物体FMP1、FMP3、FMP4，并且相对于图像物体IP18、IP19分别设定了单独图像融合物体FIP18、FIP19(物体标号根据预定规则分配)，所有这些都输出给碰撞预测器15并被适当地利用。
现在描述一旦生成融合物体，当进行图像更新时(融合搜索操作时)进行随后的融合条件判定时，尽管毫米波雷达2能检测到物体但立体摄像机3检测不到物体的情况下(未检测到的情况)具有融合逻辑部件13的更新装置进行的更新操作。当毫米波雷达2的检测结果产生错误并且实际物体不存在时，这种情况就可能发生，例如经常发生的是，由于受到光线接收条件的影响(例如傍晚或因为阴影)，在立体摄像机3侧存在图像检出物体瞬时消失(未检测到)的现象。
考虑到上述问题，在该实施方式中，在这些情况下，通过赋予来自毫米波雷达2的具有高度检测准确性的检测结果以优先权而进行预测，其中来自立体摄像机3的检测结果存在瞬时误差并且来自前次的图像物体存在，图像消失融合物体(临时融合物体)通过基于之前获得的融合物体的尺寸信息所进行的插值预测而生成，从而使得在预定时间段(预定次数内)内的上次的相应的融合物体的更新得以连续进行。在进行这种操作的过程中，由于图像消失融合物体是在没有检测到具有尺寸信息的图像物体的情况下生成的，使得至少尺寸信息的可靠性减小，所以通过对以预测方式生成的图像消失融合物体进行插值设定而成的诸如水平宽度之类的尺寸信息相对于来自前次的相应的融合物体的尺寸信息减小了。
可能生成图像消失融合物体的次数被限制到例如五次连续图像消失，并且如果超出该连续生成次数，则判定来自立体摄像机3的检测结果是正确的并且图像物体实际上不存在。因为图像消失持续的越长(图像消失的时间越长)图像物体的尺寸信息便减小，设定在图像消失融合物体中的尺寸信息随着时间的流逝而减小，从而自接近原始融合物体的尺寸信息的值偏离(沿尺寸信息减小的方向)。具体而言，在该实施方式中，如图6所示，用于确定设定在所生成的图像消失融合物体中的尺寸信息的系数值随着图像消失的次数的增加而迅速减小，图像消失的次数表示时间的流逝，使得缩减量以非线性方式减小。图6是示出了消失次数与系数值之间特性关系的图表，在这种情况下设定为使得非线性地增大缩减量。如图6中以虚线所示，也可响应于图像消失的次数而以线性方式减小系数值。
现在将参照图7A-7D描述伴随着图像更新而生成图像消失融合物体的示例。图7提供了其中示出各种图像消失次数的情况下融合物体生成的示例的时序图。首先，在图7A中，图像更新帧0是被用作基准的前提条件，雷达物体MP和图像物体IP的检测结果存在于搜索区域内，从而满足融合条件，使得所需的对图像物体IP的插值操作被用于生成经过插值的图像物体IP’并将经过插值的图像物体IP’与雷达信息MP相融合，从而生成融合物体FP。通常，图像更新帧的0状态在每次图像更新时会被重复，直至检测不到物体。
在图7B中，处于接下来的更新判定过程中的图像更新帧1示出尽管雷达物体MP仍然持续存在但是图像物体IP消失的情况。此时，如果雷达物体MP之前并不是单独雷达融合物体，融合逻辑部件13便访问存储在存储器14中的表格，将图像更新帧0的过程中为融合物体FP获取的尺寸信息乘以预定系数(例如0.95)，从而生成通过尺寸信息预测的经过插值的图像物体LIP1(该下标表示图像消失的次数)，具有该尺寸信息的经过插值的图像物体LIP1与雷达物体MP位置相融合从而生成图像消失融合物体LFP1(该融合物体的下标表示图像消失的次数)，从而使得将图像更新帧0的融合物体FP更新成图像更新帧1中的图像消失融合物体LFP1。
图7C示出图像更新帧2的情形，该情形是处于当更多的时间流逝之后的更新判定过程，在该过程中雷达物体MP按照原样持续存在，但是图像物体IP消失，如图中以虚线所示。此时，如果雷达物体MP在前次更新时不是单独雷达融合物体，融合逻辑部件13便访问存储在存储器14中的表格，将在图像更新帧0的过程中为融合物体FP获取的尺寸信息与预定系数(例如0.9)相乘，从而生成经过插值的图像物体LIP2并使具有该尺寸信息的经过插值的图像物体LIP2与雷达物体MP位置相融合从而生成图像消失融合物体LFP2，进而将图像更新帧0中的融合物体FP更新成图像更新帧1中的图像消失融合物体LFP2。
图7D示出进一步经过一些时间的情形，例如处于进行更新判定时图像更新帧4时，这时尽管雷达物体MP按照原样持续存在，但是图像物体IP仍然消失，如图中以虚线所示。此时，如果雷达物体MP在前一次不是单独雷达融合物体，融合逻辑部件13便访问存储在存储器14中的表格，将在图像更新帧0的过程中为融合物体FP获取的尺寸信息与预定系数(例如0.4)相乘，从而生成经过插值的图像物体LIP4，具有该尺寸信息的经过插值的图像物体LIP4与雷达物体MP位置相融合从而生成图像消失融合物体LFP4，进而将图像更新帧0中的融合物体FP更新成图像更新帧4中的图像消失融合物体LFP4。
通过执行以这种方式生成图像消失融合物体的操作，当第一次或第二次消失图像时，如果根据预测得知立体摄像机3使图像出现瞬时消失，假如随后恢复到立体摄像机3的正常检测结果，则可以迅速恢复到初始融合物体GP状态并执行更新。例如，在图像更新帧2中的图像物体IP以适当方式获得的情况下，可以从图7B中示出的图像消失融合物体LFP1迅速地恢复到图7A中示出的融合物体FP。以相同的方式，在图像更新帧3中的图像物体IP以适当方式获得的情况下，可以经由图7C中示出的图像消失融合物体LFP2和图7B中示出的图像消失融合物体LFP1迅速地恢复到图7A中示出的融合物体FP。特别地，如果图像消失的次数是1次或两次，由于在假设起始图像物体IP的图像物体信息的可靠性比较高的情况下将尺寸信息的减小量抑制到低水平，因此可以在图像消失融合物体LFP1和LFP2之间执行过渡，而不会产生不自然的感觉。
相比之下，如果图像消失持续4到5次，则与所估测的情况相反，来自立体摄像机3的检测结果(没检测到图像)是正确的，并且很有可能是毫米波雷达2的检测存在错误。在这种情况下，由于根据初始图像物体IP假设的图像物体信息的可靠性非常低，尺寸信息的减少量以非线性方式增大，因此图像消失融合物体LFP4几乎没有水平宽度值。因此，可以减小错误信息对后续阶段逻辑处理的影响。
现在描述碰撞预测器15。当融合逻辑部件13设定了融合物体(包括图像消失融合物体)时，在这种情况下存在前方车辆，碰撞预测器15在考虑车辆速度的情况下基于设定在所述融合物体中的与前方车辆之间的距离来分级设定碰撞可能性的级别(可能性高、可能性低、或者没有可能性)。
当由碰撞预测器15分级设定了碰撞可能性时，车辆控制器16可以响应于碰撞可能性的级别而控制例如悬架致动器5、座椅安全带致动器6和蜂鸣器7。
现在描述碰撞减少装置1的操作。参照图8中示出的流程图来描述融合逻辑部件13中的物体搜索操作和融合物体生成操作的流程，图8是示出了该实施方式中的操作流程的简化流程图。
毫米波雷达2在扫描的同时沿向前的方向传输毫米波，接收反射波，并将传输出去及接收到的数据作为雷达信号发送给碰撞减少ECU10。立体摄像机3捕获前方的图像，因此将获得的左侧图像和右侧图像作为图像信号发送给碰撞减少ECU10。
除了接收来自毫米波雷达2的雷达信号，碰撞减少ECU10还接收来自立体摄像机3的图像信号。雷达物体设定器11在每个给定时间段内基于根据雷达信号的雷达信息设定雷达物体。图像物体设定器12在每个给定时间段内基于左侧立体图像和右侧立体图像设定图像物体。
如下文将要描述的，融合逻辑部件13在每个给定时间段内执行物体搜索操作和融合物体生成操作。首先，在每个给定时间段内，获取雷达物体和图像物体的信息(步骤S1)。此时，识别待作为操作对象的雷达物体，基于雷达物体设定搜索区域，并且将围绕雷达物体而存在于该区域内的其它雷达物体和图像物体作为目标。
接下来，通过比较基于作为目标的雷达物体而获得的雷达物体或图像物体(步骤S2)，执行操作以判定存在于搜索区域内的雷达物体和图像物体是否因具有相似性而满足融合条件(步骤S3)。
在该判定操作中，如果没有相似性(步骤S3的结果为“否”)并且不是单独雷达物体(步骤S4的结果为“否”)，则融合逻辑部件13输出单独图像融合物体(步骤S5)。同样，如果没有相似性(步骤S3的结果为“否”)并且是单独雷达融合物体(步骤S4的结果为“是”)，在这种情况下前一次更新判定(更新帧)时雷达物体是单独雷达融合物体(步骤S6的结果为“是”)，则再次更新成单独雷达融合物体并由融合逻辑部件13进行输出(步骤S7)。由于融合物体标号与雷达物体标号相同，并且融合物体的历史以与雷达物体标号相同的标号管理，因此可以辨别前一次更新时的雷达融合物体是单独雷达融合物体还是融合物体。
如果融合条件满足并且判定出具有相似性(步骤S3的结果为“是”)，在对图像物体执行所需的插值操作(步骤S8)之后，将雷达物体的信息与图像物体的信息融合起来以生成融合物体，该融合物体从融合逻辑部件13输出(步骤S9)。在这种情况下，步骤S8处的所需插值操作是例如在图3中示出的满足融合条件的多个图像物体的融合操作，或者是在更新期间由于雷达物体和图像物体之间的差别而进行的插值操作。在步骤S9的操作中，通过查对物体标号，可以辨别融合物体是新的融合物体还是延续下来的待更新的融合物体。
另一方面，如果雷达物体满足融合条件但是图像物体不满足融合条件(步骤S3的结果为“否”，而步骤S4的结果为“是”)，如果之前更新判定(更新帧)时的雷达物体不是单独雷达融合物体(步骤S6的结果为“否”)，则预测出之前更新判定时的物体是融合物体并且此时图像消失，此时图像消失的次数被清点出来(步骤S10)，并且在通过使用相应于图像消失次数的插值系数对尺寸信息进行插值操作从而执行用于生成经过插值的图像物体的所需插值操作之后(步骤S11)，使雷达物体的信息和经过插值的图像物体的信息相互融合以生成图像消失融合物体，该图像消失融合物体由融合逻辑部件13输出。该图像消失融合物体更新前次更新判定的融合物体。图8中示出的操作对于雷达物体和图像物体的所有组合都以相同的方式执行。
通过前述融合操作，如果设定了当前的融合物体，则碰撞预测器15基于设定给该融合物体的信息分级设定碰撞可能性的级别，并且车辆控制器16响应于碰撞可能性的级别而控制悬架致动器5、座椅安全带致动器6和蜂鸣器7。通过这种控制，在与前方车辆碰撞的可能性级别低时，通过由座椅安全带致动器6张紧座椅安全带以及由蜂鸣器7发出蜂鸣声来通知驾驶员已靠近前方车辆。另外，如果与前方车辆碰撞的可能性级别增高时，根据制动ECU4在自动制动力作用下进行减速，由悬架控制致动器5调节悬架的硬度，通过由座椅安全带致动器6进一步张紧座椅安全带来紧紧地束缚住乘客，并且从蜂鸣器7发出蜂鸣声通知驾驶员宿主车辆持续靠近前方车辆。
本发明不限于上述实施方式，可以在本发明的精神范围内采取各种形式。
例如，尽管该实施方式中描述的是在安装于车上的碰撞减少装置上的应用，但是本发明也可以结合到其它驾驶辅助装置或外围监控装置中，例如除了用作物体检测装置之外，本发明还可以应用到自适应巡航控制装置或车辆跟驰装置上。并且，除了前方车辆之外，检测对象还可以是诸如行人或自行车之类的另一物体。此外，除了安装在车上之外，本发明还可以安装在机器人等上。
虽然在上述实施方式中将毫米波雷达2用作雷达装置，但是任何类型的雷达均可使用。以相同的方式，虽然将立体摄像机3用作成像装置，但是也可以使用单镜头摄像机。
虽然作为示例描述了上述实施方式，其中在进行融合条件更新判定时(图像更新时)立体摄像机3的检测结果相对毫米波雷达2而言不满足融合条件，但是不限制图像消失(未检出图像)，例如，可应用于下述情形：即，在前方车辆与路上的白线瞬时重叠的情况下或者几个前方车辆瞬时重叠的情况下错误地检测出图像检出物体的宽度非常宽的结果。在这些情况下，在来自立体摄像机3的检测结果中，图像物体的尺寸信息非常大，使得不满足融合条件，在这种情况下可改变该物体以使得随着时间的流逝偏离与融合物体的尺寸信息接近的值。特别地，期望的是，待改变的尺寸信息的变化量随着时间的流逝以非线性方式增大。例如，如果某尺寸是初始融合物体尺寸的两倍，则临时融合物体的尺寸信息可以变化为初始融合物体的尺寸信息的1.05倍、1.1倍、1.3倍、1.6倍以及2.0倍。
虽然在该示例性实施方式中通过比较雷达物体和图像物体来判定是否满足融合条件，但是本发明不限于此。例如，如果前窗玻璃刮水器或光源被摄像并且判定出不能根据图像信息检测出物体，则仅根据图像信息判定出不满足融合条件。

Claims (9)

1.一种物体检测装置，包括：
雷达装置，其用于检测物体的位置信息；
成像装置，其用于检测物体的位置和尺寸信息；
融合处理装置，其用于在所述雷达装置和所述成像装置的检测结果满足预定融合条件时融合由所述雷达装置检测到的物体和由所述成像装置检测到的物体以生成具有位置信息和尺寸信息的融合物体，
其中，所述融合处理装置包括更新装置，当来自所述成像装置的检测结果相对于来自所述雷达装置的检测结果不满足所述融合条件时，所述更新装置生成临时融合物体并将之前获得的融合物体更新成所述临时融合物体，所述临时融合物体具有通过基于所述之前获得的融合物体的尺寸信息进行插值而获得的尺寸信息。
2.根据权利要求1所述的装置，其中，
随着时间的流逝，在所述成像装置的检测结果相对于所述雷达装置的检测结果不满足所述融合条件的情况下，所述更新装置改变通过插值获得的所述临时融合物体的尺寸信息，以使所述临时融合物体的尺寸信息偏离与所述之前获得的融合物体的尺寸信息接近的值。
3.根据权利要求2所述的装置，其中，
所述更新装置非线性地增大所述临时融合物体的尺寸信息的变化量。
4.根据权利要求2所述的装置，其中，
所述更新装置使所述临时融合物体的尺寸信息小于所述之前获得的融合物体的尺寸信息。
5.根据权利要求2所述的装置，其中，
所述更新装置生成的所述临时融合物体具有比所述之前获得的融合物体的尺寸信息更大的尺寸信息。
6.根据权利要求1至5中任一项所述的装置，其中，
所述融合处理装置基于由所述雷达装置检测到的物体的位置信息设定物体搜索区域，并且当判定出基于由所述成像装置检测到的物体的位置和尺寸信息设定的图像物体位置包含在所述搜索区域内时，所述融合处理装置判定已经满足所述预定融合条件。
7.根据权利要求1至6中任一项所述的装置，还包括：
碰撞预测器，其基于由所述融合处理装置生成的融合物体的位置信息预测与前方另一车辆碰撞的可能性。
8.一种检测物体的方法，包括下列步骤：
由雷达装置接收物体的位置信息；
由成像装置接收物体的位置和尺寸信息；以及
当所述雷达装置和所述成像装置的检测结果满足预定融合条件时，融合由所述雷达装置检测到的物体和由所述成像装置检测到的物体以生成具有位置信息和尺寸信息的融合物体，以及
当所述成像装置的检测结果相对于所述雷达装置的检测结果不满足所述融合条件时生成临时融合物体，所述临时融合物体具有基于之前获得的融合物体的尺寸信息进行插值而获得的尺寸信息，以及
将所述之前获得的融合物体更新成所述临时融合物体。
9.根据权利要求8所述的方法，其中，
在生成所述临时融合物体的步骤中，随着时间的流逝，在所述成像装置的检测结果相对于所述雷达装置的检测结果不满足所述融合条件的情况下，将通过插值获得的所述临时融合物体的尺寸信息设定为偏离与所述之前获得的融合物体的尺寸信息接近的值。
CN2007800063672A 2006-02-24 2007-02-23 物体检测装置和检测物体的方法 Expired - Fee Related CN101389977B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP049169/2006 2006-02-24
JP2006049169A JP4595833B2 (ja) 2006-02-24 2006-02-24 物体検出装置
PCT/IB2007/000436 WO2007096755A1 (en) 2006-02-24 2007-02-23 Object detecting apparatus and method for detecting an object

Publications (2)

Publication Number Publication Date
CN101389977A true CN101389977A (zh) 2009-03-18
CN101389977B CN101389977B (zh) 2012-07-18

Family

ID=38191848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800063672A Expired - Fee Related CN101389977B (zh) 2006-02-24 2007-02-23 物体检测装置和检测物体的方法

Country Status (5)

Country Link
US (1) US7825849B2 (zh)
EP (1) EP1991884B1 (zh)
JP (1) JP4595833B2 (zh)
CN (1) CN101389977B (zh)
WO (1) WO2007096755A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995572A (zh) * 2009-08-13 2011-03-30 Tk控股公司 对象感测系统
CN104422928A (zh) * 2013-08-22 2015-03-18 株式会社电装 目标检测设备以及程序
CN104569979A (zh) * 2013-10-17 2015-04-29 株式会社电装 目标检测设备
CN105128836A (zh) * 2014-05-30 2015-12-09 株式会社万都 自主紧急制动系统及其中识别行人的方法
CN107408348A (zh) * 2015-03-31 2017-11-28 株式会社电装 车辆控制装置以及车辆控制方法
CN107848530A (zh) * 2015-06-16 2018-03-27 株式会社电装 车辆控制装置以及车辆控制方法
CN111736140A (zh) * 2020-06-15 2020-10-02 杭州海康微影传感科技有限公司 一种对象检测方法和摄像设备
CN111867351A (zh) * 2018-03-21 2020-10-30 罗伯特·博世有限公司 用于确定农作物的生存高度的方法
CN113412506A (zh) * 2019-02-13 2021-09-17 日立安斯泰莫株式会社 车辆控制装置及电子控制系统

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6917309B2 (en) * 2002-10-28 2005-07-12 Integritech System Engineering Ltd. Foreign object detection system and method
DE102007018470A1 (de) * 2007-04-19 2008-10-23 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren zur Objektplausibilisierung
JP5012270B2 (ja) * 2007-07-10 2012-08-29 トヨタ自動車株式会社 物体検出装置
JP5061814B2 (ja) * 2007-09-25 2012-10-31 株式会社デンソー 車幅検出方法及び装置、車両制御装置
US9778351B1 (en) * 2007-10-04 2017-10-03 Hrl Laboratories, Llc System for surveillance by integrating radar with a panoramic staring sensor
JP5083172B2 (ja) * 2008-10-29 2012-11-28 トヨタ自動車株式会社 衝突予測装置
US20110102237A1 (en) * 2008-12-12 2011-05-05 Lang Hong Fusion Algorithm for Vidar Traffic Surveillance System
JP4858574B2 (ja) * 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5385009B2 (ja) * 2009-05-29 2014-01-08 日立オートモティブシステムズ株式会社 車両制御装置および車両制御方法
DE102009045286A1 (de) * 2009-10-02 2011-04-21 Robert Bosch Gmbh Verfahren zur Abbildung des Umfelds eines Fahrzeugs
US9135830B2 (en) * 2010-02-18 2015-09-15 Xsight Systems Ltd. Airport travel surface edge lighting and foreign object detection system and method
EP2583131B1 (en) * 2010-06-15 2019-11-06 Razer (Asia Pacific) Pte. Ltd. Personal viewing devices
CN102542843A (zh) * 2010-12-07 2012-07-04 比亚迪股份有限公司 防止车辆碰撞的预警方法及装置
GB2491560B (en) * 2011-05-12 2014-12-03 Jaguar Land Rover Ltd Monitoring apparatus and method
US8705797B2 (en) * 2012-03-07 2014-04-22 GM Global Technology Operations LLC Enhanced data association of fusion using weighted Bayesian filtering
EP2639781A1 (en) * 2012-03-14 2013-09-18 Honda Motor Co., Ltd. Vehicle with improved traffic-object position detection
JP5904270B2 (ja) * 2012-03-15 2016-04-13 トヨタ自動車株式会社 車両走行制御装置
DE102012211391A1 (de) * 2012-07-02 2014-01-02 Continental Teves Ag & Co. Ohg Verfahren und System zur Informationsnutzung
EP2894617B1 (en) * 2012-09-03 2016-11-30 Toyota Jidosha Kabushiki Kaisha Collision determination device and collision determination method
CN104584098B (zh) * 2012-09-03 2017-09-15 丰田自动车株式会社 碰撞判定装置和碰撞判定方法
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
JP5812064B2 (ja) * 2012-11-22 2015-11-11 株式会社デンソー 物標検出装置
EP2821308B1 (en) * 2013-07-03 2016-09-28 Volvo Car Corporation Vehicle system for control of vehicle safety parameters, a vehicle and a method for controlling safety parameters
DE112014003177T5 (de) * 2013-07-08 2016-03-31 Honda Motor Co., Ltd. Objekterkennungsvorrichtung
US9582886B2 (en) 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
SE537621C2 (sv) 2013-09-10 2015-08-11 Scania Cv Ab Detektering av objekt genom användning av en 3D-kamera och en radar
JP6208260B2 (ja) * 2013-12-26 2017-10-04 株式会社日立製作所 物体認識装置
JP6036724B2 (ja) * 2014-02-17 2016-11-30 トヨタ自動車株式会社 車両周辺状況認識装置および車両制御装置
JP6317986B2 (ja) * 2014-04-16 2018-04-25 本田技研工業株式会社 物体認識装置
JP6429360B2 (ja) 2014-04-25 2018-11-28 本田技研工業株式会社 物体検出装置
JP6330160B2 (ja) 2014-05-09 2018-05-30 本田技研工業株式会社 物体認識装置
JP6424467B2 (ja) * 2014-05-27 2018-11-21 株式会社デンソー 物標検出装置
US9643616B2 (en) 2014-08-13 2017-05-09 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for providing predictive vehicle dynamics
JP6265095B2 (ja) * 2014-09-24 2018-01-24 株式会社デンソー 物体検出装置
JP6313198B2 (ja) * 2014-11-28 2018-04-18 株式会社デンソー 車両制御装置
JP6380232B2 (ja) * 2015-05-19 2018-08-29 株式会社デンソー 物体検出装置、及び物体検出方法
JP6311648B2 (ja) * 2015-05-29 2018-04-18 株式会社デンソー 衝突緩和装置
JP6365421B2 (ja) * 2015-06-02 2018-08-01 株式会社デンソー 車両制御装置、及び車両制御方法
WO2016204213A1 (ja) * 2015-06-16 2016-12-22 株式会社デンソー 車両制御装置、及び車両制御方法
JP2017054311A (ja) * 2015-09-09 2017-03-16 株式会社デンソー 物体検出装置
EP3358368A4 (en) * 2015-09-30 2019-03-13 Sony Corporation SIGNAL PROCESSING APPARATUS, SIGNAL PROCESSING METHOD, AND PROGRAM
US10145951B2 (en) 2016-03-30 2018-12-04 Aptiv Technologies Limited Object detection using radar and vision defined image detection zone
JP6223504B1 (ja) * 2016-05-18 2017-11-01 三菱電機株式会社 レーダ装置およびこれを用いたセンサフュージョン装置
JP6493365B2 (ja) 2016-05-19 2019-04-03 株式会社デンソー 車両制御装置、車両制御方法
WO2017199971A1 (ja) * 2016-05-19 2017-11-23 株式会社デンソー 車両制御装置、車両制御方法
JP6547785B2 (ja) * 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
US20180050659A1 (en) * 2016-08-22 2018-02-22 Faraday&Future Inc. Electric seatbelt notification systems and methods
JP6654999B2 (ja) 2016-12-12 2020-02-26 株式会社Ｓｏｋｅｎ 物標検出装置
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP6855776B2 (ja) * 2016-12-16 2021-04-07 株式会社デンソー 物体検出装置、及び物体検出方法
JP6500887B2 (ja) * 2016-12-26 2019-04-17 トヨタ自動車株式会社 車両用注意喚起装置
JP6787157B2 (ja) * 2017-01-31 2020-11-18 株式会社デンソー 車両制御装置
DE102017206123A1 (de) * 2017-04-10 2018-10-11 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung
JP7045155B2 (ja) * 2017-09-14 2022-03-31 株式会社デンソー 物標認識装置、物標認識方法及び車両制御システム
JP7163589B2 (ja) * 2018-02-14 2022-11-01 株式会社デンソー 運転支援装置
KR102524293B1 (ko) * 2018-11-07 2023-04-21 현대자동차주식회사 전방 차량 오인식 제거 장치 및 그의 오인식 제거 방법과 그를 포함하는 차량
KR102555916B1 (ko) * 2018-12-12 2023-07-17 현대자동차주식회사 Odm 정보 신뢰성 판단 장치 및 그의 판단 방법과 그를 이용하는 차량
JP7185547B2 (ja) * 2019-02-07 2022-12-07 株式会社デンソー 車両検出装置
CN112346047A (zh) * 2020-11-10 2021-02-09 许昌学院 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000073818A1 (de) * 1999-05-26 2000-12-07 Robert Bosch Gmbh Objektdetektionssystem
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
JP2001134769A (ja) 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
JP3639191B2 (ja) * 2000-07-10 2005-04-20 株式会社デンソー 物体認識方法及び装置、記録媒体
DE10133945A1 (de) * 2001-07-17 2003-02-06 Bosch Gmbh Robert Verfahren und Vorrichtung zum Austausch und zur Verarbeitung von Daten
US6862537B2 (en) * 2002-03-21 2005-03-01 Ford Global Technologies Llc Sensor fusion system architecture
JP2004117071A (ja) 2002-09-24 2004-04-15 Fuji Heavy Ind Ltd 車外監視装置、及び、この車外監視装置を備えた走行制御装置
JP4215520B2 (ja) * 2003-01-14 2009-01-28 富士通テン株式会社 レーダ装置
JP3779280B2 (ja) * 2003-03-28 2006-05-24 富士通株式会社 衝突予測装置
JP4265931B2 (ja) * 2003-05-22 2009-05-20 富士重工業株式会社 先行車両検出装置
US7321669B2 (en) * 2003-07-10 2008-01-22 Sarnoff Corporation Method and apparatus for refining target position and size estimates using image and depth data
JP3918791B2 (ja) * 2003-09-11 2007-05-23 トヨタ自動車株式会社 物体検出装置
JP3941765B2 (ja) * 2003-09-11 2007-07-04 トヨタ自動車株式会社 物体検出装置
JP4144538B2 (ja) * 2003-11-07 2008-09-03 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP4074577B2 (ja) * 2003-11-07 2008-04-09 ダイハツ工業株式会社 車両検出方法及び車両検出装置
JP4763250B2 (ja) * 2004-04-09 2011-08-31 株式会社デンソー 物体検出装置
JP4289210B2 (ja) * 2004-05-14 2009-07-01 株式会社デンソー 車両用物体検出装置
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
US20060091653A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. System for sensing impending collision and adjusting deployment of safety device
US20060091654A1 (en) * 2004-11-04 2006-05-04 Autoliv Asp, Inc. Sensor system with radar sensor and vision sensor
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
JP4426436B2 (ja) * 2004-12-27 2010-03-03 株式会社日立製作所 車両検知装置
JP2006292621A (ja) 2005-04-13 2006-10-26 Toyota Motor Corp 物体検出装置
US20070036434A1 (en) * 2005-08-15 2007-02-15 Peter Saveliev Topology-Based Method of Partition, Analysis, and Simplification of Dynamical Images and its Applications
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP2007155469A (ja) * 2005-12-05 2007-06-21 Alpine Electronics Inc 車間距離検出装置および車間距離検出方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101995572A (zh) * 2009-08-13 2011-03-30 Tk控股公司 对象感测系统
CN104422928A (zh) * 2013-08-22 2015-03-18 株式会社电装 目标检测设备以及程序
CN104422928B (zh) * 2013-08-22 2017-09-19 株式会社电装 目标检测设备及方法
CN104569979A (zh) * 2013-10-17 2015-04-29 株式会社电装 目标检测设备
CN104569979B (zh) * 2013-10-17 2018-07-13 株式会社电装 目标检测设备
CN105128836B (zh) * 2014-05-30 2019-04-19 株式会社万都 自主紧急制动系统及其中识别行人的方法
CN105128836A (zh) * 2014-05-30 2015-12-09 株式会社万都 自主紧急制动系统及其中识别行人的方法
CN107408348A (zh) * 2015-03-31 2017-11-28 株式会社电装 车辆控制装置以及车辆控制方法
CN107848530A (zh) * 2015-06-16 2018-03-27 株式会社电装 车辆控制装置以及车辆控制方法
CN107848530B (zh) * 2015-06-16 2020-12-01 株式会社电装 车辆控制装置以及车辆控制方法
CN111867351A (zh) * 2018-03-21 2020-10-30 罗伯特·博世有限公司 用于确定农作物的生存高度的方法
CN113412506A (zh) * 2019-02-13 2021-09-17 日立安斯泰莫株式会社 车辆控制装置及电子控制系统
CN111736140A (zh) * 2020-06-15 2020-10-02 杭州海康微影传感科技有限公司 一种对象检测方法和摄像设备
CN111736140B (zh) * 2020-06-15 2023-07-28 杭州海康微影传感科技有限公司 一种对象检测方法和摄像设备

Also Published As

Publication number Publication date
EP1991884B1 (en) 2015-05-06
EP1991884A1 (en) 2008-11-19
US20090135065A1 (en) 2009-05-28
WO2007096755A1 (en) 2007-08-30
CN101389977B (zh) 2012-07-18
JP2007226680A (ja) 2007-09-06
JP4595833B2 (ja) 2010-12-08
US7825849B2 (en) 2010-11-02

Similar Documents

Publication Publication Date Title
CN101389977B (zh) 物体检测装置和检测物体的方法
US9637122B2 (en) Vehicle driving support apparatus for executing collision avoidance operations based on position and motion condition of target object
US9643617B2 (en) Friction coefficient estimation from camera and wheel speed data
KR101798519B1 (ko) 긴급 제동 시스템 및 그 제어방법
US10562532B2 (en) Autonomous driving system
CN108454631B (zh) 信息处理装置、信息处理方法以及记录介质
JP3912416B2 (ja) 車両逸脱防止制御装置
US8175334B2 (en) Vehicle environment recognition apparatus and preceding-vehicle follow-up control system
CN105339228B (zh) 静止目标识别的自适应巡航控制
US20190311272A1 (en) Behavior prediction device
US20170177955A1 (en) Image processing device, device control system, and computer-readable storage medium
US10787123B1 (en) Driver assistance system, and control method for the same
CN111341148B (zh) 用于处理多重反射信号的机动车的控制系统以及控制方法
KR102002421B1 (ko) 차량 주행 환경을 고려한 크루즈 컨트롤 장치 및 방법
US20210009113A1 (en) Vehicle and method for performing inter-vehicle distance control
JP7153717B2 (ja) 車両制御装置および車両
US20190092235A1 (en) Vehicle driving assistance method and apparatus using image processing
US20200290618A1 (en) Adaptive control of automated lane change in vehicle
US20190232960A1 (en) Vehicle control apparatus
US20200151464A1 (en) Method and device for ascertaining an optical flow based on an image sequence recorded by a camera of a vehicle
KR102298869B1 (ko) 차량 충돌 방지 장치 및 그 방법
CN111204335A (zh) 用于运行车辆以避免或消除交通拥堵的方法和设备
US11494674B2 (en) Driving action evaluating device, driving action evaluating method, and recording medium storing driving action evaluating program
US20200174134A1 (en) Object recognition via indirect signal reflection
US20220281445A1 (en) Method for Predicting a Future Driving Situation of a Foreign Object Participating in Road Traffic Device, Vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718