CN101242523A - 现场监视设备 - Google Patents

现场监视设备 Download PDF

Info

Publication number
CN101242523A
CN101242523A CNA2008100062661A CN200810006266A CN101242523A CN 101242523 A CN101242523 A CN 101242523A CN A2008100062661 A CNA2008100062661 A CN A2008100062661A CN 200810006266 A CN200810006266 A CN 200810006266A CN 101242523 A CN101242523 A CN 101242523A
Authority
CN
China
Prior art keywords
vehicle
subject vehicle
image
unit
vertical view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100062661A
Other languages
English (en)
Other versions
CN101242523B (zh
Inventor
田内真纪子
伊口整
永田麻子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN101242523A publication Critical patent/CN101242523A/zh
Application granted granted Critical
Publication of CN101242523B publication Critical patent/CN101242523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles

Abstract

一种在对象车辆(12)中使用的现场监视设备(1)，其从设置在道路(20)上的对象车辆(12)四周的道路侧捕获单元(21)获取道路图像，并且基于所获取的图像，通过在视图中包括远处的周围车辆(13)来以可直观识别的方式生成对象车辆(12)四周的现场的俯视图(30)，从而提供对象车辆(12)四周的现场的可精确理解的视图，以便易于令人满意地识别远处的周围车辆(13)，而不受限于道路侧捕获单元(21)的位置。

Description

现场监视设备
技术领域
本公开总地涉及一种在车辆中使用的现场监视/观察设备。
背景技术
近年来，公开了用于对汽车四周的现场进行监视的各种技术。例如，重新公布的专利文献WO00/64175(US7,161,616)中描述的设备具有在对象车辆上的多个拍摄装置(camera)，这些拍摄装置以多个角度捕获对象车辆四周的现场图像，通过变换视点来合成这些图像，以便生成对象车辆的俯视图，并在所述设备上显示俯视图。另外，日本专利文献如JP-A-2003-312415、JP-A-2005-5978、JP-A-2002-232948、JP-A-2006-107521、JP-A-2006-282111揭示了一种现场监视设备，其用于通过应用在第一篇专利文献中公开的技术来在俯视图中监测行进的对象车辆四周的周围车辆状况。
在上述第二至第五篇专利文献中揭示的现场监视设备仅利用设置在对象车辆上的车上图像捕获装置来生成俯视图，由于在所捕获的图像中车辆很小，因此难以使远处的车辆精确地显示在屏幕上。尤其是，由于难以在俯视图中发现正在靠近的车辆，因此高速靠近对象车辆的车辆可能不被识别为警告目标，直到达到近距离接触的剩余时间非常少。
发明内容
鉴于上述及其它问题，本公开提供了一种现场监视设备，其以可直观识别的方式显示远处的车辆，从而以更大的空中图像的形式来精确地提供有关对象车辆的现场监视信息。
本发明的现场监视设备包括：道路图像获取单元，其能够在对象车辆正在路上行驶时，从设置在对象车辆周围的道路侧捕获单元获取道路图像，该道路图像包括对象车辆四周的其它车辆；俯视图生成单元，其能够以从对象车辆上方的视点来生成对象车辆的俯视图；以及显示单元，其设置在对象车辆中，并能够显示该对象车辆的俯视图。通过利用视点变换来合成以多个道路侧捕获单元的不同角度(perspective)分别捕获的多个道路图像，生成对象车辆的俯视图，作为对象车辆附近区域的真实图像的视图，且对象车辆的位置以可识别的方式表示在俯视图中。
本发明的现场监视设备从道路侧捕获单元获取包括对象车辆四周的其它车辆的道路图像，并且生成对象车辆附近的俯视图，其中道路侧捕获单元(以与对象车辆分离的方式)设置在目前行驶道路上的对象车辆附近。因此，道路侧捕获单元的位置不受限于对象车辆的位置，从而即使当其它车辆远离对象车辆时，也可以使用来生成俯视图的道路图像的获取足够精确以便识别该其它车辆。此外，道路侧捕获单元的角度设置的自由度得到改进，从而使得能够以在其它情况下非常困难的角度获得道路图像。
附图说明
根据以下参考附图的详细描述，本发明的其它目的、特征和优势将变得更为明显，在所述附图中：
图1示出了本发明的一个实施例中的现场监视设备的框图；
图2示出了车辆内拍摄装置的布置及其视野的透视图；
图3A和3B示出了通过使用雷达检测其它车辆的图示；
图4示出了道路上的拍摄装置的布置图示；
图5示出了现场监视设备中主要过程的流程图；
图6示出了俯视图生成过程的流程图；
图7示出了图像合成过程的流程图；
图8示出了图像合成过程的另一流程图；
图9示出了风险评估过程的流程图；
图10示出了警告内容确定过程的流程图；
图11示出了对象车辆的俯视图的屏幕的图示；
图12示出了其它车辆的警告的图示；
图13示出了根据驾驶者状况的复合警告的示意图；以及
图14示出了对象车辆的俯视图的屏幕的另一图示。
具体实施方式
图1是示出本发明的车辆现场监视设备的电结构的示例的框图。在本实施例中，车辆现场监视设备1主要包括ECU，所述ECU负责总体控制。在本实施例中，所述ECU由通过网络而连接的图像ECU 50、风险评估ECU 70以及警告输出控制ECU 90组成。ECU 50、70、90中的每一个由分别通过总线来连接的以下部分构成：CPU；ROM，存储由CPU执行的软件；RAM，作为工作存储器；以及输入和输出(I/O)部分。即，这些ECU是公知类型的微型计算机。
车辆内拍摄装置组11连接到图像ECU 50。另外，由无线发射器-接收器组成的道路-车辆通信单元40通过通信接口(未示出)也连接到ECU50。而且，用于检测本车位置的GPS 4以及雷达3分别连接到图像ECU50。另外，在图像ECU 50中提供了其它汽车信息映射单元52和鸟瞰图生成器51，作为在其中执行的功能软件。来自道路-车辆通信单元40的图像数据和位置数据以及来自车辆内拍摄装置组11的图像数据被传送给鸟瞰图生成器51，以便产生如图11所示的本汽车周边俯瞰图30。另外，来自雷达3的其它汽车检测数据以及来自GPS 4的本汽车位置数据被传送到其它汽车信息映射单元52。另外，来自车辆速度传感器76的车辆速度数据被传送给其它汽车信息映射单元52。
此外，车厢内对驾驶者的面部拍照的室内拍摄装置73以及获取驾驶者的各种生物测量信息的生物测量传感器组74(例如，热像仪、温度传感器、汗传感器、皮肤电阻传感器、心跳传感器等等)连接到风险评估ECU 70。另外，用于通过无线传输来获取来自其它汽车的图像数据、位置数据等的车辆间通信单元75通过通信接口也连接到ECU 70。另外，在风险评估ECU 70中提供了接近确定引擎72以及风险估计引擎71，作为在其中执行的功能软件。这些引擎用于考虑距离因素和驾驶者状况两者，即，例如，提供基于驾驶者状况比如疲劳、困倦等来改变距其它汽车的阈值距离以便进行风险估计的风险评估方案。
源自雷达3或车辆间通信单元75的其它汽车的距离以及行驶方向和速度信息与来自速度传感器76的本汽车的速度信息一起被传送到接近确定引擎72。另外，来自车厢内的室内拍摄装置73的图像数据以及来自生物测量传感器组74的驾驶者身体状态检测信息被传送到风险估计引擎71。
警告输出控制ECU 90具有分别连接到它的图像驱动器92、声音驱动器93以及振动驱动器94。另外，提供了警告内容生成器91，作为在ECU 90中执行的功能软件。来自图像ECU 50的本汽车周边俯瞰图像30被传送到警告内容生成器91。另外，来自ECU 70中的风险估计引擎71的针对其它汽车靠近的风险程度估计结果也被传送到警告内容生成器91。警告内容生成器91通过参考该风险估计结果、标记用于警告的其它汽车图像来进行处理，并生成音频输出数据以及振动输出的控制数据，以便分别传送到图像驱动器92、声音驱动器93以及振动驱动器94。
具有警告标记的本汽车周边俯瞰图像30被输出给连接到图像驱动器92的监视器95。监视器95可由如图11所示的汽车导航系统200的显示单元或AV单元(在汽车的仪器面板或中心控制台的中央)来替代，或者可以设置在如图14所示的驱动指示器300/301内。另外，如图11所示，无视点变换地组合了来自拍摄装置组11的图像的后备监视器图像(backmonitor image)212’被输出到同一监视器屏幕。
另外，根据语音输出数据产生的警告声音从连接到声音驱动器93的扬声器96(AV单元的扬声器系统可用来替代)输出。另外，已接收振动输出的控制数据的振动驱动器94驱动连接到它的振动器97。例如，振动器97可结合在方向盘100或座位110(座位背部或座位表面)中，以便通过将警告振动直接传递给汽车驾驶者而促进警告识别或者觉察。
车辆内拍摄装置组11构成本汽车侧和周边摄影装置，其围绕本汽车12拍摄，并且来自拍摄装置组11的图像是本汽车12的紧邻区域内的现场和道路图像，其源自于分别捕获视野内的图像的多个拍摄装置，所述视野结合起来连续地包围本汽车12。图2中的图示示出了拍摄装置组11的一个布置示例。在这种情况下，在本汽车12的车体上设置了八个拍摄装置11a-11h。拍摄装置组11中的拍摄装置分别是右前拍摄装置11a、左前拍摄装置11b、右后拍摄装置11c、左后拍摄装置11d、右前向拍摄装置11e、右后向拍摄装置11f、左前向拍摄装置11g、左后向拍摄装置11h。
例如，通过右前向拍摄装置11e，本汽车12右前方的图像被捕获作为视野Va，因此，包括行驶在本汽车12的右前方的汽车13a的图像与包括在该图像中的本汽车12的车体的一部分一起被捕获。另外，通过右后向拍摄装置11f，本汽车12的右后方的图像被捕获作为视野Vb，由此在该图像中捕获到正在本汽车12后面的右侧行驶的汽车13b，连同包括在该图像中的本汽车12的车体的一部分。此外，在本汽车12前方的汽车13c以及汽车13d可通过使用剩下的拍摄装置来拍摄为图像。来自拍摄装置11a-11h的现场和道路的图像被三维地转换以作为俯视图，该俯视图具有在本汽车12上方(例如，本汽车12的中心的正上方)的虚拟视点，其中考虑了邻近图像交叠的综合合成，以便提供本汽车周边俯瞰图像30，该本汽车周边俯瞰图像30连续地表示本汽车12四周的区域。视点变换和综合方法在例如专利文献JP-A-2003-312415等中详细公开。因此，省略了视点变换和综合方法的描述。另外，拍摄装置组11中的拍摄装置的数量可以小于以上描述中的数量。例如，拍摄装置的数量可以减小到4，设置在本车辆的前、后、右和左方。
图1的雷达3被构建为利用激光和/或毫米波来测量距前车的距离和/或前车速度的ACC雷达，并且与上述的拍摄装置11a-11d结合设置，用于本汽车12的右前方、左前方、右后方以及左后方的被测目标的距离/速度测量。另外，车辆间通信单元75与本汽车12四周的其它汽车直接通信，并且交换其它汽车的其它汽车信息(例如，车辆尺寸、速度、刹车、加速度、位置坐标、汽车机型、型号)。
在图3A/3B中，计算周围汽车(汽车A、B、C、D、E、F)(即下文中的周边车辆)的位置(距离/方向测量)的方法在下面进行解释。首先，在对到周边车辆的距离进行测量时，来自本汽车12的车辆间通信单元75的发射电功率定期地改变，以便基于不发射电阈值的检测来粗略地检测距离，该不发射电阈值定义了车辆间通信的不发射电平。在这种情况下，设置在后向灯中央的车辆间通信单元75例如基于与前车的通信，使得更容易精确地测量车辆间距离，因为车辆间通信的检测结果和ACC雷达3的检测结果之间的检测结果匹配很容易。当ACC雷达3与通信单元75比较时，ACC雷达3的测量范围V大于通信单元75的通信范围P，因此首先通过雷达3来检测并确定车辆间通信的距离/方向，作为通过通信单元75进行实际的车辆间通信的准备。以这种方式，可以设置车辆间通信单元75的发射电功率以及通信方向(Q)。(“Pd”表示人行道上的步行者)。
如图4所示，多个拍摄装置21以预定间隔设置，作为在本汽车12正在行驶的道路20上进行拍摄的基础设施。图4中的道路20具有在一个通行方向上的多个车道20a、20b以及在另一方向上的车道20c、20d，其中拍摄装置21用于针对各个车道捕获道路和现场图像。拍摄装置21可设置在护栏、轨道等上，以便从车辆前侧向捕获车辆图像，或者可设置在立柱上，用于从车辆上方捕获车辆图像。此外，拍摄装置21具有分别设置在其上的道路侧通信单元321，以便将来自拍摄装置21的道路和现场图像以及拍摄位置一起传送到车辆上的道路-车辆通信单元40。
拍摄装置21用于捕获道路和现场图像，该道路和现场图像包括围绕本汽车12的汽车，或者更为实际地，相对于拍摄装置组11的视野，包括本汽车12的远前方和/或远后方现场。本汽车12的位置以及时的方式由上述GPS检测到，并且通过利用道路-车辆通信单元40来识别预定的前向/后向范围内的拍摄装置21，来自拍摄装置21的数据被选择性地接收。所接收的道路和现场图像数据由鸟瞰图生成器51进行视点变换处理，从而被组合以生成如图11所示的本汽车周边俯瞰图像30。即，更为实际地，利用来自距本汽车12预定距离的远前方或远后方区域的拍摄装置21的图像252对来自拍摄装置组11的图像251进行补充，从而合成出图11中的图像30。更为实际地，通过包括本汽车行驶车道20b或相邻车道20a中以离本汽车12至少有本汽车12长度的距离在本汽车12后面行驶的其它车辆的图像213，来生成本汽车周边俯瞰图像30。
另外，如图4所示，以与拍摄装置组11相同的方式来配置设置在行驶于本汽车12四周的其它车辆13(包括13F、13B)上的车辆内拍摄装置11’，并且能够通过通信单元75来传送来自拍摄装置11’的图像，以便合成出俯瞰图像30。
基于下面的流程图来描述车辆的现场监视设备1的操作。即，在图5中，示出了通过三个ECU 50、70、90协同操作来执行的主处理流程。首先，步骤S1是通过图像ECU 50来生成本汽车周边俯瞰图像的步骤，而步骤S2是并行执行的通过风险评估ECU 70来进行风险评估处理(风险估计)的步骤。然后，步骤S3和S4分别是由警告输出控制ECU 90执行的警告内容确定处理以及警告输出处理的步骤，其根据在本汽车周边俯瞰图像30中其它车辆存在的情况以及步骤S2的风险评估结果来执行。所述主处理以预定时间间隔重复地执行，同时更新处理结果。另外，在一个大型ECU的性能足够的情况下，也可以在该ECU中完整地执行整个主处理。
图6示出了本汽车周边俯瞰图像的生成过程(S1)的详细内容。首先，通过其它汽车信息映射单元52(图1)的处理，在获取道路和现场图像之前，在步骤S11中获取雷达3对其它汽车的检测信息，并且在步骤S12中基于对检测信息的分析来获取其它汽车13相对于本汽车12的所处方向信息以及有关本汽车12和其它汽车13的距离信息。然后，在步骤S13中，基于上述的距离信息和所处方向信息，生成本汽车12周围的其它汽车13的映射信息。更为实际地，其它汽车的位置被映射在极坐标平面上，该极坐标平面被定义为平行于道路表面，其中本汽车12的位置作为其原点，并且其它汽车的半径和位移角分别源自于所述距离信息和所处方向信息。
接下来，在步骤S14中，在获取到来自拍摄装置组11和拍摄装置21的图像以及来自本汽车12周围的其它汽车13上的拍摄装置11’的图像之后，执行公知类型的视点变换处理。在获取图像后，在步骤S15中，利用公知的分析方法对图像进行分析，以便提取经视点变换的图像中其它汽车的图像。然后，如果图像中有其它汽车，则通过考虑每个拍摄装置的拍摄方向以及视野来检测所提取的其它汽车的图像相对于本汽车12的位置，并且在步骤S16中，将所检测到的其它汽车的位置与其它汽车的位置的映射结果进行比较。在步骤S17中，基于与映射结果的比较，将视点变换后的图像合成为本汽车周边俯瞰图像30，其中有被标识为实际存在的“真实”的其它汽车的图像。
图7示出了当使用拍摄装置21时本汽车周边俯瞰图像生成处理的流程的一个示例。首先，在步骤S51中，获取拍摄装置21(其被设置用于在图像中捕获本汽车12)的图像，以便对本汽车12上的车辆内拍摄装置组11进行位置调整，并且将图像的视点转换成鸟瞰图(该图像总是包括本汽车12的图像：将视点变换到本汽车的正上方(即，图像被构成为平面图))。然后，在步骤S52中，从拍摄装置21获取在与本汽车12的直接周围分离的视野内的本汽车12的前方现场或后方现场的图像，以进行视点变换，该拍摄装置21被设置用于捕获可以与步骤S51中所获取的图像无缝结合的适当图像。然后，在步骤S53中，将在步骤S51和S52中所获取的图像合成为合成图像A。
然后，在步骤S54中，把来自车辆内拍摄装置组11的每个图像相继地转换成俯视图或鸟瞰图，且将所转换的图像合成为合成图像B。在车辆内拍摄装置组11所捕获的图像及其合成图像B中，仅部分地包括本汽车12的图像。因此，在步骤S55中，以位置匹配方式将包括本汽车12图像的合成图像A的视点与部分包括本汽车12图像的合成图像B的视点对齐，并且在步骤S56中，将经匹配的图像合成为仅包括在其中反映的匹配的其它汽车的图像。最后，在步骤S57中，本汽车周边俯瞰图像30完成。在这种方式下，本汽车12的图像可以作为来自拍摄装置21的真实图像而包括在本汽车周边俯瞰图像30中。不过，可替选地，可以利用本汽车12的预先准备好的图像作为替代，将本汽车12的图像合成在本汽车周边俯瞰图像30中。
图8示出了当使用其它汽车上的拍摄装置11’时的处理流程。在步骤S61中，获取本汽车12的车辆内拍摄装置组11的每个图像，并且在步骤S62中，将视点转换成鸟瞰图。然后，在步骤S63中，与由雷达3发现的周围的其它汽车进行车辆间通信，并作为转换成俯视图之后的图像，获取来自其它汽车13上的拍摄装置组11的图像。在步骤S64中，从其它汽车13获取的鸟瞰图与来自本汽车12的拍摄装置组11的鸟瞰图结合，以便合成为合成图像A。然后，在合成图像A上，仅仅反映了在映射结果中识别的其它汽车图像，以便完成本汽车周边俯瞰图像30(S66)。
图9示出了风险评估处理(图5中的S2)的流程。在步骤S21中，该过程通过已经与雷达3一起解释的方法来进行其它汽车检测过程。在步骤S22中，获取到被检测的其它汽车的距离以及速度作为信息，并且计算本汽车向其它汽车的相对靠近速度，作为本汽车的速度差。然后，在步骤S23中，当相对靠近速度是正值时，基于距其它汽车的距离(即狭义上的空间距离)以及相对靠近速度来评估其它汽车的追上时间。
然后，在步骤S24中，从生物测量传感器组74获取驾驶者的身体状况作为信息。基于生物测量感测的驾驶者状况的评估方法是公知的技术，例如其在专利文献JP-A-2006-282111中公开。因此，该技术在下面仅作简单的解释。即，以下传感器可以用作生物测量传感器：
-红外传感器：通过红外传感器捕获有关驾驶者面部的热图像，以便基于辐射的红外线来检测身体温度。
-面部拍摄装置(室内拍摄装置73)：拍摄装置用于捕获坐在驾驶者座位上的驾驶者的面部表情。此外，驾驶者的眼睛方向被用来检测驾驶者的注意力水平。
-麦克风：麦克风用于拾取驾驶者的语音。
-压力传感器：压力传感器被设置在方向盘、变速杆等上将由驾驶者抓握的位置，以便检测握力以及紧握和放开的频率。
-脉搏传感器：作为反射光传感器等的脉搏传感器被设置在车辆的方向盘上的抓握位置，以便检测反映脉搏的驾驶者血流。
-身体温度传感器：温度传感器被设置在车辆的方向盘上的抓握位置。
例如以下述方式基于所捕获的图像来确定驾驶者的状况。即，从面部拍摄装置捕获的驾驶者面部(全部或部分面部，比如眼睛、嘴巴等)的图像与作为各种精神状况和/或身体状况样板的主图像作比较，以便确定使用者是生气/平静、情绪好(高兴)/情绪坏(失望或伤心)或是焦急/紧张。此外，不是针对各个使用者应用特定主图像，而是提取面部轮廓、眼睛形状、嘴巴/鼻子位置/形状作为针对所有使用者的共同面部特征，并且所提取的特征可与预定的标准特征进行比较，以便进行上述确定。
可以基于由面部拍摄装置捕获的使用者的运动图像(例如，颤抖运动，皱眉)和/或来自压力传感器的信息等(例如，频繁地将手从方向盘上放开等)来检测身体运动，以便确定该使用者在驾驶车辆时是否烦躁。
通过方向盘上的身体温度传感器或者通过来自红外传感器的热图像来检测身体温度。当使用者的情绪高涨、兴奋或者被冒犯时，身体温度会升高，而当使用者的情绪保持平静时，身体温度会降低。另外，可以根据来自脉搏传感器的脉搏计数的增加来检测紧张和/或兴奋。
此外，不考虑精神状况，当使用者处于比如疲劳或注意力分散等身体状况下，身体温度也会升高。可基于面部表情(面部拍摄装置)或身体运动(面部拍摄装置/压力传感器)与表示使用者状况的其他信息结合来确定温度升高的原因。此外，由于紧张、兴奋或情绪反应而导致的温度升高可作为暂时的温度增加以区别于由于身体状况差而导致的持续发烧。另外，当取样并记录了使用者的正常温度时，与被记录的正常温度的温度偏离(例如特别是向更高温度的偏离)可以使得能够检测更细微的情绪变化等。
在本实施例中，身体/情绪状况检测结果用于将驾驶者状况分类成多个级别，即在该例子中的正常、中低和低三个级别，如图13所示，以便进行风险评估(S25)，并针对各个级别提供适当的警告。更为实际地，当使用者被分类为“正常”时，仅从监视器提供警告；当使用者处于“中低”时，添加语音警告；当使用者被分类为“低”时，还利用振动来提供警告。另外，以“近(N)”、“中远(M-F)”以及“远(F)”三个级别反映在风险评估中的其它汽车的接近阈值以如下方式限定，即对于朝向“低”分类的方向上处于越低状况的使用者，预留越长的时间。换句话说，当认为使用者的反应越慢时，警告越早提供。(图13中的“R”、“Y”、“USU”分别表示“红”“黄”和“照常”)。
图10示出了警告内容确定和输出(步骤S3、S4中)的流程。该图描述了本汽车驾驶者的车道变化的一个示例。在步骤S31中，检测用于车道变化的转向信号的操作。然后，在步骤S32中，根据本汽车周边俯瞰图像30来确认其它汽车的存在(即，周围汽车的检测)。在步骤S33中，确认其它汽车是在本汽车的前方还是在本汽车的后方。当其它汽车在本汽车前方时，确定在其它汽车中是否包括与本汽车相比更慢的汽车。当有更慢的汽车时，该过程从步骤S35前进到S36，以便为驾驶者提供包括警告在内的信息。另一方面，当在步骤S33中检测到其它汽车在本汽车后方时，在步骤S41中进行更快汽车检测，以便找到行驶得比本汽车快的更快的汽车。当发现更快的汽车在本汽车后方时，该过程从步骤S42前进到S36，以便提供包括警告在内的信息(如果没有检测到更慢/更快的汽车，则本过程结束，而不执行任何处理)。
以下描述了根据距离、针对其它汽车的单独警告处理。即，当上述的距其它汽车的距离超过A秒并因此被分类为“远”时，该过程从步骤S37前进到S43，以便向驾驶者提供警告1。当距其它汽车的距离超过B秒且在A秒内或等于A秒并因此被分类为“中远”时，该过程从步骤S38前进到S44，以便向驾驶者提供警告2。此外，当距其它汽车的距离在B秒内或等于B秒并因此被分类为“近”时，该过程从步骤S38前进到S39，以便向驾驶者提供警告3。图12示出了上述警告1-3的示例。即，其它汽车的警告以在屏幕上以预定颜色来标记警告目标(即其它汽车图像213)的形式提供。更为实际地，在本汽车周边俯瞰图像30中，用于描绘其它汽车图像213轮廓的标记框213f、213bf依赖于距离、针对警告1-3中的每个而有所区别。即，当其它汽车被分类为“远”时，标记框213f以黄色显示，而当其它汽车被分类为“中远”时，标记框213f以红色显示。此外，当其它汽车被分类为“近”时，红色标记框213bf被显示为闪烁框。
另外，针对降低的驾驶者状况的警告可以提供为简单的告警声音，或者可以用声音提供为具体警告内容。例如，声音信息可以是：
-“后面有危险车辆”(或者“警告：速度更快的汽车正在从后面追上。”)
-“前方有危险车辆”(或者“警告：前方有慢速汽车。”)；
-“车辆正在靠近。保持在当前车道。”
-“前方有车辆。保持在当前车道。”
此外，警告可根据空间距离而非其它汽车的追上时间间隔来提供，或者可根据其它汽车的速度来提供。此外，警告可以被替换为显示在屏幕上的其它车辆的空间距离/速度数字。

Claims (21)

1.一种在对象车辆(12)中使用的现场监视设备(1)，包括：
道路图像获取单元(50)，其能够在所述对象车辆(12)正在道路上行驶时，从设置在所述对象车辆(12)周围的道路侧捕获单元(21)获取道路图像，所述道路图像包括所述对象车辆(12)四周的其它车辆(13)；
俯视图生成单元(51)，其能够以从所述对象车辆(12)上方的视点来生成所述对象车辆(12)的俯视图，其中，通过利用视点变换来合成以多个道路侧捕获单元(21)的不同角度分别捕获的多个道路图像，生成所述对象车辆(12)的俯视图，作为所述对象车辆(12)的附近区域的真实图像的视图；以及
显示单元(95)，其设置在所述对象车辆(12)中，并能够显示所述对象车辆(12)的俯视图，其中，所述对象车辆(12)的位置以可识别的方式表示在所述俯视图中。
2.如权利要求1所述的现场监视设备(1)，还包括：
周围捕获单元(11)，其设置在所述对象车辆(12)中，并且能够捕获所述对象车辆(12)的周围图像，其中：
所述俯视图生成单元(51)基于来自所述周围捕获单元(11)的周围图像以及来自所述道路侧捕获单元(21)的道路图像两者来生成所述俯视图。
3.如权利要求2所述的现场监视设备(1)，其中：
相对于所述周围捕获单元(11)的捕获角度，所述道路侧捕获单元(21)捕获所述对象车辆(12)的远前方区域以及远后方区域的道路图像中的至少一个，以及
所述俯视图生成单元(51)通过利用来自所述道路侧捕获单元(21)的道路图像对来自所述周围捕获单元(11)的周围图像进行补充来生成所述对象车辆(12)的俯视图，所述道路侧捕获单元(21)处于在所述对象车辆(12)的前方和后方之一、距所述对象车辆(12)至少预定距离的位置。
4.如权利要求3所述的现场监视设备(1)，其中：
所述俯视图生成单元(51)生成所述对象车辆(12)的俯视图，使得其中包括其它车辆的图像，所述其它车辆行驶在所述对象车辆的车道和所述对象车辆车道的相邻车道之一中距所述对象车辆(12)向后至少对象车辆(12)的长度的位置。
5.如权利要求1至4中任意一项所述的现场监视设备(1)，其中：
所述道路侧捕获单元(21)是设置在所述对象车辆(12)正在行驶的道路的道路侧的多个预定位置的道路-车辆拍摄装置，以及
所述道路图像获取单元(50)是在距所述对象车辆(12)的行驶位置预定距离内的道路-车辆拍摄装置，其提供用于生成所述对象车辆(12)的俯视图的所述道路图像。
6.一种在对象车辆(12)中使用的现场监视设备(1)，包括：
道路图像获取单元(50)，其能够在所述对象车辆(12)正在道路上行驶时，从设置在所述对象车辆(12)周围的道路侧捕获单元(21)获取道路图像，所述道路图像包括所述对象车辆(12)四周的其它车辆(13)；
俯视图生成单元(51)，其能够以从所述对象车辆(12)上方的视点来生成所述对象车辆(12)的俯视图，其中，通过利用视点变换来合成以多个道路侧捕获单元(21)的不同角度分别捕获的多个道路图像，生成所述对象车辆(12)的俯视图，作为所述对象车辆(12)的附近区域的真实图像的视图；以及
显示单元(95)，其设置在所述对象车辆(12)中，并能够显示所述对象车辆(12)的俯视图，其中，所述对象车辆(12)的位置以可识别的方式表示在所述俯视图中，其中：
所述道路侧捕获单元(21)是设置于在所述对象车辆(12)四周行驶的其它车辆(13)上的车辆拍摄装置，以及
所述道路图像获取单元(50)是在距所述正在行驶的对象车辆(12)预定距离内的其它车辆(13)上的车辆拍摄装置，其提供用于生成所述对象车辆(12)的俯视图的所述道路图像。
7.如权利要求1至4中任意一项所述的现场监视设备(1)，还包括：
其它车辆识别单元(51)，其能够识别所述对象车辆(12)的俯视图中其它车辆的图像；
距离检测单元(3)，其能够检测到所述对象车辆(12)四周的其它车辆(13)的距离；以及
距离输出单元(70)，其能够输出有关到所述其它车辆(13)的距离的信息，其中到所述其它车辆(13)的距离以标识对应的其它车辆的图像的方式在所述对象车辆(12)的俯视图上输出。
8.如权利要求7所述的现场监视设备(1)，其中：
所述距离检测单元(3)是用于检测到所述其它车辆(13)的距离的单元，其与用于生成所述对象车辆(12)的俯视图的图像获取装置分离地设置在所述对象车辆(12)上。
9.如权利要求8所述的现场监视设备(1)，还包括：
其它车辆映射单元(52)，其中
所述距离检测单元(3)能够获取所述其它车辆(13)相对于所述对象车辆(12)的方向信息，以及能够获取从所述对象车辆(12)到所述其它车辆(13)的距离信息；
所述其它车辆映射单元(52)生成其它车辆映射信息，该其它车辆映射信息基于所述距离信息和所述方向信息来映射所述对象车辆(12)四周的所述其它车辆(13)；以及
所述其它车辆识别单元(51)参考所述其它车辆映射信息，以便校正所述其它车辆图像在所述对象车辆(12)的俯视图上的识别结果。
10.如权利要求8或9所述的现场监视设备(1)，其中：
所述距离检测单元(3)是雷达距离测量装置。
11.如权利要求7至9中任意一项所述的现场监视设备(1)，其中：
所述距离检测单元(3)包括标记单元，该标记单元能够根据所检测的到其它车辆(13)的距离而将不同的标记置于所述对象车辆(12)的俯视图中所述其它车辆的图像上。
12.如权利要求11所述的现场监视设备(1)，其中：
所述标记单元根据所检测的距离而使用不同的颜色来标记所述其它车辆的图像。
13.如权利要求11所述的现场监视设备(1)，其中：
所述标记单元根据所检测的距离而使用不同的标记框，所述标记框描绘所述对象车辆(12)的俯视图中所述其它车辆的图像的边界。
14.如权利要求7至9、12、13中任意一项所述的现场监视设备(1)，还包括：
警告信息输出单元(90)，其在所述对象车辆(12)的俯视图包括由所述距离检测单元(3)检测到距离在预定警告距离内的所述其它车辆(13)时，输出警告信息。
15.如权利要求14所述的现场监视设备(1)，还包括：
相对靠近速度识别单元(72)，其识别来自所述对象车辆(12)后面的所述其它车辆(13)的相对靠近速度，其中：
所述警告信息输出单元(90)在所述对象车辆(12)的俯视图包括相对靠近速度为正值且大于预定警告靠近速度的所述其它车辆(13)时，输出所述警告信息。
16.如权利要求14所述的现场监视设备(1)，还包括：
追上时间计算单元(71)，其能够基于所述距离检测单元(3)所检测的距离以及由所述相对靠近速度识别单元(72)所识别的相对靠近速度来计算追上信息，该追上信息反映来自所述对象车辆(12)后面的所述其它车辆(13)的追上时间，其中
所述警告信息输出单元(90)在所述对象车辆(12)的俯视图包括追上时间小于预定警告追上时间的所述其它车辆(13)时，输出所述警告信息。
17.如权利要求14所述的现场监视设备(1)，其中：
所述警告信息输出单元(90)包括警告标记生成单元，该警告标记生成单元能够以可与未被视作警告目标的车辆的图像清楚地区分的方式来标记出被视作所述对象车辆(12)的俯视图中的警告目标的所述其它车辆(13)的图像。
18.如权利要求14所述的现场监视设备(1)，其中：
所述警告标记生成单元使用预定的颜色来标记被视作所述警告目标的所述其它车辆(13)的图像。
19.如权利要求14所述的现场监视设备(1)，还包括：
警告声音输出单元(96)，其能够提供所述警告信息的声音输出，其中：
所述警告声音输出单元(96)包括在所述警告信息输出单元(90)中。
20.如权利要求1至4、8、9、12、13、15至19中任意一项所述的现场监视设备(1)，其中：
所述俯视图生成单元(51)通过利用并非源自于所述道路图像的替代图像来部分地替代所述俯视图，来生成所述对象车辆(12)的俯视图。
21.如权利要求20所述的现场监视设备(1)，其中：
所述替代图像是所述主体车辆(12)的图像。
CN2008100062661A 2007-02-06 2008-02-04 现场监视设备 Expired - Fee Related CN101242523B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007026951A JP4893945B2 (ja) 2007-02-06 2007-02-06 車両周辺監視装置
JP2007026951 2007-02-06
JP2007-026951 2007-02-06

Publications (2)

Publication Number Publication Date
CN101242523A true CN101242523A (zh) 2008-08-13
CN101242523B CN101242523B (zh) 2010-06-09

Family

ID=39675803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100062661A Expired - Fee Related CN101242523B (zh) 2007-02-06 2008-02-04 现场监视设备

Country Status (3)

Country Link
US (1) US8593519B2 (zh)
JP (1) JP4893945B2 (zh)
CN (1) CN101242523B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103298657A (zh) * 2010-11-23 2013-09-11 法雷奥开关和传感器有限责任公司 用于当离开停车空间时辅助机动车辆驾驶员的方法和装置及机动车辆
CN104115204A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
CN104166973A (zh) * 2013-05-17 2014-11-26 财团法人工业技术研究院 影像动态融合方法与装置
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
CN105427671A (zh) * 2015-12-20 2016-03-23 李俊娇 一种基于雷达探测的雾区辅助行驶装置
CN105991942A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆及用于控制车辆的方法
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
CN106169258A (zh) * 2015-05-22 2016-11-30 福特全球技术公司 用于辅助车辆操纵过程的方法和装置
CN108766030A (zh) * 2018-04-27 2018-11-06 榛硕（武汉）智能科技有限公司 车载防追尾的预警系统
CN108965921A (zh) * 2018-08-15 2018-12-07 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
CN109738923A (zh) * 2019-03-18 2019-05-10 腾讯科技（深圳）有限公司 一种行车导航方法和装置以及系统
CN110696743A (zh) * 2018-07-09 2020-01-17 现代摩比斯株式会社 用于车辆的广域环视监控装置及其控制方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376510B1 (en) * 2004-11-05 2008-05-20 Navteq North America, Llc Map display for a navigation system
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US20100253780A1 (en) * 2009-04-03 2010-10-07 Shih-Hsiung Li Vehicle auxiliary device
JP5385009B2 (ja) * 2009-05-29 2014-01-08 日立オートモティブシステムズ株式会社 車両制御装置および車両制御方法
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
US20110224875A1 (en) * 2010-03-10 2011-09-15 Cuddihy Mark A Biometric Application of a Polymer-based Pressure Sensor
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
JP2012226392A (ja) * 2011-04-14 2012-11-15 Honda Elesys Co Ltd 運転支援システム
US9378640B2 (en) 2011-06-17 2016-06-28 Leddartech Inc. System and method for traffic side detection and characterization
JP2013097480A (ja) * 2011-10-31 2013-05-20 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置及び車両用衝突危険予測システム
EP2820632B8 (en) * 2012-03-02 2017-07-26 Leddartech Inc. System and method for multipurpose traffic detection and characterization
DE102012005471A1 (de) * 2012-03-17 2013-09-19 GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) Verkehrsinformationssystem
SE537182C2 (sv) * 2012-06-14 2015-02-24 Scania Cv Ab System och metod för att identifiera fordon i ett fordonståg
CN102842243A (zh) * 2012-09-05 2012-12-26 广东好帮手电子科技股份有限公司 一种基于汽车的来车提示系统及方法
DE102012217013B3 (de) * 2012-09-21 2014-03-06 Continental Automotive Gmbh Verfahren und Vorrichtung zur Fahrzeugkommunikation
JP5890294B2 (ja) * 2012-10-29 2016-03-22 日立マクセル株式会社 映像処理システム
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9508014B2 (en) * 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
JP6257989B2 (ja) * 2013-10-08 2018-01-10 日産自動車株式会社 運転支援装置
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6062122B2 (ja) 2014-08-21 2017-01-18 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
CA2960123C (en) 2014-09-09 2021-04-13 Leddartech Inc. Discretization of detection zone
US10127813B2 (en) * 2015-01-20 2018-11-13 Invent F&W, Llc Systems and methods for alerting drivers of approaching emergency vehicles
JP6415382B2 (ja) * 2015-04-30 2018-10-31 三菱電機株式会社 移動体用画像生成装置及びナビゲーション装置
US10527722B2 (en) * 2015-06-09 2020-01-07 Garmin Switzerland Gmbh Radar sensor system providing situational awareness information
JP6582587B2 (ja) * 2015-06-16 2019-10-02 株式会社デンソー 報知処理装置
JP6444835B2 (ja) 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
EP3361721B1 (en) 2015-10-08 2020-02-26 Nissan Motor Co., Ltd. Display assistance device and display assistance method
US10410072B2 (en) 2015-11-20 2019-09-10 Mitsubishi Electric Corporation Driving support apparatus, driving support system, driving support method, and computer readable recording medium
CN108369767B (zh) * 2015-12-06 2021-12-14 声钰科技 基于用户认知状态和/或情境状态的会话调整系统和方法
US10393872B2 (en) 2015-12-08 2019-08-27 Garmin Switzerland Gmbh Camera augmented bicycle radar sensor system
JP6657891B2 (ja) * 2015-12-09 2020-03-04 日本電気株式会社 操作補助システム、及び、操作補助システムによる操作補助方法
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
CN105761500B (zh) * 2016-05-10 2019-02-22 腾讯科技（深圳）有限公司 交通事故处理方法及交通事故处理装置
JP6930058B2 (ja) * 2017-09-04 2021-09-01 国際航業株式会社 車両位置取得システム、及び車両位置取得方法
JP6929177B2 (ja) * 2017-09-20 2021-09-01 日産自動車株式会社 運転支援表示方法及び運転支援表示装置
WO2019180978A1 (ja) * 2018-03-20 2019-09-26 住友電気工業株式会社 情報提供システム、情報提供方法、コンピュータプログラム
DE102018206062A1 (de) * 2018-04-20 2019-10-24 Robert Bosch Gmbh Verfahren zur Steuerung eines Anzeigesystems
EP3561793A1 (en) * 2018-04-23 2019-10-30 Ecole Nationale de l'Aviation Civile Method and apparatus monitoring a space
JP7128096B2 (ja) * 2018-11-26 2022-08-30 本田技研工業株式会社 映像表示装置
JP7200645B2 (ja) * 2018-12-11 2023-01-10 トヨタ自動車株式会社 車載装置、プログラム、及び車両
WO2020210960A1 (zh) * 2019-04-15 2020-10-22 华为技术有限公司 交通道路的数字化全景重建的方法和系统
US11380206B2 (en) 2020-03-30 2022-07-05 Denso International America, Inc. Methods and systems for transmitting basic safety messages
US11396299B2 (en) 2020-04-24 2022-07-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Video processing for vehicle ride incorporating biometric data
CN112085960A (zh) * 2020-09-21 2020-12-15 北京百度网讯科技有限公司 车路协同信息处理方法、装置、设备及自动驾驶车辆
US11351932B1 (en) * 2021-01-22 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicles and methods for generating and displaying composite images

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295925B2 (en) * 1997-10-22 2007-11-13 Intelligent Technologies International, Inc. Accident avoidance systems and methods
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP3405378B2 (ja) * 1995-09-25 2003-05-12 三菱自動車工業株式会社 車両周囲情報表示装置
DE59809476D1 (de) * 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2001155289A (ja) * 1999-12-01 2001-06-08 Sony Corp 情報通信システムおよび方法
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP3835175B2 (ja) 2001-01-31 2006-10-18 株式会社デンソー 移動体通信装置の狭域通信方法
US7100190B2 (en) * 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US6615137B2 (en) * 2001-06-26 2003-09-02 Medius, Inc. Method and apparatus for transferring information between vehicles
JP2003091793A (ja) * 2001-09-17 2003-03-28 Toshiba Corp 走行支援情報提供システム及び方法並びにプログラム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2003312415A (ja) 2002-04-23 2003-11-06 Nissan Motor Co Ltd 車両の事前提示装置
US7038577B2 (en) * 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
EP1516301B2 (de) * 2002-06-11 2017-10-04 Robert Bosch Gmbh Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur
JP2004241866A (ja) * 2003-02-03 2004-08-26 Alpine Electronics Inc 車両間通信装置
JP2004326581A (ja) * 2003-04-25 2004-11-18 Fuji Heavy Ind Ltd 情報提供システムおよび情報提供方法
JP4095491B2 (ja) * 2003-05-19 2008-06-04 本田技研工業株式会社 距離測定装置、距離測定方法、及び距離測定プログラム
JP4214841B2 (ja) 2003-06-11 2009-01-28 株式会社デンソー 周囲状況認識システム
JP4039321B2 (ja) 2003-06-18 2008-01-30 株式会社デンソー 車両用周辺表示装置
JP4081548B2 (ja) 2004-02-02 2008-04-30 独立行政法人産業技術総合研究所 運転支援システム
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
JP2006164197A (ja) * 2004-12-10 2006-06-22 Equos Research Co Ltd 走行支援装置
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP2006285399A (ja) * 2005-03-31 2006-10-19 Tama Tlo Kk 交差点における車両の動きを監視するための映像監視方法及び装置
JP4535272B2 (ja) 2005-04-04 2010-09-01 株式会社デンソー 自動車用ユーザーもてなしシステム
WO2006121986A2 (en) * 2005-05-06 2006-11-16 Facet Technology Corp. Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
WO2007015446A1 (ja) * 2005-08-02 2007-02-08 Nissan Motor Co., Ltd. 車両周囲監視装置及び車両周囲監視方法
JP4321509B2 (ja) 2005-10-17 2009-08-26 株式会社デンソー 移動体用通信装置
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
US7633383B2 (en) * 2006-08-16 2009-12-15 International Business Machines Corporation Systems and arrangements for providing situational awareness to an operator of a vehicle

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103298657B (zh) * 2010-11-23 2016-11-23 法雷奥开关和传感器有限责任公司 用于当离开停车空间时辅助机动车辆驾驶员的方法和装置及机动车辆
CN103298657A (zh) * 2010-11-23 2013-09-11 法雷奥开关和传感器有限责任公司 用于当离开停车空间时辅助机动车辆驾驶员的方法和装置及机动车辆
CN104115204A (zh) * 2012-03-01 2014-10-22 日产自动车株式会社 立体物检测装置
CN104115204B (zh) * 2012-03-01 2016-08-24 日产自动车株式会社 立体物检测装置
CN104166973A (zh) * 2013-05-17 2014-11-26 财团法人工业技术研究院 影像动态融合方法与装置
US9311818B2 (en) 2013-05-17 2016-04-12 Industrial Technology Research Institute Dymanic fusion method and device of images
TWI552897B (zh) * 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
CN105991942A (zh) * 2015-03-19 2016-10-05 现代自动车株式会社 车辆及用于控制车辆的方法
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
US10501015B2 (en) 2015-05-11 2019-12-10 Samsung Electronics Co., Ltd. Extended view method, apparatus, and system
CN106162072B (zh) * 2015-05-11 2020-05-26 三星电子株式会社 周围观看方法和周围观看系统
CN106169258A (zh) * 2015-05-22 2016-11-30 福特全球技术公司 用于辅助车辆操纵过程的方法和装置
CN105427671A (zh) * 2015-12-20 2016-03-23 李俊娇 一种基于雷达探测的雾区辅助行驶装置
CN108766030A (zh) * 2018-04-27 2018-11-06 榛硕（武汉）智能科技有限公司 车载防追尾的预警系统
CN110696743A (zh) * 2018-07-09 2020-01-17 现代摩比斯株式会社 用于车辆的广域环视监控装置及其控制方法
CN110696743B (zh) * 2018-07-09 2023-12-26 现代摩比斯株式会社 用于车辆的广域环视监控装置及其控制方法
CN108965921A (zh) * 2018-08-15 2018-12-07 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
CN108965921B (zh) * 2018-08-15 2021-02-05 深圳市科迈爱康科技有限公司 车载视频拼接方法、装置及计算机可读存储介质
CN109738923A (zh) * 2019-03-18 2019-05-10 腾讯科技（深圳）有限公司 一种行车导航方法和装置以及系统
CN109738923B (zh) * 2019-03-18 2023-07-14 腾讯科技（深圳）有限公司 一种行车导航方法和装置以及系统

Also Published As

Publication number Publication date
CN101242523B (zh) 2010-06-09
JP4893945B2 (ja) 2012-03-07
JP2008191988A (ja) 2008-08-21
US8593519B2 (en) 2013-11-26
US20080186382A1 (en) 2008-08-07

Similar Documents

Publication Publication Date Title
CN101242523B (zh) 现场监视设备
US10410250B2 (en) Vehicle autonomy level selection based on user context
US11568492B2 (en) Information processing apparatus, information processing method, program, and system
CN101269635B (zh) 视场监视设备
CN105270179B (zh) 车辆驾驶辅助装置及车辆
US8744642B2 (en) Driver identification based on face data
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
CN110651313A (zh) 控制装置和控制方法
CN106323309A (zh) 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN109791739A (zh) 晕车估计装置、晕车防止装置和晕车估计方法
US11636077B2 (en) Methods, devices, and systems for processing sensor data of vehicles
JP5585194B2 (ja) 事故状況記録システム
CN106183989B (zh) 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法
WO2018094384A1 (en) Optimal route selection for autonomous vehicles
KR102368127B1 (ko) 이륜차 무인 단속 시스템
JP5898539B2 (ja) 車両走行支援システム
CN109890679A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
CN109890662A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
CN109664889A (zh) 一种车辆控制方法、装置和系统以及存储介质
CN108958908A (zh) 用于对感知系统的传感器进行优先排序的方法和系统
CN110741631A (zh) 车辆的图像提供系统、服务器系统及车辆的图像提供方法
CN110448312A (zh) 数据处理装置、监视系统、唤醒系统、数据处理方法
JP2011206072A (ja) 有効視野測定システムおよび有効視野測定方法
US20230137349A1 (en) System for data communication using vehicle camera, method therefor and vehicle for the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20210204