CN101242523B - 现场监视设备 - Google Patents
现场监视设备 Download PDFInfo
- Publication number
- CN101242523B CN101242523B CN2008100062661A CN200810006266A CN101242523B CN 101242523 B CN101242523 B CN 101242523B CN 2008100062661 A CN2008100062661 A CN 2008100062661A CN 200810006266 A CN200810006266 A CN 200810006266A CN 101242523 B CN101242523 B CN 101242523B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- subject vehicle
- image
- unit
- vertical view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9321—Velocity regulation, e.g. cruise control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93272—Sensor installation details in the back of the vehicles
Abstract
一种在对象车辆(12)中使用的现场监视设备(1),其从设置在道路(20)上的对象车辆(12)四周的道路侧捕获单元(21)获取道路图像,并且基于所获取的图像,通过在视图中包括远处的周围车辆(13)来以可直观识别的方式生成对象车辆(12)四周的现场的俯视图(30),从而提供对象车辆(12)四周的现场的可精确理解的视图,以便易于令人满意地识别远处的周围车辆(13),而不受限于道路侧捕获单元(21)的位置。
Description
技术领域
本公开总地涉及一种在车辆中使用的现场监视/观察设备。
背景技术
近年来,公开了用于对汽车四周的现场进行监视的各种技术。例如,重新公布的专利文献WO00/64175(US7,161,616)中描述的设备具有在对象车辆上的多个拍摄装置(camera),这些拍摄装置以多个角度捕获对象车辆四周的现场图像,通过变换视点来合成这些图像,以便生成对象车辆的俯视图,并在所述设备上显示俯视图。另外,日本专利文献如JP-A-2003-312415、JP-A-2005-5978、JP-A-2002-232948、JP-A-2006-107521、JP-A-2006-282111揭示了一种现场监视设备,其用于通过应用在第一篇专利文献中公开的技术来在俯视图中监测行进的对象车辆四周的周围车辆状况。
在上述第二至第五篇专利文献中揭示的现场监视设备仅利用设置在对象车辆上的车上图像捕获装置来生成俯视图,由于在所捕获的图像中车辆很小,因此难以使远处的车辆精确地显示在屏幕上。尤其是,由于难以在俯视图中发现正在靠近的车辆,因此高速靠近对象车辆的车辆可能不被识别为警告目标,直到达到近距离接触的剩余时间非常少。
发明内容
鉴于上述及其它问题,本公开提供了一种现场监视设备,其以可直观识别的方式显示远处的车辆,从而以更大的空中图像的形式来精确地提供有关对象车辆的现场监视信息。
本发明的现场监视设备包括:道路图像获取单元,其能够在对象车辆正在路上行驶时,从设置在对象车辆周围的道路侧捕获单元获取道路图像,该道路图像包括对象车辆四周的其它车辆;俯视图生成单元,其能够以从对象车辆上方的视点来生成对象车辆的俯视图;以及显示单元,其设置在对象车辆中,并能够显示该对象车辆的俯视图。通过利用视点变换来合成以多个道路侧捕获单元的不同角度(perspective)分别捕获的多个道路图像,生成对象车辆的俯视图,作为对象车辆附近区域的真实图像的视图,且对象车辆的位置以可识别的方式表示在俯视图中。
本发明的现场监视设备从道路侧捕获单元获取包括对象车辆四周的其它车辆的道路图像,并且生成对象车辆附近的俯视图,其中道路侧捕获单元(以与对象车辆分离的方式)设置在目前行驶道路上的对象车辆附近。因此,道路侧捕获单元的位置不受限于对象车辆的位置,从而即使当其它车辆远离对象车辆时,也可以使用来生成俯视图的道路图像的获取足够精确以便识别该其它车辆。此外,道路侧捕获单元的角度设置的自由度得到改进,从而使得能够以在其它情况下非常困难的角度获得道路图像。
附图说明
根据以下参考附图的详细描述,本发明的其它目的、特征和优势将变得更为明显,在所述附图中:
图1示出了本发明的一个实施例中的现场监视设备的框图;
图2示出了车辆内拍摄装置的布置及其视野的透视图;
图3A和3B示出了通过使用雷达检测其它车辆的图示;
图4示出了道路上的拍摄装置的布置图示;
图5示出了现场监视设备中主要过程的流程图;
图6示出了俯视图生成过程的流程图;
图7示出了图像合成过程的流程图;
图8示出了图像合成过程的另一流程图;
图9示出了风险评估过程的流程图;
图10示出了警告内容确定过程的流程图;
图11示出了对象车辆的俯视图的屏幕的图示;
图12示出了其它车辆的警告的图示;
图13示出了根据驾驶者状况的复合警告的示意图;以及
图14示出了对象车辆的俯视图的屏幕的另一图示。
具体实施方式
图1是示出本发明的车辆现场监视设备的电结构的示例的框图。在本实施例中,车辆现场监视设备1主要包括ECU,所述ECU负责总体控制。在本实施例中,所述ECU由通过网络而连接的图像ECU 50、风险评估ECU 70以及警告输出控制ECU 90组成。ECU50、70、90中的每一个由分别通过总线来连接的以下部分构成:CPU;ROM,存储由CPU执行的软件;RAM,作为工作存储器;以及输入和输出(I/O)部分。即,这些ECU是公知类型的微型计算机。
车辆内拍摄装置组11连接到图像ECU 50。另外,由无线发射器-接收器组成的道路-车辆通信单元40通过通信接口(未示出)也连接到ECU50。而且,用于检测本车位置的GPS 4以及雷达3分别连接到图像ECU50。另外,在图像ECU 50中提供了其它汽车信息映射单元52和鸟瞰图生成器51,作为在其中执行的功能软件。来自道路-车辆通信单元40的图像数据和位置数据以及来自车辆内拍摄装置组11的图像数据被传送给鸟瞰图生成器51,以便产生如图11所示的本汽车周边俯瞰图30。另外,来自雷达3的其它汽车检测数据以及来自GPS 4的本汽车位置数据被传送到其它汽车信息映射单元52。另外,来自车辆速度传感器76的车辆速度数据被传送给其它汽车信息映射单元52。
此外,车厢内对驾驶者的面部拍照的室内拍摄装置73以及获取驾驶者的各种生物测量信息的生物测量传感器组74(例如,热像仪、温度传感器、汗传感器、皮肤电阻传感器、心跳传感器等等)连接到风险评估ECU 70。另外,用于通过无线传输来获取来自其它汽车的图像数据、位置数据等的车辆间通信单元75通过通信接口也连接到ECU 70。另外,在风险评估ECU 70中提供了接近确定引擎72以及风险估计引擎71,作为在其中执行的功能软件。这些引擎用于考虑距离因素和驾驶者状况两者,即,例如,提供基于驾驶者状况比如疲劳、困倦等来改变距其它汽车的阈值距离以便进行风险估计的风险评估方案。
源自雷达3或车辆间通信单元75的其它汽车的距离以及行驶方向和速度信息与来自速度传感器76的本汽车的速度信息一起被传送到接近确定引擎72。另外,来自车厢内的室内拍摄装置73的图像数据以及来自生物测量传感器组74的驾驶者身体状态检测信息被传送到风险估计引擎71。
警告输出控制ECU 90具有分别连接到它的图像驱动器92、声音驱动器93以及振动驱动器94。另外,提供了警告内容生成器91,作为在ECU 90中执行的功能软件。来自图像ECU 50的本汽车周边俯瞰图像30被传送到警告内容生成器91。另外,来自ECU 70中的风险估计引擎71的针对其它汽车靠近的风险程度估计结果也被传送到警告内容生成器91。警告内容生成器91通过参考该风险估计结果、标记用于警告的其它汽车图像来进行处理,并生成音频输出数据以及振动输出的控制数据,以便分别传送到图像驱动器92、声音驱动器93以及振动驱动器94。
具有警告标记的本汽车周边俯瞰图像30被输出给连接到图像驱动器92的监视器95。监视器95可由如图11所示的汽车导航系统200的显示单元或AV单元(在汽车的仪器面板或中心控制台的中央)来替代,或者可以设置在如图14所示的驱动指示器300/301内。另外,如图11所示,无视点变换地组合了来自拍摄装置组11的图像的后备监视器图像(backmonitor image)212’被输出到同一监视器屏幕。
另外,根据语音输出数据产生的警告声音从连接到声音驱动器93的扬声器96(AV单元的扬声器系统可用来替代)输出。另外,已接收振动输出的控制数据的振动驱动器94驱动连接到它的振动器97。例如,振动器97可结合在方向盘100或座位110(座位背部或座位表面)中,以便通过将警告振动直接传递给汽车驾驶者而促进警告识别或者觉察。
车辆内拍摄装置组11构成本汽车侧和周边摄影装置,其围绕本汽车12拍摄,并且来自拍摄装置组11的图像是本汽车12的紧邻区域内的现场和道路图像,其源自于分别捕获视野内的图像的多个拍摄装置,所述视野结合起来连续地包围本汽车12。图2中的图示示出了拍摄装置组11的一个布置示例。在这种情况下,在本汽车12的车体上设置了八个拍摄装置11a-11h。拍摄装置组11中的拍摄装置分别是右前拍摄装置11a、左前拍摄装置11b、右后拍摄装置11c、左后拍摄装置11d、右前向拍摄装置11e、右后向拍摄装置11f、左前向拍摄装置11g、左后向拍摄装置11h。
例如,通过右前向拍摄装置11e,本汽车12右前方的图像被捕获作为视野Va,因此,包括行驶在本汽车12的右前方的汽车13a的图像与包括在该图像中的本汽车12的车体的一部分一起被捕获。另外,通过右后向拍摄装置11f,本汽车12的右后方的图像被捕获作为视野Vb,由此在该图像中捕获到正在本汽车12后面的右侧行驶的汽车13b,连同包括在该图像中的本汽车12的车体的一部分。此外,在本汽车12前方的汽车13c以及汽车13d可通过使用剩下的拍摄装置来拍摄为图像。来自拍摄装置11a-11h的现场和道路的图像被三维地转换以作为俯视图,该俯视图具有在本汽车12上方(例如,本汽车12的中心的正上方)的虚拟视点,其中考虑了邻近图像交叠的综合合成,以便提供本汽车周边俯瞰图像30,该本汽车周边俯瞰图像30连续地表示本汽车12四周的区域。视点变换和综合方法在例如专利文献JP-A-2003-312415等中详细公开。因此,省略了视点变换和综合方法的描述。另外,拍摄装置组11中的拍摄装置的数量可以小于以上描述中的数量。例如,拍摄装置的数量可以减小到4,设置在本车辆的前、后、右和左方。
图1的雷达3被构建为利用激光和/或毫米波来测量距前车的距离和/或前车速度的ACC雷达,并且与上述的拍摄装置11a-11d结合设置,用于本汽车12的右前方、左前方、右后方以及左后方的被测目标的距离/速度测量。另外,车辆间通信单元75与本汽车12四周的其它汽车直接通信,并且交换其它汽车的其它汽车信息(例如,车辆尺寸、速度、刹车、加速度、位置坐标、汽车机型、型号)。
在图3A/3B中,计算周围汽车(汽车A、B、C、D、E、F)(即下文中的周边车辆)的位置(距离/方向测量)的方法在下面进行解释。首先,在对到周边车辆的距离进行测量时,来自本汽车12的车辆间通信单元75的发射电功率定期地改变,以便基于不发射电阈值的检测来粗略地检测距离,该不发射电阈值定义了车辆间通信的不发射电平。在这种情况下,设置在后向灯中央的车辆间通信单元75例如基于与前车的通信,使得更容易精确地测量车辆间距离,因为车辆间通信的检测结果和ACC雷达3的检测结果之间的检测结果匹配很容易。当ACC雷达3与通信单元75比较时,ACC雷达3的测量范围V大于通信单元75的通信范围P,因此首先通过雷达3来检测并确定车辆间通信的距离/方向,作为通过通信单元75进行实际的车辆间通信的准备。以这种方式,可以设置车辆间通信单元75的发射电功率以及通信方向(Q)。(“Pd”表示人行道上的步行者)。
如图4所示,多个拍摄装置21以预定间隔设置,作为在本汽车12正在行驶的道路20上进行拍摄的基础设施。图4中的道路20具有在一个通行方向上的多个车道20a、20b以及在另一方向上的车道20c、20d,其中拍摄装置21用于针对各个车道捕获道路和现场图像。拍摄装置21可设置在护栏、轨道等上,以便从车辆前侧向捕获车辆图像,或者可设置在立柱上,用于从车辆上方捕获车辆图像。此外,拍摄装置21具有分别设置在其上的道路侧通信单元321,以便将来自拍摄装置21的道路和现场图像以及拍摄位置一起传送到车辆上的道路-车辆通信单元40。
拍摄装置21用于捕获道路和现场图像,该道路和现场图像包括围绕本汽车12的汽车,或者更为实际地,相对于拍摄装置组11的视野,包括本汽车12的远前方和/或远后方现场。本汽车12的位置以及时的方式由上述GPS检测到,并且通过利用道路-车辆通信单元40来识别预定的前向/后向范围内的拍摄装置21,来自拍摄装置21的数据被选择性地接收。所接收的道路和现场图像数据由鸟瞰图生成器51进行视点变换处理,从而被组合以生成如图11所示的本汽车周边俯瞰图像30。即,更为实际地,利用来自距本汽车12预定距离的远前方或远后方区域的拍摄装置21的图像252对来自拍摄装置组11的图像251进行补充,从而合成出图11中的图像30。更为实际地,通过包括本汽车行驶车道20b或相邻车道20a中以离本汽车12至少有本汽车12长度的距离在本汽车12后面行驶的其它车辆的图像213,来生成本汽车周边俯瞰图像30。
另外,如图4所示,以与拍摄装置组11相同的方式来配置设置在行驶于本汽车12四周的其它车辆13(包括13F、13B)上的车辆内拍摄装置11’,并且能够通过通信单元75来传送来自拍摄装置11’的图像,以便合成出俯瞰图像30。
基于下面的流程图来描述车辆的现场监视设备1的操作。即,在图5中,示出了通过三个ECU 50、70、90协同操作来执行的主处理流程。首先,步骤S1是通过图像ECU 50来生成本汽车周边俯瞰图像的步骤,而步骤S2是并行执行的通过风险评估ECU 70来进行风险评估处理(风险估计)的步骤。然后,步骤S3和S4分别是由警告输出控制ECU 90执行的警告内容确定处理以及警告输出处理的步骤,其根据在本汽车周边俯瞰图像30中其它车辆存在的情况以及步骤S2的风险评估结果来执行。所述主处理以预定时间间隔重复地执行,同时更新处理结果。另外,在一个大型ECU的性能足够的情况下,也可以在该ECU中完整地执行整个主处理。
图6示出了本汽车周边俯瞰图像的生成过程(S1)的详细内容。首先,通过其它汽车信息映射单元52(图1)的处理,在获取道路和现场图像之前,在步骤S11中获取雷达3对其它汽车的检测信息,并且在步骤S12中基于对检测信息的分析来获取其它汽车13相对于本汽车12的所处方向信息以及有关本汽车12和其它汽车13的距离信息。然后,在步骤S13中,基于上述的距离信息和所处方向信息,生成本汽车12周围的其它汽车13的映射信息。更为实际地,其它汽车的位置被映射在极坐标平面上,该极坐标平面被定义为平行于道路表面,其中本汽车12的位置作为其原点,并且其它汽车的半径和位移角分别源自于所述距离信息和所处方向信息。
接下来,在步骤S14中,在获取到来自拍摄装置组11和拍摄装置21的图像以及来自本汽车12周围的其它汽车13上的拍摄装置11’的图像之后,执行公知类型的视点变换处理。在获取图像后,在步骤S15中,利用公知的分析方法对图像进行分析,以便提取经视点变换的图像中其它汽车的图像。然后,如果图像中有其它汽车,则通过考虑每个拍摄装置的拍摄方向以及视野来检测所提取的其它汽车的图像相对于本汽车12的位置,并且在步骤S16中,将所检测到的其它汽车的位置与其它汽车的位置的映射结果进行比较。在步骤S17中,基于与映射结果的比较,将视点变换后的图像合成为本汽车周边俯瞰图像30,其中有被标识为实际存在的“真实”的其它汽车的图像。
图7示出了当使用拍摄装置21时本汽车周边俯瞰图像生成处理的流程的一个示例。首先,在步骤S51中,获取拍摄装置21(其被设置用于在图像中捕获本汽车12)的图像,以便对本汽车12上的车辆内拍摄装置组11进行位置调整,并且将图像的视点转换成鸟瞰图(该图像总是包括本汽车12的图像:将视点变换到本汽车的正上方(即,图像被构成为平面图))。然后,在步骤S52中,从拍摄装置21获取在与本汽车12的直接周围分离的视野内的本汽车12的前方现场或后方现场的图像,以进行视点变换,该拍摄装置21被设置用于捕获可以与步骤S51中所获取的图像无缝结合的适当图像。然后,在步骤S53中,将在步骤S51和S52中所获取的图像合成为合成图像A。
然后,在步骤S54中,把来自车辆内拍摄装置组11的每个图像相继地转换成俯视图或鸟瞰图,且将所转换的图像合成为合成图像B。在车辆内拍摄装置组11所捕获的图像及其合成图像B中,仅部分地包括本汽车12的图像。因此,在步骤S55中,以位置匹配方式将包括本汽车12图像的合成图像A的视点与部分包括本汽车12图像的合成图像B的视点对齐,并且在步骤S56中,将经匹配的图像合成为仅包括在其中反映的匹配的其它汽车的图像。最后,在步骤S57中,本汽车周边俯瞰图像30完成。在这种方式下,本汽车12的图像可以作为来自拍摄装置21的真实图像而包括在本汽车周边俯瞰图像30中。不过,可替选地,可以利用本汽车12的预先准备好的图像作为替代,将本汽车12的图像合成在本汽车周边俯瞰图像30中。
图8示出了当使用其它汽车上的拍摄装置11’时的处理流程。在步骤S61中,获取本汽车12的车辆内拍摄装置组11的每个图像,并且在步骤S62中,将视点转换成鸟瞰图。然后,在步骤S63中,与由雷达3发现的周围的其它汽车进行车辆间通信,并作为转换成俯视图之后的图像,获取来自其它汽车13上的拍摄装置组11的图像。在步骤S64中,从其它汽车13获取的鸟瞰图与来自本汽车12的拍摄装置组11的鸟瞰图结合,以便合成为合成图像A。然后,在合成图像A上,仅仅反映了在映射结果中识别的其它汽车图像,以便完成本汽车周边俯瞰图像30(S66)。
图9示出了风险评估处理(图5中的S2)的流程。在步骤S21中,该过程通过已经与雷达3一起解释的方法来进行其它汽车检测过程。在步骤S22中,获取到被检测的其它汽车的距离以及速度作为信息,并且计算本汽车向其它汽车的相对靠近速度,作为本汽车的速度差。然后,在步骤S23中,当相对靠近速度是正值时,基于距其它汽车的距离(即狭义上的空间距离)以及相对靠近速度来评估其它汽车的追上时间。
然后,在步骤S24中,从生物测量传感器组74获取驾驶者的身体状况作为信息。基于生物测量感测的驾驶者状况的评估方法是公知的技术,例如其在专利文献JP-A-2006-282111中公开。因此,该技术在下面仅作简单的解释。即,以下传感器可以用作生物测量传感器:
-红外传感器:通过红外传感器捕获有关驾驶者面部的热图像,以便基于辐射的红外线来检测身体温度。
-面部拍摄装置(室内拍摄装置73):拍摄装置用于捕获坐在驾驶者座位上的驾驶者的面部表情。此外,驾驶者的眼睛方向被用来检测驾驶者的注意力水平。
-麦克风:麦克风用于拾取驾驶者的语音。
-压力传感器:压力传感器被设置在方向盘、变速杆等上将由驾驶者抓握的位置,以便检测握力以及紧握和放开的频率。
-脉搏传感器:作为反射光传感器等的脉搏传感器被设置在车辆的方向盘上的抓握位置,以便检测反映脉搏的驾驶者血流。
-身体温度传感器:温度传感器被设置在车辆的方向盘上的抓握位置。
例如以下述方式基于所捕获的图像来确定驾驶者的状况。即,从面部拍摄装置捕获的驾驶者面部(全部或部分面部,比如眼睛、嘴巴等)的图像与作为各种精神状况和/或身体状况样板的主图像作比较,以便确定使用者是生气/平静、情绪好(高兴)/情绪坏(失望或伤心)或是焦急/紧张。此外,不是针对各个使用者应用特定主图像,而是提取面部轮廓、眼睛形状、嘴巴/鼻子位置/形状作为针对所有使用者的共同面部特征,并且所提取的特征可与预定的标准特征进行比较,以便进行上述确定。
可以基于由面部拍摄装置捕获的使用者的运动图像(例如,颤抖运动,皱眉)和/或来自压力传感器的信息等(例如,频繁地将手从方向盘上放开等)来检测身体运动,以便确定该使用者在驾驶车辆时是否烦躁。
通过方向盘上的身体温度传感器或者通过来自红外传感器的热图像来检测身体温度。当使用者的情绪高涨、兴奋或者被冒犯时,身体温度会升高,而当使用者的情绪保持平静时,身体温度会降低。另外,可以根据来自脉搏传感器的脉搏计数的增加来检测紧张和/或兴奋。
此外,不考虑精神状况,当使用者处于比如疲劳或注意力分散等身体状况下,身体温度也会升高。可基于面部表情(面部拍摄装置)或身体运动(面部拍摄装置/压力传感器)与表示使用者状况的其他信息结合来确定温度升高的原因。此外,由于紧张、兴奋或情绪反应而导致的温度升高可作为暂时的温度增加以区别于由于身体状况差而导致的持续发烧。另外,当取样并记录了使用者的正常温度时,与被记录的正常温度的温度偏离(例如特别是向更高温度的偏离)可以使得能够检测更细微的情绪变化等。
在本实施例中,身体/情绪状况检测结果用于将驾驶者状况分类成多个级别,即在该例子中的正常、中低和低三个级别,如图13所示,以便进行风险评估(S25),并针对各个级别提供适当的警告。更为实际地,当使用者被分类为“正常”时,仅从监视器提供警告;当使用者处于“中低”时,添加语音警告;当使用者被分类为“低”时,还利用振动来提供警告。另外,以“近(N)”、“中远(M-F)”以及“远(F)”三个级别反映在风险评估中的其它汽车的接近阈值以如下方式限定,即对于朝向“低”分类的方向上处于越低状况的使用者,预留越长的时间。换句话说,当认为使用者的反应越慢时,警告越早提供。(图13中的“R”、“Y”、“USU”分别表示“红”“黄”和“照常”)。
图10示出了警告内容确定和输出(步骤S3、S4中)的流程。该图描述了本汽车驾驶者的车道变化的一个示例。在步骤S31中,检测用于车道变化的转向信号的操作。然后,在步骤S32中,根据本汽车周边俯瞰图像30来确认其它汽车的存在(即,周围汽车的检测)。在步骤S33中,确认其它汽车是在本汽车的前方还是在本汽车的后方。当其它汽车在本汽车前方时,确定在其它汽车中是否包括与本汽车相比更慢的汽车。当有更慢的汽车时,该过程从步骤S35前进到S36,以便为驾驶者提供包括警告在内的信息。另一方面,当在步骤S33中检测到其它汽车在本汽车后方时,在步骤S41中进行更快汽车检测,以便找到行驶得比本汽车快的更快的汽车。当发现更快的汽车在本汽车后方时,该过程从步骤S42前进到S36,以便提供包括警告在内的信息(如果没有检测到更慢/更快的汽车,则本过程结束,而不执行任何处理)。
以下描述了根据距离、针对其它汽车的单独警告处理。即,当上述的距其它汽车的距离超过A秒并因此被分类为“远”时,该过程从步骤S37前进到S43,以便向驾驶者提供警告1。当距其它汽车的距离超过B秒且在A秒内或等于A秒并因此被分类为“中远”时,该过程从步骤S38前进到S44,以便向驾驶者提供警告2。此外,当距其它汽车的距离在B秒内或等于B秒并因此被分类为“近”时,该过程从步骤S38前进到S39,以便向驾驶者提供警告3。图12示出了上述警告1-3的示例。即,其它汽车的警告以在屏幕上以预定颜色来标记警告目标(即其它汽车图像213)的形式提供。更为实际地,在本汽车周边俯瞰图像30中,用于描绘其它汽车图像213轮廓的标记框213f、213bf依赖于距离、针对警告1-3中的每个而有所区别。即,当其它汽车被分类为“远”时,标记框213f以黄色显示,而当其它汽车被分类为“中远”时,标记框213f以红色显示。此外,当其它汽车被分类为“近”时,红色标记框213bf被显示为闪烁框。
另外,针对降低的驾驶者状况的警告可以提供为简单的告警声音,或者可以用声音提供为具体警告内容。例如,声音信息可以是:
-“后面有危险车辆”(或者“警告:速度更快的汽车正在从后面追上。”)
-“前方有危险车辆”(或者“警告:前方有慢速汽车。”);
-“车辆正在靠近。保持在当前车道。”
-“前方有车辆。保持在当前车道。”
此外,警告可根据空间距离而非其它汽车的追上时间间隔来提供,或者可根据其它汽车的速度来提供。此外,警告可以被替换为显示在屏幕上的其它车辆的空间距离/速度数字。
Claims (21)
1.一种在对象车辆(12)中使用的现场监视设备(1),包括:
道路图像获取单元(50),其能够在所述对象车辆(12)正在道路上行驶时,从设置在所述对象车辆(12)周围的道路侧捕获单元(21)获取道路图像,所述道路图像包括所述对象车辆(12)四周的其它车辆(13);
俯视图生成单元(51),其能够以从所述对象车辆(12)上方的视点来生成所述对象车辆(12)的俯视图,其中,通过利用视点变换来合成以多个道路侧捕获单元(21)的不同角度分别捕获的多个道路图像,生成所述对象车辆(12)的俯视图,作为所述对象车辆(12)的附近区域的真实图像的视图;以及
显示单元(95),其设置在所述对象车辆(12)中,并能够显示所述对象车辆(12)的俯视图,其中,所述对象车辆(12)的位置以可识别的方式表示在所述俯视图中。
2.如权利要求1所述的现场监视设备(1),还包括:
周围捕获单元(11),其设置在所述对象车辆(12)中,并且能够捕获所述对象车辆(12)的周围图像,其中:
所述俯视图生成单元(51)基于来自所述周围捕获单元(11)的周围图像以及来自所述道路侧捕获单元(21)的道路图像两者来生成所述俯视图。
3.如权利要求2所述的现场监视设备(1),其中:
相对于所述周围捕获单元(11)的捕获角度,所述道路侧捕获单元(21)捕获所述对象车辆(12)的远前方区域以及远后方区域的道路图像中的至少一个,以及
所述俯视图生成单元(51)通过利用来自所述道路侧捕获单元(21)的道路图像对来自所述周围捕获单元(11)的周围图像进行补充来生成所述对象车辆(12)的俯视图,所述道路侧捕获单元(21)处于在所述对象车辆(12)的前方和后方之一、距所述对象车辆(12)至少预定距离的位置。
4.如权利要求3所述的现场监视设备(1),其中:
所述俯视图生成单元(51)生成所述对象车辆(12)的俯视图,使得其中包括其它车辆的图像,所述其它车辆行驶在所述对象车辆的车道和所述对象车辆车道的相邻车道之一中距所述对象车辆(12)向后至少对象车辆(12)的长度的位置。
5.如权利要求1至4中任意一项所述的现场监视设备(1),其中:
所述道路侧捕获单元(21)是设置在所述对象车辆(12)正在行驶的道路的道路侧的多个预定位置的道路-车辆拍摄装置,以及
所述道路图像获取单元(50)是在距所述对象车辆(12)的行驶位置预定距离内的道路-车辆拍摄装置,其提供用于生成所述对象车辆(12)的俯视图的所述道路图像。
6.如权利要求1至4中任意一项所述的现场监视设备(1),还包括:
其它车辆识别单元(51),其能够识别所述对象车辆(12)的俯视图中其它车辆的图像;
距离检测单元(3),其能够检测到所述对象车辆(12)四周的其它车辆(13)的距离;以及
距离输出单元(70),其能够输出有关到所述其它车辆(13)的距离的信息,其中到所述其它车辆(13)的距离以标识对应的其它车辆的图像的方式在所述对象车辆(12)的俯视图上输出。
7.如权利要求6所述的现场监视设备(1),其中:
所述距离检测单元(3)是用于检测到所述其它车辆(13)的距离的单元,其与用于生成所述对象车辆(12)的俯视图的图像获取装置分离地设置在所述对象车辆(12)上。
8.如权利要求7所述的现场监视设备(1),还包括:
其它车辆映射单元(52),其中
所述距离检测单元(3)能够获取所述其它车辆(13)相对于所述对象车辆(12)的方向信息,以及能够获取从所述对象车辆(12)到所述其它车辆(13)的距离信息;
所述其它车辆映射单元(52)生成其它车辆映射信息,该其它车辆映射信息基于所述距离信息和所述方向信息来映射所述对象车辆(12)四周的所述其它车辆(13);以及
所述其它车辆识别单元(51)参考所述其它车辆映射信息,以便校正所述其它车辆图像在所述对象车辆(12)的俯视图上的识别结果。
9.如权利要求7所述的现场监视设备(1),其中:
所述距离检测单元(3)是雷达距离测量装置。
10.如权利要求6所述的现场监视设备(1),其中:
所述距离检测单元(3)包括标记单元,该标记单元能够根据所检测的到其它车辆(13)的距离而将不同的标记置于所述对象车辆(12)的俯视图中所述其它车辆的图像上。
11.如权利要求10所述的现场监视设备(1),其中:
所述标记单元根据所检测的距离而使用不同的颜色来标记所述其它车辆的图像。
12.如权利要求10所述的现场监视设备(1),其中:
所述标记单元根据所检测的距离而使用不同的标记框,所述标记框描绘所述对象车辆(12)的俯视图中所述其它车辆的图像的边界。
13.如权利要求6所述的现场监视设备(1),还包括:
警告信息输出单元(90),其在所述对象车辆(12)的俯视图包括由所述距离检测单元(3)检测到距离在预定警告距离内的所述其它车辆(13)时,输出警告信息。
14.如权利要求13所述的现场监视设备(1),还包括:
相对靠近速度识别单元(72),其识别来自所述对象车辆(12)后面的所述其它车辆(13)的相对靠近速度,其中:
所述警告信息输出单元(90)在所述对象车辆(12)的俯视图包括相对靠近速度为正值且大于预定警告靠近速度的所述其它车辆(13)时,输出所述警告信息。
15.如权利要求13所述的现场监视设备(1),还包括:
追上时间计算单元(71),其能够基于所述距离检测单元(3)所检测的距离以及由所述相对靠近速度识别单元(72)所识别的相对靠近速度来计算追上信息,该追上信息反映来自所述对象车辆(12)后面的所述其它车辆(13)的追上时间,其中
所述警告信息输出单元(90)在所述对象车辆(12)的俯视图包括追上时间小于预定警告追上时间的所述其它车辆(13)时,输出所述警告信息。
16.如权利要求13所述的现场监视设备(1),其中:
所述警告信息输出单元(90)包括警告标记生成单元,该警告标记生成单元能够以可与未被视作警告目标的车辆的图像清楚地区分的方式来标记出被视作所述对象车辆(12)的俯视图中的警告目标的所述其它车辆(13)的图像。
17.如权利要求13所述的现场监视设备(1),其中:
所述警告标记生成单元使用预定的颜色来标记被视作所述警告目标的所述其它车辆(13)的图像。
18.如权利要求13所述的现场监视设备(1),还包括:
警告声音输出单元(96),其能够提供所述警告信息的声音输出,其中:
所述警告声音输出单元(96)包括在所述警告信息输出单元(90)中。
19.如权利要求1所述的现场监视设备(1),其中:
所述俯视图生成单元(51)通过利用并非源自于所述道路图像的替代图像来部分地替代所述俯视图,来生成所述对象车辆(12)的俯视图。
20.如权利要求19所述的现场监视设备(1),其中:
所述替代图像是所述主体车辆(12)的图像。
21.一种在对象车辆(12)中使用的现场监视设备(1),包括:
道路图像获取单元(50),其能够在所述对象车辆(12)正在道路上行驶时,从设置在所述对象车辆(12)周围的道路侧捕获单元(21)获取道路图像,所述道路图像包括所述对象车辆(12)四周的其它车辆(13);
俯视图生成单元(51),其能够以从所述对象车辆(12)上方的视点来生成所述对象车辆(12)的俯视图,其中,通过利用视点变换来合成以多个道路侧捕获单元(21)的不同角度分别捕获的多个道路图像,生成所述对象车辆(12)的俯视图,作为所述对象车辆(12)的附近区域的真实图像的视图;以及
显示单元(95),其设置在所述对象车辆(12)中,并能够显示所述对象车辆(12)的俯视图,其中,所述对象车辆(12)的位置以可识别的方式表示在所述俯视图中,其中:
所述道路侧捕获单元(21)是设置于在所述对象车辆(12)四周行驶的其它车辆(13)上的车辆拍摄装置,以及
所述道路图像获取单元(50)是在距所述正在行驶的对象车辆(12)预定距离内的其它车辆(13)上的车辆拍摄装置,其提供用于生成所述对象车辆(12)的俯视图的所述道路图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007026951A JP4893945B2 (ja) | 2007-02-06 | 2007-02-06 | 車両周辺監視装置 |
JP2007-026951 | 2007-02-06 | ||
JP2007026951 | 2007-02-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101242523A CN101242523A (zh) | 2008-08-13 |
CN101242523B true CN101242523B (zh) | 2010-06-09 |
Family
ID=39675803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008100062661A Expired - Fee Related CN101242523B (zh) | 2007-02-06 | 2008-02-04 | 现场监视设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8593519B2 (zh) |
JP (1) | JP4893945B2 (zh) |
CN (1) | CN101242523B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842243A (zh) * | 2012-09-05 | 2012-12-26 | 广东好帮手电子科技股份有限公司 | 一种基于汽车的来车提示系统及方法 |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7376510B1 (en) * | 2004-11-05 | 2008-05-20 | Navteq North America, Llc | Map display for a navigation system |
JP4902575B2 (ja) * | 2008-02-27 | 2012-03-21 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置、および道路標示認識方法 |
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
US20100253780A1 (en) * | 2009-04-03 | 2010-10-07 | Shih-Hsiung Li | Vehicle auxiliary device |
JP5385009B2 (ja) * | 2009-05-29 | 2014-01-08 | 日立オートモティブシステムズ株式会社 | 車両制御装置および車両制御方法 |
WO2011036892A1 (ja) * | 2009-09-24 | 2011-03-31 | パナソニック株式会社 | 運転支援表示装置 |
US20110224875A1 (en) * | 2010-03-10 | 2011-09-15 | Cuddihy Mark A | Biometric Application of a Polymer-based Pressure Sensor |
US10643467B2 (en) * | 2010-03-28 | 2020-05-05 | Roadmetric Ltd. | System and method for detecting and recording traffic law violation events |
DE102010052304A1 (de) * | 2010-11-23 | 2012-05-24 | Valeo Schalter Und Sensoren Gmbh | Verfahren und Vorrichtung zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Ausparken aus einer Parklücke und Kraftfahrzeug |
JP2012226392A (ja) * | 2011-04-14 | 2012-11-15 | Honda Elesys Co Ltd | 運転支援システム |
US9378640B2 (en) | 2011-06-17 | 2016-06-28 | Leddartech Inc. | System and method for traffic side detection and characterization |
JP2013097480A (ja) * | 2011-10-31 | 2013-05-20 | Hitachi Consumer Electronics Co Ltd | 車両用衝突危険予測装置及び車両用衝突危険予測システム |
MY173364A (en) * | 2012-03-01 | 2020-01-21 | Nissan Motor | Three-dimensional object detection device |
USRE48914E1 (en) * | 2012-03-02 | 2022-02-01 | Leddartech Inc. | System and method for multipurpose traffic detection and characterization |
DE102012005471A1 (de) * | 2012-03-17 | 2013-09-19 | GM Global Technology Operations LLC (n.d. Ges. d. Staates Delaware) | Verkehrsinformationssystem |
SE537182C2 (sv) * | 2012-06-14 | 2015-02-24 | Scania Cv Ab | System och metod för att identifiera fordon i ett fordonståg |
DE102012217013B3 (de) * | 2012-09-21 | 2014-03-06 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Fahrzeugkommunikation |
JP5890294B2 (ja) * | 2012-10-29 | 2016-03-22 | 日立マクセル株式会社 | 映像処理システム |
KR101896715B1 (ko) * | 2012-10-31 | 2018-09-07 | 현대자동차주식회사 | 주변차량 위치 추적 장치 및 방법 |
US9508014B2 (en) * | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
TWI552897B (zh) | 2013-05-17 | 2016-10-11 | 財團法人工業技術研究院 | 影像動態融合方法與裝置 |
KR101519209B1 (ko) * | 2013-08-06 | 2015-05-11 | 현대자동차주식회사 | Avm 영상 제공 장치 및 방법 |
JP6257989B2 (ja) * | 2013-10-08 | 2018-01-10 | 日産自動車株式会社 | 運転支援装置 |
US9598012B2 (en) * | 2014-03-11 | 2017-03-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Surroundings monitoring system for a vehicle |
JP6062122B2 (ja) | 2014-08-21 | 2017-01-18 | 三菱電機株式会社 | 運転支援装置、運転支援方法及びプログラム |
US10488492B2 (en) | 2014-09-09 | 2019-11-26 | Leddarttech Inc. | Discretization of detection zone |
US10127813B2 (en) * | 2015-01-20 | 2018-11-13 | Invent F&W, Llc | Systems and methods for alerting drivers of approaching emergency vehicles |
KR20160112545A (ko) * | 2015-03-19 | 2016-09-28 | 현대자동차주식회사 | 차량 및 차량의 제어방법 |
JP6415382B2 (ja) * | 2015-04-30 | 2018-10-31 | 三菱電機株式会社 | 移動体用画像生成装置及びナビゲーション装置 |
KR102375411B1 (ko) * | 2015-05-11 | 2022-03-18 | 삼성전자주식회사 | 차량 주변 영상 제공 방법 및 장치 |
DE102016208214A1 (de) * | 2015-05-22 | 2016-11-24 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Fahrzeuges |
US10527722B2 (en) * | 2015-06-09 | 2020-01-07 | Garmin Switzerland Gmbh | Radar sensor system providing situational awareness information |
JP6582587B2 (ja) * | 2015-06-16 | 2019-10-02 | 株式会社デンソー | 報知処理装置 |
JP6444835B2 (ja) | 2015-09-07 | 2018-12-26 | 株式会社東芝 | 画像処理装置、画像処理プログラムおよび画像処理システム |
JP6521086B2 (ja) | 2015-10-08 | 2019-05-29 | 日産自動車株式会社 | 表示支援装置及び表示支援方法 |
WO2017085857A1 (ja) | 2015-11-20 | 2017-05-26 | 三菱電機株式会社 | 運転支援装置、運転支援システム、運転支援方法及び運転支援プログラム |
WO2017100167A1 (en) * | 2015-12-06 | 2017-06-15 | Voicebox Technologies Corporation | System and method of conversational adjustment based on user's cognitive state and/or situational state |
US10393872B2 (en) | 2015-12-08 | 2019-08-27 | Garmin Switzerland Gmbh | Camera augmented bicycle radar sensor system |
JP6657891B2 (ja) * | 2015-12-09 | 2020-03-04 | 日本電気株式会社 | 操作補助システム、及び、操作補助システムによる操作補助方法 |
CN105427671A (zh) * | 2015-12-20 | 2016-03-23 | 李俊娇 | 一种基于雷达探测的雾区辅助行驶装置 |
US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
CN105761500B (zh) * | 2016-05-10 | 2019-02-22 | 腾讯科技(深圳)有限公司 | 交通事故处理方法及交通事故处理装置 |
JP6930058B2 (ja) * | 2017-09-04 | 2021-09-01 | 国際航業株式会社 | 車両位置取得システム、及び車両位置取得方法 |
JP6929177B2 (ja) * | 2017-09-20 | 2021-09-01 | 日産自動車株式会社 | 運転支援表示方法及び運転支援表示装置 |
JP7396266B2 (ja) * | 2018-03-20 | 2023-12-12 | 住友電気工業株式会社 | 情報提供システム、情報提供方法、コンピュータプログラム |
DE102018206062A1 (de) * | 2018-04-20 | 2019-10-24 | Robert Bosch Gmbh | Verfahren zur Steuerung eines Anzeigesystems |
EP3561793A1 (en) * | 2018-04-23 | 2019-10-30 | Ecole Nationale de l'Aviation Civile | Method and apparatus monitoring a space |
CN108766030B (zh) * | 2018-04-27 | 2021-08-03 | 榛硕(武汉)智能科技有限公司 | 车载防追尾的预警系统 |
KR102554594B1 (ko) * | 2018-07-09 | 2023-07-12 | 현대모비스 주식회사 | 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법 |
CN108965921B (zh) * | 2018-08-15 | 2021-02-05 | 深圳市科迈爱康科技有限公司 | 车载视频拼接方法、装置及计算机可读存储介质 |
JP7128096B2 (ja) * | 2018-11-26 | 2022-08-30 | 本田技研工業株式会社 | 映像表示装置 |
JP7200645B2 (ja) * | 2018-12-11 | 2023-01-10 | トヨタ自動車株式会社 | 車載装置、プログラム、及び車両 |
CN109738923B (zh) * | 2019-03-18 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 一种行车导航方法和装置以及系统 |
WO2020210960A1 (zh) * | 2019-04-15 | 2020-10-22 | 华为技术有限公司 | 交通道路的数字化全景重建的方法和系统 |
US11380206B2 (en) | 2020-03-30 | 2022-07-05 | Denso International America, Inc. | Methods and systems for transmitting basic safety messages |
US11396299B2 (en) | 2020-04-24 | 2022-07-26 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Video processing for vehicle ride incorporating biometric data |
CN112085960A (zh) * | 2020-09-21 | 2020-12-15 | 北京百度网讯科技有限公司 | 车路协同信息处理方法、装置、设备及自动驾驶车辆 |
US11351932B1 (en) * | 2021-01-22 | 2022-06-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicles and methods for generating and displaying composite images |
WO2023205444A1 (en) | 2022-04-22 | 2023-10-26 | Velo.Ai, Inc. | Artificially intelligent mobility safety system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1344470A (zh) * | 1999-04-16 | 2002-04-10 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
CN1412047A (zh) * | 2001-10-15 | 2003-04-23 | 松下电器产业株式会社 | 车辆周围监视装置及其调整方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7295925B2 (en) * | 1997-10-22 | 2007-11-13 | Intelligent Technologies International, Inc. | Accident avoidance systems and methods |
US7418346B2 (en) * | 1997-10-22 | 2008-08-26 | Intelligent Technologies International, Inc. | Collision avoidance methods and systems |
JP3405378B2 (ja) * | 1995-09-25 | 2003-05-12 | 三菱自動車工業株式会社 | 車両周囲情報表示装置 |
EP0913751B1 (de) * | 1997-11-03 | 2003-09-03 | Volkswagen Aktiengesellschaft | Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges |
JP2001155289A (ja) * | 1999-12-01 | 2001-06-08 | Sony Corp | 情報通信システムおよび方法 |
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
JP2002083285A (ja) * | 2000-07-07 | 2002-03-22 | Matsushita Electric Ind Co Ltd | 画像合成装置および画像合成方法 |
JP3835175B2 (ja) | 2001-01-31 | 2006-10-18 | 株式会社デンソー | 移動体通信装置の狭域通信方法 |
US7100190B2 (en) * | 2001-06-05 | 2006-08-29 | Honda Giken Kogyo Kabushiki Kaisha | Automobile web cam and communications system incorporating a network of automobile web cams |
JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
US6615137B2 (en) * | 2001-06-26 | 2003-09-02 | Medius, Inc. | Method and apparatus for transferring information between vehicles |
JP2003091793A (ja) * | 2001-09-17 | 2003-03-28 | Toshiba Corp | 走行支援情報提供システム及び方法並びにプログラム |
JP2003312415A (ja) | 2002-04-23 | 2003-11-06 | Nissan Motor Co Ltd | 車両の事前提示装置 |
US7038577B2 (en) * | 2002-05-03 | 2006-05-02 | Donnelly Corporation | Object detection system for vehicle |
WO2003105108A1 (de) | 2002-06-11 | 2003-12-18 | Robert Bosch Gmbh | Verfahren und vorrichtung zur fahrerinformation bzw. zur reaktion bei verlassen der fahrspur |
JP2004241866A (ja) * | 2003-02-03 | 2004-08-26 | Alpine Electronics Inc | 車両間通信装置 |
JP2004326581A (ja) * | 2003-04-25 | 2004-11-18 | Fuji Heavy Ind Ltd | 情報提供システムおよび情報提供方法 |
JP4095491B2 (ja) * | 2003-05-19 | 2008-06-04 | 本田技研工業株式会社 | 距離測定装置、距離測定方法、及び距離測定プログラム |
JP4214841B2 (ja) | 2003-06-11 | 2009-01-28 | 株式会社デンソー | 周囲状況認識システム |
JP4039321B2 (ja) | 2003-06-18 | 2008-01-30 | 株式会社デンソー | 車両用周辺表示装置 |
JP4081548B2 (ja) | 2004-02-02 | 2008-04-30 | 独立行政法人産業技術総合研究所 | 運転支援システム |
JP4134939B2 (ja) * | 2004-04-22 | 2008-08-20 | 株式会社デンソー | 車両周辺表示制御装置 |
US7881496B2 (en) * | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
JP4573242B2 (ja) | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
JP2006164197A (ja) * | 2004-12-10 | 2006-06-22 | Equos Research Co Ltd | 走行支援装置 |
EP1696669B1 (en) * | 2005-02-24 | 2013-07-03 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding monitoring device |
JP4657765B2 (ja) * | 2005-03-09 | 2011-03-23 | 三菱自動車工業株式会社 | ノーズビューシステム |
US8130269B2 (en) * | 2005-03-23 | 2012-03-06 | Aisin Aw Co., Ltd. | Visual recognition apparatus, methods, and programs for vehicles |
JP2006285399A (ja) * | 2005-03-31 | 2006-10-19 | Tama Tlo Kk | 交差点における車両の動きを監視するための映像監視方法及び装置 |
JP4535272B2 (ja) | 2005-04-04 | 2010-09-01 | 株式会社デンソー | 自動車用ユーザーもてなしシステム |
WO2006121986A2 (en) * | 2005-05-06 | 2006-11-16 | Facet Technology Corp. | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
JP4956915B2 (ja) * | 2005-05-20 | 2012-06-20 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
JP2006341641A (ja) * | 2005-06-07 | 2006-12-21 | Nissan Motor Co Ltd | 映像表示装置及び映像表示方法 |
WO2007015446A1 (ja) * | 2005-08-02 | 2007-02-08 | Nissan Motor Co., Ltd. | 車両周囲監視装置及び車両周囲監視方法 |
JP4321509B2 (ja) | 2005-10-17 | 2009-08-26 | 株式会社デンソー | 移動体用通信装置 |
JP4970926B2 (ja) * | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4426535B2 (ja) * | 2006-01-17 | 2010-03-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP4254887B2 (ja) * | 2006-07-06 | 2009-04-15 | 日産自動車株式会社 | 車両用画像表示システム |
US7633383B2 (en) * | 2006-08-16 | 2009-12-15 | International Business Machines Corporation | Systems and arrangements for providing situational awareness to an operator of a vehicle |
-
2007
- 2007-02-06 JP JP2007026951A patent/JP4893945B2/ja not_active Expired - Fee Related
-
2008
- 2008-02-04 CN CN2008100062661A patent/CN101242523B/zh not_active Expired - Fee Related
- 2008-02-04 US US12/068,164 patent/US8593519B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1344470A (zh) * | 1999-04-16 | 2002-04-10 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
CN1412047A (zh) * | 2001-10-15 | 2003-04-23 | 松下电器产业株式会社 | 车辆周围监视装置及其调整方法 |
Non-Patent Citations (2)
Title |
---|
JP2005特开-18636A 2005.01.20 |
JP特开2002-279596A 2002.09.27 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102842243A (zh) * | 2012-09-05 | 2012-12-26 | 广东好帮手电子科技股份有限公司 | 一种基于汽车的来车提示系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4893945B2 (ja) | 2012-03-07 |
JP2008191988A (ja) | 2008-08-21 |
US8593519B2 (en) | 2013-11-26 |
US20080186382A1 (en) | 2008-08-07 |
CN101242523A (zh) | 2008-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101242523B (zh) | 现场监视设备 | |
US10410250B2 (en) | Vehicle autonomy level selection based on user context | |
US11568492B2 (en) | Information processing apparatus, information processing method, program, and system | |
CN101269635B (zh) | 视场监视设备 | |
CN105270179B (zh) | 车辆驾驶辅助装置及车辆 | |
US8744642B2 (en) | Driver identification based on face data | |
JP5337905B2 (ja) | 速度計測システム、速度計測方法及びプログラム | |
CN108891419A (zh) | 驾驶员监视装置及驾驶员监视方法 | |
CN106323309A (zh) | 车辆驾驶辅助装置、车辆用显示装置以及车辆 | |
US11636077B2 (en) | Methods, devices, and systems for processing sensor data of vehicles | |
CN109791739A (zh) | 晕车估计装置、晕车防止装置和晕车估计方法 | |
JP5585194B2 (ja) | 事故状況記録システム | |
WO2018094384A1 (en) | Optimal route selection for autonomous vehicles | |
CN106183989B (zh) | 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法 | |
KR102368127B1 (ko) | 이륜차 무인 단속 시스템 | |
CN109890679A (zh) | 车辆控制系统、车辆控制方法及车辆控制程序 | |
CN109890662A (zh) | 车辆控制系统、车辆控制方法及车辆控制程序 | |
Ortiz et al. | Applications and services using vehicular exteroceptive sensors: A survey | |
JP2019067201A (ja) | 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム | |
CN109664889A (zh) | 一种车辆控制方法、装置和系统以及存储介质 | |
CN108958908A (zh) | 用于对感知系统的传感器进行优先排序的方法和系统 | |
CN113593075B (zh) | 用于试车场的信息显示方法和信息显示系统 | |
CN110741631A (zh) | 车辆的图像提供系统、服务器系统及车辆的图像提供方法 | |
CN110448312A (zh) | 数据处理装置、监视系统、唤醒系统、数据处理方法 | |
CN113492864A (zh) | 驾驶辅助装置以及数据收集系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100609 Termination date: 20210204 |