WO2000020257A1 - Dispositif d'assistance a la conduite et support enregistre - Google Patents

Dispositif d'assistance a la conduite et support enregistre Download PDF

Info

Publication number
WO2000020257A1
WO2000020257A1 PCT/JP1999/005509 JP9905509W WO0020257A1 WO 2000020257 A1 WO2000020257 A1 WO 2000020257A1 JP 9905509 W JP9905509 W JP 9905509W WO 0020257 A1 WO0020257 A1 WO 0020257A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
driving operation
assumed
driving
Prior art date
Application number
PCT/JP1999/005509
Other languages
English (en)
French (fr)
Inventor
Shusaku Okamoto
Hirofumi Ishii
Masamichi Nakagawa
Kunio Nobori
Atsushi Morimura
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP99970064.4A priority Critical patent/EP1038734B1/en
Priority to US09/581,004 priority patent/US7277123B1/en
Priority to KR1020007006236A priority patent/KR100568396B1/ko
Publication of WO2000020257A1 publication Critical patent/WO2000020257A1/ja
Priority to US11/846,085 priority patent/US8111287B2/en
Priority to US11/846,048 priority patent/US8077202B2/en
Priority to US11/846,027 priority patent/US20080033606A1/en
Priority to US13/848,800 priority patent/US9272731B2/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Definitions

  • the present invention relates to a driving operation assisting device that assists a driving operation of a vehicle, and a recording medium that stores a program that causes a computer to execute all or a part of the functions of each unit of the driving operation assisting device.
  • a conventional general driving assist device predicts a vehicle trajectory corresponding to a steering angle of a steering wheel when the vehicle is reversing, using a steering sensor that detects a steering angle of the steering wheel.
  • the driving operation of the driver is as follows. First, move the vehicle to a place where parking is possible with the steering wheel fixed. Next, at this location, while checking the vehicle movement trajectory predicted by the steering operation, a steering angle at which the vehicle can be moved to the space to be parked without steering operation is found. Then, if the vehicle is backed and moved to the parking space while maintaining the steering angle, parking is completed in principle.
  • the driver can easily enter the parking space while checking the combined image of the parking space, the situation around the space, and the route for guiding the vehicle to the parking space.
  • I could not intuitively find a place where the vehicle could move. Disclosure of the invention
  • the present invention in consideration of the problems of the conventional driving operation assisting device, considers a case where a driver intends to perform a predetermined series of driving operations, and a vehicle motion when performing the predetermined series of driving operations. Is displayed together with the surrounding situation, so that the driver can directly confirm the relationship between the vehicle motion and the surrounding situation by the predetermined series of driving operations, thereby reducing the driver's burden. It is intended to provide a device.
  • the present invention provides an image of a surrounding state of a vehicle using a camera to generate a surrounding state image, and / or a state of storing the generated surrounding state image.
  • a driving operation assisting device comprising: a composite image generating unit that generates a composite image; and a display unit that displays the composite image.
  • the second invention (corresponding to the invention described in claim 26) stores a program for causing a computer to execute all or a part of the functions of each means of the driving assist system of the present invention.
  • a recording medium characterized by the following.
  • FIG. 1 is a block diagram showing a configuration of the driving assist device according to the first embodiment of the present invention.
  • FIG. 2 is a plan view and an elevational view of the vehicle showing an example in which each force lens of the imaging unit 101 of the driving assist device according to the first embodiment of the present invention is attached to the vehicle.
  • FIG. 3 is an elevation view showing an example of a viewpoint of a virtual camera of the driving assist system according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of a surrounding situation image from the virtual camera of the driving assist device according to the first embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example of assumed motion data of the driving assist system according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of assumed motion data of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 9 is a diagram showing the motion of the vehicle when performing parallel parking to the left.
  • FIG. 10 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 11 is a diagram showing an example of a variation of the assumed movement pattern stored in the assumed movement pattern storage means 108 of the driving assist system according to the first embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a modified example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 13 shows a configuration of a driving assist system according to a second embodiment of the present invention.
  • FIG. 14 is a diagram illustrating an example of a composite image of the driving assist device according to the second embodiment of the present invention.
  • FIG. 15 is a block diagram showing the configuration of the driving assist system according to the third embodiment of the present invention.
  • FIG. 16 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the third embodiment of the present invention.
  • FIG. 17 is a block diagram illustrating a configuration of a driving assist system according to the fourth embodiment of the present invention.
  • FIG. 18 is a block diagram showing a configuration of the driving assist system according to the fifth embodiment of the present invention.
  • FIG. 19 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the fifth embodiment of the present invention.
  • FIG. 20 is a block diagram showing a configuration of the driving assist system according to the sixth embodiment of the present invention.
  • FIG. 21 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the sixth embodiment of the present invention.
  • FIG. 22 is a block diagram showing a configuration of a modified example of the driving assist system according to the sixth embodiment of the present invention.
  • FIG. 19 is a block diagram showing a configuration of a driving assist system according to a seventh embodiment of the present invention.
  • FIG. 24 shows a map of the driving assist system according to the seventh embodiment of the present invention.
  • 3 is a conceptual diagram showing an example of a mapping table stored in a mapping table 2302.
  • FIG. 24 shows a map of the driving assist system according to the seventh embodiment of the present invention.
  • 3 is a conceptual diagram showing an example of a mapping table stored in a mapping table 2302.
  • FIG. 25 is a block diagram showing a configuration of the driving assist system according to the eighth embodiment of the present invention.
  • FIG. 26 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the eighth embodiment of the present invention.
  • FIG. 27 is a block diagram showing a configuration of the driving assist system according to the ninth embodiment of the present invention.
  • FIG. 28 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the ninth embodiment of the present invention.
  • FIG. 29 is a block diagram showing the configuration of the driving assist system in the tenth embodiment of the present invention.
  • FIG. 30 is a diagram illustrating an example of a composite image of the driving assist device according to the tenth embodiment of the present invention.
  • FIG. 31 is a block diagram showing a configuration of the driving assist device in the eleventh embodiment of the present invention.
  • FIG. 32 is a diagram showing an example of a composite image of the driving assist system according to the first embodiment of the present invention.
  • FIG. 33 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 34 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 35 is a composite image of the driving assist system according to the first embodiment of the present invention. It is a figure showing an example of an image.
  • FIG. 36 is a graph for explaining a contact risk evaluation function of the driving assist system according to the first embodiment of the present invention.
  • FIG. 37 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 38 is a diagram illustrating an example of a contact risk evaluation function of the driving assist system according to the first embodiment of the present invention.
  • FIG. 39 is a diagram illustrating an example of assumed motion data in the driving assist system according to the first embodiment of the present invention.
  • FIG. 40 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the eleventh embodiment of the present invention.
  • FIG. 41 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the first embodiment of the present invention.
  • FIG. 42 is a block diagram showing a configuration of the driving assist device in the 12th embodiment of the present invention.
  • FIG. 43 is a diagram illustrating an example of a composite image of the driving assist device according to the 12th embodiment of the present invention.
  • FIG. 44 is a block diagram showing a configuration of the driving assist system in the 12th embodiment of the present invention.
  • FIG. 45 is a diagram illustrating an example of a composite image of the driving operation assisting device according to the 12th embodiment of the present invention.
  • FIG. 46 is a diagram illustrating an example of a composite image of the driving assist device according to the 12th embodiment of the present invention. (Explanation of code)
  • FIG. 1 is a block diagram showing a configuration of the driving assist device according to the first embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is mainly intended to assist driving operation at the time of parking and parallel parking.
  • the driving assist system stores an imaging unit 101 composed of N cameras (cameras 1 to N) and a camera parameter which is a characteristic of each camera.
  • Spatial reconstruction means 1 for creating spatial data in which each pixel constituting an output image from each force lens is associated with a point in a three-dimensional space based on the camera parameter table 103 and the camera parameters.
  • a viewpoint conversion means 106 for generating an image viewed from a predetermined viewpoint as a surrounding situation image by referring to the spatial data and a spatial data buffer 105 for temporarily storing the spatial data.
  • An assumed movement pattern storage means 108 for holding assumed movement data including a movement pattern; a superimposition means 102 for superimposing the assumed movement pattern on the surrounding situation image to generate a composite image; Combination Is composed of a display means 1 0 7 for displaying an image.
  • the combination of the imaging unit 101, the camera parameter table 103, the spatial reconstruction means 104, and the viewpoint conversion means 106 corresponds to the surrounding situation imaging means of the present invention.
  • the superimposing means 102 corresponds to the composite image generating means of the present invention.
  • FIG. 2 is a plan view and an elevation view of the vehicle showing an example in which each camera of the imaging unit 101 is attached to the vehicle.
  • N 6 and six cameras 201 to 206 are arranged on the roof of the vehicle.
  • a part of the individual imaging ranges of the six cameras 201 to 206 are arranged so as to overlap with a part of the imaging range of the other force lens and so as not to generate a blind spot in a plane. ing.
  • the camera parameter table 103 stores the camera parameters of each of the cameras (parameters representing camera characteristics such as a camera mounting position, a camera mounting angle, a camera lens distortion correction value, and a camera lens focal length).
  • the spatial reconstruction means 104 creates spatial data in which each pixel constituting an output image from each camera is associated with a three-dimensional space point based on the vehicle based on the camera parameters.
  • the space buffer 105 temporarily stores the space data, and the viewpoint conversion means 106 converts an image viewed from an arbitrary viewpoint, for example, the viewpoint of the virtual camera 301 shown in FIG. By composing each pixel with reference to the spatial data, a surrounding image is generated.
  • FIG. 4 shows an example of the surrounding situation image from the viewpoint of the virtual camera 301 shown in FIG.
  • parallel parking is performed, and two vehicles that are parked are represented on the surrounding situation image as an obstacle 401 and an obstacle 402.
  • the procedure from when the superimposing means 102 generates the composite image of the present invention until the display means 107 displays it will be described.
  • the assumed motion pattern storage means 108 stores an assumed motion pattern which is image data representing the motion of the vehicle when a typical driving operation of the vehicle is performed on the vehicle. And time-series data representing the relationship between the moving distance of the vehicle (the amount of rotational movement of the tire) and the steering angle of the steering wheel (steering angle of the steering wheel) are stored as assumed motion data of the present invention.
  • Fig. 5 shows the assumed movement data when performing a parallel parking driving operation on the left side
  • Fig. 6 shows the assumption when performing a garage driving operation on the right side.
  • Exercise data are shown.
  • the assumed motion pattern is shown in (a) of each figure
  • the operation start positions 501, 60 correspond to the case where the driving operation is performed according to the time-series data shown in (b) of each figure. 1 (corresponding to the assumed motion start area of the present invention), the operation end position 502, 602 (corresponding to the assumed motion end area of the present invention) and the tire trajectory 503, 603 (vehicle of the present invention) (Corresponding to image data representing the locus of the tire).
  • the driver selects one of the assumed movement patterns stored in the assumed movement pattern storage means 108 by the pattern selection means (not shown).
  • the superimposing means 102 superimposes the selected assumed motion pattern (for example, Fig. 5 (a)) on the surrounding situation image (for example, Fig. 4) generated by the viewpoint conversion means 106 and synthesizes it.
  • the composite image of the present invention is generated, and the display means 107 displays the composite image.
  • the operation end position 502 becomes the driving operation corresponding to the assumed motion pattern.
  • the operation end position when starting from the current position, that is, the parking position.
  • FIG. 7 shows an example of a synthesized image obtained by synthesizing the assumed motion pattern shown in FIG. 5
  • FIG. 8 shows an example of a synthesized image obtained by synthesizing the assumed motion pattern shown in FIG.
  • the driver can control the obstacles 401, 402 (803, 804), parking position 702 (802), tire trajectory 503 (603), and start position 70 1 (80 Move the vehicle to the start position 701 (80 1) so as not to interfere with 1) and start a series of driving operations according to the time-series data from there to park at the parking position 702 (802). Parallel parking to the left (garage to the right) can be performed.
  • FIG. 9 is a diagram showing the motion of the vehicle when performing parallel parking to the left.
  • the driver of the vehicle in order to park the vehicle at the target parking position 902, the driver of the vehicle first operates the assumed motion pattern (FIG. 5 (a)) of parallel parking to the left.
  • the operation start position 501 when the operation end position 502 is matched with the target parking position 902 is set as the target start position 903, and it is necessary to move the vehicle located at the current position 901 to the target start position 903. .
  • the relative positional relationship between the operation end position 502 and the operation start position 501 in FIG. 5 (a) corresponds to the case where the driving operation is performed according to the time-series data in FIG. 5 (b).
  • fine adjustment is possible by fine adjustment of the steering wheel operation etc. during operation.
  • the driver assumes obstacles 401 and 402 and a target parking position 902 from a scene that can be seen directly from the inside of the car or from a mirror or the like. Then, it is necessary to move the vehicle to the target start position 903. In this case, the driver can see the obstacles 401, 402, and the target parking position 90 from the scene that can be seen from the inside of the car by looking directly at the vehicle or from the mirror.
  • the task of assuming 2 has the problem of requiring skill. In addition, even if the size of the vehicle or the position of the mirror changes, it is difficult for the driver to immediately respond to the change.
  • the assumed motion pattern as shown in Fig. 5 (a) is superimposed on the surrounding situation image image from the viewpoint of the above, and a composite image as shown in Fig. 7 is generated and displayed to the driver.
  • the operation start position 5 0 1 is displayed so as to match the current position 9 0 1 as the operation start position 5 0 1 and the operation end position 5 0 2 force It will be displayed as the parking position 1001.
  • the vehicle is located at the current position 901 where the parking position 1001 matches the target parking position 902, the movement to the target start position 903 has been completed.
  • the tire trajectory does not overlap the obstacles 401 and 402. Also, since the parking position 1001 is a place suitable for parking at a glance, it can be confirmed that the parking operation should be started from this position.
  • the operation start position, the operation end position, and the tire trajectory of the assumed motion pattern are unique to each vehicle, and for example, are large in a small vehicle and a large vehicle. This can be dealt with by storing the assumed movement pattern for each vehicle in the assumed movement pattern storage means 108 in FIG. Therefore, even if the driver changes the vehicle, the driver can perform the driving operation while watching the relation between the assumed motion pattern corresponding to the vehicle and the obstacles around the driver.
  • the driver can operate the vehicle while observing the relationship between the assumed motion pattern corresponding to the vehicle and the surrounding obstacles in a manner similar to that before the vehicle changes. Therefore, it is possible to greatly reduce a driver's skill load for changing the vehicle.
  • FIG. 11 shows an example of a variation of the assumed movement pattern stored in the assumed movement pattern storage means 108 in FIG.
  • the driver selects one of these using the pattern selecting means (not shown).
  • the area to be displayed as a composite image is also determined as shown in the outer frame of each assumed movement pattern 1101-1104 in FIG. That is, the operation start position is the current vehicle position, and the rectangular area including the tire trajectory and the operation end position is the synthetic image area.
  • the vehicle body is not generally imaged by the on-board camera, but here, the CG data of the vehicle, the actual vehicle data, etc. are retained, and may be superimposed and displayed in the composite image similarly to the track data. .
  • the assumed motion pattern of the present invention includes the operation start position (the assumed motion start region of the present invention), the operation end position (the assumed motion end region of the present invention), and the tire trajectory (the vehicle of the present invention).
  • Image showing tire trajectory Although described as image data, the present invention is not limited to this. For example, a trajectory in which a plane projection of the vehicle itself moves together with a Z trajectory instead of a tire trajectory (image data representing a moving area of the vehicle of the present invention) May be included.
  • the assumed motion pattern of the present invention only needs to be image data representing the motion of the vehicle when a predetermined series of driving operations are performed on the vehicle in advance.
  • a margin line 1 201 may be displayed, which is arranged a predetermined amount (for example, 50 cm) outside from the outer edge of the moving area of the moving area.
  • the surrounding situation image of the present invention has been described as being a combination of image data captured in real time by the imaging unit 101, but the present invention is not limited to this.
  • FIG. 13 is a block diagram showing a configuration of the driving assist system according to the second embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless it has the same function as the first embodiment, I do. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assist system according to the present embodiment is different from the configuration of the driving assist system according to the first embodiment in that the start detecting means 13 01, the integrating means It is characterized in that it comprises 1302 and space conversion means 1303.
  • the start detection means 1301 which receives the gear signal indicating whether the vehicle is moving forward or backward and the steering wheel turning signal indicating the steering angle of the front wheels, is provided.
  • the steering angle of the front wheels becomes larger than a certain value, it is determined that the driving operation (parking operation) corresponding to the assumed movement pattern stored in the assumed movement pattern storage means 108 has been started. This corresponds to the operation start detecting means of the invention.
  • the integrating means 1302 integrates the steering wheel turning angle and the rear wheel rotation speed to calculate a spatial movement change of the vehicle from the start of the driving operation (parking operation) to the present time. Yes, it corresponds to the moving position calculating means of the present invention.
  • the space conversion means 1303 moves the assumed movement pattern in accordance with the change in the space movement, and the combination of the superimposition means 102 and the space conversion means 1303 is This corresponds to the composite image generating means of the invention.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment. Also, in the procedure from the superimposing means 1 ⁇ 2 generating the synthetic image of the present invention and displaying it by the display means 107, The procedure up to the start of the actual driving operation corresponding to the turn is the same as that described in the first embodiment.
  • the start detection means 13 01 1 When the driver starts the driving operation corresponding to the parallel parking to the left, the start detection means 13 01 1 is set because the gear signal is in the reverse state and the steering angle of the front wheel is larger than a certain value by the steering wheel turning signal. It is determined that the driving operation (parking operation) corresponding to the parallel parking to the left has been started, and that the driving operation (parking operation) has been started to the integrating means 1302, and the steering wheel has been turned off thereafter. The angle signal and the rear wheel speed signal are input to the integrating means 1302.
  • the integrating means 13 02 integrates the steering angle signal after the start of the driving operation and the rear wheel speed signal which are input, and integrates the current vehicle position 1 as shown in FIG. 14 (a).
  • the positional relationship of the parking operation start position 1401 with respect to 402 is calculated.
  • the space conversion means 133 sets the assumed movement pattern 1443 corresponding to the left-hand parallel parking as its operation start position (see FIG. 14B). 5 5 0 1) and the parking operation start position 1 4 0 1-move so as to match.
  • the space conversion means 1403 spatially fixes the expected movement pattern 1443 at the position at the time of the start of the parking operation after the start of the driving operation.
  • the superimposing means 102 converts the assumed motion pattern 1403 spatially fixed to the position at the start of the parking operation and the current vehicle position 1442 into the surrounding situation image.
  • a composite image of the present invention is generated.
  • the display means 107 displays the composite image. Since the surrounding situation images of the obstacles 401, 402, etc. are, of course, fixed in space, in this composite image, the positional relationship between the surrounding situation image and the assumed motion pattern 144 is fixed. I have. Also, since the composite image is an image viewed from the viewpoint fixed on the vehicle, in Fig. 14 (c), when the vehicle moves, only the current vehicle position 1402 is fixed on the screen, and The situation image and the assumed exercise pattern 1443 are displayed relatively moving.
  • the surrounding situation image from the viewpoint of the virtual camera moves according to the actual movement of the vehicle, and the assumed driving pattern 1443 synthesized by superimposition is also Since the vehicle moves in accordance with the movement of the vehicle calculated by the integrating means 13 02, the two move together. Since the driver only has to operate the steering wheel along the tire trajectory of the displayed assumed motion pattern at each time, the vehicle can be operated more easily and safely.
  • FIG. 15 is a block diagram showing the configuration of the driving assist system according to the third embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless otherwise described, it is assumed that it has the same function as the first embodiment. Unless otherwise noted, each modification described in the first embodiment is applied to the present embodiment by performing the same modification. Shall be.
  • the configuration of the driving assist system according to the present embodiment is different from the configuration of the driving assist system according to the first embodiment in that the start detecting means 1501 In that it comprises means 1502 and space conversion means 1503.
  • the start detection means 1501 does not output the steering wheel turning angle signal and the rear wheel speed signal to the other, the start detection means 1300 shown in FIG. It has the same function as 1.
  • the image tracking means 1502 is based on all or part (eg, obstacles) of the image data of the surrounding situation image on the composite image at the time when the driving operation (parking operation) is started. It stores the position information of all or a part of the image data of the assumed movement pattern (for example, the operation end position), and corresponds to the position information storage means of the present invention.
  • the space conversion means 1503 moves the assumed movement pattern according to the position information, and the combination of the superimposition means 102 and the space conversion means 1503 is a combination of the present invention.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment.
  • the procedure from the superimposing means 102 generating the composite image of the present invention to the display thereof by the display means 107 the actual driving operation corresponding to the assumed motion pattern is started.
  • the procedure up to this point is the same as that described in the first embodiment.
  • the start detection means 1501 When the driver starts the driving operation corresponding to the parallel parking to the left, the start detection means 1501 is set because the gear signal is in the reverse state and the steering angle of the front wheel is larger than a predetermined value by the steering wheel turning signal. Then, it is determined that the driving operation (parking operation) corresponding to the parallel parking on the left side has been started, and the fact that the driving operation (parking operation) has been started is notified to the image tracking means 1502.
  • the image tracking means 1502 transmits the image data of the surrounding situation image on the composite image (FIG. 16 (a)) at this time. Obtain the image data of the end position surrounding image 1603 including the part of the obstacle 4002 and the parking operation end position 1602 via the spatial data buffer 105.
  • the relevant part of the obstacle 402 is found from the surrounding situation image (obtained via the spatial data buffer 105) at each point in time, and By making the relevant part of the obstacle 402 coincide with the relevant part of the obstacle 402 in the surrounding situation image, the positional relationship between the parking operation end position 1602 at that time and the surrounding situation image is determined. . In other words, the image tracking means 1502 tracks the positional relationship between the parking operation end position 1602 at each time and the surrounding situation image.
  • the space conversion means 1503 determines the assumed motion pattern corresponding to parallel parking to the left by the operation end position (502 in FIG. 5) and the parking operation end position 1602. -Move to match. In other words, the space conversion means 1503 changes the assumed motion pattern after the start of the driving operation to the position at the start of the parking operation. Fix the space in place.
  • the superimposing means 102 uses the assumed motion pattern 1605, which is spatially fixed to the position at the start of the parking operation, and the current position of the vehicle. 1664 is superimposed on the surrounding situation image and synthesized to generate a synthesized image of the present invention.
  • the display means 107 displays the composite image. Since the surrounding situation images of the obstacles 401, 4 ⁇ 2, etc. are of course fixed in space, the positional relationship between the surrounding situation image and the assumed motion pattern 1443 is fixed in this composite image. I have.
  • the composite image is an image viewed from the viewpoint fixed on the vehicle, in Fig. 16 (c), when the vehicle moves, only the current position of the vehicle is fixed on the screen.
  • the surrounding situation image and the assumed movement pattern 1605 are relatively moved and displayed. That is, in the driving operation assisting device according to the present embodiment, if the procedure is performed under the same conditions as those of the driving operation assisting device according to the second embodiment, the composite image shown in FIG. c) This is the same as the composite image shown in (2).
  • the surrounding situation image from the viewpoint of the virtual camera moves in accordance with the actual vehicle movement, and the assumed motion pattern 1605 synthesized by being superimposed is also the same. Since both move according to the movement of the vehicle, the two move in unison. The driver only has to operate the steering wheel along the trajectory data of the assumed motion pattern displayed at each point in time, so that a simpler and safer vehicle operation is possible.
  • FIG. 17 shows the configuration of the driving assist system according to the fourth embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless otherwise described, it is assumed that it has the same function as the first embodiment. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assist system in the present embodiment is different from the configuration of the driving assist system in the first embodiment in that the start input means 1 This is characterized in that it comprises means 1702, integrating means 1703, and space transforming means 1704.
  • the start input means 1701 is for the driver to input an instruction to start an actual driving operation (parking operation) corresponding to the assumed movement pattern, and corresponds to the operation start detecting means of the present invention. Things.
  • the driving control means 1702 sets the steering wheel turning angle and the rear wheel rotation speed in accordance with the time series data (for example, Fig. 5 (b)) corresponding to the assumed motion pattern. This automatically controls the driving of the vehicle by controlling the driving force, and corresponds to the driving control means of the present invention.
  • the integrating means 1703 integrates the steering wheel turning angle and the rear wheel speed to calculate a change in the spatial movement of the vehicle from the start of the driving operation (parking operation) to the present time. This corresponds to the moving position calculating means of the present invention. That is, the one having the same function as the integrating means 1302 in FIG. 13 described in the second embodiment. It is.
  • the space conversion means 1704 moves the assumed movement pattern in accordance with the change in the space movement, and the combination of the superimposing means 102 and the space conversion means 1704 is This corresponds to the composite image generating means of the invention. That is, the space conversion means 1704 has the same function as the space conversion means 133 shown in FIG. 13 described in the second embodiment.
  • the procedure until the surrounding situation image of the present invention is generated from the image data picked up by the image pickup section 1 • 1 is the same as that described in the first embodiment. Further, in the procedure from the superimposing means 102 generating the composite image of the present invention to the display thereof by the display means 107, the actual driving operation corresponding to the assumed motion pattern is started. The procedure up to this point is the same as that described in the first embodiment.
  • the superimposing / pausing means 102 From the point in time when the actual driving operation corresponding to the assumed motion pattern is started, the superimposing / pausing means 102 generates the composite image of the present invention and the display means 107 displays the composite image. The procedure will be described below with reference to an example of parallel parking on the left side.
  • the driver Before starting the parking operation, the driver positions the vehicle at a position suitable for starting the parking operation while looking at the composite image displayed on the display means 107, and then inputs the start input means 1701, The user inputs an instruction to start the parking operation.
  • the start input unit 1701 informs the operation control unit 1702 and the integrating unit 1703 that the driving operation start instruction has been input via the assumed motion pattern storage unit 108.
  • the driving control means 1702 sets the steering wheel turning angle in accordance with the time-series data (Fig. 5 (b)) corresponding to the assumed motion pattern.
  • a control signal and a rear wheel speed control signal are generated to control the steering wheel control system and the rear wheel drive system, thereby automatically controlling the operation of the vehicle.
  • the integrating means 1703 integrates the steering wheel turning angle signal and the rear wheel rotation speed signal, and as shown in FIG. 14 (a), the vehicle current position 1 The positional relationship of the parking operation start position 1401 with respect to 402 is calculated.
  • the space conversion means 1704 sets the assumed movement pattern 1443 corresponding to the parallel parking to the left as its operation start position (Fig. 5 5 0 1) and the parking operation start position 1 4 0 1-move so as to match.
  • the space conversion means 1704 spatially fixes the expected movement pattern 1443 at the position at the time of the start of the parking operation after the start of the driving operation.
  • the subsequent procedure in which the superimposing means 102 generates a composite image and the display means 107 displays the composite image is the same as that described in the second embodiment.
  • the driving control unit 1702 stops the vehicle according to the time-series data, and the parking operation ends.
  • the effect that the steering wheel operation and the like are performed automatically is obtained.
  • the driver only needs to confirm that the steering operation along the trajectory data of the displayed expected motion pattern is automatically generated at each point in time, and that a new obstacle appears. Therefore, easier and safer vehicle operation is possible.
  • FIG. 18 shows the configuration of the driving assist system according to the fifth embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless otherwise described, it is assumed that it has the same function as the first embodiment. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assist device in the present embodiment is different from the configuration of the driving assist device in the first embodiment in that it includes a trajectory correcting means 1801. is there.
  • the trajectory correction means 1801 corrects the assumed motion pattern and the time-series data based on the operation start position and the operation end position of the exercise operation input from the driver. It corresponds to.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment.
  • the procedure from the superimposing means 102 generating the synthesized image of the present invention to the display of the synthesized image by the display means 107 the stored image is stored in the assumed movement pattern storing means 108.
  • the procedure until the assumed motion pattern is displayed on the composite image with the operation start position coincident with the current position of the vehicle is the same as that described in the first embodiment.
  • the driver modifies the assumed motion pattern and the time-series data using the trajectory correction means 1801, and the The procedure up to the display on the composite image will be described below, taking as an example a case where the garage is moved to the left side.
  • the driver performs a garage entry operation with the target parking position 1902 as the operation end position so as not to touch the obstacles 1904 and 1905.
  • the tire trajectory 1903 of the assumed motion pattern becomes an obstacle.
  • the assumed movement pattern storage means 108 stores an assumed movement pattern for another garage entry operation to the left, this is selected by the pattern selection means (not shown), and the parking operation is successfully performed. It may be possible to consider whether it is possible, but if not, or if another assumed movement pattern also interferes with obstacles, etc., the driver corrects the assumed movement pattern.
  • the driver draws a figure showing the vehicle at the current position 1901 in the composite image (FIG. 19 (a)) displayed on the display means 107 as shown in FIG. 19 (b). Then, move to the new operation start position 1906 by numerical input, pointer, or other means.
  • the trajectory correction means 1801 will start the new tire trajectory 1 such that the vehicle moves from the new operation start position 1906 to the target parking position 1902. 90 7 (see Fig. 19 (c)) is calculated, and new assumed motion patterns and their corresponding time-series data are generated.
  • the display means 107 displays this. Therefore, the driver moves the vehicle so that the operation end position 1908 of the new assumed motion pattern coincides with the target parking position 1902, and then drives the vehicle according to the new assumed motion pattern ( When the parking operation starts, the vehicle can be parked at the target parking position 1902.
  • the generated new assumed movement pattern and time-series data may be stored in the assumed movement pattern storage means 108 by updating the original assumed movement pattern. It may be stored additionally in the assumed movement pattern storage means 108. It does not need to be stored as an ad hoc one. Furthermore, even if the driver selects “update storage”, “additional storage”, or “do not store” each time,
  • the assumed movement pattern to be updated or additionally stored in the assumed movement pattern storage means 108 is based on the position of the vehicle at the start and end of the movement input by the driver. Although it was explained that it was automatically obtained, actual driving operation was performed, and time series data such as the steering angle of the steering wheel and the number of rotations of the wheel at this time were collected, and an expected motion pattern was generated based on this data. According to the present embodiment, it is possible to realize a scalable driving operation assist device as compared with the driving operation assist device according to the first embodiment.
  • FIG. 20 is a block diagram showing a configuration of the driving assist system according to the sixth embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. I Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are the same as those in the first embodiment. Unless otherwise provided, it has the same function as the first embodiment. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assistance device in the present embodiment is different from the configuration of the driving assistance device in the first embodiment in that it has a CG image synthesizing means 200 1. It is.
  • the CG image synthesizing means 200 stores three-dimensional data corresponding to each assumed movement pattern stored in the assumed movement pattern storage means 108, and the three-dimensional data corresponding to the viewpoint of the surrounding situation image is stored. It generates an (or two-dimensional) image, and corresponds to a part of the function of the assumed motion pattern storing means of the present invention and a part of the function of the synthetic image generating means of the present invention.
  • the viewpoint conversion means 106 can switch the position of the viewpoint automatically or by an input from the driver.
  • the assumed movement pattern storage means 108 stores the stored assumed movement patterns (operation start position 501, operation end position 502, and tire trajectory 5). 0 3), the positions of a plurality of virtual poles 200 1 arranged on the tire track 503 are stored. On the basis of the assumed motion pattern and the data of the virtual pole 2001, the CG image synthesizing means 201 previously generates three-dimensional data (see FIG. 21 (b)) corresponding to the assumed motion pattern. Generated and stored.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment. Further, in the procedure from when the superimposing means 102 generates the composite image of the present invention and when the display means 107 displays it, the actual driving operation corresponding to the assumed motion pattern is performed. The procedure up to the start is the same as that described in the first embodiment.
  • the driver switches the viewpoint of the surrounding situation image used by the viewpoint conversion means 106 from a position immediately above the vehicle to a viewpoint from the rear of the vehicle to the rear.
  • the viewpoint is automatically switched to the viewpoint by detecting that the actual driving operation corresponding to the assumed movement pattern has been started by the viewpoint conversion unit 106.
  • the same means as the start detecting means 1301 described in the second embodiment may be used.
  • the peripheral situation image output from the viewpoint conversion unit 106 becomes as shown in FIG. 21 (c).
  • the CG image synthesizing unit 20001 matches the current position of the vehicle with the operation start position 501 and generates a CG image viewed from the same viewpoint as the viewpoint used by the viewpoint conversion unit 106.
  • the CG image at this time is as shown in FIG. 21 (d).
  • the superimposing means 102 superimposes this CG image on the surrounding situation image Then, the combined image is generated as shown in FIG. 21 (e).
  • the display means 107 displays the composite image. Since the composite image is an image viewed from a viewpoint fixed on the vehicle, in FIG. 21 (e), when the vehicle moves, the entire image is relatively moved and displayed.
  • the driver can determine the parking start position while observing at a glance the relationship between the virtual pole, the operation end position, and the actual obstacle while looking at the displayed image. And a reliable driving operation can be performed.
  • the CG image synthesizing unit 2001 generates a CG image viewed from the same viewpoint as the viewpoint used by the viewpoint conversion unit 106 in real time.
  • a configuration may be used in which the viewed CG images are generated in advance for each assumed motion pattern, and these are stored.
  • the surrounding situation image viewed from the virtual camera is generated, but it is possible to view the rear from the rear of the vehicle without switching the viewpoint.
  • the image captured by the camera installed at the viewpoint position may be used as it is as the surrounding situation image.
  • the configuration of the driving assist system in this case is as shown in the block diagram of FIG. That is, the CG image synthesizing means 2001 obtains data on the viewpoint of one vehicle-mounted camera 2 201 from the camera parameter table 103 to generate a CG image.
  • FIG. 23 is a block diagram showing a configuration of the driving assist system according to the seventh embodiment of the present invention.
  • the driving assist device in the present embodiment also mainly It is intended to assist driving operations such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless otherwise described, it is assumed that it has the same function as the first embodiment. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assistance device in the present embodiment is different from the configuration of the driving assistance device in the first embodiment in that a mapping means 2301 and a mapping table 2 302.
  • the matching means 2301 performs high-speed processing for converting an input image from each camera of the imaging unit 101 into an image viewed from an arbitrary viewpoint.
  • the mapping table 2302 stores data used when the mapping means 2301 performs conversion.
  • FIG. 24 is a conceptual diagram showing an example of the mapping table stored in the mapping table 2302.
  • the mapping table is composed of cells of the number of pixels of the screen displayed on the display means 107 (that is, the composite image generated by the superimposing means 102). That is, the table is configured such that the number of horizontal pixels on the display screen is the number of columns in the table, and the number of vertical pixels on the display screen is the number of rows in the table.
  • Each cell has a camera number, pixel coordinates of an image taken by each camera, and.
  • the cell in the upper left of FIG. 24 indicates the upper left of the display screen, that is, the part of (0,0).
  • Bing means 2301 the data content (1, 10, 0, 10) stored in the cell, from the data of the pixel (10, 10) of the image taken by the first camera, Display on the display screen (0, 0) ".
  • the mapping table 2302 needs to store a table as shown in FIG. 24 for each viewpoint.
  • FIG. 25 is a block diagram showing a configuration of the driving assist system according to the eighth embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, components that are not particularly described are the same as those in the first embodiment, and those components that are assigned the same reference numerals as those in the first embodiment are particularly described. Unless otherwise described, it is assumed that it has the same function as the first embodiment. Unless otherwise specified, the modifications described in the first embodiment are applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assist system in the present embodiment is different from the configuration of the driving assist system in the first embodiment, because the final position input means 2501 This is the point that the position determining means 2502 and the space fixing means 2503 are provided.
  • the final position input means 2501 is for inputting a target end position of the driving operation with a pointer.
  • the input of the target end position may be input by numerical input or other means.
  • the start position determining means 2502 obtains the start position of the driving operation corresponding to the target end position input by the final position inputting means 2501 according to the expected motion pattern corresponding to the driving operation. is there.
  • the space fixing means 2503 fixes the assumed motion pattern corresponding to the driving operation between the target end position and the operation end position, and thereafter fixes the space. It has the functions of the means 13 02 and the space conversion means 13 03 (in FIG. 25, the rear wheel rotation signal input and the steering wheel turning angle signal input are not shown).
  • the image tracking means 1502 and the space transforming means 1503 in FIG. 15 may be combined, but in this case, as in the image tracking means 1502 in FIG. It is necessary to receive input of spatial data from the spatial buffer 105.
  • the combination of the superimposing means 102 and the space fixing means 2503 corresponds to the composite image generating means of the present invention.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment.
  • the stored image is stored in the assumed movement pattern storing means 108.
  • the procedure until the assumed motion pattern is displayed on the composite image with the operation start position coincident with the current position of the vehicle is the same as that described in the first embodiment. Assuming that the driver inputs the target end position of the driving operation using the final position input means 2501, after the assumed movement pattern is displayed on the composite image, and includes the corresponding starting position of the driving operation.
  • the procedure until the motion pattern is displayed on the composite image will be described below with reference to a case where the garage is moved to the left side as an example.
  • the driver tries to park during this time so as not to touch the obstacles 401 and 402, and displays the composite image of the present invention on the display means 107.
  • the vehicle is located at the current position 901 as the operation start position, the parking position at the operation end position of the 403 as the operation end position, and the parking position as the operation end position. I do.
  • the driver uses the pointer 2601 displayed on the screen of the display means 107 to move the parking position 1001 to the target position 2602.
  • the assumed motion pattern 1403 moves together with the parking position 1001, so the operation start position of the assumed motion pattern 1403 is It will be displayed as the starting position 2 6 0 3 where the operation starts.
  • the current position 901 of the vehicle is displayed on the screen displayed by the display means 107 as shown in FIG. 26 (c).
  • the driver may move the vehicle to the start position 2603 while watching this screen.
  • the assumed movement pattern 1403 is fixed to the space by the space fixing means 2503
  • the relative movement between the assumed movement pattern 1403 and the obstacles 401 and 402 is assumed. The exact positional relationship does not change.
  • the start position of the driving operation can be efficiently obtained, so that the time required for starting the operation can be reduced.
  • the start position 2603 is determined by the driving assist system in the present embodiment, a relative positional relationship with the current position 901 is calculated, and the vehicle is started from the current position 901. Time-series data on the steering wheel turning angle and the rear wheel speed required to guide to position 2603 are obtained, and a steering wheel angle control signal and a rear wheel speed control signal are generated in accordance with the data.
  • start position guidance means for automatically guiding the vehicle from the current position 901 to the start position 2603 may be added. Les ,.
  • the vehicle is guided to the start position without any operation by the driver, so that simpler and safer vehicle operation is possible.
  • FIG. 27 is a block diagram showing a configuration of the driving assist system according to the ninth embodiment of the present invention.
  • the difference between the driving assisting device in the present embodiment and the driving assisting device in the second embodiment is that the outputs of the start detecting means 13 01 and the integrating means 13 02 6 and the viewpoint conversion means 106 is only concerned with switching the viewpoint of the virtual force camera accordingly.
  • components that are not particularly described are the same as those in the second embodiment, and components that are assigned the same reference numerals as those in the second embodiment are not particularly described. As long as they have the same functions as in the second embodiment.
  • each of the modifications described in the second embodiment is applied to the present embodiment by performing the same modification unless otherwise specified.
  • the procedure from generation of image data captured by the imaging unit 101 to generation of the surrounding situation image of the present invention is the same as that described in the first embodiment.
  • the procedure from the superimposing means 102 generating the composite image of the present invention to the display thereof by the display means 107 the actual driving operation corresponding to the assumed motion pattern is started. The procedure up to this point is the same as that described in the first embodiment.
  • the superimposing means 102 After the actual driving operation corresponding to the assumed movement pattern is started, the superimposing means 102 generates a composite image of the present invention, and displays it on the display means 1.
  • the viewpoint position of the virtual camera is fixed right above the vehicle.
  • Fig. 28 (a) the current position 9101 of the vehicle and the assumed motion pattern 1404 that uses this position as the operation start position are fixed on the screen, and the The surrounding situation images such as 1, 402 and the like are displayed relatively moving on the screen in accordance with the movement of the vehicle.
  • Fig. 28 (b) when the current position 901 of the vehicle comes to a position corresponding to the target parking position 902, the driver starts driving operation corresponding to parallel parking to the left. I do.
  • the gear signal is in the reverse state and the steering angle signal of the steering wheel turning angle signal becomes larger than a certain value, so that the start detecting means 1 301 corresponds to the left side parallel parking.
  • the integrating means 13 02 integrates the steering angle signal after the start of the driving operation and the rear wheel speed signal which are input, and integrates the current vehicle position 1 as shown in FIG. 14 (a).
  • the positional relationship of the parking operation start position 1401 with respect to 402 is calculated.
  • the space conversion means 133 sets the assumed movement pattern 1443 corresponding to the left-hand parallel parking as its operation start position (see FIG. 14B). 5 5 0 1) and the parking operation start position 1 4 0 1-move so as to match.
  • the space conversion means 1403 spatially fixes the expected movement pattern 1443 at the position at the time of the start of the parking operation after the start of the driving operation.
  • the viewpoint conversion means 106 fixes the viewpoint position of the virtual camera at this time with respect to the space (ground). That is, after the start of the driving operation, the surrounding situation images (obstacles 401, 402, etc.) are fixed on the screen.
  • the superimposing means 102 converts the assumed motion pattern 1403 spatially fixed to the position at the start of the parking operation and the current vehicle position 1442 into the surrounding situation image.
  • the images are superimposed and synthesized to generate a synthesized image of the present invention.
  • the viewpoint of this composite image is the same as the viewpoint of the surrounding situation image, in which the viewpoint position of the virtual force camera at the start of the parking operation is spatially fixed, so that the superimposing means 102 is integrated with the integrating means 13
  • the composite image is generated by back-calculating the positional relationship calculated in 02 with respect to the viewpoint. That is, in this composite image (FIG.
  • the surrounding situation image (obstacles 401, 402, etc.) and the assumed motion pattern 144 are fixed on the screen, and the current vehicle position 14 0 2 Power Displayed by moving relatively on the screen according to the actual movement of the vehicle.
  • the viewpoints at the start of the parking operation are fixed to the space, so that the driver can grasp at a glance the moving state of the vehicle with respect to the situation around the parking space.
  • the spatial data buffer 105 may be displayed using the data stored in the data storage.
  • FIG. 29 is a block diagram showing a configuration of the driving assist system in the tenth embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is different from the driving assisting device according to the first embodiment in that the assumed movement pattern storage means 108 has a default transport pattern as shown in FIG. 30 (b).
  • the superimposing means 102 simultaneously combines two circumscribed area trajectories 604 of the space through which the entire vehicle passes, instead of the tire trajectory 603, and displays them on the display means 107.
  • the defonoreto of the assumed motion storing pattern 108 the simplest case shown in FIG. Assuming that the assumed motion storage pattern 108 is the default, if parking is possible, there is no need to switch between multiple assumed motion storage patterns, thus reducing the driver's operational burden. is there.
  • two circumscribed area trajectories 604 generated from the assumed motions in the above two cases are simultaneously synthesized by the superimposing means 102 and displayed on the display means 107, so that two left and right trajectories are obtained. This eliminates the need to perform the operation of selecting and switching the assumed motion storage pattern, which has the effect of reducing the driver's operation burden.
  • the superimposing means 102 combines the circumscribed area trajectory 60 of the space through which the entire vehicle passes, instead of the tire trajectory 603, and the display means 10 By displaying the information in Fig. 7, the driver can more accurately understand whether the vehicle is inflated more than the tire trajectory. This has the effect of making it easier.
  • FIG. 31 is a block diagram showing a configuration of the driving assist device in the eleventh embodiment of the present invention.
  • the driving operation assisting device according to the present embodiment is also mainly intended to assist driving operation such as when entering a garage and during parallel parking. Therefore, in the present embodiment, those not particularly described are described in the first and second embodiments. Components that are the same as those of the first and fifth embodiments and that are assigned the same reference numerals as those of the first and fifth embodiments are the same as those of the first and fifth embodiments unless otherwise specified. Assume that they have similar functions. Unless otherwise stated, the modifications described in the first and fifth embodiments are also applied to the present embodiment by performing similar modifications.
  • the configuration of the driving assist system in the present embodiment is different from the configuration of the driving assist system in the first and fifth embodiments because the obstacle input means 3101 shown in FIG. Having correction means 3 1 0 2;
  • the assumed movement pattern storage means 108 switching is performed as shown in FIG. 32 (a), that is, a point includes a movement pattern for switching between retreat and forward movement during the movement.
  • the handle angle corresponding to the tire rotation is stored in the assumed movement pattern storage means 108 in FIG. 31 as time series data of the assumed movement pattern.
  • the tire rotation from 0 to 0.8 indicates the vehicle retreat, from which it switches from reverse to forward.
  • the position of the vehicle is at the backward / forward switching position 3201 shown in Fig. 32 (a).
  • the tire angle becomes 0.6 to 1.4 again. It switches to retreat.
  • the vehicle's position direction can be changed even when there is only a small spatial margin for obstacles. Can control.
  • the procedure up to generation of the surrounding situation image of the present invention from the image data captured by the imaging unit 101 has been described in the first embodiment. Same as the ones. Also, in the procedure from the superimposing means 102 generating the synthesized image of the present invention to the display of the synthesized image by the display means 107, the stored image is stored in the assumed movement pattern storing means 108. The procedure until the assumed motion pattern is displayed on the composite image with the operation start position coincident with the current position of the vehicle is the same as that described in the first embodiment.
  • the driver corrects the assumed motion pattern and time series data using the trajectory correction means 1801 and the obstacle input means 3101, The procedure until is displayed on the composite image will be described below, taking as an example a case where the garage is moved to the right side.
  • the driver should move the target parking position 1902 so that the driver does not touch the obstacles: (a, b, c3204, 3205, 3206).
  • the assumed movement pattern storage means 108 stores an assumed movement pattern for another garage entry operation on the right side, this is selected by the pattern selection means (not shown), and the parking operation is successfully performed. It may be possible to consider whether it is possible, but if not, or if another assumed movement pattern also interferes with obstacles, etc., the driver corrects the assumed movement pattern.
  • the driver displays the figure indicating the vehicle at the current position 3200 of the composite image (FIG. 33) displayed on the display means 107 shown in FIG. 31 at the parking operation start position 19001.
  • the obstacle input means 3101 shown in FIG. As shown in FIG. 34, the area where the obstacles a, b, and c in the image are located is indicated by an obstacle indicating rectangle: a 3207 or an obstacle indicating circle: b 3208.
  • the trajectory correction means 1801 sets a contact danger area 3209 in a 60 cm surrounding area including the obstacle indication area: 3210 as shown in FIG. Then, for the region, a contact risk evaluation function H32 10 as shown in FIG. 36 is given.
  • the trajectory contact risk evaluation function H “3 213 is obtained from the sum of the contact risk evaluation functions H32 10 at the position of the trajectory evaluation point 32 12.
  • the function H "32 13 is a function of N items (tire rotation tm, tire angle km) in the table shown in FIG. 32 (b), as shown in FIG. Therefore, by sequentially correcting the diagram (tire rotation tm, tire angle km) using the partial differential method, this trajectory contact risk evaluation function H "32 13 is minimized (tire rotation tm, tire angle km). Can be requested.
  • the track contact danger evaluation function H "3 2 13 is minimized ( Tire rotation tm, tire angle km) can correct the assumed motion pattern.
  • the superpose means 102 matches the modified assumed motion pattern 3 214 with its operation start position 1901 and the current position 3200 of the vehicle. Then, a composite image is generated, and the display means 107 displays the composite image.
  • the driver can move to the target parking position 1902 by a motion pattern with a margin from obstacles.
  • the vehicle can be parked.
  • the generated new assumed movement pattern and time-series data may be stored in the assumed movement pattern storage means 108 by updating the original assumed movement pattern. It is possible to additionally store the assumed movement pattern in the storage means 108. It does not need to be stored as an ad hoc one. In addition, the driver stores the updated storage, additional storage, and no storage You may select it once.
  • the assumed movement pattern to be updated or additionally stored in the assumed movement pattern storage means 108 is based on the position of the vehicle at the start and end of the movement input by the driver. Although it was explained that it was automatically obtained, actual driving operation was performed, and time series data such as the steering angle of the steering wheel and the number of rotations of the wheel at this time were collected, and an expected motion pattern was generated based on this data. And store
  • one assumed movement pattern shown in Fig. 32 (a) is corrected based on the obstacle region input by the driver.
  • the above assumed movement pattern may be corrected, and a preferable one may be selected.
  • the movement pattern selection trajectory correction means 3301 is used instead of the trajectory correction means 3101.
  • the driver sets the current position of the vehicle as the parking operation start position as shown in FIG. 43, and specifies and inputs the target parking position 1902 on the image displayed on the display device.
  • the movement pattern selection trajectory correction means 3301 first of the plurality of assumed movement patterns stored in the assumed movement pattern storage means 108, the target parking position 19002 is set with respect to this parking operation start position. From the rough positional relationship, two assumed motion patterns for parking to the right rear as shown in Fig. 44 are extracted.
  • the assumed motion pattern is modified so as to minimize the trajectory contact risk evaluation function H "3 2 1 3.
  • the two minimized trajectory contact risk evaluation functions H "Comparing 3 2 1 3 by choosing the smaller one can select a safer assumed exercise pattern.
  • a simpler assumed motion pattern is selected by increasing the priority of the simpler driving operation in advance.
  • the driver only needs to input a target parking position and an obstacle area to automatically select an optimal expected movement pattern, and realize optimal parking with a safer and easier driving operation.
  • a scalable driving operation assisting device can be realized as compared with the driving operation assisting device in the first embodiment.
  • the surrounding situation imaging means of the present invention mainly generates an image from the viewpoint of a virtual camera using a plurality of in-vehicle cameras.
  • the present invention is not limited to this.
  • a single camera installed on the ceiling of a covered parking lot may be used.
  • the surrounding situation imaging means of the present invention generates a surrounding situation image by imaging the surrounding situation of a vehicle using a camera, and Z or even stores the generated surrounding situation image. I just need.
  • a driving operation assisting device of the present invention is a device for imaging a surrounding situation of a vehicle using a camera to generate a surrounding situation image, and a Z or a surrounding situation imaging means for storing the generated surrounding situation image.
  • a synthetic image is generated by superimposing an assumed motion pattern, which is image data representing the motion of the vehicle when a predetermined series of driving operations are performed on the vehicle in advance, on the surrounding situation image.
  • a display means for displaying the synthesized image.
  • the present invention displays, when the driver intends to perform a predetermined series of driving operations, the motion of the vehicle when performing the predetermined series of driving operations together with the surrounding situation.
  • a driving operation assisting device that enables a driver to directly confirm the relationship between the vehicle motion and the surrounding situation due to the predetermined series of driving operations and to reduce the burden on the driver.
  • the driver can use the driving operation assisting device of the present invention to start driving in a garage or parallel parking, or to finally stop, or to position the vehicle relative to obstacles such as other vehicles. Can be grasped at a glance from the display image, so that the driver's operation burden can be reduced and safety can be improved.
  • the driver can park while watching the trajectory data. As long as the vehicle is moved to the processing start point, all subsequent processing such as garage entry can be performed automatically.
  • the present invention can provide a recording medium for storing a program for causing a computer to execute all or a part of the functions of each means of the driving assist system of the present invention.

Description

明 細 書 運転操作補助装置および記録媒体 技術分野
本発明は、 車両の運転操作を支援する運転操作補助装置、 および、 前記運転 操作補助装置の各手段の機能の全部または一部をコンピュータに実行させるプ ログラムを格納する記録媒体に関するものである。 背景技術
従来の一般的な運転操作補助装置は、 ハンドルの舵角を検出するステアリン グセンサによって、 後退時のハンドルの舵角に対応する車両の移動軌跡を予測 するものである。 車両の後退時には、 カメラで撮影された後方又は側後方視界 の映像が表示されると共に、 ハンドルを操作すると、 そのハンドル舵角に対応 して予測された車両の移動軌跡が、 後方又は側後方視界の映像上にスーパーィ ンポーズされる。 本装置によれば、 運転者の運転操作は以下のようになる。 す なわち、 まず、 ハンドルを固定した状態で駐車できそうな場所に車両を移動さ せる。 次に該場所において、 ハンドル操作によって予測される車両移動軌跡を 確認しながら、 ハンドル操作をすることなしに駐車しようとするスペースに車 両を移動できる舵角を見つける。 そして、 該舵角を保持したまま、 車両をバッ クさせ駐車スペースに移動させれば、 原理的には駐車が完了するというもので ある。
なお、 このような運転操作補助装置の従来例が特開平 1一 1 4 7 0 0号公報 に開示されている。
しかしながら上記の装置を用いて駐車を行うためには、 車両を駐車スペース に移動させることのできる場所を見つけ、 続いて、 どの舵角でハンドルを固定 すればよいかを決める必要があるが、 これらの操作を習熟するには、 熟練を要 する。 しかも運転する車両の大きさ等が変わると感覚が違ったものになるため 、 熟練の段階で積み重ねられた運転のノゥハウがそれほど活かされなくなる。 ところで、 車両を駐車させる場合、 周囲に全く障害物がない場合を除いて、 駐車操作開始から、 一般的にハンドル舵角を一定に保ったまま、 駐車操作を完 了させることは一般に困難である。 例えば縦列駐車を行う場合、 運転者は駐車 操作開始場所から駐車しようとする場所に車両を移動させる間に、 最初はしか るべき方向にハンドルを回して車両を後退させ、 適当に後退したところで、 次 に逆方向にハンドルを回して、 目標場所に車両を移動させる。 すなわち、 縦列 駐車を例に取った場合、 ハンドル舵角を一定に保ったままでは駐車は困難であ ると る。
さらに、 従来の装置では、 運転者が少しでもハンドルを動かすと、 その少し の舵角変化によって予測し直された車両の移動経路が表示されるため、 運転者 の混乱をまねく恐れがある。
すなわち、 従来の運転操作補助装置においては、 運転者が、 駐車スペースと 該スペースの周囲の状況と車両を駐車スペースに誘導する経路とを合成表示し た画像を確認しながら、 駐車スペースに容易に車両を移動できる場所をひとめ で直感的に見つけることが出来なかった。 発明の開示 本発明は、 このような従来の運転操作補助装置が有する課題を考慮し、 運転 者が所定の一連の運転操作を行おうとする場合、 前記所定の一連の運転操作を 行ったときの車両の運動を、 周囲状況とともに表示することによって、 運転者 が前記所定の一連の運転操作による車両の運動と周囲状況との関係を直接的に 確認でき、 運転者の負担を軽減することができる運転操作補助装置を提供する ことを目的とするものである。
また、 前記運転操作補助装置の各手段の機能の全部または一部をコンビユー タに実行させるプログラムを格納する記録媒体を提供することを目的とするも のである。
上記課題を解決するために、 本発明は、 車両の周囲状況をカメラを用いて画 像ィ匕して、 周囲状況画像を生成する、 および /または、 生成した前記周囲状況 画像を格納する周囲状況画像化手段と、 予め前記車両に対して所定の一連の運 転操作を行うとした場合の前記車両の運動を表す画像データである想定運動パ ターンを、 前記周囲状況画像上に重ね合わせて、 合成画像を生成する合成画像 生成手段と、 前記合成画像を表示する表示手段とを備えることを特徴とする運 転操作補助装置である。
また、 第 2の本発明 （請求項 2 6に記載の本発明に対応） は、 本発明の運転 操作補助装置の各手段の機能の全部または一部をコンピュータに実行させるプ ログラムを格納することを特徴とする記録媒体である。 図面の簡単な説明
図 1は、 本発明の第 1の実施の形態における運転操作補助装置の構成を示す ブロック図である。 図 2は、 本発明の第 1の実施の形態における運転操作補助装置の撮像部 1 0 1の各力メラを車両に取り付けた一例を示す車両の平面図および立面図である。 図 3は、 本発明の第 1の実施の形態における運転操作補助装置の仮想カメラ の視点の一例を示す立面図である。
図 4は、 本発明の第 1の実施の形態における運転操作補助装置の仮想カメラ からの周囲状況画像の一例を示す図である。
図 5は、 本発明の第 1の実施の形態における運転操作補助装置の想定運動デ ータの一例を示す図である。
図 6は、 本発明の第 1の実施の形態における運転操作補助装置の想定運動デ —タの一例を示す図である。
図 7は、 本発明の第 1の実施の形態における運転操作補助装置の合成画像の 一例を示す図である。
図 8は、 本発明の第 1の実施の形態における運転操作補助装置の合成画像の 一例を示す図である。
図 9は、 左側への縦列駐車を行う場合の車両の運動を示す図である。
図 1 0は、 本発明の第 1の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 1 1は、 本発明の第 1の実施の形態における運転操作補助装置の想定運動 パターン格納手段 1 0 8に格納されている想定運動パターンのバリエーション の一例を示す図である。
図 1 2は、 本発明の第 1の実施の形態における運転操作補助装置の合成画像 の変形例を示す図である。
図 1 3は、 本発明の第 2の実施の形態における運転操作補助装置の構成を示 すブロック図である。
図 1 4は、 本発明の第 2の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 1 5は、 本発明の第 3の実施の形態における運転操作補助装置の構成を示 すブロック図である。
図 1 6は、 本発明の第 3の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 1 7は、 本発明の第 4の実施の形態における運転操作補助装置の構成を示 すブロック図である。
図 1 8は、 本発明の第 5の実施の形態における運転操作補助装置の構成を示 すプロック図である。
図 1 9は、 本発明の第 5の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 2 0は、 本発明の第 6の実施の形態における運転操作補助装置の構成を示 すブロック図である。
図 2 1は、 本発明の第 6の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 2 2は、 本発明の第 6の実施の形態における運転操作補助装置の変形例の 構成を示すプロック図である。
図 2 3は、
本発明の第 7の実施の形態における運転操作補助装置の構成を示すプロック 図である。
図 2 4は、 本発明の第 7の実施の形態における運転操作補助装置のマッピン グテーブル 2 3 0 2に格納されているマッピングテーブルの一例を示す概念図 である。
図 2 5は、 本発明の第 8の実施の形態における運転操作補助装置の構成を示 すプロック図である。
図 2 6は、 本発明の第 8の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 2 7は、 本発明の第 9の実施の形態における運転操作補助装置の構成を示 すブロック図である。
図 2 8は、 本発明の第 9の実施の形態における運転操作補助装置の合成画像 の一例を示す図である。
図 2 9は、 本発明の第 1 0の実施の形態における運転操作補助装置の構成を 示すプロック図である。
図 3 0は、 本発明の第 1 0の実施の形態における運転操作補助装置の合成画 像の一例等を示す図である。
図 3 1は、 本発明の第 1 1の実施の形態における運転操作補助装置の構成を 示すブロック図である。
図 3 2は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例等を示す図である。
図 3 3は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 3 4は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 3 5は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 3 6は、 本発明の第 1 1の実施の形態における運転操作補助装置の接触危 険評価関数を説明するためのグラフである。
図 3 7は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 3 8は、 本発明の第 1 1の実施の形態における運転操作補助装置の接触危 険評価関数の一例を示す図である。
図 3 9は、 本発明の第 1 1の実施の形態における運転操作補助装置における 想定運動データの一例を示す図である。
図 4 0は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 4 1は、 本発明の第 1 1の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 4 2は、 本発明の第 1 2の実施の形態における運転操作補助装置の構成を 示すブロック図である。
図 4 3は、 本発明の第 1 2の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 4 4は、 本発明の第 1 2の実施の形態における運転操作補助装置の構成を 示すブロック図である。
図 4 5は、 本発明の第 1 2の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。
図 4 6は、 本発明の第 1 2の実施の形態における運転操作補助装置の合成画 像の一例を示す図である。 (符号の説明）
101 撮像部
102 スーパーィンポーズ手段
103 カメラパラメータテーブル
104 空間再構成手段
105 空間データバッファ
106 視点変換手段
107 表示手段
108 想定運動パターン格納手段
1 301、 1 501 開始検出手段
1 302、 1 703 積分手段
1303、 1 503、 1 704 空間変換手段 1502 画像追跡手段
1701 開始入力手段
1 702 運転制御手段
1801 軌跡修正手段
2001 CG画像合成手段
2201 カメラ
2301 マッピング手段
2302 マッピングテーブル
2501 最終位置入力手段
2502 開始位置決定手段
2503 空間固定手段 発明を実施するための最良の形態
以下に、 本発明の実施の形態を図面を参照して説明する。
(第 1の実施の形態）
まず、 本発明の第 1の実施の形態を図面を参照して説明する。
図 1は、 本発明の第 1の実施の形態における運転操作補助装置の構成を示す ブロック図である。 本実施の形態における運転操作補助装置は、 主として、 車 庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。
図 1に示すように、 本実施の形態における運転操作補助装置は、 N個のカメ ラ （カメラ 1〜カメラ N) からなる撮像部 1 0 1と、 各カメラの特性である力 メラパラメータを格納するカメラパラメータテーブル 1 0 3と、 カメラパラメ ータに基づいて、 各力メラからの出力画像を構成する各々の画素を 3次元空間 の点に対応づけた空間データを作成する空間再構成手段 1 0 4と、 空間データ を参照して、 所定の視点から見た画像を周囲状況画像として生成する視点変換 手段 1 0 6と、 空間データを一時的に格納する空間データバッファ 1 0 5と、 想定運動パターンを含む想定運動データを保持する想定運動パタ一ン格納手段 1 0 8と、 想定運動パターンを、 周囲状況画像上に重ね合わせて、 合成画像を 生成するスーパーインポーズ手段 1 0 2と、 合成画像を表示する表示手段 1 0 7とで構成されている。
なお、 撮像部 1 0 1、 カメラパラメータテーブル 1 0 3、 空間再構成手段 1 0 4および視点変換手段 1 0 6を合わせたものは、 本発明の周囲状況画像化手 段に対応するものであり、 スーパ一^ Tンポーズ手段 1 0 2は、 本発明の合成画 像生成手段に対応するものである。 まず、 撮像部 1 0 1の詳細構成およぴ撮像部 1 0 1によって撮像された画像 データから本発明の周囲状況画像が生成されるまでの手順を説明する。
図 2は、 撮像部 1 0 1の各カメラを車両に取り付けた一例を示す車両の平面 図および立面図である。 この例では、 N= 6として、 6個のカメラ 2 0 1〜2 0 6を車両のルーフ部に配置したものである。 6個のカメラ 2 0 1〜2 0 6の 個々の撮像範囲の一部は、 他の力メラの撮像範囲の一部と重なり合うように、 かつ、 平面的に死角が生じないように、 配置されている。
カメラパラメータテーブル 1 0 3には、 前記各カメラのカメラパラメータ （ カメラの取り付け位置、 カメラの取り付け角度、 カメラのレンズ歪み補正値、 カメラのレンズの焦点距離などといった、 カメラ特性を表すパラメータ） が記 憶されている。 空間再構成手段 1 0 4は、 このカメラパラメータに基づいて、 各カメラからの出力画像を構成する各々の画素を、 車両を基準とする 3次元空 間の点に対応づけた空間データを作成する。 空間バッファ 1 0 5には、 前記空 間データが一時的に格納され、 視点変換手段 1 0 6は、 任意の視点、 たとえば 図 3に示す仮想カメラ 3 0 1の視点、 から見た画像を、 空間データを参照して 各画素を合成することによって、 周囲状況画像として生成する。
図 4に、 図 3に示した仮想カメラ 3 0 1の視点からの周囲状況画像の一例を 示す。 この例は、 縦列駐車を行う場合のものであり、 駐車中の 2台の車両が、 障害物 4 0 1および障害物 4 0 2として、 周囲状況画像上に表されている。 次に、 スーパ一^ Tンポーズ手段 1 0 2が本発明の合成画像を生成して、 それ を表示手段 1 0 7が表示するまでの手順を説明する。
想定運動パターン格納手段 1 0 8は、 車両の典型的な運転操作をその車両に 対して行うとした場合の、 車両の運動を表す画像データである想定運動パター ンと、 車両の移動距離 （タイヤ回転移動量） とハンドルの舵角 （ハンドルの切 れ角） との関係を表す時系列データとを、 本発明の想定運動データとして格納 している。
格納されている想定運動データのうち、 図 5に、 左側への縦列駐車の運転操 作を行う場合の想定運動データを、 図 6に、 右側への車庫入れの運転操作を行 う場合の想定運動データを、 それぞれ示す。 想定運動パターンは、 各図の （a ) に示されており、 各図の （b ) に示す時系列データにしたがった運転操作を 行った場合に対応する、 操作開始位置 5 0 1、 6 0 1 (本発明の想定運動開始 領域に対応） 、 操作終了位置 5 0 2、 6 0 2 (本発明の想定運動終了領域に対 応） およびタイヤ軌跡 5 0 3、 6 0 3 (本発明の車両のタイヤの軌跡を表す画 像データに対応） を示す画像データである。
まず、 運転者は、 パターン選択手段 （図示せず） により、 想定運動パターン 格納手段 1 0 8に格納されている想定運動パターンのうちの一つを選択する。 スーパーインポーズ手段 1 0 2は、 選択された想定運動パターン （例えば、 図 5 ( a ) ) を、 視点変換手段 1 0 6が生成した周囲状況画像 （例えば、 図 4 ) に重ね合わせて合成し、 本発明の合成画像を生成し、 表示手段 1 0 7は、 この 合成画像を表示する。 このとき、 例えば、 図 5 ( a ) の操作開始位置 5 0 1を 当該車両の現在位置と一致させることによって、 操作終了位置 5 0 2は、 その 想定運動パタ一ンに対応する運転操作を、 現在位置から開始した場合の操作終 了位置すなわち駐車位置となる。
図 7に、 図 5で示した想定運動パターンを合成した合成画像の一例を、 図 8 に、 図 6で示した想定運動パターンを合成した合成画像の一例を、 それぞれ示 す。 すなわち、 運転者は、 図 7 (図 8) において、 障害物 40 1、 402 (80 3、 804) 力;、 駐車位置 702 (802) 、 タイャ軌跡 503 (603) お よび開始位置 70 1 (80 1) と干渉しないような、 開始位置 701 (80 1 ) に当該車両を移動して、 そこから時系列データにしたがった一連の運転操作 を開始することによって、 駐車位置 702 (802) に駐車する左側への縦列 駐車 （右側への車庫入れ） を行うことができる。
開始位置 70 1 (801) に車両を移動する際の詳細な手順について、 左側 への縦列駐車を行う場合を例として、 図 9、 図 1 0を用いて説明する。
図 9は、 左側への縦列駐車を行う場合の車両の運動を示す図である。 図 9に 示すように、 車両の運転者は、 目標駐車位置 902の位置に車両を駐車するた めには、 まず、 左側への縦列駐車を行う想定運動パターン （図 5 (a) ) の操 作終了位置 502をこの目標駐車位置 902と一致させたときの操作開始位置 50 1を目標開始位置 903として、 この目標開始位置 903に、 現在位置 9 0 1に位置する車両を移動させる必要がある。
図 5 (a) の操作終了位置 502と操作開始位置 501の相対的な位置関係 は、 図 5 (b) の時系列データにしたがって運転操作を行った場合に対応する ものであり、 実際の運転操作においては、 操作中のハンドル操作等の微調整な どによって、 微調整が可能である。
本実施の形態における運転操作補助装置のような装置を用いない場合、 運転 者は、 車の内部から直視やミラーなどから確認できる情景から、 障害物 40 1 、 402や、 目標駐車位置 902を想定して、 目標開始位置 903へ車両を移 動させる必要がある。 この場合において、 運転者が、 車の内部から直視やミラ 一などから確認できる情景から、 障害物 40 1、 402や、 目標駐車位置 90 2を想定する作業は、 習熟を要するという問題がある。 また、 車両の大きさや ミラ一の位置が変わった場合でも、 運転者はその変化にすぐには対応しづらい という問題がある。
これに対して、 本実施の形態における運転操作補助装置を用いる場合、 車両 に取り付けられたカメラが撮像した画像を用いて、 図 4に示すような、 車両の 真上から撮像したような仮想カメラの視点からの周囲状況画像画像に、 図 5 ( a ) に示すような、 想定運動パターンを重ね合わせて、 図 7に示すような、 合 成画像が生成され、 運転者に表示される。
したがって、 図 9の目標開始位置 9 0 3に車両を移動させる運転操作を行う 際、 図 1 0 ( a ) 〜 （c ) に示すように、 車両の現在位置 9 0 1と、 図 5 ( a ) の操作開始位置 5 0 1とを一致させて表示すれば、 現在位置 9 0 1を操作開 始位置 5 0 1としたときの操作終了位置 5 0 2力 タイヤ軌跡とともに、 現在 位置に対応した駐車位置 1 0 0 1として表示されることになる。 この駐車位置 1 0 0 1が目標駐車位置 9 0 2と一致するような現在位置 9 0 1に車両が位置 したときに、 目標開始位置 9 0 3への移動が完了したことになる。
すなわち、 図 1 0 ( a ) の合成画像 1が表示手段 1 0 7に表示された時点で は、 この位置から駐車操作を開始した場合、 駐車位置 1 0 0 1が障害物 4 0 2 と重なるため、 さらに車両を前方 （図 1 0 ( a ) の上側方向） に進めた位置か ら駐車操作を開始しなければならないことが、 運転者は一目で把握できる。 また、 図 1 0 ( b ) の合成画像 2が表示手段 1 0 7に表示された時点では、 この位置から駐車操作を開始した場合、 タイヤ軌跡が障害物 4 0 1と重なるた め、 さらに車両を後方 （図 1 0 ( a ) の下側方向） に移動した位置から駐車操 作を開始しなければならないこと力 運転者は一目で把握できる。 また、 図 1 0 ( c ) の合成画像 3が表示手段 1 0 7に表示された時点の位置 から駐車操作を開始した場合、 タイヤ軌跡が障害物 4 0 1および 4 0 2に重な らず、 また駐車位置 1 0 0 1が駐車に適した場所であることが一目で把握でき るので、 この位置から駐車操作を開始すれば良いことが確認できる。
このように、 真上から見たときの車両と、 周りの障害物、 駐車終了位置、 タ ィャ軌跡の位置関係を示す画像を仮想的に合成し、 運転者に示すことによって 、 運転者はそれらの位置関係を、 直接的に一目で把握できる。 その結果、 運転 者は、 駐車操作開始に適した場所を一目で把握し、 その場所に車両を容易に移 動させてから、 駐車操作を開始できるので、 より安全かつ正確に、 目的の位置 に駐車操作することができる。
なお、 想定運動パターンの操作開始位置、 操作終了位置およびタイヤ軌跡は 、 車両毎に固有であって、 たとえば小型車両と大型車両では大きくことなる。 これについては、 図 1の想定運動バタ一ン格納手段 1 0 8に、 車両毎に、 想定 運動パターンを格納することによって対応できる。 したがって、 運転者は車両 が変わっても、 その車両に対応した想定運動パターンと、 周りの障害物等の関 係を見ながら運転操作をすることができる。
また、 車両が変わることによって、 図 2で示した車載カメラの位置、 数も変 化することが考えられるが、 これも図 1のカメラパラメータテーブル 1 0 3が 、 各カメラのカメラパラメータを、 車両毎に格納することによって対応され、 運転者に表示される表示画像に直接影響変化はない。 したがって、 運転者は車 両が変わってカメラ位置が変化しても、 車両が変わる前とほぼ同様に合成画像 に表示される、 その車両に対応した想定運動パターンと、 周りの障害物等の関 係を見ながら運転操作をすることができる。 以上のように、 本実施の形態によれば、 従来、 運転者に相当の熟練を要する 縦列駐車等の運転操作において、 運転車両と障害物および自的位置等の把握が 、 直接的に一目で可能となり、 より安全かつ正確な運転操作が可能で、 また運 転者の操作負担を大幅に軽減する。
また、 車両等が変わった場合でも、 運転者は車両が変わる前とほぼ同様に、 その車両に対応した想定運動パターンと、 周りの障害物等の関係を見ながら運 転操作をすることができるので、 車両の変更に対する運転者の習熟の負担を大 幅に軽減することができる。
ここで、 図 1の想定運動パターン格納手段 1 0 8に格納されている想定運動 パターンのバリエーションの一例を、 図 1 1に示す。 左右の縦列駐車の想定運 動パターン 1 1 0 1、 1 1 0 2と、 左右の車庫入れ駐車の想定運動パターン 1 1 0 3、 1 1 0 4である。 前述したように、 運転者は、 パターン選択手段 （図 示せず） により、 これらのいずれかを選択する。 この 4つの想定運動パターン の選択に対応して、 合成画像として表示する領域も、 図 1 1の各想定運動パタ —ン 1 1 0 1〜1 1 0 4の外枠のように決定される。 つまり、 操作開始位置を 、 現時点の車両位置とし、 そこからタイヤ軌跡および操作終了位置を含む矩形 領域を合成画像領域とするものである。
なお、 車載カメラからは、 車両本体は一般に撮像されていないが、 ここでは 、 車両の C Gデータ、 実車データなどを保持し、 軌跡データ同様に、 合成画像 中に、 重ね合わせて表示しても良い。
なお、 本実施の形態において、 本発明の想定運動パターンは、 操作開始位置 (本発明の想定運動開始領域） 、 操作終了位置 （本発明の想定運動終了領域） およびタイヤ軌跡 （本発明の車両のタイヤの軌跡を表す画像データ） を示す画 像データであるとして説明したが、 これに限るものではなく、 例えば、 タイヤ 軌跡の替わりに Zタイヤ軌跡とともに、 車両自身の平面投影が動く軌跡 （本発 明の車両の移動領域を表す画像データ） を含むとしてもよい。 要するに、 本発 明の想定運動パターンは、 予め車両に対して所定の一連の運転操作を行うとし た場合の前記車両の運動を表す画像データでありさえすればよい。
また、 上述したように、 タイヤ軌跡および Zまたは車両の移動領域をそのま ま表示すると、 車両と障害物等との接触に対する余裕がないので、 図 1 2に示 すように、 タイヤ軌跡または車両の移動領域の外縁から、 所定の量 （例えば、 5 0 c m) だけ外側に配置した余裕線 1 2 0 1を表示するとしてもよい。 また、 本実施の形態において、 本発明の周囲状況画像は、 撮像部 1 0 1がリ アルタイムで撮像した画像データが合成されたものであるとして説明したが、 これに限るものではなく、 例えば、 頻繁に同一の運転操作を行う場所であり、 周囲状況の変動がほとんどないような場所において、 運転操作を行う場合は、 既に撮像された画像データから作成したデータを空間データバッファ 1 0 5に 格納しておき、 これを用いるとしてもよい。
(第 2の実施の形態）
次に、 本発明の第 2の実施の形態を図面を参照して説明する。
図 1 3は、 本発明の第 2の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 1 3に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 開始検出手段 1 3 0 1と、 積分手段 1 3 0 2と、 空間変換手段 1 3 0 3とを備える点である。 進行か後退かを示すギア信号と、 前輪の操舵角を示すハンドル切れ角信号と が入力されている、 開始検出手段 1 3 0 1は、 ギア信号が後退の状態でかつハ ンドル切れ角信号が前輪の操舵角が一定以上大きくなったとき、 想定運動バタ ーン格納手段 1 0 8に格納されている想定運動パターンに対応する運転操作 （ 駐車操作） が開始されたと判断するものであり、 本発明の操作開始検出手段に 対応するものである。
積分手段 1 3 0 2は、 前記ハンドル切れ角と、 前記後輪回転数とを積分して 、 運転操作 （駐車操作） を開始してから現時点までの車両の空間移動変化を算 出するものであり、 本発明の移動^ i置算出手段に対応するものである。
空間変換手段 1 3 0 3は、 前記空間移動変化にしたがって、 想定運動パター ンを移動させるものであり、 スーパーインポーズ手段 1 0 2および空間変換手 段 1 3 0 3を合わせたものは、 本発明の合成画像生成手段に対応するものであ る。
本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1◦ 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターンに対応する実際の運転操作が開始されるまでの手順は、 第 1の実施の形 態で説明したものと同じである。
想定運動パターンに対応する実際の運転操作が開始された時点以降の、 スー パーインポーズ手段 1 0 2が本発明の合成画像を生成して、 それを表示手段 1 0 7が表示するまでの手順を、 左側への縦列駐車を行う場合を例として、 以下 に説明する。
運転者が左側への縦列駐車に対応する運転操作を開始すると、 ギア信号が後 退の状態でかつハンドル切れ角信号が前輪の操舵角が一定以上大きくなるので 、 開始検出手段 1 3 0 1が、 左側への縦列駐車に対応する運転操作 （駐車操作 ) が開始されたと判断し、 積分手段 1 3 0 2へ運転操作 （駐車操作） が開始さ れたことを伝えるとともに、 それ以降、 ハンドル切れ角信号および後輪回転数 信号を積分手段 1 3 0 2へ入力する。
積分手段 1 3 0 2は、 入力されてくる、 運転操作開始以降のハンドル切れ角 信号と、 後輪回転数信号とを積分して、 図 1 4 ( a ) に示すように、 車両現在 位置 1 4 0 2に対する駐車操作開始位置 1 4 0 1の位置関係を算出する。 算出された位置関係にしたがって、 空間変換手段 1 3 0 3は、 図 1 4 ( b ) に示すように、 左側への縦列駐車に対応する想定運動パターン 1 4 0 3をその 操作開始位置 （図 5の 5 0 1 ) と駐車操作開始位置 1 4 0 1がー致するように 、 移動させる。 換言すれば、 空間変換手段 1 3 0 3は、 運転操作開始以降、 想 定運動パターン 1 4 0 3を、 駐車操作開始時の位置に空間固定する。
スーパーインポーズ手段 1 0 2は、 運転操作開始以降においては、 駐車操作 開始時の位置に空間固定された想定運動パターン 1 4 0 3と、 車両現在位置 1 4 0 2とを、 周囲状況画像に重ね合わせて合成して、 図 1 4 ( c ) に示すよう に、 本発明の合成画像を生成する。 表示手段 1 0 7は、 この合成画像を表示す る。 障害物 4 0 1、 4 0 2等の周囲状況画像は、 もちろん空間に固定されてい るものなので、 この合成画像において、 周囲状況画像と想定運動パターン 1 4 0 3との位置関係は固定されている。 また、 合成画像は、 車両上に固定された 視点から見た画像であるため、 図 1 4 ( c ) においては、 車両が動くと、 車両 現在位置 1 4 0 2のみ画面上に固定され、 周囲状況画像および想定運動パター ン 1 4 0 3は、 相対的に動いて表示される。
すなわち、 本実施の形態によれば、 仮想カメラの視点からの周囲状況画像は 、 実際の車両の動きにしたがって移動し、 また重ね合わせて合成される想定運 動パターン 1 4 0 3も同様に、 積分手段 1 3 0 2で算出される車両の動きにし たがって移動するため、 両者は一致した動きとなる。 運転者は、 その各時点で 、 表示される想定運動パターンのタイヤ軌跡に沿ったハンドル操作をすればよ いので、 より簡単で安全な車両操作が可能となる。
(第 3の実施の形態）
次に、 本発明の第 3の実施の形態を図面を参照して説明する。
図 1 5は、 本発明の第 3の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 1 5に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 開始検出手段 1 5 0 1と、 画像追跡手段 1 5 0 2と、 空間変換手段 1 5 0 3とを備える点で め 。
開始検出手段 1 5 0 1は、 ハンドル切れ角信号および後輪回転数信号を他へ 出力しないことを除けば、 第 2の実施の形態で説明した、 図 1 3の開始検出手 段 1 3 0 1と同じ機能を有するものである。
画像追跡手段 1 5 0 2は、 運転操作 （駐車操作） が開始された時点での、 合 成画像上における、 周囲状況画像の画像データの全部または一部 （例えば、 障 害物） を基準とする、 想定運動パターンの画像データの全部または一部 （例え ば、 操作終了位置） の位置情報を記憶するものであり、 本発明の位置情報記憶 手段に対応するものである。
空間変換手段 1 5 0 3は、 前記位置情報にしたがって、 想定運動パターンを 移動させるものであり、 スーパーインポーズ手段 1 0 2および空間変換手段 1 5 0 3を合わせたものは、 本発明の合成画像生成手段に対応するものである。 本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターンに対応する実際の運転操作が開始されるまでの手順は、 第 1の実施の形 態で説明したものと同じである。
想定運動パターンに対応する実際の運転操作が開始された時点以降の、 スー パーインポーズ手段 1 0 2が本発明の合成画像を生成して、 それを表示手段 1 0 7が表示するまでの手順を、 左側への縦列駐車を行う場合を例として、 以下 に説明する。
運転者が左側への縦列駐車に対応する運転操作を開始すると、 ギア信号が後 退の状態でかつハンドル切れ角信号が前輪の操舵角が一定以上大きくなるので 、 開始検出手段 1 5 0 1が、 左側への縦列駐車に対応する運転操作 （駐車操作 ) が開始されたと判断し、 画像追跡手段 1 5 0 2へ運転操作 （駐車操作） が開 始されたことを伝える。
画像追跡手段 1 5 0 2は、 運転操作 （駐車操作） が開始されたことを伝えら れると、 このときの合成画像 （図 1 6 ( a ) ) 上における、 周囲状況画像の画 像データの一部である障害物 4 0 2の一部と、 駐車操作終了位置 1 6 0 2とを 含む終了位置周辺画像 1 6 0 3の画像データを、 空間データバッファ 1 0 5経 由で入手して記憶する。 運転操作開始以降は、 各時点での周囲状況画像 （空間 データバッファ 1 0 5経由で入手） から、 障害物 4 0 2の当該部分を見つけ出 し、 終了位置周辺画像 1 6 0 3内での障害物 4 0 2の当該部分を周囲状況画像 の障害物 4 0 2の当該部分と一致させることによって、 その時点での駐車操作 終了位置 1 6 0 2と周囲状況画像との位置関係を決定する。 つまり、 画像追跡 手段 1 5 0 2は、 各時点での駐車操作終了位置 1 6 0 2と周囲状況画像との位 置関係を追跡している。
この位置関係にしたがって、 空間変換手段 1 5 0 3は、 左側への縦列駐車に 対応する想定運動パターンをその操作終了位置 （図 5の 5 0 2 ) と駐車操作終 了位置 1 6 0 2がー致するように、 移動させる。 換言すれば、 空間変換手段 1 5 0 3は、 運転操作開始以降、 当該想定運動パターンを、 駐車操作開始時の位 置に空間固定する。
スーパーインポーズ手段 1 0 2は、 運転操作開始以降においては、 図 1 6 ( c ) に示すように、 駐車操作開始時の位置に空間固定された想定運動パターン 1 6 0 5、 車両の現在位置 1 6 0 4とを、 周囲状況画像に重ね合わせて合成し て、 本発明の合成画像を生成する。 表示手段 1 0 7は、 この合成画像を表示す る。 障害物 4 0 1、 4◦ 2等の周囲状況画像は、 もちろん空間に固定されてい るものなので、 この合成画像において、 周囲状況画像と想定運動パターン 1 4 0 3との位置関係は固定されている。
また、 合成画像は、 車両上に固定された視点から見た画像であるため、 図 1 6 ( c ) においては、 車両が動くと、 車両の現在位置 1 6 0 4のみ画面上に固 定され、 周囲状況画像および想定運動パターン 1 6 0 5は、 相対的に動いて表 示される。 すなわち、 本実施の形態における運転操作補助装置において、 第 2 の実施の形態における運転操作補助装置と同じ条件で手順を踏むと、 図 1 6 ( c ) に示した合成画像は、 図 1 4 ( c ) で示した合成画像と同じものとなる。 本実施の形態によれば、 仮想カメラの視点からの周囲状況画像は、 実際の車 両の動きにしたがつて移動し、 また重ね合わせて合成される想定運動パターン 1 6 0 5も同様に、 車両の動きにしたがって移動するため、 両者は一致した動 きとなる。 運転者は、 その各時点で、 表示される想定運動パターンの軌跡デー タに、 沿ったハンドル操作をすればよいので、 より簡単で安全な車両操作が可 能となる。
(第 4の実施の形態）
次に、 本発明の第 4の実施の形態を図面を参照して説明する。
図 1 7は、 本発明の第 4の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 1 7に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 開始入力手段 1 7 0 1と、 運転制御手段 1 7 0 2と、 積分手段 1 7 0 3と、 空間変換手段 1 7 0 4とを備える点である。
開始入力手段 1 7 0 1は、 想定運動パターンに対応する実際の運転操作 （駐 車操作） を開始することを、 運転者が入力指示するものであり、 本発明の操作 開始検出手段に対応するものである。
運転制御手段 1 7 0 2は、 運転操作開始指示が入力されると、 想定運動バタ —ンに対応する時系列データ （例えば、 図 5 ( b ) ) にしたがって、 ハンドル 切れ角および後輪回転数を制御することによって、 車両の運転を自動制御する ものであり、 本発明の運転制御手段に対応するものである。
積分手段 1 7 0 3は、 ハンドル切れ角と、 後輪回転数とを積分して、 運転操 作 （駐車操作） を開始してから現時点までの車両の空間移動変化を算出するも のであり、 本発明の移動位置算出手段に対応するものである。 すなわち、 第 2 の実施の形態で説明した、 図 1 3の積分手段 1 3 0 2と同じ機能を有するもの である。
空間変換手段 1 7 0 4は、 前記空間移動変化にしたがって、 想定運動パター ンを移動させるものであり、 スーパーインポーズ手段 1 0 2および空間変換手 段 1 7 0 4を合わせたものは、 本発明の合成画像生成手段に対応するものであ る。 すなわち、 空間変換手段 1 7 0 4は、 第 2の実施の形態で説明した、 図 1 3の空間変換手段 1 3 0 3と同じ機能を有するものである。
本実施の形態において、 撮像部 1◦ 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターンに対応する実際の運転操作が開始されるまでの手順は、 第 1の実施の形 態で説明したものと同じである。
想定運動パターンに対応する実際の運転操作が開始された時点以降の、 スー パ一/ Γンポーズ手段 1 0 2が本発明の合成画像を生成して、 それを表示手段 1 0 7が表示するまでの手順を、 左側への縦列駐車を行う場合を例として、 以下 に説明する。
運転者は、 駐車操作開始前に、 前記表示手段 1 0 7に表示される合成画像を 見ながら、 駐車操作開始に適した位置に車両を位置させた後、 開始入力手段 1 7 0 1に、 駐車操作開始を指示する入力を行う。 開始入力手段 1 7 0 1は、 運 転操作開始指示が入力されたことを、 運転制御手段 1 7 0 2および積分手段 1 7 0 3へ、 想定運動パターン格納手段 1 0 8を介して伝える。
運転制御手段 1 7 0 2は、 駐車操作開始指示が入力されると、 想定運動バタ ーンに対応する時系列データ （図 5 ( b ) ) にしたがって、 ハンドル切れ角制 御信号および後輪回転数制御信号を発生させ、 ハンドル制御系および後輪駆動 系を制御することによって、 車両の運転を自動制御する。
積分手段 1 7 0 3は、 駐車操作開始指示が入力されると、 ハンドル切れ角信 号および後輪回転数信号を積分して、 図 1 4 ( a ) に示すように、 車両現在位 置 1 4 0 2に対する駐車操作開始位置 1 4 0 1の位置関係を算出する。
算出された位置関係にしたがって、 空間変換手段 1 7 0 4は、 図 1 4 ( b ) に示すように、 左側への縦列駐車に対応する想定運動パターン 1 4 0 3をその 操作開始位置 （図 5の 5 0 1 ) と駐車操作開始位置 1 4 0 1がー致するように 、 移動させる。 換言すれば、 空間変換手段 1 7 0 4は、 運転操作開始以降、 想 定運動パターン 1 4 0 3を、 駐車操作開始時の位置に空間固定する。
これ以降のスーパーインポーズ手段 1 0 2が合成画像を生成し、 表示手段 1 0 7がこの合成画像を表示する手順は、 第 2の実施の形態で説明したものと同 じである。 車両が所定の駐車位置に到達すると、 運転制御手段 1 7 0 2は、 時 系列データにしたがって、 車両を停止させ、 駐車操作が終了する。
本実施の形態によれば、 第 2の.実施の形態で説明した効果に加え、 運転操作 の開始を指示した以降は、 ハンドル操作等が自動に行われるという効果が得ら れる。 運転者は、 その各時点で、 表示される想定運動パターンの軌跡データに 、 沿ったハンドル操作が自動的に発生されるのを確認し、 また新たな障害物が 現れるのを監視すればよいだけなので、 より簡単で安全な車両操作が可能とな る。
(第 5の実施の形態）
次に、 本発明の第 5の実施の形態を図面を参照して説明する。
図 1 8は、 本発明の第 5の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時およぴ縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 1 8に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 軌跡修正手段 1 8 0 1を備える点である。
軌跡修正手段 1 8 0 1は、 運転者から入力された、 運動操作の操作開始位置 および操作終了位置に基づいて、 想定運動パターンおよび時系列データを修正 するものであり、 本発明のパターン修正手段に対応するものである。
本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターン格納手段 1 0 8に格納されている想定運動パターンがその操作開始位置 と車両の現在位置とを一致させて合成画像上に表示されるまでの手順は、 第 1 の実施の形態で説明したものと同じである。
想定運動パターンが合成画像上に表示された時点以降の、 運転者が軌跡修正 手段 1 8 0 1を用いて想定運動パターンおよび時系列データを修正し、 それが 合成画像上に表示されるまでの手順を、 左側への車庫入れを行う場合を例とし て、 以下に説明する。
図 1 9 ( a ) に示すように、 運転者が、 障害物 1 9 0 4、 1 9 0 5に接触し ないように目標駐車位置 1 9 0 2を操作終了位置とする車庫入れ操作を行おう として、 目標駐車位置 1 9 0 2に想定運動パターンの操作終了位置が一致する ような現在位置 1 9 0 1に車両を移動させたところ、 想定運動パターンのタイ ャ軌跡 1 9 0 3が障害物 1 9 0 5と干渉することが判明した場合を想定する。 想定運動パターン格納手段 1 0 8が、 別の左側への車庫入れ操作に対する想 定運動パターンを格納している場合は、 パターン選択手段 （図示せず） により 、 これを選択して、 うまく駐車操作できるかを検討してもよいが、 そうでない 場合、 もしくは、 別の想定運動パターンも障害物等と干渉してしまう場合は、 運転者は、 想定運動パターンの修正を行う。
まず、 運転者は、 表示手段 1 0 7に表示されている合成画像 （図 1 9 ( a ) ) の現在位置 1 9 0 1にある車両を示す図形を、 図 1 9 ( b ) に示すように、 新しい操作開始位置 1 9 0 6へ、 数値入力、 ポインター、 その他の手段によつ て移動させる。
新しい操作開始位置 1 9 0 6が決まると、 軌跡修正手段 1 8 0 1は、 新しい 操作開始位置 1 9 0 6から目標駐車位置 1 9 0 2へ車両が移動するような新し いタイヤ軌跡 1 9 0 7 (図 1 9 ( c ) 参照） を求め、 新しい想定運動パターン およびそれらに対応する時系列データを生成する。
スーパーインポーズ手段 1 0 2は、 図 1 9 ( d ) に示すように、 新しい想定 運動パターンを、 その操作開始位置が車両の現在位置 1 9 0 1とを一致させて 合成画像を生成し、 表示手段 1 0 7は、 これを表示する。 したがって、 運転者は、 新しい想定運動パターンの操作終了位置 1 9 0 8を 、 目標駐車位置 1 9 0 2と一致させるように、 車両を移動させた後に、 新しい 想定運動パターンにしたがった運転操作 （駐車操作） を開始すれば、 目標駐車 位置 1 9 0 2に当該車両を駐車させることができる。
なお、 生成された新しい想定運動パターンおよび時系列データは、 元の想定 運動パターンを更新して、 想定運動パターン格納手段 1 0 8に格納するとして もよいし、 元の想定運動パターンはそのままとして、 想定運動パターン格納手 段 1 0 8に追加格納するとしてもよい。 また、 その場限りのものとして格納し なくてもよい。 さらに、 更新格納、 追加格納、 格納しない、 を運転者がその都 度選択するとしてもよレ、。
また、 本実施の形態においては、 想定運動パターン格納手段 1 0 8に更新格 納または追加格納する想定運動パターンは、 運転者から入力された運動の開始 時および終了時の車両の位置に基づいて、 自動的に求められるとして説明した が、 実際の運転操作を行って、 このときのハンドル舵角、 車輪回転数等の時系 列データを採取して、 これに基づいて想定運動パターンを生成して格納すると 本実施の形態によれば、 第 1の実施の形態における運転操作補助装置に比し て、 拡張性のある運転操作補助装置を実現することができる。
(第 6の実施の形態）
次に、 本発明の第 6の実施の形態を図面を参照して説明する。
図 2 0は、 本発明の第 6の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 2 0に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 C G画像合成 手段 2 0 0 1を備える点である。
C G画像合成手段 2 0 0 1は、 想定運動パターン格納手段 1 0 8に格納され ている各想定運動パターンに対応する 3次元データが格納されており、 周囲状 況画像の視点に合わせた 3次元 （または 2次元） 画像を生成するものであり、 本発明の想定運動パターン格納手段の機能の一部、 および、 本発明の合成画像 生成手段の機能の一部に対応するものである。
また、 視点変換手段 1 0 6は、 自動的に、 または、 運転者からの入力により 、 視点の位置を切り替えることができるものとする。
また、 想定運動パターン格納手段 1 0 8は、 図 2 1 ( a ) に示すように、 格 納されている想定運動パターン （操作開始位置 5 0 1、 操作終了位置 5 0 2お よびタイヤ軌跡 5 0 3 ) とともに、 タイヤ軌跡 5 0 3上に配置された複数の仮 想ポール 2 0 0 1の位置が記憶されている。 この想定運動パターンおよび仮想 ポール 2 0 0 1のデータを基づいて、 C G画像合成手段 2 0 0 1は、 予め、 こ の想定運動パターンに対応する 3次元データ （図 2 1 ( b ) 参照） を生成して 格納している。 本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパ一^ f ンポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターンに対応する実際の運転操作が開始されるまでの手順は、 第 1の実施の形 態で説明したものと同じである。
想定運動パターンに対応する実際の運転操作が開始された時点以降の、 スー パーインポーズ手段 1 0 2が本発明の合成画像を生成して、 それを表示手段 1 0 7が表示するまでの手順を、 左側への縦列駐車を行う場合を例として、 以下 に説明する。
運転者は、 実際の運転操作を開始する前に、 視点変換手段 1 0 6が使用して いる周辺状況画像の視点を、 当該車両の直上から、 当該車両の後部から後方を 望む視点に切り替える。 または、 視点変換手段 1 0 6が想定運動パターンに対 応する実際の運転操作が開始されたことを検出することによって、 自動的に当 該視点に切り替える。 なお、 実際の運転操作が開始されたことを検出する具体 的な手段としては、 例えば、 第 2の実施の形態で説明した開始検出手段 1 3 0 1と同様のものが挙げられる。
視点が切り替えられることによって、 視点変換手段 1 0 6からの出力である 周辺状況画像は、 図 2 1 ( c ) に示すようになる。 C G画像合成手段 2 0 0 1 は、 当該車両の現在位置を操作開始位置 5 0 1と一致させて、 視点変換手段 1 0 6が用いている視点と同じ視点から見た C G画像を生成する。 このときの C G画像は、 図 2 1 ( d ) に示すようになる。
スーパーインポーズ手段 1 0 2は、 この C G画像を、 周囲状況画像に重ね合 わせて合成して、 図 2 1 ( e ) に示すように、 本発明の合成画像を生成する。 表示手段 1 0 7は、 この合成画像を表示する。 合成画像は、 車両上に固定され た視点から見た画像であるため、 図 2 1 ( e ) においては、 車両が動くと、 画 像全体が、 相対的に動いて表示される。
本実施の形態においては、 運転者は、 この表示画像を見ながら、 仮想ポール や、 操作終了位置と、 実際の障害物との関係を一目で把握しながら、 駐車開始 位置を決定できるので、 安全で確実な運転操作を行うことができる。
なお、 上記説明では、 C G画像合成手段 2 0 0 1がリアルタイムで視点変換 手段 1 0 6が用いている視点と同じ視点から見た C G画像を生成するとして説 明したが、 所定の視点位置から見た C G画像を予め想定運動パターン毎に生成 しておき、 これらを格納しておくという構成でもよい。
また、 本実施の形態においては、 第 1の実施の形態と同様に、 仮想カメラか ら見た周辺状況画像を生成するとして説明したが、 視点を切り替えることなく 、 車両の後部から後方を望むような画像のみを対象とする場合には、 当該視点 位置に据え付けたカメラが撮像した画像を、 そのまま、 周辺状況画像としても よい。 この場合の運転操作補助装置の構成は、 図 2 2に示すブロック図のよう になる。 すなわち、 C G画像合成手段 2 0 0 1は、 1台の車載のカメラ 2 2 0 1の視点に関するデータをカメラパラメータテーブル 1 0 3より入手して C G 画像を生成するものである。
(第 7の実施の形態）
次に、 本発明の第 7の実施の形態を図面を参照して説明する。
図 2 3は、 本発明の第 7の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時および縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 2 3に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 マッピング手 段 2 3 0 1と、 マッピングテーブル 2 3 0 2とを備える点である。
マツビング手段 2 3 0 1は、 撮像部 1 0 1の各カメラからの入力画像を任意 の視点から見た画像に変換する処理を高速に行うものである。
また、 マッピングテーブル 2 3 0 2は、 マッピング手段 2 3 0 1が変換を行 う際に使用するデータを格納するものである。
図 2 4は、 マッピングテーブル 2 3 0 2に格納されているマッピングテープ ルの一例を示す概念図である。 マッピングテーブルは、 表示手段 1 0 7にて表 示する画面 （すなわち、 スーパーインポーズ手段 1 0 2が生成する合成画像） の画素数分のセルから構成されている。 すなわち、 表示画面の横画素数がテー ブルの列数となり、 表示画面の縦画素数がテーブルの行数となるように、 テー ブルが構成されている。 そして、 それぞれのセルは、 カメラ番号と、 各カメラ で撮影された画像の画素座標と、 をデータとして持っている。
例えば、 図 2 4の左上のセル （ （1、 1 0、 1 0 ) のデータが記入されてい るセル） は、 表示画面での左上すなわち （0、 0 ) の部分を示しており、 マツ ビング手段 2 3 0 1は、 前記セルに格納されているデータ内容 （1、 1 0、 1 0 ) から、 「1番カメラで撮影された画像の画素 （1 0、 1 0 ) のデータを、 表示画面 （0、 0 ) に表示する」 という処理を行う。 該テーブルを用いること により、 表示画面の各画素をどのカメラのどの画素のデータで置き換えるかの 計算を行う必要がなくなるため、 処理の高速化が実現できるものである。 なお、 視点切替手段 1 0 6が複数の視点を切り替えて使用する場合、 マツピ ングテーブル 2 3 0 2は、 視点毎に図 2 4のようなテーブルが格納されている 必要がある。
(第 8の実施の形態）
次に、 本発明の第 8の実施の形態を図面を参照して説明する。
図 2 5は、 本発明の第 8の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置も、 主として、 車庫入れ時およぴ縦列駐車時等の運転操作の補助を目的とするものである。 し たがって、 本実施の形態において、 特に説明のないものについては、 第 1の実 施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部材に ついては、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つものと する。 また、 第 1の実施の形態において説明した各変形例についても、 特にこ とわらない限り、 同様の変形を行うことによって、 本実施の形態に適用される ものとする。
図 2 5に示すように、 本実施の形態における運転操作補助装置の構成が、 第 1の実施の形態における運転操作補助装置の構成と異なるのは、 最終位置入力 手段 2 5 0 1と、 開始位置決定手段 2 5 0 2と、 空間固定手段 2 5 0 3とを備 える点、である。 最終位置入力手段 2 5 0 1は、 ポインターによって、 運転操作の目標終了位 置を入力するものである。 なお、 目標終了位置の入力については、 数値入力ま たはその他の手段によって、 入力されるとしてもよい。
開始位置決定手段 2 5 0 2は、 最終位置入力手段 2 5 0 1によって入力され た目標終了位置に対応する運転操作の開始位置を、 当該運転操作に対応する想 定運動パターンにしたがって求めるものである。
空間固定手段 2 5 0 3は、 当該運転操作に対応する想定運動パターンを、 前 記目標終了位置と操作終了位置とがー致させ、 以降は、 空間固定させるもので あり、 図 1 3の積分手段 1 3 0 2および空間変換手段 1 3 0 3の機能を併せ持 つたものである （図 2 5においては、 後輪回転信号入力およびハンドル切れ角 信号入力の図示省略） 。
なお、 図 1 5の画像追跡手段 1 5 0 2および空間変換手段 1 5 0 3の機能を 併せ持つたものとしてもよいが、 この場合は、 図 1 5の画像追跡手段 1 5 0 2 のように、 空間バッファ 1 0 5より、 空間データの入力を貰い受ける必要があ る。 なお、 スーパーインポーズ手段 1 0 2および空間固定手段 2 5 0 3を合わ せたものは、 本発明の合成画像生成手段に対応するものである。
本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターン格納手段 1 0 8に格納されている想定運動パターンがその操作開始位置 と車両の現在位置とを一致させて合成画像上に表示されるまでの手順は、 第 1 の実施の形態で説明したものと同じである。 想定運動パターンが合成画像上に表示された時点以降の、 運転者が最終位置 入力手段 2 5 0 1を用いて運転操作の目標終了位置を入力し、 それに対応する 運転操作の開始位置を含む想定運動パターンが合成画像上に表示されるまでの 手順を、 左側への車庫入れを行う場合を例として、 以下に説明する。
図 2 6 ( a ) に示すように、 運転者が、 障害物 4 0 1、 4 0 2に接触しない ように、 この間に駐車しょうとして、 本発明の合成画像を表示手段 1 0 7に表 示させたところ、 車両の現在位置 9 0 1を操作開始位置とする想定運動パター ン 1 4 0 3の操作終了位置である駐車位置 1 0 0 1力 障害物 4 0 2と重なつ た場合を想定する。
運転者は、 表示手段 1 0 7の画面上に表示されているポインタ 2 6 0 1を用 いて、 駐車位置 1 0 0 1を目標位置 2 6 0 2に移動させる。 このとき、 図 2 6 ( b ) に示すように、 想定運動パターン 1 4 0 3は、 駐車位置 1 0 0 1ととも に移動するので、 想定運動パターン 1 4 0 3の操作開始位置は、 駐車操作を開 始する開始位置 2 6 0 3として表示されることになる。
上記移動作業が終了した後も、 車両の現在位置 9 0 1は、 図 2 6 ( c ) に示 すように、 表示手段 1 0 7が表示する画面上に表示されている。 運転者は、 こ の画面を見ながら、 車両を開始位置 2 6 0 3へ移動させればよい。 このとき、 想定運動パターン 1 4 0 3は、 空間固定手段 2 5 0 3によって、 空間に固定さ れているので、 想定運動パターン 1 4 0 3と障害物 4 0 1、 4 0 2との相対的 な位置関係は変わらない。
本実施の形態によれば、 第 1の実施の形態で説明した効果に加え、 運転操作 の開始位置を効率よく求められるので、 操作開始までに要する時間の短縮が図 れる。 なお、 本実施の形態における運転操作補助装置に、 開始位置 2 6 0 3が決定 されると、 現在位置 9 0 1との相対的な位置関係を計算し、 車両を現在位置 9 0 1から開始位置 2 6 0 3まで誘導するのに必要なハンドル切れ角および後輪 回転数に関する時系列データを求めて、 これにしたがって、 ハンドル切れ角制 御信号および後輪回転数制御信号を発生させ、 ハンドル制御系および後輪駆動 系を制御することによって、 車両の運転を自動制御して、 車両を現在位置 9 0 1から開始位置 2 6 0 3まで自動誘導する開始位置誘導手段を付加するとして もよレ、。 これによつて、 運転者が操作をすること無しに、 車両が開始位置まで 誘導されるので、 より簡単で安全な車両操作が可能となる。
(第 9の実施の形態）
次に、 本発明の第 9の実施の形態を図面を参照して説明する。
図 2 7は、 本発明の第 9の実施の形態における運転操作補助装置の構成を示 すブロック図である。 本実施の形態における運転操作補助装置が、 第 2の実施 の形態における運転操作補助装置と異なるのは、 開始検出手段 1 3 0 1および 積分手段 1 3 0 2の出力が、 視点変換手段 1 0 6に入力され、 視点変換手段 1 0 6はこれにしたがって、 仮想力メラの視点を切り替えることに関する点のみ である。
したがって、 本実施の形態において、 特に説明のないものについては、 第 2 の実施の形態と同じとし、 第 2の実施の形態と同一符号を付与している構成部 材については、 特に説明のない限り、 第 2の実施の形態と同様の機能を持つも のとする。 また、 第 2の実施の形態において説明した各変形例についても、 特 にことわらない限り、 同様の変形を行うことによって、 本実施の形態に適用さ れるものとする。 本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターンに対応する実際の運転操作が開始されるまでの手順は、 第 1の実施の形 態で説明したものと同じである。
想定運動パターンに対応する実際の運転操作が開始された時点以降の、 スー パ一^ rンポーズ手段 1 0 2が本発明の合成画像を生成して、 それを表示手段 1
0 7が表示するまでの手順を、 左側への縦列駐車を行う場合を例として、 以下 に説明する。
実際の運転操作が開始されるまでは、 第 1の実施の形態において、 図 1 0を 用いて説明したように、 仮想カメラの視点位置は車両の真上に固定されており
、 図 2 8 ( a ) に示すように、 車両の現在位置 9 0 1およびこの位置を操作開 始位置とする想定運動パターン 1 4 0 3は、 画面上に固定されており、 障害物 4 0 1、 4 0 2等の周辺状況画像が、 車両の移動に合わせて相対的に画面上を 移動して表示されている。
図 2 8 ( b ) に示すように、 車両の現在位置 9 0 1が、 目標駐車位置 9 0 2 に対応する位置に来ると、 運転者は、 左側への縦列駐車に対応する運転操作を 開始する。 運転操作が開始されると、 ギア信号が後退の状態でかつハンドル切 れ角信号が前輪の操舵角が一定以上大きくなるので、 開始検出手段 1 3 0 1が 、 左側への縦列駐車に対応する運転操作 （駐車操作） が開始されたと判断し、 積分手段 1 3 0 2および視点変換手段 1 0 6へ運転操作 （駐車操作） が開始さ れたことを伝える。 積分手段 1 3 0 2は、 入力されてくる、 運転操作開始以降のハンドル切れ角 信号と、 後輪回転数信号とを積分して、 図 1 4 ( a ) に示すように、 車両現在 位置 1 4 0 2に対する駐車操作開始位置 1 4 0 1の位置関係を算出する。
算出された位置関係にしたがって、 空間変換手段 1 3 0 3は、 図 1 4 ( b ) に示すように、 左側への縦列駐車に対応する想定運動パターン 1 4 0 3をその 操作開始位置 （図 5の 5 0 1 ) と駐車操作開始位置 1 4 0 1がー致するように 、 移動させる。 換言すれば、 空間変換手段 1 3 0 3は、 運転操作開始以降、 想 定運動パターン 1 4 0 3を、 駐車操作開始時の位置に空間固定する。
視点変換手段 1 0 6は、 運転操作 （駐車操作） が開始されたことを伝えられ ると、 このときの仮想カメラの視点位置を空間 （地面） に対して固定にする。 すなわち、 運転操作開始以降は、 周辺状況画像 （障害物 4 0 1、 4 0 2等） は 画面上に固定される。
スーパーインポーズ手段 1 0 2は、 運転操作開始以降においては、 駐車操作 開始時の位置に空間固定された想定運動パターン 1 4 0 3と、 車両現在位置 1 4 0 2とを、 周囲状況画像に重ね合わせて合成して、 図 2 8 ( c ) に示すよう に、 本発明の合成画像を生成する。 この合成画像の視点は、 周囲状況画像の視 点と同じく、 駐車操作開始時の仮想力メラの視点位置を空間固定したものであ るから、 スーパーインポーズ手段 1 0 2は、 積分手段 1 3 0 2によって算出さ れた位置関係を視点に対して逆算することによって、 前記合成画像を生成する。 すなわち、 この合成画像 （図 2 8 ( c ) ) において、 周辺状況画像 （障害物 4 0 1 , 4 0 2等） および想定運動パターン 1 4 0 3が画面上に固定され、 車両 現在位置 1 4 0 2力 車両の実際の移動に合わせて相対的に画面上を移動して 表示される。 本実施の形態によれば、 駐車操作開始五の視点が空間に固定されるので、 運 転者が、 駐車スペース周囲の状況に対する自車の移動状態がひとめで把握でき るようになる。
なお、 想定運動パターンで想定する運動が広範囲または複雑なものであり、 運転操作を開始した後に、 撮像部 1 0 1のカメラの視野に入らない範囲が生じ る場合は、 空間データバッファ 1 0 5に蓄積されているデータを用いて当該範 囲の表示を行うとしてもよレ、。
(第 1 0の実施の形態）
次に、 本発明の第 1 0の実施の形態を図面を参照して説明する。
図 2 9は、 本発明の第 1 0の実施の形態における運転操作補助装置の構成を 示すブロック図である。 本実施の形態における運転操作補助装置が、 第 1の実 施の形態における運転操作補助装置と異なるのは、 想定運動パターン格納手段 1 0 8にデフォルトの運送パターンとして、 図 3 0 ( b ) に示すようにタイヤ 回転に対してハンドル角を、 左右最大にきった場合のバックする 2つの場合を 想定して、 さらに前記 2つの場合の想定運動から生じる、 図 3 0 ( a ) に示す ようにタイヤ軌跡 6 0 3ではなく、 車両全体が通過する空間の外接領域軌跡 6 0 4を、 2つ同時にスーパーインポーズ手段 1 0 2で合成し、 表示手段 1 0 7 に表示する点のみである。
したがって、 本実施の形態において、 特に説明のないものについては、 第 1 の実施の形態と同じとし、 第 1の実施の形態と同一符号を付与している構成部 材については、 特に説明のない限り、 第 1の実施の形態と同様の機能を持つも のとする。 また、 第 1の実施の形態において説明した各変形例についても、 特 にことわらない限り、 同様の変形を行うことによって、 本実施の形態に適用さ れるものとする。
本実施の形態によれば、 まず想定運動格納パターン 1 0 8のデフオノレトとし て、 もっとも単純な図 3 0 ( b ) に示すようにハンドルを、 左右最大にきった 場合のバックする 2つの場合を想定しているので、 この想定運動格納パターン 1 0 8のデフオノレトで、 駐車できる場合には、 複数の想定運動格納パターンの 切り替え選択操作が、 不要となり、 運転者の操作負担を軽減するという効果が ある。
また、 さらに前記 2つの場合の想定運動から生じる外接領域軌跡 6 0 4を、 2つ同時にスーパーインポーズ手段 1 0 2で合成し、 表示手段 1 0 7に表示す ることにより、 左右の 2つの想定運動格納パターンの切り替え選択操作が不要 となり、 運転者の操作負担を軽減するという効果がある。
また、 図 3 0 ( a ) に示すようにタイヤ軌跡 6 0 3ではなく、 車両全体が通 過する空間の外接領域軌跡 6 0を、 スーパーインポーズ手段 1 0 2で合成し、 表示手段 1 0 7に表示することにより、 タイヤ軌跡より大きく膨らむ車両部分 、 たとえば、 左後方に曲がりながら駐車する場合の、 右前方部分等が障害物に 接触するかどうかなどを、 より正確に運転者が把握しやすくなるという効果が ある。
(第 1 1の実施の形態）
次に、 本発明の第 1 1の実施の形態を図面を参照して説明する。
図 3 1は、 本発明の第 1 1の実施の形態における運転操作補助装置の構成を 示すブロック図である。 本実施の形態における運転操作補助装置も、 主として 、 車庫入れ時およぴ縦列駐車時等の運転操作の補助を目的とするものである。 したがって、 本実施の形態において、 特に説明のないものについては、 第 1お よび第 5の実施の形態と同じとし、 第 1および第 5の実施の形態と同一符号を 付与している構成部材については、 特に説明のない限り、 第 1および第 5の実 施の形態と同様の機能を持つものとする。 また、 第 1および第 5の実施の形態 において説明した各変形例についても、 特にことわらない限り、 同様の変形を 行うことによって、 本実施の形態に適用されるものとする。
本実施の形態における運転操作補助装置の構成が、 第 1および第 5の実施の 形態における運転操作補助装置の構成と異なるのは、 図 3 1に示す障害物入力 手段 3 1 0 1と想定パターン修正手段 3 1 0 2を有している点と、
想定運動パターン格納手段 1 0 8において、 図 3 2 ( a ) に示す様に切り替え し、 つまり運動途中で後退と前進を切り替える運動パターンを含む点である。 このとき、 想定運動パターンの時系列データとして図 3 2 ( b ) に示すよう にタイヤ回転に対応したハンドル角が、 図 3 1の想定運動パターン格納手段 1 0 8に格納されている。 図 3 2 ( b ) に示すように、 タイヤ回転が、 0〜0 . 8までは車両の後退を示し、 そこから後退から前進へ切り替わる。 このとき車 両の位置は図 3 2 ( a ) に示す後退前進切り替え位置 3 2 0 1にある。 つぎに タイヤ角 0 . 8〜0 . 6へ車両の前進し、 図 3 2 ( a ) に示す前進後退切り替 え位置 3 2 0 2に来た時点で、 再びタイヤ角 0 . 6〜1 . 4へと後退に切り替 わる。
このように運動途中で後退と前進を切り替える運動パターンを含むことによ り、 図 3 2 ( a ) に示すように、 障害物に対して小さな空間的余裕しかない場 合でも車両の位置方向を制御できる。
本実施の形態において、 撮像部 1 0 1によって撮像された画像データから本 発明の周囲状況画像が生成されるまでの手順は、 第 1の実施の形態で説明した ものと同じである。 また、 スーパーインポーズ手段 1 0 2が本発明の合成画像 を生成して、 それを表示手段 1 0 7が表示するまでの手順のうち、 想定運動パ ターン格納手段 1 0 8に格納されている想定運動パターンがその操作開始位置 と車両の現在位置とを一致させて合成画像上に表示されるまでの手順は、 第 1 の実施の形態で説明したものと同じである。
想定運動パターンが合成画像上に表示された時点以降の、 運転者が軌跡修正 手段 1 8 0 1と障害物入力手段 3 1 0 1を用いて想定運動パターンおよび時系 列データを修正し、 それが合成画像上に表示されるまでの手順を、 右側への車 庫入れを行う場合を例として、 以下に説明する。
図 3 3に示すように、 運転者が、 障害物： （a、 b、 c 3 2 0 4、 3 2 0 5、 3 2 0 6 ) に接触しないように、 目標駐車位置 1 9 0 2を操作終了位置と する車庫入れ操作を行おうとし、 目標駐車位置 1 9 0 2に想定運動パターンの 操作終了位置が一致するような現在位置 1 9 0 1に車両を移動させたところ、 想定運動パターンの外接領域 6 0 4が障害物： a， b， cと接触する危険があ ることが判明した場合を想定する。
想定運動パターン格納手段 1 0 8が、 別の右側への車庫入れ操作に対する想 定運動パターンを格納している場合は、 パターン選択手段 （図示せず） により 、 これを選択して、 うまく駐車操作できるかを検討してもよいが、 そうでない 場合、 もしくは、 別の想定運動パターンも障害物等と干渉してしまう場合は、 運転者は、 想定運動パターンの修正を行う。
まず、 運転者は、 図 3 1に示す表示手段 1 0 7に表示されている合成画像 （ 図 3 3 ) の現在位置 3 2 0 0にある車両を示す図形を駐車操作開始位置 1 9 0 1とし、 図 3 1に示す障害物入力手段 3 1 0 1を用いて、 図 34に示すように、 画像中の障害物 a， b， cのある領域を障害物指示矩形 ： a 3207、 または障害物指示円形： b 3208を用いて障害物指示領域 : 32 1 0 (図 36参照） として、 数値入力、 ポインター、 その他の手段によ つて設定入力する。 また、 目標駐車位置に修正が必要な場合は、 同様に数値入 力、 ポインター、 その他の手段によって移動入力する。
障害物領域が入力されると、 軌跡修正手段 1 801は、 図 35に示すように 障害物指示領域： 32 1 0を含んだ周囲 60 cmの領域に、 接触危険領域 3 2 09を設定する。 そして領域について、 図 36に示すような接触危険評価関数 H32 1 0を与える。 この関数は、 障害物指示領域： 321 0から 1 0 cm以 下では接近するにつれて急峻に増加し、 1 0 cm以上から離れるにしたがって 緩やかに減少し、 60 cm以上で 0となる、 3つの 2次関数の合成から構成さ れる。
また、 図 37に示すように所領の周囲 6点に、 評価点 321 1 (xi, yi) ： (i =1〜6)が設定され、 図 32 (b) に示した表の N個の項目 （タイヤ回転 t m、 タイヤ角 km) ： (m=:！〜 N)についての軌跡評価点 321 2 (xi, yi) n： ((n=l〜 N)が算出される。
図 38の式に示すように、 この軌跡評価点 32 1 2の位置の接触危険評価関 数 H32 1 0の総和から、 軌跡接触危険評価関数 H" 3 21 3が求められる。 この軌跡接触危険評価関数 H" 32 1 3は、 図 37に示すように図 32 (b ) に示した表の N個の項目 （タイヤ回転 t m、 タイヤ角 km) の関数となる。 したがって偏微分法をつかって、 順次図 （タイヤ回転 t m、 タイヤ角 km) を 、 修正することによって、 この軌跡接触危険評価関数 H" 32 1 3を最小化す る （タイヤ回転 tm、 タイヤ角 km) を求めることができる。 これにより、 図 3 9に示すように、 最初の図 3 2 ( b ) に示した （タイヤ回 転 t m、 タイヤ角 k m) から、 軌跡接触危険評価関数 H" 3 2 1 3を最小化す る （タイヤ回転 t m、 タイヤ角 k m) へ想定運動パターンを修正することがで さる。
なお、 軌跡接触危険評価関数 H" 3 2 1 3を最小化するタイヤ回転 t m、 タ ィャ角 k m) での、 軌跡評価点 3 2 1 2 (xi, yi) nの各点についての接触危険 評価関数 Hから、 1点でも障害物指示領域： 3 2 1 0から 1 0 c m以下のものが ある場合、 「要注意」 の警告を運転者に出し、 また 1点でも障害物指示領域： 3 2 1 0に 0 c m以下のものがある場合、 「駐車不能」 の警告を運転者に出す。 この修正された想定運動パターンは、 軌跡接触危険評価関数 H" 3 2 1 3を 最小化する運動パターンであるので、 図 4 0に示すように、 より障害物から余 裕をもった軌跡を発生し、 より安全に駐車することが可能となる。
スーパ一 ンポーズ手段 1 0 2は、 図 4 1に示すように、 修正想定運動パタ ーン 3 2 1 4を、 その操作開始位置 1 9 0 1と車両の現在位置 3 2 0 0とを一 致させて合成画像を生成し、 表示手段 1 0 7は、 これを表示する。
したがって、 運転者は、 新しい修正想定運動パターン 3 2 1 4にしたがった 運転操作 （駐車操作） を開始すれば、 目標駐車位置 1 9 0 2に、 より障害物か ら余裕をもった運動パターンで当該車両を駐車させることができる。
なお、 生成された新しい想定運動パターンおよび時系列データは、 元の想定 運動パターンを更新して、 想定運動パターン格納手段 1 0 8に格納するとして もよいし、 元の想定運動パターンはそのままとして、 想定運動パターン格納手 段 1 0 8に追加格納するとしてもよレ、。 また、 その場限りのものとして格納し なくてもよい。 さらに、 更新格納、 追加格納、 格納しない、 を運転者がその都 度選択するとしてもよい。
また、 本実施の形態においては、 想定運動パターン格納手段 1 0 8に更新格 納または追加格納する想定運動パターンは、 運転者から入力された運動の開始 時および終了時の車両の位置に基づいて、 自動的に求められるとして説明した が、 実際の運転操作を行って、 このときのハンドル舵角、 車輪回転数等の時系 列データを採取して、 これに基づいて想定運動パターンを生成して格納すると
(第 1 2の実施の形態）
次に、 本発明の第 1 2形態を図 4 2〜図 4 6を参照して説明する。
第 1 1の実施例の形態においては、 図 3 2 ( a ) に示した一つの想定運動パ ターンについて、 運転者から入力された障害物領域に基づいて修正を行うもの としたが、 2つ以上の想定運動パターンについて修正を行い、 好ましいものを 選択するものとしても良い。 図 3 1に比べて異なるのは、 軌跡修正手段 3 1 0 1の代わりに、 運動パターン選択軌跡修正手段 3 3 0 1を利用する点である。 まずその動作を簡単に説明する。 運転者は、 図 4 3に示すように車両の現在 位置を駐車操作開始位置とし、 表示装置に表示される画像上において、 目標駐 車位置 1 9 0 2を指定入力する。 運動パターン選択軌跡修正手段 3 3 0 1では 、 まず想定運動パターン格納手段 1 0 8に複数格納されている想定運動パター ンのうち、 この駐車操作開始位置に対して、 目標駐車位置 1 9 0 2の大まかな 位置関係から、 図 4 4に示すような右後方に駐車する 2つのする想定運動バタ ーンを抽出する。
さらに、 図 4 5， 図 4 6に示すように、 運転者が表示装置に表示される画像 上における障害物領域を入力すると、 前記 2つの想定運動パターンについて前 記第 1 1実施例と同様にして、 それぞれ軌跡接触危険評価関数 H" 3 2 1 3を 最小化するように想定運動パターンを修正する。 このとき 2つの最小化された 軌跡接触危険評価関数 H" 3 2 1 3を比べ、 小さい方を選択することによって 、 より安全な想定運動パターンを選択することができる。 また 2つの軌跡接触 危険評価関数 H" 3 2 1 3が同じ値の場合、 運転操作の単純な方の優先度を予 め高くすることによって、 より単純な想定運動パターンが選択される。
したがって、 図 4 5に示すように障害物からの空間的余裕が少ない場合には 、 切り返しのあるより安全な運動パターンが自動的に選択され、 図 4 4 6に示 すように障害物からの空間的余裕が大きい場合には、 切り返しのないより単純 な運動パターンが自動的に選択される。
このような構成によって、 運転者は、 目標駐車位置や障害物領域を入力する だけで、 最適な想定運動パターンが自動的に選択され、 安全でより簡単な運転 操作で最適な駐車を実現できる。
本実施の形態によれば、 第 1の実施の形態における運転操作補助装置に比し て、 拡張性のある運転操作補助装置を実現することができる。
上述した第 1〜第 1 2の実施の形態においては、 本発明の周囲状況画像化手 段は、 主として、 複数の車載カメラを用いて仮想カメラの視点からの画像を生 成するものであるとして説明したが、 これに限るものではなく、 例えば、 屋根 付駐車場の天井に設置されている 1台のカメラであるとしてもよい。 要するに 、 本発明の周囲状況画像化手段は、 車両の周囲状況をカメラを用いて画像化し て、 周囲状況画像を生成する、 および Zまたは、 生成した前記周囲状況画像を 格納するものでありさえすればよい。
また、 上述した第 1〜第 1 2の実施の形態における運転操作補助装置は、 本 発明の想定運動パターン格納手段を備えるとして説明したが、 これに限るもの ではなく、 例えば、 その都度、 想定運動パターンが入力されるものであっても よい。 要するに、 本発明の運転操作補助装置は、 車両の周囲状況をカメラを用 いて画像化して、 周囲状況画像を生成する、 および Zまたは、 生成した前記周 囲状況画像を格納する周囲状況画像化手段と、 予め前記車両に対して所定の一 連の運転操作を行うとした場合の前記車両の運動を表す画像データである想定 運動パターンを、 前記周囲状況画像上に重ね合わせて、 合成画像を生成する合 成画像生成手段と、 前記合成画像を表示する表示手段とを備えるものでありさ えすればよい。 これによつて、 少なくとも、 合成画面上に、 周囲状況画像と想 定運動パターンとが重ね合わされて表示されるので、 運転者は、 両者の関係を 一目で把握できることになる。 産業上の利用可能性
以上説明したところから明らかなように、 本発明は、 運転者が所定の一連の 運転操作を行おうとする場合、 前記所定の一連の運転操作を行ったときの車両 の運動を、 周囲状況とともに表示することによって、 運転者が前記所定の一連 の運転操作による車両の運動と周囲状況との関係を直接的に確認でき、 運転者 の負担を軽減することができる運転操作補助装置を提供することができる。 すなわち、 運転者は、 本発明の運転操作補助装置を用いることにより、 車庫 入れ、 縦列駐車の運転操作を開始するべき地点や、 最終的に停めたい場所、 他 の車などの障害物の位置関係を、 前記表示画像からひとめで把握できるため、 運転者の操作負担の軽減、 安全性の向上が期待できる。 さらに自動運転の技術 を追加導入することにより、 運転者は、 前記移動軌跡データを見ながら、 駐車 処理開始地点まで車両を移動しさえすれば、 その後の車庫入れなどの処理をす ベて自動で行うことも可能となる。
また、 本発明は、 本発明の運転操作補助装置の各手段の機能の全部または一 部をコンピュータに実行させるプログラムを格納する記録媒体を提供すること ができる。

Claims

請 求 の 範 囲
1 . 車両の周囲状況をカメラを用いて画像化して、 周囲状況画像を生成す る、 および Zまたは、 生成した前記周囲状況画像を格納する周囲状況画像化手 段と、
予め前記車両に対して所定の一連の運転操作を行うとした場合の前記車両の 運動を表す画像データである想定運動パターンを、 前記周囲状況画像上に重ね 合わせて、 合成画像を生成する合成画像生成手段と、
前記合成画像を表示する表示手段とを備えることを特徴とする運転操作補助
2 . 前記周囲状況画像化手段は、 一台もしくは複数台のカメラと、 前記各 カメラの特性であるカメラパラメータを格納するカメラパラメータテーブルと を有し、 前記各カメラの出力から、 前記カメラパラメータに基づいて、 前記周 囲状況画像を生成することを特徴とする請求項 1に記載の運転操作補助装置。
3 . 前記周囲状況画像化手段は、 前記カメラパラメータに基づいて
、 前記各カメラからの出力画像を構成する各々の画素を 3次元空間の点に対応 づけた空間データを作成する空間再構成手段と、 前記空間データを参照して、 所定の視点から見た画像を前記周囲状況画像として生成する視点変換手段とを 有し、 前記合成画像生成手段は、 前記空間データを参照して、 前記合成画像を 生成することを特徴とする請求項 2に記載の運転操作補助装置。
4 . 前記空間データを一時的に格納する空間データバッファを備えること を特徴とする請求項 3に記載の運転操作補助装置。
5 . 前記所定の視点は、 前記 3次元空間または前記車両に対して固定され た点であり、
前記視点変換手段は、 前記所定の視点を、 自動的に、 または、 運転者からの 入力により、 切り替えることを特徴とする請求項 3または 4に記載の運転操作 補助装置。
6 . 前記想定運動パターンは、 前記所定の一連の運転操作を行った場合の 前記車両の前記運動の開始時の前記車両が存在する領域である想定運動開始領 域と前記運動の終了時の前記車両が存在する領域である想定運動終了領域との 関係を表す画像データを含むことを特徴とする請求項 1〜 5のいずれかに記載 の運転操作補助装置。
7 . 前記想定運動パターンは、 前記車両のタイヤの軌跡を表す画像データ 、 および Zまたは、 前記車両の移動領域を表す画像データを含むことを特徴と する請求項 6に記載の運転操作補助装置。
8 . 前記想定運動パターンは、 前記車両の移動領域の外縁に配置された仮 想ポールを表す画像データを含むことを特徴とする請求項 6または 7に記載の 運転操作補助装置。
9 . 前記合成画像生成手段は、 前記車両が現在存在する領域を表す画像デ ータである現在位置データも、 前記周囲状況画像上に重ね合わせて、 前記合成 画像を生成することを特徴とする請求項 6〜 8のいずれかに記載の運転操作補
1 0 . 前記合成画像生成手段は、 前記想定運動開始領域を、 前記現在位置 データと同一の位置に重ね合わせることを特徴とする請求項 9に記載の運転操 作補助装置。
1 1 . 前記所定の一連の運転操作に対応する実際の運転操作が開始される と、
前記合成画像生成手段は、 それ以降、 前記実際の運転操作が開始された時点 での、 前記想定運動パターンの前記周囲状況画像に対する位置関係を固定して
、 前記合成画像生成することを特徴とする請求項 6〜1 0のいずれかに記載の 運転操作補助装置。
1 2 . 前記実際の運転操作が開始された時点での、 前記合成画像上におけ る、 前記周囲状況画像の画像データの全部または一部を基準とする、 前記想定 運動パターンの画像データの全部または一部の位置情報を記憶する位置情報記 憶手段を備え、
前記合成画像生成手段は、 前記位置情報にしたがって、 前記位置関係を固定 することを特徴とする請求項 1 1に記載の運転操作補助装置。
1 3 . 前記実際の運転操作に関する信号に基づいて、 前記実際の運転操作 が開始された時点からの前記車両の移動位置を算出する移動位置算出手段を備 え、
前記合成画像生成手段は、 前記移動位置にしたがって、 前記位置関係を固定 することを特徴とする請求項 1 1に記載の運転操作補助装置。
1 4 . 前記運動の終了時の前記車両の位置である最終位置を入力する最終 位置入力手段と、
前記入力された最終位置に対応する前記運動の開始時の位置である開始位置 を、 前記想定運動パターンにしたがって求める開始位置決定手段とを備え、 前記合成画像生成手段は、 前記入力された最終位置、 および、 それに対応す る前記開始位置も、 前記周囲状況画像上に重ね合わせて、 前記合成画像を生成 することを特徴とする請求項 6〜 1 3のいずれかに記載の運転操作補助装置。
1 5 . 前記車両の運転を自動制御して、 前記車両を前記開始位置に誘導す る開始位置誘導手段を備えることを特徴とする請求項 1 4に記載の運転操作補
1 6 . 前記所定の一連の運転操作に関するデータであって、 少なくとも前 記想定運動パターンを含む想定運動データを保持する想定運動パタ一ン格納手 段を備えることを特徴とする請求項 1〜 1 5のいずれかに記載の運転操作補助
1 7 . 前記想定運動パターン格納手段は、 前記想定運動パターンを複数保 持しており、
前記想定運動パターンを、 運転者からの入力により、 または、 所定の運転操 作から自動的に、 選択するパターン選択手段を備えることを特徴とする請求項 1 6に記載の運転操作補助装置。
1 8 . 前記想定運動パターン格納手段に保持されている前記想定運動バタ ーンの内容を更新修正できるパターン修正手段を備えることを特徴とする請求 項 1 6または 1 7に記載の運転操作補助装置。
1 9 . 前記パターン修正手段は、 運転者から入力された、 修正後の前記運 動の開始時および終了時の前記車両の位置に基づいて、 前記想定運動パターン および Zまたは前記前記想定運動データを更新修正することを特徴とする請求 項 1 8に記載の運転操作補助装置。
2 0 . 前記パターン修正手段は、 実際の運転操作に基づいて、 前記想定運 動パターンおよび zまたは前記前記想定運動データを更新修正することを特徴 とする請求項 1 8に記載の運転操作補助装置。
2 1 . 前記想定運動データは、 前記車両の移動距離とハンドルの舵角との 関係を表す時系列データを含むことを特徴とする請求項 1 6〜2 0のいずれか に記載の運転操作補助装置。
2 2 . 前記所定の一連の運転操作に対応する実際の運転操作が開始される と、 前記時系列データにしたがって前記車両の運転を自動制御する運転制御手 段とを備えることを特徴とする請求項 2 1に記載の運転操作補助装置。
2 3 . 前記所定の一連の運転操作に対応する実際の運転操作が開始された ことを、 運転者からの入力により、 または、 所定の運転操作から自動的に、 検 出する操作開始検出手段を備えることを特徴とする請求項 1 1〜1 3のいずれ か、 又は 2 2に記載の運転操作補助装置。
2 4 . 前記視点変換手段が前記所定の視点を切り替える場合、
前記視点変換手段は、 前記所定の一連の運転操作に対応する実際の運転操作 が開始される迄は、 前記所定の視点を前記車両に対して固定された点とし、 前 記所定の一連の運転操作に対応する実際の運転操作が開始された後は、 前記所 定の視点を、 前記所定の視点を前記 3次元空間に対して固定された点に切り替 えることを特徴とする請求項 5〜 2 3のいずれかに記載の運転操作補助装置。
2 5 . 前記 3次元空間に対して固定された点は、 前記実際の運転操作が開 始された時点における、 前記想定運動パターンが示す前記車両の前記運動の終 了時の位置の直上の点であることを特徴とする請求項 2 4に記載の運転操作補
2 6 . 前記想定運動パターンは、 前記所定の一連の運転操作を行った場合 の前記車両の通過する空間上の外接領域を示す画像データを含むことを特徴と する請求項 1〜 5のいずれかの運転操作補助装置。
2 7 . 前記想定運動パターンは、 前記車両のタイヤの操舵角を左右いずれ か最大にした場合の軌跡を表す画像データ、 および Zまたは、 前記車両の移動 領域を表す画像データを含むことを特徴とする請求項 6に記載の運転操作補助
2 8 . 前記想定運動パターン格納手段は、 前記想定運動パターンを複数保 持しており、 前記想定運動パターンを、 2つ以上同時に前記周囲状況画像上に 重ね合わせて、 合成画像を生成する合成画像生成手段と、 前記合成画像を表 示する表示手段とを備えることを特徴とする請求項 1 6に記載の運転操作補助
2 9 . 前記想定運動パターンは、 前記所定の一連の運転操作において後退 から前進、 または前進から後退の切り替えを含むことを特徴とする請求項 1〜 5のいずれかの運転操作補助装置。
3 0 . 前記合成画像を表示する表示手段に対して、 運転者から、 画像中の 障害物領域の位置を入力できる障害物入力手段を備えたことを特徴とする請求 項 1〜 5のいずれかの運転操作補助装置。
3 1 . 前記パターン選択手段は、 運転者から入力された、 障害物領域の位 置に基づいて、 前記想定運動パターンを選択するものであり、
前記合成画像を表示する表示手段に対して、 運転者から、 画像中の障害物領 域の位置を入力できる障害物入力手段を備えたことを特徴とする請求項 1 7に 記載の運転操作補助装置。
3 2 . 前記パターン修正手段は、 運転者から入力された、 障害物領域の位 置に基づいて、 前記想定運動パターンおよび Zまたは前記前記想定運動データ を更新修正するものであり、
前記合成画像を表示する表示手段に対して、 運転者から、 画像中の障害物領 域の位置を入力できる障害物入力手段を備えたことを特徴とする請求項 1 8に 記載の運転操作補助装置。
3 3 . 請求項 1〜 3 2のいずれかに記載の、 各手段の機能の全部または一 部をコンピュータに実行させるプログラムを格納することを特徴とする記録媒 体。
PCT/JP1999/005509 1998-10-08 1999-10-06 Dispositif d'assistance a la conduite et support enregistre WO2000020257A1 (fr)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP99970064.4A EP1038734B1 (en) 1998-10-08 1999-10-06 Driving assisting device and recording medium
US09/581,004 US7277123B1 (en) 1998-10-08 1999-10-06 Driving-operation assist and recording medium
KR1020007006236A KR100568396B1 (ko) 1998-10-08 1999-10-06 운전조작 보조장치
US11/846,085 US8111287B2 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium
US11/846,048 US8077202B2 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium
US11/846,027 US20080033606A1 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium
US13/848,800 US9272731B2 (en) 1998-10-08 2013-03-22 Driving-operation assist and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP10/286246 1998-10-08
JP28624698 1998-10-08
JP34910798 1998-12-08
JP10/349107 1998-12-08

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US09/581,004 A-371-Of-International US7277123B1 (en) 1998-10-08 1999-10-06 Driving-operation assist and recording medium
US11/846,048 Continuation US8077202B2 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium
US11/846,085 Continuation US8111287B2 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium
US11/846,027 Continuation US20080033606A1 (en) 1998-10-08 2007-08-28 Driving-operation assist and recording medium

Publications (1)

Publication Number Publication Date
WO2000020257A1 true WO2000020257A1 (fr) 2000-04-13

Family

ID=26556225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/005509 WO2000020257A1 (fr) 1998-10-08 1999-10-06 Dispositif d'assistance a la conduite et support enregistre

Country Status (5)

Country Link
US (5) US7277123B1 (ja)
EP (1) EP1038734B1 (ja)
KR (1) KR100568396B1 (ja)
CN (1) CN1132750C (ja)
WO (1) WO2000020257A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106379238A (zh) * 2016-07-07 2017-02-08 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像系统

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
JP3947375B2 (ja) 2001-08-24 2007-07-18 アイシン精機株式会社 駐車補助装置
DE10256770A1 (de) * 2002-12-05 2004-06-17 Bayerische Motoren Werke Ag Verfahren zum Lenken eines rückwärts in eine Parklücke einzuparkenden Fahrzeugs
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
DE102004009924A1 (de) * 2004-02-23 2005-09-01 Valeo Schalter Und Sensoren Gmbh Verfahren und Warnvorrichtung zum grafischen Aufbereiten eines Bildes einer Kamera
US20060178787A1 (en) * 2005-02-09 2006-08-10 Mccall Clark E Rear obstacle avoidance system for vehicle
CN100566406C (zh) 2005-02-15 2009-12-02 松下电器产业株式会社 周边监视装置和周边监视方法
DE102005018408A1 (de) * 2005-04-20 2006-10-26 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Auswertung von Abstandsmessdaten eines Abstandsmesssystems eines Kraftfahrzeugs
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
JP2007176324A (ja) * 2005-12-28 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4818816B2 (ja) 2006-06-05 2011-11-16 富士通株式会社 駐車支援プログラム及び駐車支援装置
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
DE102007009745A1 (de) * 2007-02-28 2008-09-04 Continental Automotive Gmbh Einparkhalbautomat
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
KR100871044B1 (ko) * 2007-09-28 2008-11-27 한국오므론전장주식회사 차량 후방안내 시스템의 온스크린 디스플레이 라인 사전생성 방법 및 이를 출력하는 차량 후방이동 궤적 안내방법
JP2009101718A (ja) * 2007-10-19 2009-05-14 Toyota Industries Corp 映像表示装置及び映像表示方法
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4900232B2 (ja) 2007-12-26 2012-03-21 日産自動車株式会社 車両用駐車支援装置および映像表示方法
JP4902575B2 (ja) * 2008-02-27 2012-03-21 日立オートモティブシステムズ株式会社 道路標示認識装置、および道路標示認識方法
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
DE102008027779A1 (de) * 2008-06-11 2009-12-17 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Fahrers eines Fahrzeugs beim Einparken in eine Parklücke
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP4661917B2 (ja) * 2008-07-25 2011-03-30 日産自動車株式会社 駐車支援装置および駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
JP2010128794A (ja) * 2008-11-27 2010-06-10 Aisin Seiki Co Ltd 車両周辺認知支援装置
DE102009024083A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug
US8174375B2 (en) 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
CN102055956B (zh) 2009-11-02 2017-05-10 通用汽车环球科技运作公司 车载三维视频系统及用其监测车辆周围环境的方法
US9204108B2 (en) * 2009-12-07 2015-12-01 Clarion Co., Ltd. Vehicle periphery monitoring system
JP5418673B2 (ja) * 2010-06-09 2014-02-19 日産自動車株式会社 駐車モード選択装置及び方法
DE102010023162A1 (de) * 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
EP2583868B1 (en) * 2010-06-15 2018-06-20 Aisin Seiki Kabushiki Kaisha Drive assist device
JP5444139B2 (ja) * 2010-06-29 2014-03-19 クラリオン株式会社 画像のキャリブレーション方法および装置
DE102010034127A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102010034142A1 (de) 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs und Fahrerassistenzsystem
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5454934B2 (ja) * 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
DE102010048185B4 (de) * 2010-10-13 2021-10-28 Wirtgen Gmbh Selbstfahrende Baumaschine
CN102463989A (zh) * 2010-11-18 2012-05-23 江彦宏 视频雷达辅助驾驶系统
US20120249342A1 (en) * 2011-03-31 2012-10-04 Koehrsen Craig L Machine display system
TWI421624B (zh) * 2011-04-01 2014-01-01 Ind Tech Res Inst 環場監控裝置及其方法
JP2012253543A (ja) * 2011-06-02 2012-12-20 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
DE102011080930A1 (de) * 2011-08-12 2013-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei einem Fahrmanöver
KR20130021988A (ko) * 2011-08-24 2013-03-06 현대모비스 주식회사 차량용 카메라를 통해 획득한 영상의 오버레이 처리 장치 및 그 방법
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
EP2792553A4 (en) * 2011-12-15 2015-09-09 Panasonic Ip Man Co Ltd DRIVING ASSISTANCE DEVICE
JP5941292B2 (ja) * 2012-02-10 2016-06-29 矢崎総業株式会社 車両用表示装置
JP5888087B2 (ja) * 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
DE102012008858A1 (de) * 2012-04-28 2012-11-08 Daimler Ag Verfahren zum autonomen Parken eines Kraftfahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Kraftfahrzeug mit der Fahrerassistenzvorrichtung
JP5814187B2 (ja) * 2012-06-07 2015-11-17 日立建機株式会社 自走式産業機械の表示装置
US20140057237A1 (en) * 2012-08-27 2014-02-27 Stephen Chen Method for parking a vehicle by using a parking assistant system
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US9167214B2 (en) * 2013-01-18 2015-10-20 Caterpillar Inc. Image processing system using unified images
DE112013007418B4 (de) * 2013-09-09 2017-10-12 Mitsubishi Electric Corporation Fahrunterstützungssystem und Fahrunterstützungsverfahren
TWI552907B (zh) * 2013-10-30 2016-10-11 緯創資通股份有限公司 行車安全輔助系統和方法
US20160110650A1 (en) * 2013-11-29 2016-04-21 Ims Solutions, Inc. Advanced context-based driver scoring
US20150156391A1 (en) * 2013-12-04 2015-06-04 Chung-Shan Institute Of Science And Technology, Armaments Bureau, M.N.D Vehicle image correction system and method thereof
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
JP6274936B2 (ja) * 2014-03-25 2018-02-07 ダイハツ工業株式会社 運転支援装置
US9592826B2 (en) * 2015-02-13 2017-03-14 Ford Global Technologies, Llc System and method for parallel parking a vehicle
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN105824592A (zh) * 2016-03-07 2016-08-03 乐卡汽车智能科技（北京）有限公司 倒车轨迹的显示方法及装置
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
CN105799596A (zh) * 2016-05-20 2016-07-27 广州市晶华精密光学股份有限公司 一种汽车智能后视系统及图像显示方法
CN107776489B (zh) * 2016-08-26 2020-07-10 比亚迪股份有限公司 车辆及其全景影像的显示方法和显示系统
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10162360B2 (en) * 2016-12-01 2018-12-25 GM Global Technology Operations LLC Vehicle environment imaging systems and methods
DE102017218921A1 (de) 2017-10-24 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
JP6984373B2 (ja) * 2017-12-07 2021-12-17 トヨタ自動車株式会社 駐車支援装置
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统
CN110211256A (zh) * 2018-02-28 2019-09-06 上海博泰悦臻电子设备制造有限公司 车辆及其车辆行驶实况复显装置和车辆行驶实况复显方法
DE102018208513A1 (de) * 2018-05-29 2019-12-05 Continental Automotive Gmbh Kamera-Monitor-System für ein Kraftfahrzeug und Verwendung eines Spiegelersatzsystems für ein Kraftfahrzeug
US10497232B1 (en) * 2019-03-01 2019-12-03 Motorola Solutions, Inc. System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant
CN113496626B (zh) * 2020-03-19 2023-06-02 广州汽车集团股份有限公司 一种车辆碰撞预警方法、装置及汽车

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06234341A (ja) * 1993-02-12 1994-08-23 Toyota Motor Corp 駐車補助装置
JPH10262240A (ja) * 1997-03-17 1998-09-29 Mitsubishi Motors Corp 車両用周辺視認装置

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5257867A (en) 1975-11-06 1977-05-12 Nippon Soken Inspecting and indicating device
US4214266A (en) * 1978-06-19 1980-07-22 Myers Charles H Rear viewing system for vehicles
FR2542540B1 (fr) * 1983-03-08 1989-02-10 Canon Kk Systeme de traitement d'images
JPS61113532A (ja) 1985-09-05 1986-05-31 Nippon Denso Co Ltd メンテナンス表示装置
JPS62155140A (ja) 1985-12-27 1987-07-10 Aisin Warner Ltd 車両制御用道路画像入力方式
JPS6414700A (en) 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
JPH0441117Y2 (ja) 1987-07-18 1992-09-28
US4931930A (en) * 1988-04-19 1990-06-05 Industrial Technology Research Institute Automatic parking device for automobile
US5172315A (en) * 1988-08-10 1992-12-15 Honda Giken Kogyo Kabushiki Kaisha Automatic travelling apparatus and method
JP2792566B2 (ja) 1989-05-24 1998-09-03 マツダ株式会社 移動車の走行制御装置
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JPH03166534A (ja) 1989-11-25 1991-07-18 Seikosha Co Ltd カメラ用測距装置
JPH05265547A (ja) 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JPH05310078A (ja) 1992-05-07 1993-11-22 Clarion Co Ltd 車両安全確認装置及びその装置に使用するカメラ
JP3391405B2 (ja) 1992-05-29 2003-03-31 株式会社エフ・エフ・シー カメラ映像内の物体同定方法
DE69333543T2 (de) * 1992-09-30 2005-06-02 Hitachi, Ltd. Unterstützungssystem für den Fahrer eines Fahrzeugs und damit ausgerüstetes Fahrzeug
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3468428B2 (ja) 1993-03-24 2003-11-17 富士重工業株式会社 車輌用距離検出装置
JP2887039B2 (ja) 1993-03-26 1999-04-26 三菱電機株式会社 車両周辺監視装置
US5638116A (en) 1993-09-08 1997-06-10 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
JP3431962B2 (ja) 1993-09-17 2003-07-28 本田技研工業株式会社 走行区分線認識装置を備えた自動走行車両
DE4333112A1 (de) 1993-09-29 1995-03-30 Bosch Gmbh Robert Verfahren und Vorrichtung zum Ausparken eines Fahrzeugs
US5883739A (en) * 1993-10-04 1999-03-16 Honda Giken Kogyo Kabushiki Kaisha Information display device for vehicle
JP3381351B2 (ja) 1993-12-24 2003-02-24 日産自動車株式会社 車両用周囲状況表示装置
JP3522317B2 (ja) 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JP3205477B2 (ja) 1994-02-17 2001-09-04 富士フイルムマイクロデバイス株式会社 車間距離検出装置
JP2919284B2 (ja) 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
JPH07311857A (ja) * 1994-05-16 1995-11-28 Fujitsu Ltd 画像合成表示装置およびシミュレーションシステム
JP3475507B2 (ja) 1994-08-08 2003-12-08 日産自動車株式会社 車両用周囲モニタ装置
JPH0896118A (ja) 1994-09-28 1996-04-12 Nissan Motor Co Ltd 車両用周囲状況表示装置
JP3478432B2 (ja) 1995-03-02 2003-12-15 矢崎総業株式会社 車両周辺監視装置
JP3503840B2 (ja) 1995-04-06 2004-03-08 矢崎総業株式会社 車両周辺監視装置
JPH09305796A (ja) 1996-05-16 1997-11-28 Canon Inc 画像情報処理装置
JP3328478B2 (ja) 1995-10-18 2002-09-24 日本電信電話株式会社 カメラシステム
JP3293441B2 (ja) 1996-01-09 2002-06-17 トヨタ自動車株式会社 撮像装置
US6192145B1 (en) * 1996-02-12 2001-02-20 Sarnoff Corporation Method and apparatus for three-dimensional scene processing using parallax geometry of pairs of points
DE19611718A1 (de) * 1996-03-25 1997-10-02 Trw Repa Gmbh Verfahren zur Steuerung der Aktivierung eines Fahrzeuginsassen-Rückhaltesystems, Steuersystem und Fahrzeuginsassen-Rückhaltesystem
JP3866328B2 (ja) 1996-06-06 2007-01-10 富士重工業株式会社 車両周辺立体物認識装置
JP3600378B2 (ja) 1996-07-24 2004-12-15 本田技研工業株式会社 車両の外界認識装置
JP3625622B2 (ja) 1996-08-30 2005-03-02 三洋電機株式会社 立体モデル作成装置、立体モデル作成方法および立体モデル作成プログラムを記録した媒体
JP3147002B2 (ja) 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
US5994701A (en) 1996-10-15 1999-11-30 Nippon Avonics Co., Ltd. Infrared sensor device with temperature correction function
JPH10164566A (ja) 1996-11-28 1998-06-19 Aiphone Co Ltd マルチ天井カメラ装置
US6119068A (en) * 1996-12-27 2000-09-12 Kannonji; Michihiro Rear-end collision alarming device and method linked to speed control device of a vehicle
JPH10244891A (ja) 1997-03-07 1998-09-14 Nissan Motor Co Ltd 駐車補助装置
JPH10257482A (ja) * 1997-03-13 1998-09-25 Nissan Motor Co Ltd 車両周辺状況表示装置
JPH10264841A (ja) 1997-03-25 1998-10-06 Nissan Motor Co Ltd 駐車誘導装置
JP3571893B2 (ja) * 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
JP3511892B2 (ja) * 1998-05-25 2004-03-29 日産自動車株式会社 車両用周囲モニタ装置
US7277123B1 (en) * 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
CA2369648A1 (en) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP3966673B2 (ja) * 1999-10-26 2007-08-29 本田技研工業株式会社 物体検知装置および車両の走行安全装置
GB2364192A (en) * 2000-06-26 2002-01-16 Inview Systems Ltd Creation of a panoramic rear-view image for display in a vehicle
JP4760831B2 (ja) * 2005-08-02 2011-08-31 日産自動車株式会社 車両周囲監視装置及び車両周囲監視方法
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
JP5090126B2 (ja) * 2007-10-23 2012-12-05 アルパイン株式会社 車載用撮像装置
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置
JP4900326B2 (ja) * 2008-06-10 2012-03-21 日産自動車株式会社 駐車支援装置及び駐車支援方法
JP4840427B2 (ja) * 2008-07-29 2011-12-21 日産自動車株式会社 車両制御装置
US8174375B2 (en) * 2009-06-30 2012-05-08 The Hong Kong Polytechnic University Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06234341A (ja) * 1993-02-12 1994-08-23 Toyota Motor Corp 駐車補助装置
JPH10262240A (ja) * 1997-03-17 1998-09-29 Mitsubishi Motors Corp 車両用周辺視認装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106379238A (zh) * 2016-07-07 2017-02-08 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像系统
CN106379238B (zh) * 2016-07-07 2018-11-02 广州勘帝德电子科技有限公司 无can_bus智能车辆动态轨迹线后视影像系统

Also Published As

Publication number Publication date
US20080033606A1 (en) 2008-02-07
CN1287532A (zh) 2001-03-14
US9272731B2 (en) 2016-03-01
US20130231863A1 (en) 2013-09-05
US20070299572A1 (en) 2007-12-27
EP1038734B1 (en) 2019-05-15
EP1038734A1 (en) 2000-09-27
KR100568396B1 (ko) 2006-04-05
US8111287B2 (en) 2012-02-07
EP1038734A4 (en) 2005-10-12
US7277123B1 (en) 2007-10-02
US20070299584A1 (en) 2007-12-27
KR20010032902A (ko) 2001-04-25
US8077202B2 (en) 2011-12-13
CN1132750C (zh) 2003-12-31

Similar Documents

Publication Publication Date Title
WO2000020257A1 (fr) Dispositif d'assistance a la conduite et support enregistre
JP3445197B2 (ja) 運転操作補助装置
JP4561479B2 (ja) 駐車支援方法及び駐車支援装置
CN101676149B (zh) 车辆驾驶辅助装置
JP3606816B2 (ja) 運転操作補助装置
JP3938559B2 (ja) 車両後退支援装置
US7088262B2 (en) Method of operating a display system in a vehicle for finding a parking place
JP4696691B2 (ja) 駐車支援方法及び駐車支援装置
JP4670463B2 (ja) 駐車区画監視装置
JP2006298115A (ja) 運転支援方法及び運転支援装置
JP2003063336A (ja) 駐車補助装置
JP2004114879A (ja) 駐車補助装置および画像表示装置
JP5400316B2 (ja) 駐車支援装置
JP2007055378A (ja) 駐車支援装置及び駐車支援方法
JP4499367B2 (ja) 運転操作補助装置および運転操作補助方法
JP2012023505A (ja) 運転支援装置
JP2003259356A (ja) 車両周辺監視装置
JP4561470B2 (ja) 駐車支援装置
JP4059309B2 (ja) 車載カメラの画像表示制御方法及びその装置
JP4561512B2 (ja) 駐車支援方法及び駐車支援装置
JP2009232331A (ja) 車両運転支援装置
JP2004009959A (ja) 運転支援装置
JP2002274304A (ja) 駐車位置設定装置
JPH11283199A (ja) 駐車支援装置、駐車場データの入力方法、駐車支援システム、およびプログラム記憶媒体
JP2007090991A (ja) 車両後退運転支援装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 99801786.8

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020007006236

Country of ref document: KR

Ref document number: 1999970064

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09581004

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1999970064

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007006236

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1020007006236

Country of ref document: KR