WO1999058927A1 - Image generating device and method - Google Patents

Image generating device and method Download PDF

Info

Publication number
WO1999058927A1
WO1999058927A1 PCT/JP1999/002381 JP9902381W WO9958927A1 WO 1999058927 A1 WO1999058927 A1 WO 1999058927A1 JP 9902381 W JP9902381 W JP 9902381W WO 9958927 A1 WO9958927 A1 WO 9958927A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance
correlation
image data
imaging
Prior art date
Application number
PCT/JP1999/002381
Other languages
English (en)
French (fr)
Inventor
Takayuki Yoshigahara
Toshifumi Fujita
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP55651299A priority Critical patent/JP4374625B2/ja
Priority to US09/462,345 priority patent/US7015951B1/en
Publication of WO1999058927A1 publication Critical patent/WO1999058927A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area

Definitions

  • the present invention relates to an image generating apparatus and method for generating a range image and a grayscale image by employing a stereo method, and relates to a virtual position using two or more cameras.
  • the present invention relates to an image generation apparatus and a method for generating a grayscale image when an imaging target is imaged from a virtual image and a distance image indicating a distance to the imaging target.
  • a stereo method As a device using a method generally called a stereo method, for example, a distance measuring device that generates distance information from a camera device to an imaging target is known.
  • the distance measurement device uses images obtained by simultaneously imaging the same imaging target with a plurality of camera devices having different viewpoints. Corresponding points corresponding to each pixel between images are obtained, and distance information from the distance measuring device to the imaging target is obtained based on the parallax.
  • a representative first method for generating a distance image composed of distance information and a grayscale image composed of luminance information and the like by a camera device arranged in a virtual position and orientation will be described.
  • generating a range image and a grayscale image first, an image of an object to be imaged is captured by a plurality of camera devices. Perform more three-dimensional measurement.
  • the spatial coordinates (shape) of the object to be imaged are determined.
  • a camera device is virtually arranged in the space, and a distance image to be observed by the virtually arranged camera device is generated using the spatial coordinates (shape) of the imaging object.
  • a grayscale image is generated.
  • a description will be given of a second method of obtaining a range image of an object to be imaged, generally using the stereo method.
  • a reference camera and a detection camera that detects the distance between the reference camera and the imaging target are used to find corresponding points and generate a distance image.
  • an object to be imaged is imaged with a reference camera and a detection camera arranged at different positions, a predetermined area is cut out from image data obtained by the reference camera, and an image of the cut out predetermined area is detected.
  • the image is shifted sequentially on the camera image.
  • the image of the predetermined area is shifted on a straight line called an epipolar line obtained from the internal parameters and the positional relationship of the detection camera.
  • the object to be imaged is observed by the reference camera and the detection camera, and the point P in the three-dimensional image is observed at the imaging point n b by the reference camera, and the imaging point ⁇ ⁇ by the detection camera. That was observed in Then, the three-dimensional position of point P can be obtained.
  • the imaging point n d of the detection camera corresponds to the imaging point n b of the reference force camera, and this is called a corresponding point problem in stereo vision.
  • the imaging point n d is a plane determined by the optical center of the reference camera and the detection camera and the imaging point n b of the reference camera. And on the straight line where the imaging surface of the detection camera intersects. This straight line is called the epipolar line. Then, if the positional relationship between the reference camera and the detection camera and the specific parameters (focal length, etc.) of each camera are known, the epi-point on the image plane of the detection camera is obtained for each imaging point n b of the reference force camera. One lane can be obtained, and it is only necessary to search for corresponding points on this epipolar line.
  • the small region 1 00 near the imaging point n b of the base camera as a template to determine a correlation value at several points on Epipo one Rarain detection camera images.
  • the resolution of the epipolar line that is, the resolution of the distance
  • the resolution of the epipolar line is six points from the imaging point n dl to the imaging point n d6 , and these imaging points n ci!
  • To imaging point n d6 correspond to distance numbers 1 to 6 corresponding to the distance from the reference camera.
  • the distance numbers 1 to 6 correspond to the distances on the line of sight from the reference camera.
  • the correlation is calculated by Equation 1 below, where I (X) is the luminance value of the image captured by the reference force camera, and I ′ ( ⁇ ′) is the luminance value of the image captured by the detection camera.
  • the imaging object is developed into a three-dimensional image.
  • a distance image is generated using the three-dimensional image obtained by expanding the image into three dimensions, a large amount of calculation is required.
  • it is necessary to capture all the coordinates that can be observed from a virtual camera device when performing three-dimensional measurement on an imaging target captured by a plurality of camera devices.
  • three-dimensional measurement must be performed from many viewpoints.
  • it when generating a three-dimensional image, it is necessary to combine images captured by each camera device.
  • the reference camera Since the distance image is generated by using the image captured by the camera as a template to search and shift the image captured by the detection camera, the presence of the reference camera is indispensable.
  • the object of the present invention has been proposed in view of the above-mentioned situation, and is not a reference camera, but is a detection camera only, from a position where a reference camera is originally arranged to an object to be imaged. It is an object of the present invention to provide an image generation apparatus and method capable of generating a depth image indicating a distance of a target object and a grayscale image when an image of an object to be imaged is taken from a reference camera.
  • an image generating apparatus includes: an image capturing apparatus that captures an image of an imaging target to generate image data; two or more image capturing units each arranged at a different position; Each image data generated by each of the above imaging means is located on an epipolar line determined by connecting a corresponding point between a line of sight connecting the imaging object and a line of sight connecting the position of each imaging means and the imaging object.
  • Correlation detection means for comparing one night with another to detect a correlation, and distance image generation for generating a distance image indicating a distance between the virtual position and the imaging target based on the correlation detected by the correlation detection means. Means.
  • the image data generated by each imaging unit is compared by the correlation detection unit using the image data generated by the two or more imaging units, and the virtual image is compared with the virtual position by the distance image generation unit.
  • a distance image indicating the distance to the imaging target is generated.
  • FIG. 1 is a diagram for explaining generation of distance information indicating a distance between a reference force camera and an imaging target using a reference camera and a detection camera by a conventional method.
  • Fig. 2A is a diagram for explaining the template in a small area around the imaging point of the reference camera
  • Fig. 2B shows the correlation value at several points on the epipolar line set on the image of the detection camera. It is a figure for explaining what is demanded.
  • FIG. 3 is a diagram showing the relationship between the evaluation value and the positions at several points on the epipolar line.
  • FIG. 6 is a diagram for explaining an example of obtaining an epipolar line on each detected image corresponding to each coordinate of the reference image.
  • Figure 7 shows that the object to be imaged is distance Z! It is a diagram showing the observation point n dl and n d 2 observed in the image plane of the detection power camera when present at a distance Z 2 and.
  • FIG. 8 is a diagram for explaining an example of calibration performed as a premise when a distance image and a grayscale image are generated by the distance image generation unit according to the present invention.
  • FIG. 9 is a diagram for explaining an example of a look-up table generated by the calibration device.
  • FIG. 10 is a flowchart showing an example of processing when a distance image and a shaded image are generated by the distance image generation unit provided in the image generation device according to the present invention.
  • FIG. 11 is a diagram for explaining that the virtual camera derives pixels (nd1 to nd6) for each distance number on the epipolar line of the detected image corresponding to the coordinates nb on the image to be captured.
  • FIG. 12 is a diagram showing the relationship between the evaluation value and the distance number.
  • FIG. 13 is a flowchart showing another example of the processing when the distance image and the grayscale image are generated by the distance image generation unit provided in the image generation device according to the present invention.
  • FIG. 14 is a flowchart illustrating an example of processing when an evaluation value image is generated by the distance image generation unit provided in the image generation device according to the present invention.
  • the present invention is applied to, for example, an image generating apparatus 1 configured as shown in FIG. 4 and used for generating a distance image by measuring a distance.
  • the image generating apparatus 1 includes a plurality of detection cameras 3 for imaging an imaging target 2.
  • the image generation device 1 captures the image of the imaging target 2 with the detection cameras 3a and 3b, thereby virtually disposing it at the virtual point A and capturing the distance image and the grayscale image to be captured by the virtual camera 3c that does not exist. (Hereinafter referred to as “virtual image”).
  • Each of the detection cameras 3 a and 3 b includes, for example, a CCD image sensor and the like.
  • detected image Is generated and the image data is stored in the frame memories 4a and 4b.
  • the detection cameras 3a and 3b store the generated image data in the frame memories 4a and 4b for each frame.
  • a plurality of detection cameras 3a and 3b are arranged at positions different from the virtual point A in FIG.
  • the detection camera 3 is disposed at different positions as the detection camera 3a and the detection camera 3b.
  • the location and number of these detection cameras 3a and 3b are limited to this. It is not specified and can be set arbitrarily.
  • the frame memory 4 stores the image data from the detection cameras 3 a and 3 b in the frame memories 4 a and 4 b, respectively, and outputs the image data to the distance image generation unit 5.
  • the distance image generation unit 5 generates a virtual image generated by the virtual camera 3c by processing image data from the frame memories 4a and 4b.
  • the calibration device 10 shown in FIG. 5 includes a reference camera 11 disposed at the above-described virtual point A and a frame memory 12 for storing images and images taken by the reference camera 11. And an image taken by the reference camera 11 (hereinafter, referred to as a “reference image”) obtained by imaging the imaging target 2 by the calibration section 13 and an image taken by the detection cameras 3 a and 3 b ( In the following, the calibration is performed using the “detected image”.
  • the calibration unit 13 positions the detection cameras 3 a and 3 b and the reference force camera 11, determines an epipolar line on the detection image, and obtains the correspondence between the coordinates of the reference image and the detection image in advance. For example, a process of storing as a look-up table in the above-described distance image generation unit 5 is performed.
  • This Epiporarain includes a reference camera 1 1 and the detection camera 3 a, 3 b optical center that Kemah (optical axis) and the reference camera 1 1 of the observation point n b plane of the image plane of the detecting camera 3 a, 3 b is It is a straight line that intersects.
  • the Levenberg-Marquardt minimum method (LM method) is used as a method (image matching method) for obtaining a projective transformation matrix H in which the detected image after conversion and the reference image exactly match.
  • the calibration unit 13 obtains a projection transformation matrix H for each distance using such a method, and obtains an eigenpolar line using the projection conversion matrix H.
  • the calibration unit 13 is, for example, as shown in FIG.
  • the distance Z! The point on the detected image corresponding to the point n b on the reference image at can be determined.
  • the calibration unit 13 since the point n b on the reference image is arbitrary, the calibration unit 13 includes a projection transformation matrix H! With, the corresponding point corresponding to every point n b of the reference image as possible out be calculated as a point n d on the detected image.
  • the calibration unit 13 obtains a projective transformation matrix H 2 when the plane to be observed is placed at the distance Z 2 so as to be parallel to the plane placed at the position of the distance Z ,.
  • the calibration unit 1 3 the distance Z> and projective transformation matrix H that corresponds to the distance Z 2!
  • the point n b on the reference image is located at the distance Z or the distance Z 2 , it is calculated from the projection transformation matrix H 2 that the point n b is projected on the point n dl or the point n d2 on the detected image, respectively.
  • the carry-breaker section 13 calculates the epi-polar line by interpolating the two points n dl and n d2 on the detected image, thereby obtaining the point n b , the distance Z and the detected image on the reference image. The relationship with the above point n d can be obtained.
  • the calibration section 13 The relationship between the point n b on the reference image and the point n d on the detected image is obtained by performing the calibration shown in FIGS. 6 and ⁇ ⁇ ⁇ ⁇ on the calculated epipolar line. Store in table.
  • This calibration for example, connects a line of sight connecting the point n dl on the epipolar line of the detected image with the optical center and a point n b on the reference image and the optical center of the reference camera 11 as shown in FIG.
  • the distance is set to the distance number “1” by using that the point of intersection with the line of sight corresponds to the distance Z> from the reference camera 11 to the object to be imaged.
  • This epi-line is calculated using the above-described projective transformation matrix H.
  • the point at which the line of sight connecting the point nd 2 on the epipolar line of the detected image with the optical center and the line of sight connecting the point n b on the reference image and the optical center of the reference camera 11 are taken as the reference. corresponds to the distance Z 2 from the camera 1 1 to the imaging object.
  • the distance Z 2 is set to a distance number “2”.
  • the calibration section 13 is used for each distance Z! Pairs about the ⁇ distance Z 6
  • Set each plane and the point n b of the reference image and the point n d on the detected image May generate the projective transformation matrix indicating a response relationships, for example, the distance Z!, Distance Z 3, a distance of three distances for only the points n b and the detection image of the detected image by setting the plane of Z 6
  • the projective transformation matrix for the distance Z, located between the distances Z, and ZZ may be obtained by interpolation.
  • the calibration section 13 sequentially calibrates points n d on the detected image corresponding to points n b on the reference image from the optical center (optical axis) on the epipolar line, and determines the distance Z! ⁇ 6 by determining the corresponding point n dl ⁇ n d6 on fin, Gyoi the correspondence between corresponding points 11 ⁇ 1 1 to 11 and the distance numbers 1-6, group The relationship between the point n b on the quasi-image and the point n d on the detected image is obtained, and a look-up table as shown in FIG. 9 is created, for example.
  • distance corresponding to the n b point on the reference image (Z l, Z 2, Z 3, ⁇ ⁇ ⁇ ) detection camera 3 a is a point on the detector image captured (nd l of , nd2, nd3,...) and points (ndl, nd2, nd3,%) on the detected image captured by the detection camera 3b.
  • the look-up table is generated, for example, for each pixel on the reference image, and when the image generating apparatus 1 generates a distance image, the pixels on the reference image in the calibration section 13 are generated. It is referred to as a pixel on the virtual image.
  • step ST3 the distance image generation unit 5 generates a distance number: i on the epipolar line of the detected image corresponding to the coordinate i (nb) on the image to be captured by the virtual camera 3c.
  • the distance image generation unit 5 determines the pixel n on the epi-polar line of the detection camera 3a determined by the above processing. da (i, j) is detected from the look-up table and the process proceeds to step ST5.
  • the position of the pixel n "(i, j) of the determined detected image may be represented not only by an integer value but also by a subpixel.
  • Step ST 5 the distance number determined in step ST 3 above: pixels in i n da (i, j) small region near the center of those pixel n da (i, j) of Cut out as WA (i, j).
  • the distance image generation unit 5 also performs the process described in step ST3 in step ST4 on the detection camera 3b.
  • the distance image generation unit 5 generates an image on the detected image captured by the detection camera 3b corresponding to the coordinate i on the image to be captured by the virtual camera 3c.
  • the pixel n db (i, j) at the distance number j on the polar line is detected from the look-up table, and the process proceeds to step ST6.
  • step ST6 distance image generating section 5 performs the same processing as in step ST5 described above for detection camera 3b. That is, the distance image generation unit 5 places the neighborhood of the pixel n db (i, j) at the distance number j determined in the above-described step ST4 around the pixel n db (i, j) as the small area WB (i , j).
  • step ST7 the distance image generation unit 5 combines the small area WA (i, j) extracted in step ST5 described above and the small area WB (i, j) extracted in step ST6. By comparing, the correlation is calculated and the evaluation value s (j) is obtained.
  • the evaluation value s (j) indicates a correlation at a distance number: ⁇ , and is calculated by, for example, the following equation,
  • Equation 3 The larger the correlation, the higher the similarity between the small area WA (i, j) and the small area WB (i, j). Further, the evaluation value s (j) is calculated by the above equation 2 in correspondence with the correlation in the distance image generation unit 5, so that the larger the correlation, the smaller the evaluation value is. 5 is to compare the brightness pattern of the small area WA (i, j) of the detected image generated by the detecting camera 3a with the small area WB (i, j) of the detected image generated by the detecting camera 3b. Generates similarity as an evaluation value s (j).
  • step ST8 the distance image generation unit 5 calculates an evaluation value s (j) for all distance numbers by recognizing the distance numbers j. It is determined whether or not all distance numbers j have been processed, and the process proceeds to step ST10. On the other hand, when the processing has not been performed for all distance numbers j, the process proceeds to step ST9, the distance number j is incremented, and the process proceeds to step ST3 and step ST4 again. That is, the distance image generation unit 5 performs the processing described in the above-described steps ST3 to ST7 for all distance numbers j with respect to the coordinates i of the pixel of the virtual image of the virtual camera 3c.
  • step ST10 the distance image generation unit 5 sets the evaluation value s (j ml n) having the minimum value among the evaluation values s (j) for all distance numbers j with respect to the coordinates i of the virtual image. Select For example, as shown in FIG. 12, when the evaluation values s (j) corresponding to the distance numbers 1 to 6 are obtained by the distance image generation unit 5, the evaluation value s with the minimum value of the distance number “3” is s.
  • the distance image generation unit 5, the minimum evaluation value s (j mi n) 2008 may be determined Umate by interpolating between the evaluation value s obtained in step ST 7 (j).
  • Distance image generating unit 5 obtains the "3.3" is distance number n dm is when obtaining the minimum evaluation value s by interpolating (j mi [pi) as the minimum evaluation value s (j min). Therefore, the distance image generation unit 5 can increase the accuracy of the evaluation value by obtaining the evaluation value s (jrn in) by interpolation.
  • step ST11 the distance image generation unit 5 sets the distance Z corresponding to the distance number j indicated by the evaluation value s (j min ) having the minimum value obtained in step ST10 to the virtual camera.
  • 3 Distance captured at c Stored as the distance information of the coordinate i of the image.
  • evaluation value s with the smallest value obtained in the scan Tetsupu ST 1 0 described above is For example, one or both of the pixels of the detection image captured by the detection camera 3a and the detection image captured by the detection output camera 3b corresponding to the distance number j indicated are stored as luminance information at the coordinate i of the virtual image. .
  • step ST13 the distance image generation unit 5 performs the above-described processing from step ST3 to step ST12 for each coordinate i on the virtual camera 3c, thereby obtaining all the coordinates of the virtual image. It is determined whether the processing for obtaining distance information and luminance information has been performed for i. When the distance image generation unit 5 determines that the distance information and the luminance information have been obtained for all the coordinates i, the distance image generation unit 5 ends the process, and determines that the distance information and the luminance information have not been obtained for all the coordinates i. Then, the value of the coordinate i is incremented in step ST14, and the process returns to step ST2. The process from step ST2 to step ST12 is performed on the incremented coordinate i + 1, and the distance information and Repeat until luminance information is obtained.
  • the image generating apparatus 1 including the distance image generating unit 5 does not arrange a camera at a virtual position with respect to a virtual image to be generated by the virtual camera 3c, and uses only the detection cameras 3a and 3b as the original camera. It is possible to generate a distance image indicating the distance from the virtual point A where the image is arranged to the imaging target 2 and a shaded image when the imaging target 2 is imaged from the virtual point A. Therefore, according to the image generation device 1, it is possible to generate a distance image having distance information on each pixel, which cannot be electronically generated by the virtual camera 3c alone.
  • the image generation device 1 when generating a distance image and a grayscale image from a virtual camera arranged at a virtual position, the camera is actually positioned at the position from the virtual camera and the calibration is performed. Do Accordingly, it is not necessary to perform a complicated process of developing the imaging target object into the coordinate system of the three-dimensional space as in the related art, and it is possible to generate the distance image and the grayscale image to be generated by the virtual camera.
  • the image generating apparatus 1 for example, when there is a screen for displaying an image in front of the user and the camera cannot be placed in front of the user, by disposing the detection camera 3 multiple around, it is possible to generate a distance image and a grayscale image to be generated by imaging from the front of the user (Furthermore, according to the image generating apparatus 1, the virtual camera A camera different from the detection cameras 3a and 3b, such as a high-definition imaging camera or a camera using film, may be provided at the position 3c. It is possible to capture a grayscale image composed of luminance information and color information independently of the process of measuring the distance between the virtual camera 3 c arranged at a virtual position and the imaging target 2. , And thus also possible to measure the length of the image pickup object 2 being imaged in normal cameras arranged in a virtual location where the virtual camera 3 c is provided.
  • step S ⁇ 23 the distance image generation unit 5 determines the position on the detection image captured by the detection camera 3a corresponding to the coordinate i on the virtual image to be captured by the virtual camera 3c in the same manner as in step S ⁇ 3 described above.
  • the pixel n da (i, j) at the distance number j on the epipolar line is derived, and the procedure goes to step ST25.
  • step ST25 the distance image generation unit 5 stores the luminance value of the pixel n da (i, j) derived in step ST23 as the pixel Da (i) of the parallax image Da .
  • step ST24 similarly to step ST4 described above, distance image generation section 5 determines distance number j on the epipolar line on the detected image corresponding to coordinate i on the virtual image to be captured by virtual camera 3c.
  • the pixel n db (i, j) at is derived, and the procedure goes to step ST26.
  • the distance image generation unit 5 stores the luminance value of the pixel n db (i, j) derived in step ST24 in step ST26 as the pixel Db (i) of the parallax image Db .
  • the pixels D a (i) and D b (i) of the parallax images D a and D b at j are stored.
  • the distance image generation unit 5 looks up the pixels D a (i) and D b (i) corresponding to the distance number j when the calibration apparatus 10 calibrates the epi-polar line of each detected image with the calibration apparatus 10. Refer to the uptable to derive.
  • step ST27 the distance image generation unit 5 In j, it is determined whether or not the pixels Da (i) and Db (i) of the parallax images Da and Db are stored for all the coordinates i of the virtual image.
  • the process proceeds to step ST29, where all the coordinates i are stored.
  • the coordinate i is incremented in step ST28 to return to step ST23 and step ST24 again as coordinate i + 1. That is, the distance image generation unit 5 performs steps ST23 to ST2 until the pixels Da (i) and Db (i) of the parallax images Da and Db are stored for all the coordinates i at the distance number j. Repeat the process up to 8.
  • step ST30 the distance image generation unit 5 determines whether or not the evaluation value image S (i, j) has been generated for all distance numbers j by recognizing the distance numbers j.
  • the process proceeds to step ST32.
  • step ST31 the distance number j is incremented to the distance number j + 1, and the processing from step ST23 to step ST31 is repeated again.
  • the distance image generation unit 5 evaluates the evaluation value s (j), which is the value of the evaluation value image S (i, j) for each distance number j at the coordinate i obtained by the above processing. There retrieves a value that is a minimum, to derive the distance number j mi n corresponding to the pixel s (i, j min) having the minimum evaluation value. Further, the distance image generation unit 5 may obtain the minimum evaluation value s (j miford) by interpolating the evaluation values s (j) for each distance number j. The unit 5 can further improve the accuracy of the evaluation value s (j) by finding the minimum evaluation value s ( jmin ) by interpolation.
  • step ST34 the distance image generation unit 5 determines the distance Z corresponding to the distance number j min indicated by the minimum evaluation value s (i, j min ) obtained in step ST33, It is stored as the distance information of the coordinate i of the distance image captured by c.
  • step ST35 the distance image generation unit 5 sets the detection camera 3a corresponding to the distance number j min indicated by the minimum evaluation value s (i, j min ) obtained in step ST33.
  • the detected image and power detected in step 3) For example, one of the luminance information of the pixels of the detected image captured in step 3b or the average value of both values is used as the luminance information at the position i of the virtual image.
  • step ST36 the distance image generation unit 5 By performing the processing from step ST33 to step ST35 on each position i of the pixel on the virtual camera 3c, it is determined whether or not the processing for obtaining the distance information and the luminance information has been performed for all the coordinates i of the virtual image. Judge. When determining that the distance information and the luminance information have been obtained for all the coordinates i, the distance image generating unit 5 terminates the process, and determines that the distance information and the luminance information have not been obtained for all the coordinates i. When interrupted, the coordinate i is incremented in step ST37, and the process returns to step ST33. The process from step ST33 to step ST36 is performed on the incremented coordinate i + 1, and all coordinates are processed. The processing of steps ST33 to ST37 is repeated until distance information and luminance information are obtained for i.
  • step ST42 the distance image generation unit 5 compares the luminance pattern of the small area near the parallax image D a (i) with the luminance pattern of the small area near the parallax image D b (i). Calculate the evaluation value s (j) for each small area. As a result, the evaluation value S (j) corresponding to the distance number j exists as information of each pixel. At this time, the distance image generation unit 5 may calculate the evaluation value s (j) using the above-described equation 1.
  • step ST43 the distance image generation unit 5
  • the evaluation value calculated in step ST42 is stored as a pixel of the evaluation value image S (i, j).
  • step ST44 the distance image generation unit 5 determines whether or not the pixels of the evaluation value image S (i, j) have been generated for the entire screen, and evaluates all the pixels from the coordinates i of the virtual image.
  • the process is terminated.
  • the coordinate i is determined. Is incremented, and the process of steps ST42 to ST43 is performed again as the coordinate i + 1, and as a result, the pixels of the evaluation value image S (i, j) are stored for all the coordinates i. Repeat until you do.
  • the image generation device 1 captures the virtual image to be generated by the virtual camera 3c from the position where the camera is originally disposed by only the detection cameras 3a and 3b without disposing the camera at the virtual position. It is possible to generate a distance image indicating the distance to the object 2 and a grayscale image when the image of the object 2 is captured from the virtual camera 3c.
  • the image generating apparatus 1 compares the luminance pattern of the small area near the parallax image D a (i) with the luminance pattern of the small area near the parallax image D b (i), and By calculating the evaluation value s (j) and sequentially incrementing the coordinates of the virtual image, an evaluation value image S (i, j) for each distance number is generated and the minimum evaluation value s ( j min ) is selected to generate a distance image composed of distance information and a gray-scale image composed of luminance information, so that the amount of calculation can be reduced as compared with the processing shown in FIG. 10 or FIG.
  • the distance image generation unit described with reference to the above-described flowchart is used.
  • the distance information and the luminance information are obtained for the coordinates i of the entire virtual image.
  • the distance information and the luminance information may be obtained for some of the coordinates i of the virtual image.
  • the image generating apparatus 1 projects, for example, pattern light in the infrared region onto the object to be imaged, and is provided at a position where the virtual camera 3c is disposed, and is provided with an infrared shielding filter. And a detection camera 3 located therearound. At this time, the calibrated camera is used as it is as a virtual camera. As a result, the image generating apparatus 1 receives the pattern light in the infrared region by the surrounding detection camera, generates a distance image, and generates a grayscale image by the camera arranged at the position where the virtual camera 3c is arranged.
  • the image generation device includes a line of sight connecting the virtual position and the imaging target, the position of each imaging unit, and the imaging target.
  • a correlation detecting unit that compares each image data generated by each of the imaging units to detect a correlation on an epipolar line determined by connecting a corresponding point with a line of sight connecting
  • a distance image generating means for generating a distance image indicating a distance between the virtual position and the imaging target based on the detected correlation, and using image data generated by two or more imaging means.
  • the correlation detector detects the correlation by comparing the image data generated by the respective imaging means, so that the camera is not placed at the virtual position, and the distance image indicating the distance from the virtual position to the imaging target and the virtual image are used. It is possible to generate a grayscale image when an image of the imaging target is captured.
  • the image generation method is characterized in that, on an epipolar line determined by connecting a corresponding point between a line of sight connecting the virtual position and the imaging target and a line of sight connecting the position of each imaging unit and the imaging target. Since the correlation is detected by comparing the image data generated by each of the imaging means, the distance image and the virtual position indicating the distance from the virtual position to the object to be picked up without disposing the camera at the virtual position. From this, it is possible to generate a grayscale image when the imaging target is imaged based on the detected correlation.

Description

明 細 書 画像生成装置及び方法 技 術 分 野 本発明は、 ステレオ法を採用して距離画像及び濃淡画像を生成す る画像生成装置及び方法に関し、 2台以上のカメラを用いて仮想位 置と撮像対象物との距離を示す距離画像及び仮想位置から撮像対象 物を撮像したときの濃淡画像を生成する画像生成装置及び方法に関 する。 背 景 技 術 一般的にステレオ法と称されている手法を用いたものとしては、 例えばカメラ装置から撮像対象物までの距離情報を生成する距離計 測装置が知られている。 この距離計測装置は、 撮像対象物の表面の 三次元座標位置すなわち三次元形状を計測するために、 視点の異な る複数台のカメラ装置で同一の撮像対象物を同時に撮像した画像を 用い、 その画像間での各画素毎に対応する対応点を求め、 その視差 によって距離計測装置から撮像対象物までの距離情報を得る。 従来において、 仮想的な位置 · 向きに配置したカメラ装置で距離 情報からなる距離画像と輝度情報等からなる濃淡画像とを生成する 代表的な第 1の手法を説明する。 距離画像及び濃淡画像を生成する ときには、 先ず、 撮像対象物を複数のカメラ装置で撮像することに より三次元計測を行う。 次に、 撮像対象物の空間的な座標 （形状） を求める。 次に、 その空間内にカメラ装置を仮想的に配設し、 撮像 対象物の空間的な座標 （形状） を用いて仮想的に配設したカメラ装 置で観察されるべき距離画像を生成するとともに、 濃淡画像を生成 する。
つぎに、 ステレオ法を採用して、 一般的に撮像対象物についての 距離画像を求める第 2の手法ついて説明する。 ここでは、 説明の簡 単のため、 基準カメラと当該基準カメラと撮像対象物との距離を検 出する検出カメラとを用い、 対応点を求めて距離画像を生成する一 例について説明する。
先ず、 それぞれ異なる位置に配設された基準カメラ及び検出カメ ラで撮像対象物を撮像し、 基準カメラにより得た画像データから所 定領域を切り出し、 当該切り出した所定領域の画像デ一夕を検出力 メラの画像上で順次変移させる。 このとき、 検出カメラの内部パラ メ一夕や位置関係から求められるェピポーララインと称される直線 上で所定領域の画像を変移させる。 このように検出カメラの画像上 を順次変移させることにより、 基準カメラで撮像した所定領域の画 像と、 検出カメラで撮像した画像とを比較して一致度を求める。 そ して、 最も- 致度の高い変移位置における変移量を、 切り出した所 定領域の画像の中心画素における視差に設定する。 そして、 基準力 メラの画像の各画素についてこれらの処理を繰り返すことにより、 距離画像を生成する。
すなわち、 図 1に示すように基準カメラと検出カメラとで撮像対 象物を観察し、 3次元画像中の点 Pが基準カメラによって撮像点 n bに観察され、 検出カメラによって撮像点 η <ιに観察されたことがわ かれば、 点 Pの 3次元位置を求めることができる。 ここで、 基準力 メラの撮像点 nbに対応する検出カメラの撮像点 ndであることを判 断するのは容易ではなく、 これをステレオ視における対応点問題と 呼んでいる。
現在一般に行われている対応点を検索するときには、 図 1を参照 して明らかなように、 撮像点 ndが基準カメラ及び検出カメラの光学 中心と基準カメラの撮像点 nbで決定される平面と検出カメラの撮像 面が交わる直線上に存在している。 この直線は、 ェピポーラライン と称される。 そして、 基準カメラと検出カメラとの位置関係及び各 カメラの固有のパラメ一夕 （焦点距離等） が既知であれば、 基準力 メラの各撮像点 nb毎に検出カメラの画像面上のェピポ一ララィンを 求めることができ、 このェピポーラライン上で対応点の検索を行え ばよいことになる。
ここで、 基準カメラにより撮像された画像上の撮像点 nbの対応点 を検出カメラで撮像した画像上で検出する一例について述べる。 こ のとき、 図 2に示すように、 基準カメラの撮像点 nb周辺の小領域 1 00をテンプレートとして、 検出カメラの画像のェピポ一ララィン 上の数点で相関値を求める。 ここでは、 ェピポーララインの分解能、 すなわち距離の分解能は撮像点 nd l〜撮像点 nd6までの 6点で、 こ れら撮像点 n ci！〜撮像点 n d 6までが基準カメラからの距離に対応す る距離番号 1〜 6に相当する。 そして、 この距離番号 1〜6は、 基 準カメラからの視線上距離に相当する。 相関は、 I (X) を基準力 メラで撮像した画像の輝度値とし、 I ' (χ' ) を検出カメラで撮 像した画像の輝度値とすると、 以下の式 1で算出される。
Ι(χ+ί)-Γ(χ'+ι) (式 1 ) この式 1によれば、 相関が大きくなるほど基準カメラで撮像した 画像と検出カメラで撮像した画像との一致度が高く、 相関が小さい ほど一致度は低くなる。 そして、 この一致度に対応したパラメ一夕 を評価値とし、 当該評価値とェピポーラライン上の各撮像点 n d l〜 撮像点 n d 6との関係を図 3に示す。 ここで評価値は、 相関が小さい ほど大きくなり、 相関が大きいほど小さくなる値である。
この図 3によれば、 式 1で算出される相関に基づく評価値が.最も 低いところに対応する撮像点 n dを対応点とし、 この場合では距離番 号が 「 3」 となる。 または、 前述のように各撮像点 n dから評価値が 最低点に相当する距離を決定しても良いが、 評価値が最低となると ころの周辺の値から、 サンプリングしたデータ間を補間して最低値 を求める場合もある。 このように基準カメラと検出カメラとから基 準カメラが撮像した画像の距離を求めることにより、 輝度情報を有 する濃淡画像とともに距離画像を生成している。
しかし、 上述の仮想的な位置 · 向きに配置したカメラ装置で距離 情報からなる距離画像と輝度情報等からなる濃淡画像とを生成する 第 1の手法では、 撮像対象物を 3次元の画像に展開し、 この 3次元 に展開することにより得た 3次元画像を用いて距離画像を生成する ので、 多大な計算量を必要とする。 また、 この第 1の手法では、 複 数のカメラ装置で撮像した撮像対象物に対して 3次元計測を行うと きに仮想的なカメラ装置から観察することができる座標を全て撮像 する必要があり、 多くの視点から 3次元計測を行わなければならな い。 さらに、 第 1の手法では、 3次元画像を生成するときに各カメ ラ装置で撮像した画像を張り合わせる必要もある。
また、 図 1〜図 3を参照して説明した第 2の手法では、 基準カメ ラで撮像した画像をテンプレートとして検出カメラで撮像した画像 を変移させて検索することで距離画像を生成するので、 基準カメラ の存在が不可欠となる。 発 明 の 開 示 本発明の目的は、 上述したような実情に鑑みて提案されたもので あり、 基準カメラを用いないで、 検出カメラのみで本来基準カメラ が配される位置から撮像対象物までの距離を示す距離画像及び基準 カメラから撮像対象物を撮像したときの濃淡画像を生成することが できる画像生成装置及び方法を提供することにある。
上述したような目的を達成するため、 本発明に係る画像生成装置 は、 撮像対象物を撮像して画像データを生成し、 それぞれが異なる 位置に配された 2以上の撮像手段と、 仮想位置と撮像対象物とを結 ぶ視線と、 各撮像手段の位置と撮像対象物とを結ぶ視線との対応点 を結ぶことにより決定されるェピポーラライン上で、 上記各撮像手 段により生成された各画像デ一夕同士を比較して相関を検出する相 関検出手段と、 上記相関検出手段により検出された相関関係に基づ いて仮想位置と撮像対象物との距離を示す距離画像を生成する距離 画像生成手段とを備えることを特徴とするものである。
このような画像生成装置によれば、 2以上の撮像手段で生成した 画像データを用いて、 相関検出手段で各撮像手段で生成した画像デ —夕を比較し、 距離画像生成手段で仮想位置と撮像対象物との距離 を示す距離画像を生成する。
本発明に係る画像生成方法は、 それぞれが異なる位置に配された 2以上の固体撮像素子で撮像対象物を撮像して画像データを生成し、 仮想位置と撮像対象物とを結ぶ視線と、 各撮像手段の位置と撮像対 象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ一 ラライン上で、 上記各撮像手段により生成された各画像データ同士 を比較して相関を検出し、 検出された相関関係に基づいて仮想位置 と撮像対象物との距離を示す距離画像を生成することを特徴とする ( このような画像生成方法によれば、 2以上の固体撮像素子で生成 した画像デ一夕を比較して相関を検出し、 相関関係に基づいて仮想 位置と撮像対象物との距離を示す距離画像を生成する。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下に説明される実施例の説明から一層明らかにされるであろう。 図面の簡単な説明 図 1は、 従来の手法で基準カメラ及び検出カメラを用いて基準力 メラと撮像対象物との距離を示す距離情報を生成することを説明す るための図である。
図 2 Aは基準カメラの撮像点周辺の小領域をテンプレー卜するこ とを説明するための図であり、 図 2 Bは検出カメラの画像上に設定 されるェピポーラライン上の数点で相関値を求めることを説明する ための図である。
図 3は、 評価値とェピポーラライン上の数点での位置との関係を 示す図である。
図 4は、 本発明に係る画像生成装置の一例を示すプロック図であ る。 図 5は、 仮想点 Aにおける距離画像及び濃淡画像を生成する前提 として行うキヤリブレーションを行うキヤリプレーション装置の一 例を示すブロック図である。
図 6は、 基準画像の各座標に対応した各検出画像上のェピポーラ ラインを求める一例について説明するための図である。
図 7は、 撮像対象物が距離 Z！と距離 Z 2に存在する場合に検出力 メラの画像面に観察される観察点 n d lと n d 2とを示す図である。 図 8は、 本発明に係る距離画像生成部で距離画像及び濃淡画像を 生成するときの前提として行うキヤリブレーションの一例を説明す るための図である。
図 9は、 キャリブレーション装置により生成されるルックアップ テーブルの一例について説明するための図である。
図 1 0は、 本発明に係る画像生成装置に備えられる距離画像生成 部で距離画像及び濃淡画像を生成するときの処理の一例を示すフロ —チヤ一トである。
図 1 1は、 仮想カメラが撮像すべき画像上の座標 n bに対応する 検出画像のェピポーラライン上の距離番号ごとの画素 （ n d 1〜n d 6 ) を導出することを説明するための図である。
図 1 2は、 評価値と距離番号との関係を示す図である。
図 1 3は、 本発明に係る画像生成装置に備えられる距離画像生成 部で距離画像及び濃淡画像を生成するときの処理の他の一例を示す フローチヤ一卜である。
図 1 4は、 本発明に係る画像生成装置に備えられる距離画像生成 部で評価値画像を生成するときの処理の一例を示すフローチヤ一ト である。 発明を実施するための最良の形態 以下、 本発明の実施の形態について図面を参照しながら詳細に説 明する。
本発明は、. 例えば図 4に示すように構成され、 距離を測定して距 離画像を生成するときに用いる画像生成装置 1に適用される。 この 画像生成装置 1は、 撮像対象物 2を撮像する複数の検出カメラ 3
( 3 a、 3 b) と、 複数の検出カメラ 3で撮像した画像データが格 納されるフレームメモリ 4 a、 4 bと、 フレームメモリ 4 a、 4 b に格納された画像データを用いて距離画像及び濃淡画像を生成する 距離画像生成部 5とからなる。 画像生成装置 1は、 検出カメラ 3 a、 3 bで撮像対象物 2を撮像することにより、 仮想点 Aに仮想的に配 設し実在しない仮想カメラ 3 cで撮像するべき距離画像及び濃淡画 像 （以下、 「仮想画像」 と称する。 ） を生成するものである。
検出カメラ 3 a、 3 bは、 例えば C CDイメージセンサ等を備え、 撮像対象物 2を撮像することによ り輝度情報等からなる画像 （以下、
「検出画像」 と略す。 ） を生成し、 当該画像データをフレームメモ リ 4 a、 4 bに格納する。 このとき、 検出カメラ 3 a、 3 bは、 生 成した画像データをフレーム毎にフレームメモリ 4 a、 4 bに格納 する。
検出カメラ 3 a、 3 bは、 図 4中の仮想点 Aとは異なる位置に複 数台配設されている。 本例では、 検出カメラ 3を検出カメラ 3 a、 検出カメラ 3 bとしてそれぞれ異なる位置に配設している。 なお、 これらの検出カメラ 3 a、 3 bが配設される位置、 台数はこれに限 定されず任意に設定可能である。
フレームメモリ 4は、 検出カメラ 3 a、 3 bからの画像データを それぞれフ レームメモリ 4 a、 4 bに格納し、 距離画像生成部 5に 出力する。
距離画像生成部 5は、 フレームメモリ 4 a、 4 bからの画像デー 夕を処理することにより、 仮想カメラ 3 cで生成される仮想画像を 生成する。
つぎに、 上述の図 4に示した画像生成装置 1に備えられた距離画 像生成部 5で仮想点 Aにおける距離画像及び濃淡画像を生成する前 提として行うキャリブレーションについて図 5のキヤリブレ一ショ ン装置 1 0を参照して説明する。 なお、 キヤリブレ一ション装置 1 0の説明において、 上述の画像生成装置 1 と同様の部分については 同一符号を付することによりその詳細な説明を省略する。
図 5に示したキャ リ ブレーショ ン装置 1 0は、 上述の仮想点 Aに 配設された基準カメラ 1 1 と、 この基準カメラ 1 1で撮像した画像 デ一夕が格納されるフレームメモリ 1 2 とを備え、 キヤリブレーシ ヨン部 1 3により撮像対象物 2を撮像した基準カメラ 1 1で撮像し た画像 （以下、 「基準画像」 と称する。 ） 及び検出カメラ 3 a、 3 bで撮像した画像 （以下、 「検出画像」 と称する。 ） を用いてキヤ リブレーシヨンを行う。
キャリブレーション部 1 3は、 検出カメラ 3 a、 3 b及び基準力 メラ 1 1を位置決めして、 検出画像上にェピポーララインを決定し、 基準画像の座標と検出画像との対応関係を予め求めておき、 例えば 上述の距離画像生成部 5にルックアツプテーブルとして格納する処 理を行う。 このェピポーララィンは、 基準カメラ 1 1及び検出カメラ 3 a、 3 bの光学中心 （光軸） と基準カメラ 1 1の観察点 n bによって決ま る平面と、 検出カメラ 3 a、 3 bの画像面が交わる直線である。 こ こで、 基準画像の各座標に対応した各検出画像上のェビポーラライ ンを求める一例について説明する。 例えば図 6に示すように、 3次 ' 元空間に置かれた平面上の点 Pが基準カメラ 1 1の基準画像で点 η bに観察され、 検出カメラ 3の検出画像で点 n dに観察されたとする。 このような関係にある場合、 検出画像の点 n dは、 点 n bから点 n dへ 変換を行う 3 X 3の射影変換行列を Hとすると、 n d = H -nb (式 2 ) と表現される。 そして、 この距離画像生成部 5は、 この射影変換行 列 Hのパラメ一夕を変化させながら基準カメラ 1 1で撮像された基 準画像に対して所定の射影変換を施し、 検出画像と基準画像間の輝 '度の誤差が最小となるように射影変換行列 Hのパラメ一夕を決定す る。 射影変換行列 Hを求めることにより、 キャリブレーション部 1 3は、 基準画像の任意の点に対応する対応点を検出画像上から検索 することが可能となる。 なお、 本例では、 変換後の検出画像と基準 画像とが正確に一致する射影変換行列 Hを求める方法 （画像合わせ 込み方法） としては、 Levenberg- Marquardt最小法 （ L— M法） を用 いている。 このキャリブレーション部 1 3は、 このような手法を用 いて射影変換行列 Hを各距離毎に求め、 当該射影変換行列 Hを用い てェビポ一ララインを求める。
すなわち、 このキャリブレーション部 1 3は、 例えば図 7に示す ように、 上述の L一 M法を用いて基準位置からの距離 Z iについての 射影変換行列 H iを求めると、 基準位置からの距離 Z！における基準 画像上の点 nbに対応する検出画像上の点 が決定できる。 ここで、 基準画像上の点 nbは任意であるので、 キヤリブレーシヨン部 1 3は、 距離 Z tにおける射影変換行列 H！を用いて、 基準画像上の全ての点 nbに対応する対応点を検出画像上の点 ndとして算出することがで きる。 キャリブレーション部 1 3は、 同様にして、 観察する平面を 距離 Z 2に、 距離 Z ,の位置に置かれていた平面と平行となるように 置いた場合の射影変換行列 H 2を求める。
そして、 キャリブレーション部 1 3は、 距離 Z >及び距離 Z 2に対 応した射影変換行列 H！及び射影変換行列 H 2により、 基準画像上の 点 nbが距離 Z 又は距離 Z 2にある場合には、 検出画像上の点 nd l又 は点 nd2にそれぞれ射影されることを算出する。 このようにキヤリ ブレーシヨン部 1 3は、 検出画像上の点 nd lと点 nd2との 2点を補 間してェピポーララインを算出することにより、 基準画像上の点 n b、 距離 Z及び検出画像上の点 ndとの関係を求めることができる。 この射影変換行列 Hを距離 Z毎に記憶しておくことにより、 後述の 方法を用い、 画像生成装置 1に備えられた仮想カメラ 3 cで生成す べき仮想画像の距離情報を得ることができる。 ただし、 このように 補間を行うときには、 距離 Z tと距離 Z2との間に位置する距離に置 いた平面を設定することが必要となる。 なお、 上述のキヤリブレー シヨン部 1 3が行うキヤリブレーションの例に関する詳細は、 特願 平 9— 2 0 7 9 5 1号に記載されている。
つぎに、 基準画像上の点 nbと検出画像上の点 ndとから距離 Zを 求めるには、 次のようにしても良い。 キヤリブレーシヨン部 1 3は、 算出したェピポーララィン上において図 6及び図 Ίに示すキヤリブ レ一シヨンを行うことにより、 基準画像上の点 nbと、 検出画像上の 点 ndとの関係を求め、 この関係を、 例えばルックアップテーブルに 格納する。
このキヤリブレーシヨンは、 例えば図 8に示すように検出画像の ェピポーラライン上における点 nd lと光学中心とを結ぶ視線と、 基 準画像上の点 nbと基準カメラ 1 1の光学中心とを結ぶ視線との交わ る点が基準カメラ 1 1から撮像対象物までの距離 Z >に対応すること を用いて行い、 距離 を距離番号 「 1」 とする。 このェピポ一ララ インは、 上述の射影変換行列 Hを用いて算出される。 また、 検出画 像のェピポ一ラライン上における点 n d 2と光学中心とを結ぶ視線と、 基準画像上の点 nbと基準カメラ 1 1の光学中心とを結ぶ視線との交 わる点が基準カメラ 1 1から撮像対象物までの距離 Z 2に対応する。 このとき、 距離 Z 2を距離番号 「2」 とする。
このように、 キャリブレーション部 1 3は、 検出画像の点 nd l~ nd 6に対して順次、 検出画像のェピポーラライン上における点 nd l 〜nd6と光学中心とを結ぶ視線と、 基準画像上の点 nbと基準カメラ 1 1の光学中心とを結ぶ視線との交わる点に対応する距離 Z ,~ Z 6 を距離番号 1〜 6として検出することにより、 上述の画像生成装置 1で行う距離画像生成の前にキヤリブレーションを行う。 そして、 キヤリブレーシヨン部 1 3は、 基準画像上の点 nbと検出画像上の点 ndとの関係から、 基準画像上の点 nbが撮像すべき画像の距離番号 1〜6を得ることができる。
また、 キャリブレーション部 1 3は、 各距離 Z！〜距離 Z 6につい て各平面を設定して基準画像上の点 nbと検出画像上の点 ndとの対 応関係を示す各射影変換行列を生成しても良く、 例えば距離 Z !、 距 離 Z 3、 距離 Z 6の 3つの距離についてのみ平面を設定して検出画像 上の点 nbと検出画像上の点 ndとの対応関係を示す射影変換行列を 求めてから、 距離 Z ,， Z Z の間に位置する距離 Z ， につい ての射影変換行列を補間して求めても良い。
すなわち、 このキヤリブレーシヨン部 1 3は、 光学中心 （光軸） から基準画像上の点 n bに対応する検出画像上の点 n dをェピポーラ ライン上で順次キャリブレーションすることにより、 ェビポ一ララ ィン上で対応点 nd l〜nd6を決定することにより距離 Z !〜Ζ 6を決 定し、 対応点11<1 1〜11 と距離番号 1〜6との対応付けを行ぃ、 基 準画像上の点 nbと、 検出画像上の点 ndとの関係を求め、 例えば図 9に示すようなルックアツプテ "^ブルを作成する。
この図 9においては、 例えば基準画像上のある点 nbに対応する距 離 （ Z l， Z 2 , Z 3 , · · ■ ) の検出カメラ 3 aが撮像した検出 画像上の点 （nd l , n d 2 , n d 3 , · · · ) 及び検出カメラ 3 bが撮像した検出画像上の点 （nd l， n d 2 , n d 3， · · ·） が格納されてなる。 そして、 このルックアップテ一ブルは、 例えば 基準画像上の各画素毎に生成され、 画像生成装置 1で距離画像を生 成するときに、 キヤリブレーシヨン部 1 3における基準画像上の画 素が仮想画像上の画素として参照される。
つぎに、 画像生成装置 1に備えられた距離画像生成部 5で検出力 メラ 3 a、 3 bで生成された画像データを用い、 上述のキヤリブレ —ション装置 1 0で生成したルックアップテーブルを参照して距離 画像及び濃淡画像を生成するときの一例について図 1 0のフローチ ヤートを用いて説明する。 図 1 0に示したフローチャートによれば、 先ず、 ステップ S T 1 において距離画像生成部 5は、 仮想カメラ 3 cの仮想画像の画像デ 一夕上の画素の座標 iを初期化することで i = 0とする。
次に、 ステップ S T 2において距離画像生成部 5は、 キヤリブレ ーシヨンを行ったときの距離方向の分解能に応じた距離番号 jを初 期化することで j = 0としてステップ S T 3及びステツプ S T 4に 進む。
ステップ S T 3において距離画像生成部 5は、 図 1 1に示すよう に、 仮想カメラ 3 cが撮像すべき画像上の座標 i (nb) に対応す る検出画像のェピポーラライン上の距離番号： iでの画素 nda ( i , j ) (nd l〜nd 6 ) を導出する。 すなわち、 距離画像生成部 5 は、 ステップ S T 1で仮想カメラ 3 cが撮像すべき仮想画像上の座 標 iが決定すると、 上述の処理により決定された検出カメラ 3 aの ェピポーラライ ン上の画素 nda ( i， j ) をルックアップテ一ブル から検出してステップ S T 5に進む。 なお、 決定された検出画像の 画素 n" ( i , j ) の位置は、 整数値のみならず、 サブピクセルで 表現しても良い。
ステップ S T 5において距離画像生成部 5は、 上述のステツプ S T 3で決定した距離番号： iにおける画素 nda ( i , j ) の近傍を当 該画素 nda ( i， j ) を中心に小領域 WA ( i , j ) として切り出 す。
一方、 距離画像生成部 5は、 ステップ S T 4において上述のステ ップ S T 3で説明した処理を検出カメラ 3 bについても行う。 すな わち、 この距離画像生成部 5は、 仮想カメラ 3 cが撮像すべき画像 上の座標 iに対応する検出カメラ 3 bが撮像した検出画像上のェピ ポーラライン上の距離番号 jでの画素 ndb ( i， j ) をルックアツ プテーブルから検出してステヅプ S T 6に進む。
距離画像生成部 5は、 ステップ S T 6においても、 上述のステツ プ S T 5と同様の処理を検出カメラ 3 bについて行う。 すなわち、 距離画像生成部 5は、 上述のステップ S T 4で決定した距離番号 j における画素 ndb ( i , j ) の近傍を当該画素 ndb ( i , j ) を中 心に小領域 WB ( i , j ) として切り出す。
次に、 ステップ S T 7において距離画像生成部 5は、 上述のステ ヅプ S T 5で切り出した小領域 W A ( i， j ) と、 ステップ S T 6 で切り出した小領域 WB ( i， j ) とを比較することにより、 相関 を計算し、 評価値 s ( j ) を得る。 ここで、 評価値 s ( j ) は、 距 離番号： Ϊにおける相関を示しており、 例えば下式により算出される,
Ι(χ+ί)-Γ(χ'+ή (式 3 ) 相関は大きいほど小領域 WA ( i , j ) と小領域 WB ( i， j ) と の類似度が高いことを示している。 また、 評価値 s ( j ) は、 距離 画像生成部 5で相関に対応して上記式 2で算出されることにより、 相関が大きいほど評価値は小さい値を有する。 すなわち、 この距離 画像生成部 5は、 検出カメラ 3 aにより生成した検出画像の小領域 WA ( i , j ) と、 検出カメラ 3 bにより生成した検出画像の小領 域 WB ( i， j ) との輝度パターンを比較することで類似度を評価 値 s ( j ) として生成する。
次に、 ステップ S T 8において距離画像生成部 5は、 距離番号 j を認識することにより全距離番号について評価値 s ( j ) を算出し たか否かを判断し、 全距離番号 jについて処理をしたときにはステ ヅプ S T 1 0に進む。 一方、 全距離番号 jについて処理をしていな いときにはステップ S T 9に進み、 距離番号 jをインクリメン トし て再びステップ S T 3及びステップ S T 4に進む。 すなわち、 距離 画像生成部 5は、 仮想カメラ 3 cの仮想画像の画素の座標 iに対し て全距離番号 jについて上述のステツプ S T 3〜ステップ S T 7で 説明した処理を行う。
次に、 ステップ S T 1 0において距離画像生成部 5は、 仮想画像 の座標 iに対する全距離番号 jについての各評価値 s ( j ) のうち、 最小の値を有する評価値 s ( j m l n ) を選択する。 例えば図 1 2に示 すように距離番号 1〜 6に対応する評価値 s ( j ) を距離画像生成 部 5で得たとき、 距離番号が 「3」 が最小の値を有する評価値 s
( j mi n ) となる。 このとき、 距離画像生成部 5は、 ステップ S T 7 で得た各評価値 s ( j ) 間を補間して最小の評価値 s ( j mi n) を求 めても良い。 距離画像生成部 5は、 補間して最小の評価値 s ( j mi π ) を得るときには距離番号 ndmが 「 3. 3」 を最小の評価値 s ( j min) として得る。 従って、 この距離画像生成部 5は、 補間して評価 値 s ( j rn i n ) を得ることにより評価値の精度を高くすることができ る。
次に、 ステップ S T 1 1において距離画像生成部 5は、 上述のス テツプ S T 1 0において得た最小の値を有する評価値 s ( j min) が 示す距離番号 jに対応する距離 Zを仮想カメラ 3 cで撮像した距離 画像の座標 iの距離情報として記憶する。
次に、 ステップ S T 1 2において距離画像生成部 5は、 上述のス テツプ S T 1 0において得た最小の値を有する評価値 s ( j m i n ) が 示す距離番号 jに対応する検出カメラ 3 aで撮像した検出画像と検 出力メラ 3 bで撮像した検出画像の画素の例えば片方の値又は双方 の値を仮想画像の座標 iにおける輝度情報として記憶する。
次に、 ステップ S T 1 3において距離画像生成部 5は、 上述のス テツプ S T 3〜ステップ S T 1 2までの処理を仮想カメラ 3 c上の 各座標 iについて行うことで、 仮想画像の全ての座標 iについて距 離情報及び輝度情報を求める処理がなされたかを判断する。 そして、 距離画像生成部 5は、 全ての座標 iについて距離情報及び輝度情報 が求められたと判断したときには処理を終了し、 全ての座標 iにつ いて距離情報及び輝度情報が求められていないと判断したときには 座標 iの値をステップ S T 1 4でインクリメントしてステップ S T 2に戻り、 インクリメントした座標 i + 1についてステップ S T 2 〜ステップ S T 1 2までの処理を行い、 全ての座標 iについて距離 情報及び輝度情報を求めるまで繰り返す。
このような距離画像生成部 5を備えた画像生成装置 1は、 仮想力 メラ 3 cで生成すべき仮想画像について、 仮想位置にカメラを配置 しないで、 検出カメラ 3 a、 3 bのみで本来カメラが配される仮想 点 Aから撮像対象物 2までの距離を示す距離画像及び仮想点 Aから 撮像対象物 2を撮像したときの濃淡画像を生成することができる。 したがって、 この画像生成装置 1によれば、 仮想カメラ 3 cのみで は電子的に画像として生成することができない、 各画素についての 距離情報を有してなる距離画像を生成することができる。
また、 画像生成装置 1によれば、 仮想的な位置に配された仮想力 メラからの距離画像及び濃淡画像を生成するときに、 仮想カメラか らの位置に実際にカメラを位置させてキヤリブレーションを行うこ とにより、 従来のように撮像対象物の三次元空間の座標系に展開す るという煩雑な処理を行う必要がなく仮想カメラで生成すべき距離 画像及び濃淡画像を生成することができる。
更に、 この画像生成装置 1によれば、 例えばユーザの正面に画像 を表示するスクリーンが存在している場合であって、 ユーザの正面 にカメラを配置することができない状態であっても、 ユーザの周囲 に複数台の検出カメラ 3を配置することにより、 ユーザの正面から 撮像して生成すべき距離画像及び濃淡画像を生成することができる ( 更にまた、 この画像生成装置 1によれば、 仮想カメラ 3 cの位置 に高精細な撮像カメラ若しくは、 フィルムを使用するカメラ等のよ うに検出カメラ 3 a、 3 bとは異なるタイプのカメラを配設しても 良い。 このような画像生成装置 1は、 · 仮想的な位置に配された仮想 カメラ 3 cと撮像対象物 2との距離を測定する処理とは独立に輝度 情報及び色情報からなる濃淡画像を撮像することが可能となるとと もに、 仮想カメラ 3 cが配設される仮想的な位置に配置された通常 のカメラで撮像されている撮像対象物 2の距離を測定することも可 能となる。
つぎに、 距離画像生成部 5が検出カメラ 3 a、 3 bで生成された 画像デ一夕を用いて、 距離画像及び濃淡画像を生成するときの他の 一例について図 1 3に示すフローチャートを参照して説明する。 この距離画像生成部 5は、 先ず、 ステツプ S T 2 1において、 キ ャリブレーションを行ったときの距離方向の分解能に応じた距離番 号 j を初期化することで j = 0とする。
次に、 ステップ S T 2 2において距離画像生成部 5は、 仮想カメ ラ 3 cの仮想画像上の各画素の座標 iを初期化することで i = 0と してステップ S T 2 3及びステツプ S Τ 24に進む。
ステップ S Τ 2 3において距離画像生成部 5は、 上述のステツプ S Τ 3と同様に仮想カメラ 3 cが撮像すべき仮想画像上の座標 iに 対応する検出カメラ 3 aが撮像した検出画像上のェピポーラライン 上の距離番号 jでの画素 nda ( i , j ) を導出してステップ S T 2 5に進む。
ステップ S T 2 5において距離画像生成部 5は、 上述のステツプ S T 2 3において導出した画素 nda ( i , j ) の輝度値を、 視差画 像 D aの画素 D a ( i ) として記憶する。
一方、 ステップ S T 24において距離画像生成部 5は、 上述のス テツプ S T 4と同様に、 仮想カメラ 3 cが撮像すべき仮想画像上の 座標 iに対応する検出画像上のェピポーラライン上の距離番号 jで の画素 ndb ( i， j ) を導出してステップ S T 26に進む。
そして、 距離画像生成部 5は、 ステップ S T 26において上述の ステップ S T 24において導出した画素 ndb ( i , j ) の輝度値を、 視差画像 D bの画素 D b ( i ) として記憶する。
このように、 距離画像生成部 5は、 ステップ S T 2 5及びステツ プ S T 2 6で示す処理を行うことにより、 仮想画像の座標 i = 0に おいて各検出カメラ 3 &、 3 bの距離番号 jでの視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) を記憶する。 このとき、 距離画像 生成部 5は、 各検出画像のェピポーラライン上をキヤリブレ一ショ ン装置 1 0でキャリブレーションしたときの距離番号 jに対応する 画素 D a ( i ) 、 D b ( i ) をルックアップテ一ブルを参照して導 出する。
次に、 ステップ S T 27において距離画像生成部 5は、 距離番号 jにおいて仮想画像の全ての座標 iについて視差画像 D a、 D bの 画素 D a ( i ) 、 D b ( i ) を記憶したか否かを判断する。 そして、 この距離画像生成部 5は、 全ての座標 iについて視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) と記憶したと判断したらステップ S T 29に進み、 全ての座標 iについて記憶していないと判断した ときにはステップ S T 28において座標 iをインクリメン トするこ とにより座標 i + 1 として再びステツプ S T 23及びステヅプ S T 24に戻る。 すなわち、 距離画像生成部 5は、 距離番号 jにおける 全ての座標 iについて視差画像 D a、 D bの画素 D a ( i ) 、 D b ( i ) を記憶するまでステップ S T 2 3〜ステップ S T 2 8までの 処理を繰り返す。
- ステップ S T 2 9において距離画像生成部 5は、 上述のステップ S T 2 3〜ステップ S T 28までの処理を行うことにより得た視差 画像 D aに含まれる画素 D a ( i、 j ) と、 視差画像 D bに含まれ る D b ( i , j ) とを式 1を用いて比較することにより、 検出カメ ラ 3 aで撮像した検出画像と検出カメラ 3 bで撮像した検出画像と の相関を求め、 各画素について相関に応じた評価値 s ( i , j ) を 求める。 そして、 距離画像生成部 5は、 距離 jにおける座標 iの評 価値 s ( i , j ) からなる評価値画像 s ( i , j ) を生成する。 な お、 この評価値画像 S ( i , j ) を生成する処理についての詳細は 後述する。
次に、 ステップ S T 30において距離画像生成部 5は、 距離番号 jを認識することにより全距離番号 jについて評価値画像 S ( i , j ) を生成したか否かを判断し、 全距離番号 jについて処理をした ときにはステップ S T 32に進む。 一方、 全距離番号： iについて処 理をしていないときにはステツプ S T 3 1に進み、 距離番号 jをィ ンクリメン トして距離番号 j + 1とし再びステツプ S T 2 3〜ステ ップ S T 3 1までの処理を繰り返す。
ステップ S T 3 2では、 仮想カメラ 3 cの仮想画像上の各画素の 座標 iを初期化することで座標 i = 0とする。
次に、 ステップ S T 33で距離画像生成部 5は、 上述の処理によ り得た座標 iにおける各距離番号 j毎の評価値画像 S ( i , j ) の 値である評価値 s ( j ) が最小となる値を検索し、 最小の評価値を 有する画素 s ( i , j min) に対応する距離番号 j mi nを導出する。 また、 この距離画像生成部 5は、 各距離番号 j毎の各評価値 s ( j ) を補間して最小の評価値 s ( j mi„) を求めても良い。 このよ うに、 距離画像生成部 5は、 補間して最小の評価値 s ( j min) を求 めることにより、 評価値 s ( j ) の精度をより高くすることができ る。
次に、 ステップ S T 34において距離画像生成部 5は、 上述のス テツプ S T 33において得た最小の評価値 s ( i , j min) が示す距 離番号 j minに対応する距離 Zを仮想カメラ 3 cで撮像する距離画像 の座標 iの距離情報として記憶する。
次に、 ステップ S T 3 5において距離画像生成部 5は、 上述のス テツプ S T 3 3において得た最小の評価値 s ( i , j min) が示す距 離番号 j minに対応する検出カメラ 3 aで撮像した検出画像と検出力 メラ 3 bで撮像した検出画像の画素の輝度情報の例えば片方の値又 は双方の値の平均の値を仮想画像の位置 iにおける輝度情報として
BCT 3 る。
次に、 ステップ S T 3 6において距離画像生成部 5は、 上述のス テヅプ S T 3 3〜ステップ S T 3 5までの処理が仮想カメラ 3 c上 の画素の各位置 iについて行うことで、 仮想画像の全ての座標 iに ついて距離情報及び輝度情報を求める処理がなされたか否かを判断 する。 そして、 距離画像生成部 5は、 全ての座標 iについて距離情 報及び輝度情報が求められたと判断したときには処理を終了し、 全 ての座標 iについて距離情報及び輝度情報が求められていないと判 断したときには座標 iをステップ S T 3 7でインクリメン トしてス テツプ S T 3 3に戻り、 インクリメン トした座標 i + 1についてス テツプ S T 3 3〜ステップ S T 3 6までの処理を行い、 全ての座標 iについて距離情報及び輝度情報を求めるまでステツプ S T 3 3〜 ステップ S T 3 7の処理を繰り返す。
つぎに、 上述のステツプ S T 2 9で視差画像 D aと視差画像 D b とから評価値画像 S ( i， j ) を生成する一例について図 1 4を参 照して説明する。
評価値画像 S ( i , j ) を生成するときには、 先ず、 ステップ S T 4 1において距離画像生成部 5は、 評価値画像 S ( i , j ) の画 像の座標 iを 「 0」 に初期化する。
次に、 ステップ S T 4 2において距離画像生成部 5は、 視差画像 D a ( i ) の近傍の小領域と、 視差画像 D b ( i ) の近傍の小領域 との輝度パターンを比較することにより、 小領域毎に評価値 s ( j ) を計算する。 この結果、 各画素の情報としては、 距離番号 j に対応した評価値 S ( j ) が存在することになる。 このとき、 距離 画像生成部 5は、 上述の式 1を用いて評価値 s ( j ) を計算しても 良い。
次に、 ステップ S T 4 3において距離画像生成部 5は、 上述のス テツプ S T 4 2で計算して得た評価値を評価値画像 S ( i , j ) の 画素として記憶する。
次に、 ステップ S T 4 4において距離画像生成部 5は、 画面全体 について評価値画像 S ( i , j ) の画素を生成したか否かを判断し、 仮想画像の座標 iより全ての画素について評価値画像 S ( i , j ) の画素として記憶したら処理を終了し、 座標 iより全ての画素につ いて評価値画像 S ( i , j ) の画素として記憶していないと判断し たときには座標 iをインク リメン トして座標 i + 1 として再びステ ヅプ S T 4 2〜ステップ S T 4 3の処理を行い、 結果的に全ての座 標 iについて評価値画像 S ( i , j ) の画素を記憶するまで繰り返 すこととなる。
このように、 画像生成装置 1は、 仮想カメラ 3 cで生成すべき仮 想画像について、 仮想位置にカメラを配置しないで、 検出カメラ 3 a、 3 bのみで本来カメラが配される位置から撮像対象物 2までの 距離を示す距離画像及び仮想カメラ 3 cから撮像対象物 2を撮像し たときの濃淡画像を生成することができる。
更に、 この画像生成装置 1は、 視差画像 D a ( i ) の近傍の小領 域と、 視差画像 D b ( i ) の近傍の小領域との輝度パターンを比較 することにより、 小領域毎に評価値 s ( j ) を計算して仮想画像の 座標を順次ィンクリメン 卜しながら計算することにより、 各距離番 号毎の評価値画像 S ( i , j ) を生成して最小の評価値 s ( j m i n ) を選択して距離情報からなる距離画像及び輝度情報からなる濃淡画 像を生成するので、 上述の図 1 0若しくは図 1 2で示した処理より も計算量を減らすことができる。
なお、 上述のフローチヤ一トを参照して説明した距離画像生成部 5の処理においては、 仮想画像の全体の座標 iについて距離情報及 び輝度情報を求める一例について説明したが、 仮想画像の一部の座 標 iについて距離情報及び輝度情報を求めても良い。
また、 上述のフローチヤ一トを参照して説明した距離画像生成部 5の処理の前提として行うキヤリプレ一ション時に、 例えば撮像対 象の平面にパターン光を投光することにより、 撮像対象物にテクス チヤを貼り付けても良い。 このように画像生成装置 1 は、 キヤリブ レ一ション時に撮像対象物にテクスチャを貼り付けることにより、 キャ リ ブレーションの精度を向上させることができ、 距離計測の精 度を向上させることができる。
更に、 この画像生成装置 1は、 距離計測の精度を上げるために、 例えば赤外線領域のパターン光を撮像対象物に投光し、 仮想カメラ 3 cを配する位置に配され赤外線遮断フィル夕を備えたカメラと、 その周囲に位置する検出カメラ 3とから構成しても良い。 このとき キャリブレーションを行ったカメラを仮想カメラとしてそのまま用 いることとなる。 これにより、 この画像生成装置 1は、 周囲の検出 カメラにより赤外線領域のパターン光を受像して距離画像を生成し 仮想カメラ 3 cを配する位置に配されたカメラで濃淡画像を生成す る。 このとき、 仮想カメラ 3 cを配する位置に配されたカメラで生 成した画像をそのまま濃淡画像として利用する。 産業上の利用可能性 以上詳細に説明したように、 本発明に係る画像生成装置は、 仮想 位置と撮像対象物とを結ぶ視線と、 各撮像手段の位置と撮像対象物 とを結ぶ視線との対応点を結ぶことにより決定されるェピポーララ イン上で、 上記各撮像手段により生成された各画像データ同士を比 較して相関を検出する相関検出手段と、 相関検出手段により検出さ れた相関関係に基づいて仮想位置と撮像対象物との距離を示す距離 画像を生成する距離画像生成手段とを備え、 2以上の撮像手段で生 成した画像デ一夕を用いて、 相関検出手段で各撮像手段で生成した 画像データを比較して相関関係を検出するので、 仮想位置にカメラ を配置しないで、 仮想位置から撮像対象物までの距離を示す距離画 像及び仮想位置から撮像対象物を撮像したときの濃淡画像を生成す ることができる。
また、 本発明に係る画像生成方法は、 仮想位置と撮像対象物とを 結ぶ視線と、 各撮像手段の位置と撮像対象物とを結ぶ視線との対応 点を結ぶことにより決定されるェピポーラライン上で、 上記各撮像 手段により生成された各画像デ一夕同士を比較して相関を検出する ので、 仮想位置にカメラを配置しないで、 仮想位置から撮像対象物 までの距離を示す距離画像及び仮想位置から撮像対象物を撮像した ときの濃淡画像を検出された相関関係に基づいて生成することがで きる。

Claims

請 求 の 範 囲
1 . 撮像対象物を撮像して画像デ一夕を生成し、 それぞれが異な る位置に配された 2以上の撮像手段と、
仮想位置と撮像対象物とを結ぶ視線と、 各撮像手段の位置と撮像 対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ —ラライ ン上で、 上記各撮像手段により生成された各画像デ一夕同 士を比較して相関を検出する相関検出手段と、
上記相関検出手段により検出された相関関係に基づいて仮想位置 と撮像対象物との距離を示す距離画像を生成する距離画像生成手段 と
を備えることを特徴とする画像生成装置。
2 . 上記相関検出手段は、 上記ェピポーラライ ン上に位置する複 数の画素デ一夕からなる小領域の画像データ同士を比較して相関を 検出すること
を特徴とする請求の範囲第 1項に記載の画像生成装置。
3 . 上記各撮像手段により生成された各画像デ一夕に基づいて仮 想位置から撮像対象物を撮像したときの濃淡画像を生成する濃淡画 像生成手段を備え、
上記濃淡画像生成手段は、 上記各撮像手段により生成された画像 データの輝度情報を用いて濃淡画像を生成すること
を特徴とする請求の範囲第 1項に記載の画像生成装置。
4 . 上記仮想位置に配置された基準カメラを備え、
上記基準カメラは、 撮像対象物の濃淡画像を生成し、 上記距離画像生成手段は、 上記 2以上の撮像手段により生成され た画像デ一夕に基づいて上記基準カメラと撮像対象物との距離を示 す距離画像を生成すること
を特徴とする請求の範囲第 1項に記載の画像生成装置。
5 . 撮像対象物に所定領域のパターン光を照射する発光手段と、 上記基準カメラに入射される上記所定領域のパターン光を遮断す るフィル夕手段とを備え、
上記基準カメラは、 撮像対象物の濃淡画像を生成し、
上記距離画像生成手段は、 上記 2以上の撮像手段が上記パターン 光が照射された撮像対象物から反射する光を用いて生成した画像デ —夕に基づいて上記基準カメラと撮像対象物との距離を示す距離画 像を生成すること
を特徴とする請求の範囲第 4項に記載の画像生成装置。
6 . 上記基準カメラは、 各撮像手段で撮像した画像と、 上記仮想 位置と撮像対象物との距離との関係を示す距離データを生成するこ とに用いられること
を特徴とする請求の範囲第 4項に記載の画像生成装置。
7 . 上記相関検出手段は、 仮想位置と撮像対象物との距離に対応 する上記各ェピポーラライン上の画像データ同士を比較して、 距離 画像を構成する少なく とも一画素からなる各画素プロックについて 各距離毎の相関を検出し、
上記距離画像生成手段は、 上記相関検出手段で検出された各距離 毎の相関のうち、 最も相関が高い各画像デ一夕における距離を距離 画像の画素プロックの撮像対象物との距離とすること
を特徴とする請求の範囲第 1項に記載の画像生成装置。
8 . 上記最も相関が高い距離に対応するェピポ一ララィン上の上 記各撮像手段で撮像した複数の画像デ一夕を用いて、 上記仮想位置 から撮像対象物を撮像したときの画像デ一夕を生成する濃淡画像生 成手段を備えること
を特徴とする請求の範囲第 7項に記載の画像生成装置。
9 . 上記相関検出手段は、 上記仮想位置と撮像対象物との距離に 対応する上記各ェピポ一ララィン上の複数の画像デ一夕のうち、 所 定の距離を示す画像データ同士を比較して上記所定の距離について の相関を上記距離画像全体について検出する処理を全距離について 行い、
上記距離画像生成手段は、 各距離画像を構成する少なく とも一画 素からなる各画素ブロック毎に、 各距離毎の相関のうち、 最も相関 が高い各画像データにおける距離を各画素プロックについての撮像 対象物との距離とすること
を特徴とする請求の範囲第 1項に記載の画像生成装置。
1 0 . 上記最も相関が高い距離に対応するェピポーラライン上の 上記各撮像手段で撮像した複数の画像データを用いて、 上記仮想位 置から撮像対象物を撮像したときの画像データを生成する濃淡画像 生成手段を備えること
を特徴とする請求の範囲第 9項に記載の画像生成装置。
1 1 . それぞれが異なる位置に配された 2以上の固体撮像素子で 撮像対象物を撮像して画像データを生成し、
仮想位置と撮像対象物とを結ぶ視線と、 各撮像手段の位置と撮像 対象物とを結ぶ視線との対応点を結ぶことにより決定されるェピポ 一ラライ ン上で、 上記各撮像手段により生成された各画像データ同 士を比較して相関を検出し、
検出された相関関係に基づいて仮想位置と撮像対象物との距離を 示す距離画像を生成すること
を特徴とする画像生成方法。
1 2 . 上記ェピポーラライン上に位置する複数の画素データから なる小領域の画像デ一夕同士を比較して相関を検出すること を特徴とする請求の範囲第 1 1項に記載の画像生成方法。
1 3 . 上記各固体撮像素子により生成された各画像デ一夕の輝度 パターンを用いて濃淡画像を生成すること
を特徴とする請求の範囲第 1 1項に記載の画像生成方法。
1 4 . 上記 2以上の固体撮像素子で撮像した各画像データ同士を 比較して画像全体の相関を検出し、
画像全体の相関関係に基づいて仮想位置と撮像対象物との距離を 示す距離画像を生成すること
を特徴とする請求の範囲第 1 1項に記載の画像生成方法。
1 5 . 上記仮想位置と撮像対象物との距離に対応する上記各ェピ ポーラライン上の画像デ一夕同士を比較し、
上記距離画像を構成する少なく とも一画素からなる各画素プロッ クついて各距離毎の相関を検出し、
各距離毎の相関のうち、 最も相関が高い各画像データにおける距 離を上記仮想位置と撮像対象物との距離とすること
を特徴とする請求の範囲第 1 1項に記載の画像生成方法。
1 6 . 上記最も相関が高い各画像データにおける距離に対応する ェピポーラライン上の各固体撮像素子で撮像した複数の画像データ を用いて、 上記仮想位置から撮像対象物を撮像したときの画像デー 夕を生成すること
を特徴とする請求の範囲第 1 5項に記載の画像生成方法。
1 7 . 上記仮想位置と撮像対象物との距離に対応する上記各ェピ ポーラライン上の複数の画像データのうち、 所定の距離を示す画像 データ同士を比較して上記所定の距離についての相関を上記距離画 像全体について検出する処理を全距離について行い、
各距離画像を構成する少なく とも一画素からなる各画素プロック 毎に、 各距離毎の相関のうち、 最も相関が高い各画像データにおけ る距離を各画素プロックについての撮像対象物との距離とすること を特徴とする請求の範囲第 1 1項に記載の画像生成方法。
1 8 . 上記最も相関が高い各画像データにおける距離に対応する ェピポーラライン上の各固体撮像素子で撮像した複数の画像デ一夕 を用いて、 上記仮想位置から撮像対象物を撮像したときの画像デー 夕を生成すること
を特徴とする請求の範囲第 1 7項に記載の画像生成方法。
PCT/JP1999/002381 1998-05-08 1999-05-07 Image generating device and method WO1999058927A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP55651299A JP4374625B2 (ja) 1998-05-08 1999-05-07 画像生成装置及び方法
US09/462,345 US7015951B1 (en) 1998-05-08 1999-05-07 Picture generating apparatus and picture generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP12623798 1998-05-08
JP10/126237 1998-05-08

Publications (1)

Publication Number Publication Date
WO1999058927A1 true WO1999058927A1 (en) 1999-11-18

Family

ID=14930195

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/002381 WO1999058927A1 (en) 1998-05-08 1999-05-07 Image generating device and method

Country Status (3)

Country Link
US (1) US7015951B1 (ja)
JP (1) JP4374625B2 (ja)
WO (1) WO1999058927A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525559A (ja) * 2004-02-13 2006-11-09 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング ステレオカメラによるオブジェクトの分類のための方法
JP2009186369A (ja) * 2008-02-07 2009-08-20 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2013073516A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
JP2013073515A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出方法及び物体検出装置
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
JP2017111620A (ja) * 2015-12-16 2017-06-22 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018044942A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP2018179990A (ja) * 2017-04-20 2018-11-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP2018189637A (ja) * 2017-05-01 2018-11-29 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム
US11869205B1 (en) * 2014-10-20 2024-01-09 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
JP3951695B2 (ja) * 2001-12-11 2007-08-01 ソニー株式会社 画像配信システムおよび方法、画像配信装置および方法、画像受信装置および方法、記録媒体、並びにプログラム
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
ATE500572T1 (de) * 2003-08-21 2011-03-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur erzeugung eines dreidimensionalen gefässmodelles
US7809183B2 (en) * 2003-10-08 2010-10-05 Microsoft Corporation Gaze manipulation
US7570803B2 (en) * 2003-10-08 2009-08-04 Microsoft Corporation Virtual camera translation
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
EP1648181A1 (en) 2004-10-12 2006-04-19 Dialog Semiconductor GmbH A multiple frame grabber
JP2008537190A (ja) * 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7554575B2 (en) * 2005-10-28 2009-06-30 Seiko Epson Corporation Fast imaging system calibration
RU2407220C2 (ru) * 2006-09-20 2010-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройства для них, программа для них и носитель информации для хранения программ
JP4839298B2 (ja) * 2007-11-28 2011-12-21 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
EP2253131B1 (en) 2008-02-08 2014-06-25 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
WO2011149558A2 (en) 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US8897543B1 (en) 2012-05-18 2014-11-25 Google Inc. Bundle adjustment based on image capture intervals
US8965107B1 (en) 2012-05-18 2015-02-24 Google Inc. Feature reduction based on local densities for bundle adjustment of images
US10460022B2 (en) * 2013-11-13 2019-10-29 Sony Corporation Display control device, display control method, and program for displaying an annotation toward a user
JP2015095802A (ja) 2013-11-13 2015-05-18 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719832A (ja) * 1993-06-21 1995-01-20 Canon Inc 複数画像の対応点抽出方法
JPH10240934A (ja) * 1997-02-25 1998-09-11 Nec Corp 被写体抽出装置
JPH10334244A (ja) * 1997-06-04 1998-12-18 Matsushita Electric Ind Co Ltd ステレオマッチング装置
JPH1153549A (ja) * 1997-08-01 1999-02-26 Sony Corp 画像処理装置、画像処理方法、および、伝送媒体

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4825393A (en) * 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
US5577130A (en) * 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US5680474A (en) * 1992-10-27 1997-10-21 Canon Kabushiki Kaisha Corresponding point extraction method for a plurality of images
JP3252293B2 (ja) * 1992-10-29 2002-02-04 セイコープレシジョン株式会社 測距装置
JP3058774B2 (ja) * 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法
JPH07246184A (ja) * 1994-03-09 1995-09-26 Fuji Photo Optical Co Ltd 面順次式撮像装置
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
EP0684585B1 (en) * 1994-04-22 2003-02-05 Canon Kabushiki Kaisha Image forming method and apparatus
JPH10504692A (ja) * 1994-08-19 1998-05-06 ライカ アクチエンゲゼルシャフト 立体ビデオ画像を表示装置上に表示する方法及び装置
EP1494476A1 (en) * 1994-09-09 2005-01-05 Canon Kabushiki Kaisha Image processing method and apparatus
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
JPH08233527A (ja) * 1995-02-28 1996-09-13 Oki Electric Ind Co Ltd 対応点探索装置および対応点探索方法
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
EP0838068B1 (en) * 1995-07-10 2005-10-26 Sarnoff Corporation Method and system for rendering and combining images
JPH10160410A (ja) * 1996-11-27 1998-06-19 Minolta Co Ltd 測距装置
JP3145059B2 (ja) * 1997-06-13 2001-03-12 株式会社ナムコ 情報記憶媒体及び画像生成装置
US20020113865A1 (en) * 1997-09-02 2002-08-22 Kotaro Yano Image processing method and apparatus
JPH11125522A (ja) * 1997-10-21 1999-05-11 Sony Corp 画像処理装置および方法
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
JPH11264724A (ja) * 1998-03-18 1999-09-28 Sony Corp 画像処理装置および方法、並びに提供媒体
KR100382439B1 (ko) * 1998-05-25 2003-05-09 마쯔시다덴기산교 가부시키가이샤 레인지파인더 장치와 카메라
JP2000055658A (ja) * 1998-08-06 2000-02-25 Sony Corp 画像処理装置および方法、並びに提供媒体
JP2000172878A (ja) * 1998-12-09 2000-06-23 Sony Corp 情報処理装置および情報処理方法、並びに提供媒体
US6801653B1 (en) * 1999-08-05 2004-10-05 Sony Corporation Information processing apparatus and method as well as medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0719832A (ja) * 1993-06-21 1995-01-20 Canon Inc 複数画像の対応点抽出方法
JPH10240934A (ja) * 1997-02-25 1998-09-11 Nec Corp 被写体抽出装置
JPH10334244A (ja) * 1997-06-04 1998-12-18 Matsushita Electric Ind Co Ltd ステレオマッチング装置
JPH1153549A (ja) * 1997-08-01 1999-02-26 Sony Corp 画像処理装置、画像処理方法、および、伝送媒体

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006525559A (ja) * 2004-02-13 2006-11-09 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング ステレオカメラによるオブジェクトの分類のための方法
JP2009186369A (ja) * 2008-02-07 2009-08-20 Nippon Telegr & Teleph Corp <Ntt> 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
JP2013073516A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
JP2013073515A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出方法及び物体検出装置
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
US11869205B1 (en) * 2014-10-20 2024-01-09 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
JP2017111620A (ja) * 2015-12-16 2017-06-22 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018044942A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP7038315B2 (ja) 2016-09-08 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
JP7038345B2 (ja) 2017-04-20 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP2018179990A (ja) * 2017-04-20 2018-11-15 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出方法、カメラパラメタセット算出プログラム及びカメラパラメタセット算出装置
JP2018189637A (ja) * 2017-05-01 2018-11-29 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム
JP7038346B2 (ja) 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置

Also Published As

Publication number Publication date
US7015951B1 (en) 2006-03-21
JP4374625B2 (ja) 2009-12-02

Similar Documents

Publication Publication Date Title
WO1999058927A1 (en) Image generating device and method
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
JP3983573B2 (ja) ステレオ画像特性検査システム
US6438507B1 (en) Data processing method and processing device
CN113256730B (zh) 用于阵列相机的动态校准的系统和方法
US7952606B2 (en) Apparatus for providing omnidirectional stereo image with single camera
US8743349B2 (en) Apparatus and method to correct image
CN106705849B (zh) 线结构光传感器标定方法
JP2006033570A (ja) 画像生成装置
US7260243B2 (en) Intruding-object detection apparatus
JPH07294215A (ja) 画像処理方法及び装置
JP4717863B2 (ja) 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート
JP2000222585A (ja) 動き検出方法および動き検出装置および動き認識方法および動き認識装置および記録媒体
JP4193342B2 (ja) ３次元データ生成装置
JP3991501B2 (ja) ３次元入力装置
Um et al. Three-dimensional scene reconstruction using multiview images and depth camera
JP4324271B2 (ja) 画像処理装置およびその方法
CN114485953A (zh) 温度测量方法、装置及系统
JPH1091790A (ja) 三次元形状抽出方法及び装置並びに記憶媒体
JP2004117049A (ja) ステレオ画像処理装置およびステレオ画像処理方法
Guan et al. A unified approach to calibrate a network of camcorders and tof cameras
CN109565544B (zh) 位置指定装置及位置指定方法
JP3525712B2 (ja) 三次元画像撮像方法及び三次元画像撮像装置
CN111080689B (zh) 确定面部深度图的方法和装置
JP2000074665A (ja) 距離画像生成装置及び方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

WWE Wipo information: entry into national phase

Ref document number: 09462345

Country of ref document: US