WO2004088992A1 - 画像処理装置及び画像処理プログラム - Google Patents

画像処理装置及び画像処理プログラム Download PDF

Info

Publication number
WO2004088992A1
WO2004088992A1 PCT/JP2004/004258 JP2004004258W WO2004088992A1 WO 2004088992 A1 WO2004088992 A1 WO 2004088992A1 JP 2004004258 W JP2004004258 W JP 2004004258W WO 2004088992 A1 WO2004088992 A1 WO 2004088992A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
color
image processing
weight
color component
Prior art date
Application number
PCT/JP2004/004258
Other languages
English (en)
French (fr)
Inventor
Taketo Tsukioka
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to JP2005504196A priority Critical patent/JP4350706B2/ja
Publication of WO2004088992A1 publication Critical patent/WO2004088992A1/ja
Priority to US11/226,944 priority patent/US7454057B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an image processing apparatus and an image processing program, and in particular, for example, processes an image output from a single-chip imaging system, a two-chip imaging system, or a three-chip pixel-shifted imaging system using a computer,
  • the present invention relates to an image processing apparatus and an image processing program for generating a color digital image having three color component values for each image.
  • a single-chip image sensor used for a digital camera or the like uses a single-chip image sensor equipped with a different color filter for each pixel, and in an output image from such a single-chip image sensor, Only one color component value can be obtained for each pixel.
  • this colorization processing is not devised, the final color image will be degraded such as blurring or false color. Therefore, various methods have been conventionally proposed. For example, Japanese Patent Application Laid-Open No.
  • Hei 8-2986669 which discloses a technique related to edge detection, discloses a single-panel Bayer array image sensor having a color filter arrangement shown in FIG. 15A. As shown in Fig. 15B, a cross-shaped neighborhood is taken around the pixel of interest, and the horizontal and vertical intercept values Gh, Gv for the pixel of interest are
  • An object of the present invention is to provide an image processing apparatus and an image processing program capable of performing high-precision colorization processing with optimum capture even for patterns other than horizontal and vertical edges. And.
  • an image processing apparatus for inputting an image obtained by capturing an optical image by an imaging system and outputting a color image by compensating for missing color components at each pixel, In the vicinity of a predetermined size including the pixel of interest, each direction S k (k is one force, in a plurality of directions S l, S 2,... S n (n is an integer of 1 or more) emanating from the pixel of interest
  • a weight setting unit for setting a weight Wk for each of the pixels in each direction S k (k is an integer from 1 to n) and having a specific color component in the vicinity of the predetermined size.
  • An average calculating unit that calculates a weighted average of the pixel values VI to Vn using the weights W1 to Wn with respect to the pixel value Vk; and an average calculating unit that calculates the weighted average of a plurality of types of color components by using the average calculating unit. Calculated and based on the weighted average result and the pixel value of the target pixel, A restoration unit for restoring the value of that color component, comprising a.
  • the weight setting unit is configured to determine, in a predetermined color component, each of the directions S in the vicinity. One or more sets of two pixels arranged in parallel to k and having the corresponding color component are selected, and the weight Wk for each direction Sk is calculated based on the pixel value difference of each set.
  • the weight setting unit calculates a pixel value difference of each set of a plurality of types of color components, multiplies the pixel value difference by a predetermined coefficient, and sums the values based on a total value.
  • the weight Wk for each direction Sk is determined.
  • the weight setting unit calculates an approximate value of a predetermined color component in the target pixel by the predetermined size.
  • the weight setting unit is configured to calculate the weight Wk for each of the directions S k by using the predetermined size. A plurality of pairs of two pixels arranged in parallel in each direction S k within the vicinity of and having a predetermined color component, and calculating the minimum value of the pixel value difference of each pair.
  • the weight setting unit calculates the pixel value difference for each direction S k by one. After performing for all the integers from n to n, the maximum value of the pixel value difference is obtained, and the weight is calculated such that the smaller the size is, the more equal the weight is in each direction.
  • the weight setting unit may include a pixel value difference for each of the directions S k.
  • Each of the weights is inversely proportional and the sum of the weights in the plurality of directions is 1 Calculate the weight for the direction.
  • the weight setting section is configured to determine a color component between the color components in the pixel of interest.
  • a color shift evaluator for evaluating the edge shift amount of the edge is used, and the method of calculating the weight is changed according to the evaluation result of the color shift evaluator.
  • the weight setting unit responds to the evaluation result of the color misregistration evaluation unit by using the predetermined coefficient.
  • the calculation method of the weight is changed by changing the weight.
  • the restoring unit comprises: a weight of the average calculating unit for the pixel value of the pixel of interest and the plurality of types of color components. After multiplying the average result by a predetermined coefficient, the sum is summed to obtain the value of the missing color component.
  • the restoring unit calculates a shift amount of an edge between color components in the pixel of interest. It has a color misregistration evaluation unit for evaluation, and changes the method of calculating the missing color component according to the evaluation result of the color misregistration evaluation unit.
  • the restoring unit evaluates a shift amount of an edge between color components in the pixel of interest.
  • the method for calculating the missing color component is changed by changing the predetermined coefficient according to the evaluation result of the color misregistration evaluating section.
  • the color misregistration evaluating unit may be configured so that: The edge shift amount between the color components is evaluated based on the chromatic aberrations.
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array, and
  • the color component R or B is obtained, and the four directions of up, down, left, and right with respect to the pixel of interest are defined as the plurality of directions S 1 to S 4.
  • the obtained color component is G, and the missing color component is G.
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array.
  • a color component G is obtained in the pixel, and a direction connecting the pixel of interest and a pixel having a color component R in the vicinity of a predetermined size centered on the pixel of interest is defined as the plurality of directions.
  • the plurality of types of color components are R and G, and the missing color component is R.
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array, and A color component G is obtained, and a direction connecting the pixel of interest and each of the pixels having the color component B within a vicinity of a predetermined size centered on the pixel of interest is defined as the plurality of directions.
  • the types of color components are B and G, and the missing color component is B.
  • the plurality of directions are in the vicinity of a predetermined size of the target pixel and in the target pixel. It is set in the direction connecting the missing color component, one of the color components obtained in the pixel of interest, and each of the pixels in which both color components are obtained, and the pixel of interest. You.
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array,
  • the missing color component in the pixel of interest is R or B, and one of the color components obtained in the pixel of interest is G.
  • the image processing device when changing the predetermined coefficient in accordance with the evaluation result of the color misregistration evaluation unit, The type of the color component having a large deviation from the color component obtained in the pixel is checked, and the coefficient assigned to the pixel value difference for the color component is reduced.
  • a 20th aspect of the present invention in the image processing apparatus according to the 12th aspect, when changing the predetermined coefficient in accordance with an evaluation result in the color misregistration evaluating unit.
  • the type of the color component whose deviation from the color component whose loss is desired to be restored is large is examined, and the coefficient assigned to the weighted average result for the color component is reduced.
  • an image processing program that inputs an image of an optical image captured by an imaging system to a computer and outputs a color image by compensating for missing color components at each pixel.
  • Sn (n: n) emanating from the target pixel are located near a predetermined size including the target pixel.
  • a weighted average is calculated for the color components by the averaging function, and the value of the color component missing in the pixel of interest is restored based on the weighted average result and the pixel value of the pixel of interest.
  • the restoration function is realized.
  • the weight setting function is configured to determine a direction in the neighborhood for each of a plurality of color components.
  • One or more sets of two pixels having the corresponding color component in parallel with S k are selected, and based on the values obtained by multiplying the pixel value difference of each set by a predetermined coefficient and relaxing the values, Compute the weight Wk for the direction S k.
  • the restoration function comprises: a shift amount of an edge between color components in the pixel of interest.
  • the color misregistration evaluation function is evaluated.
  • the method of calculating the missing color component is changed according to the evaluation result of the color misregistration evaluation function.
  • the restoration function comprises: a shift amount of an edge between color components in the pixel of interest.
  • Color shift evaluation After multiplying the pixel value of the pixel of interest and the weighted average result of the averaging function for the plurality of types of color components by a coefficient that changes according to the evaluation result of the color misregistration evaluation function, and summing up The value of the missing color component.
  • the color misregistration evaluation function is provided in the optical image.
  • the edge shift amount between the color components is evaluated based on the chromatic aberration.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera 100 as an image processing device according to the first embodiment of the present invention.
  • FIG. 2 is a block diagram showing weights set by a weight calculation circuit A106.
  • FIG. 4 is an explanatory diagram of a calculation area.
  • FIGS. 3A and 3B are diagrams (part 1) illustrating the operation of the weight calculation circuit B112 during the first operation.
  • FIG. 4 is an operation explanatory diagram (part 2) of the weight calculation circuit B112 at the time of the first operation.
  • FIGS. 5A and 5B are explanatory diagrams (part 3) of the operation in the first operation in the weight calculation circuit B112.
  • FIGS. 6A, 6B, and 6C are explanatory diagrams of the operation of the weight calculation circuit B112 during the second operation.
  • FIG. 7 is a diagram of the estimating circuit 119 in the second preferred modification of the first embodiment of the present invention.
  • FIG. 8 is an explanatory diagram of a weight calculation area set in the third preferred modification in the first embodiment of the present invention.
  • FIG. 9 is a flowchart of the soft processing corresponding to the first embodiment of the present invention.
  • FIG. 10 is a flow chart of the RB restoration processing in the soft processing according to the first embodiment of the present invention.
  • FIG. 11 is a block diagram showing a schematic configuration of a digital camera 100 as an image processing device according to the second embodiment of the present invention.
  • FIGS. 12A and 12B are explanatory diagrams of a function for controlling the weight calculation according to the amount of color misregistration.
  • FIG. 13 is a diagram of a color misregistration determination circuit 220 according to a preferred modification of the second embodiment of the present invention.
  • FIG. 14 is a flowchart of the calculation of the amount of color shift in the soft processing corresponding to the second embodiment of the present invention.
  • FIGS. 15A, 15B and 15C are explanatory diagrams of the prior art.
  • FIG. 1 is a block diagram showing a schematic configuration of a digital camera 100 as an image processing device according to a first embodiment of the present invention.
  • the digital camera 100 includes an optical system 101, a single-panel Bayer array CCD102, and a single-panel image buffer that stores output images from the single-bay Bayar array CCD102.
  • the G component at the pixel position where the G component is missing is estimated, and a G component image is generated.
  • a G-reconstruction circuit 104 stored in the buffer 109 and a G-component image stored in the G-image buffer 109 and the image in the single-chip image buffer 103 to recover missing R and B components.
  • R / B restoration circuit 110 that generates an image and stores it in color image buffer 115, and image quality adjustment that performs color conversion and edge enhancement on the three-color image in color image buffer 115 It comprises a circuit 116, a recording circuit 117 for recording an image of which quality has been adjusted, and a control circuit 118 for controlling the operation of each of the above-mentioned circuits.
  • the above-described G restoration circuit 104 includes a weight calculation circuit A106, an average circuit A107, and a G calculation circuit 108
  • the RB restoration circuit 110 includes a weight calculation circuit B112, an average circuit B113, and a KB calculation circuit 114. Consists of Each of the weight calculation circuit A106 and the weight calculation circuit B112 evaluates the degree of unevenness in a plurality of nearby directions, and calculates the weight assigned to each area based on the evaluation result, but the calculation method is different.
  • Each of the averaging circuits A107 and B113 selects a pixel having a specific color component in each direction, and calculates a weighted average of the pixel values of the selected pixels based on the weight assigned to each direction. However, the calculation method is different.
  • the G calculation circuit 108 calculates the value of the G component that is finally missing from the weighted average result for each color component obtained from the averaging circuit A 107, and the RB calculation circuit 114 calculates the color component obtained from the averaging circuit B 113. Calculate the value of the missing R component or B component from the weighted average result for each minute.
  • the operation of the above digital camera 100 is as follows.
  • a shutter (not shown) is pressed by the user, first, an optical image from the optical system 101 is captured by the single-plate Bayer array CCD 102, and only a single color component is provided for each pixel.
  • An image in a plate state is obtained as a single plate image buffer 103.
  • the weight calculation circuit A106 performs processing on each surface element of the image in the single-plate state in the single-plate image buffer 103, but depending on the type of the color component obtained in the target pixel. Processing is different.
  • the pixel value is written as is to the corresponding pixel position of the G image buffer 109.
  • the R or B component has been obtained for the pixel of interest, perform processing to compensate for the missing G component.
  • the color component obtained at the pixel of interest is B as shown in Fig. 2 will be described as an example. If the color component obtained at the pixel of interest is R, replacing B with R Good.
  • regions for calculation of f (S is an integer from 1 to 4) are set in four directions (up, down, left, and right) near 5X5 of the target pixel, and each region Sj
  • the degree of unevenness Ej is calculated by the following equation.
  • min (x, y) is a function that returns the smaller of X and y.
  • E2 I B5 -B9 I + I G2 -G8
  • Equation (3)
  • E4 I B5-B1 I + I G2-G8 I -min (
  • the degree of unevenness Ej calculated here is so large that each area is not flat, and It is a smaller index.
  • the weight calculation circuit A106 calculates the pair in each direction from the unevenness Ej. Weight Wj
  • the averaging circuit A107 calculates a weighted average for each color component using the pixel values in each region Sj based on the weights W1 to W4 input from the weight calculation circuit A107, and outputs the result to the G calculation circuit 108. I do. Specifically, for the color component G, G6, G8, G4, and G2 are respectively taken from the regions S1 to S4, and the weighted average is calculated.
  • Ga W1 * G6 + W2 * G8 + W3 * G4 + W4 * G2 Calculate equation (5).
  • color component B, B7, B9, B3, and B1 are taken from areas S1 to S4, respectively, and the weighted average is calculated.
  • the control circuit 118 operates the RB restoration circuit 110.
  • the weight calculation circuit B112 starts the processing for each pixel of the image in the single-chip image buffer 103, but each pixel is obtained from the single-chip Bayer array CCD 102. Processing differs depending on the type of color component You.
  • the pixel value of the target pixel is written in the color image buffer 115. Further, the pixel value at the pixel position corresponding to the pixel of interest is read from the G image buffer 109 and written to the color image buffer 115 in the same manner.
  • the color component obtained at the pixel of interest is G
  • the pixel value near 5X5 around the pixel of interest is read from the single-chip image buffer 103, and at the same time, the corresponding pixel value from the G image buffer 109 is also read. Read out neighboring pixel values and calculate the degree of unevenness in multiple directions.
  • the calculation direction is D1 ⁇ ! Shown in Figs. 3A and 3B.
  • the areas for calculation in 12 directions are S1 to S12 in Fig. 4.
  • Each region consists of two pixels: a pixel in which the color component R or B is obtained in the neighborhood (the shaded area in Fig. 3) and a pixel of interest.
  • , and the degree of unevenness in the direction of D7 is E7
  • the averaging circuit B113 selects, for each direction provided in the weight calculation circuit B112, first, a pixel other than the pixel of interest from a calculation area 'Sj (j is an integer from 1 to 12). For example, in Fig. 5A, B2 is selected for color component B and G2 for color component G from S1. And D1 ⁇ D6 and D7 ⁇ ! 12) For the two sets of directions, the pixel values of the pixels selected from the corresponding area are weighted by the weight of each direction, and the average Ra, Ga, Ask for Ba. However, if the corresponding color component is not included in the area, no calculation is performed.
  • Ga2 W7 * G6 + 8 * G8 + 9 * G10 + 10 * Gl6
  • Ga2 1 * G2 + W2 * G4 + W3 * G12 + * G14
  • Ga 1 W * * G8 * Gl 0+ W 0 * G16
  • the averaging circuit B113 When the weighted average in the vicinity of + 11 * G18 + W12 * G20 is completed in this way, the averaging circuit B113 outputs the weighted average result to the RB calculation circuit 114.
  • the RB calculation circuit 114 calculates the missing color components B13 and R13 as follows based on the pixel value of the target pixel and the output from the averaging circuit B113:
  • R13 Ra + (G13-Ga2) formula (9>
  • the weight calculation circuit B112 reads out the vicinity of each pixel of the color image buffer 115 and performs processing, but does nothing if the target pixel has obtained all RGB color components. For a pixel with a missing color component, the pixel value near 3X3 of the pixel of interest is read out from a 115-color image buffer, and first, up, down, left and right as shown in Figure 6C. The degree of unevenness in the neighborhood is calculated in a total of eight diagonal directions, D1 to D8.
  • Figure 6A illustrates the pattern of color components obtained near 3X3, but the calculation area is in the vicinity of 3X3 around the pixel of interest in the direction D1-D8, as shown in Figure 6B.
  • the unevenness degree Ej in the direction Dj is evaluated by the difference between the G components of two pixels included in the area Sj.
  • Equation (10) The result is output to averaging circuit B113.
  • R and B in Fig. 6A are interchanged, but the weight calculation is the same even in this case.
  • the averaging circuit B113 selects pixels other than the target pixel from Sj for each direction Dj.
  • the pixel values of the selected pixel were weighted and averaged with the weight Wj output from the averaging circuit B113 for the color component C (C is either R or B) and the color component G missing in the target pixel. value
  • a color image in which the missing color component is restored in all pixels is obtained in the color image buffer 115. Thereafter, the obtained color image is subjected to processing such as color conversion, edge emphasis, and gradation conversion by an image quality adjustment circuit 116, and is recorded on a recording medium (not shown) by a recording circuit 117, and digitally processed.
  • processing such as color conversion, edge emphasis, and gradation conversion by an image quality adjustment circuit 116, and is recorded on a recording medium (not shown) by a recording circuit 117, and digitally processed.
  • the imaging operation of the camera 100 is completed.
  • the first preferred modification is the calculation of the weight in the weight calculation circuit A106. It is a way.
  • the weight calculation circuit A106 calculates the weight based on the degree of unevenness calculated for each direction.However, in the above-described equations (4), (7), and (10), the absolute magnitude of the degree of unevenness is calculated. Regardless of the weight, the same weight will be applied. However, in reality, when the degree of unevenness is uniformly small in all directions, it is considered that the influence of noise is dominant, and it is desirable to make the weights as even as possible. Therefore, for example, the formula (10) is modified as follows, and the following new weight W 'j is used instead of Wj.
  • Equation (10) The weight is calculated so as to approach the weight calculated by, and if the influence of noise is large, the weight approaches the even weight.
  • a second preferred modification is a change in the calculation method of the weight calculation circuit.
  • the degree of unevenness in each direction is evaluated by the difference between the G components.However, depending on the image pattern, the G component hardly changes, and only the R and ⁇ components may change. .
  • the degree of unevenness in each direction Dj is calculated using the color components other than G in Figs. Therefore, the weight calculation circuit A106 uses the estimation circuit shown in Fig. 7. Estimate the value of color components other than G at the pixel of interest. For example, in the case of Fig.
  • k is the number of a pixel other than the pixel of interest included in the area Sj.
  • k is the same as for D1 force and D6.
  • k is the number of a pixel other than the pixel of interest included in the area Sj.
  • a third preferred modification can be given.
  • a G pixel is added to a region for calculating the degree of unevenness in the upper, lower, left, and right directions, and for example, the degree of unevenness E1 in the right direction is changed to a rectangular region indicated by 150, 15 1 Including the difference
  • step S1 the pixel value of Inlmg is copied to Outlmg.
  • the type C of the color component obtained at each pixel position of Inlmg is calculated and written as the value of the color component C of the corresponding pixel of Outlmg.
  • step S2 Inlmg is scanned to search for a pixel from which the color component R or B is obtained. If there is no corresponding pixel, go to step S6, and if so, go to step S3.
  • the corresponding pixel is referred to as X.
  • step S3 areas are taken up, down, left, and right in the vicinity of 5X5 of the pixel X, and weights in each direction are calculated.
  • the formulas are (3) and (4).
  • Equation (4) is an example in which a B component is obtained at pixel X. If an R component is obtained, B is replaced with R.
  • step S4 the pixel values of the pixels having the color component G at the top, bottom, left and right of pixel X are weighted by the weights in each direction calculated in step S3, and Ga Get.
  • the calculation formula is equation (5).
  • the color component C (or R or B) obtained at pixel X On the other hand, the pixel values of the pixels having the color component C at the top, bottom, left, and right of the pixel X are weighted and averaged with the weight in each direction calculated in step S3 to obtain Ca.
  • the calculation formula when C is B is formula (6).
  • step S5 the weighted average calculated in step S4 and the pixel value of pixel X (hereinafter, referred to as C5 in association with FIG. 2.
  • C is either R or B.)
  • step S6 RB restoration processing is performed according to the steps shown in the flow of FIG. The following is an explanation of each step in the flow of the RB restoration process.
  • step S7 Outlmg is scanned to search for unprocessed pixels for which only the color component G has been obtained. If there is no unprocessed pixel, the process immediately proceeds to step S11. If there is an unprocessed pixel, the process proceeds to step S8. Hereinafter, the corresponding pixel is called Y.
  • step S8 two sets of six directions D1 to D6 and D7 to D12 shown in FIG. 3 are provided in the vicinity of 5X5 of the pixel Y.
  • the weight in each direction is calculated. Therefore, in each direction, the absolute value Ej (j is an integer from 1 to 12) of the difference between the value of the G component of the pixel indicated by hatching in FIG. 3 and the value of the G component of the pixel Y is calculated, and the weight is calculated. Is calculated for each set by equation ( 7 ).
  • step S9 the pixel values of the hatched pixels in FIG. 3 are weighted and averaged by the weight calculated in step S8 for each color component for each of D1 to D6 and D7 to D12. Hatched Since the pixels have the color components G and R or G and B, the weighted average result for the two color components is obtained.
  • the type of color component obtained and the calculation formula are as follows: The pattern of the color component obtained in the vicinity of pixel Y is calculated from Eq. (8-1) to Eq. This is as shown in -4).
  • step S10 the weighted average result obtained in step S9 and the pixel value obtained in pixel Y (hereinafter referred to as G13 in association with FIGS. 5A to 5B) are obtained. Based on this, the missing R component and B component (these are also referred to as R13 and B13) are calculated by equation (9) and written to Outlmg.
  • step S11 Outlmg is scanned for pixels with missing color components. If there is no corresponding pixel, the process ends. If there is, the process proceeds to step S12. Hereinafter, the corresponding pixel is designated as Z.
  • step S12 the eight directions shown in FIG. 6C are taken in the vicinity of 3X3 of the pixel Z, and the weight in each direction is calculated.
  • the absolute value Ej (j is an integer from 1 to 8) of the difference between the neighboring pixel in each direction and the target pixel of pixel Z is calculated, and the weight is calculated according to equation (10).
  • step S13 the values of the corresponding color components of the pixels in each direction are weighted by the weights obtained in S12 for the color components C and G missing at the pixel Z.
  • the calculation formula is equation (11).
  • step S14 the weighted average result of step S13, the G component obtained at pixel Z (G5 in association with FIG.
  • FIG. 11 is a block diagram showing a schematic configuration of a digital camera 200 as an image processing device according to the second embodiment of the present invention. Since the second embodiment has many portions similar to the first embodiment, only portions different from the first embodiment will be described below.
  • the second embodiment is an example in which the present invention is applied to a digital camera as in the first embodiment, except that the characteristic of the interpolation processing is changed according to the state of the optical system 101. This is the same as the embodiment.
  • an aberration calculation circuit 219 is provided to calculate the amount of edge color shift at each pixel position in the single-chip image buffer 103 based on the state of the optical system 101.
  • the force controls the weight calculation circuits A206 and G calculation circuit 208 in the G restoration circuit 204, and the weight calculation circuits B112 and RB calculation circuit 214 in the RB restoration circuit 210.
  • the operation of the digital camera 200 will be described focusing on the differences from the first embodiment.
  • a shutter (not shown) is depressed by the user, an optical image by the optical system 101 is captured by the single-plate Bayer array CCD 102 as in the first embodiment, and each surface element is touched.
  • An image in a single-plate state having only one kind of color component is obtained in the single-plate image buffer 103.
  • the weight calculation circuit A206 performs processing on each pixel of the single-chip image of the single-chip image buffer 103 #, and when the color component obtained at the target pixel is G, the first The same processing as in the form is performed.
  • the color component R or B is obtained at the pixel of interest, the degree of unevenness in the four directions of up, down, left, and right near the pixel of interest is calculated as in the first embodiment. yield difference calculating circuit 21 9 to the attention pixel of the coordinates (x, y) to output a.
  • the aberration calculation circuit 219 records the color shift amounts of the color components R and B with respect to the color component G for a set of three discrete values of the focal length, the subject distance, and the distance from the optical axis center. LUT is stored in the circuit.
  • the weight calculation circuit A206 provides areas S1 to S4 shown in FIG. 2 above, below, left and right of the pixel of interest, and calculates the flatness Ej (j is an integer of 1 to 4) of each area by the following equation.
  • E2 or * I B5 -B9 I + I G2 -G8
  • E3 * I B5-B3
  • ⁇ 4 ⁇ * I B5-B1 I + I G2-G8
  • f and g are the functions shown in Figs. 12A and B, and T1 and T2 in the figure are predetermined thresholds.
  • max (X, y) is X and the person of the formula (14) representing a large of y
  • color deviation evaluation amount Ar to Ab is near T 1, and the horizontal difference G4-G 6 i of the G component
  • is relatively close, it approaches 0; otherwise, it approaches' 1.
  • the subsequent calculation of the weight itself in the weight calculation circuit A206 is the same as in the first embodiment, and the calculation result is output to the averaging circuit A107. However, different from the first embodiment, the color shift amounts Ar and Ab calculated by the aberration calculation circuit 219 are output to the G calculation circuit 208.
  • the processing in the averaging circuit A107 is the same as that in the first embodiment.
  • the pixel value in the vertical and horizontal directions near the target pixel is calculated by the weight calculated in the weight calculation circuit A206.
  • a weighted average is calculated. Since there is no pixel having the color component R in the area provided in Fig. 2, only the weighted average values Ba and Ga of the color components B and G can be obtained.
  • W6 is obtained from weights W1 and W12 from W7.
  • the averaging circuit B113 operates.
  • the processing content is the same as that of the first embodiment. For example, when the color component pattern obtained in the vicinity is shown in FIG. ) Ba and Gal are obtained as the weighted average result for 6, and the direction D7 ⁇ ! Ra and ⁇ Ga2; ⁇ are obtained as the weighted average of 12 results. '
  • the RB calculation circuit 214 operates. Unlike the first embodiment, first, the coordinates (X, y) of the target pixel are output to the aberration calculation circuit 219.
  • the aberration calculation circuit 219 performs the same processing as that performed when catching the missing G component, and calculates the color shift amount Ar of the R component with respect to the G component and the color shift amount Ab of the B component with respect to the G component in the target pixel. And outputs it to the RB calculation circuit 214.
  • the RB calculation circuit 214 uses the weighted average result from the averaging circuit B113 and the color shift amounts Ar and Ab to calculate
  • the R component and the B component missing at the target pixel are calculated as described above, and the result is written into the color image buffer 115 at the position corresponding to the target pixel.
  • g is the function shown in Figure 12B.
  • the processing content of the averaging circuit B 113 is the same as that of the first embodiment, and the weighted average Ca and: Ga of the color component C (C is either R or B) and the color component G missing in the target pixel and the color component G Is output to the RB calculation circuit 214.
  • the RB calculation circuit 214 outputs the coordinates (x, y) of the pixel of interest to the aberration calculation circuit 219 again, and the color shift amount Ar of the R component with respect to the G component and the color shift amount Ab of the B component with respect to the G component at the pixel of interest. Get. Then, the weighted average result from the averaging circuit B113, and the color shift amount Ac (c is the r force b depending on whether the missing color component is R color B Force)
  • the color component C (either R or B depending on the missing color component) at the target pixel is calculated, and the result is calculated as the target pixel of the color image buffer 115. Write to the position corresponding to.
  • a color image in which missing components have been restored in all pixels is obtained in the color image buffer 115.
  • the subsequent operation is the same as that of the first embodiment.
  • the obtained color image is subjected to processing such as color conversion, edge enhancement, and gradation conversion by the image quality adjustment circuit 116, and is processed by the recording circuit 117. Then, the image is recorded on a recording medium (not shown) and the imaging operation of the digital camera 200 is completed.
  • a preferred modification example controls the interpolation process by estimating a color shift at each pixel position when the aberration calculation circuit 219 is not present.
  • a color misregistration determination circuit 220 having the following operation is provided in the weight calculation circuit A206.
  • the weight calculation circuit A206 obtains the degree of unevenness Ej (j is an integer from 1 to 4) in the vertical and horizontal directions according to the equation (14), but since the aberration calculation circuit 219 does not exist, the equation ( 14) Calculate with both Ar and Ab set to 0.
  • the color misregistration determination circuit 220 operates to first determine which of the degree of unevenness E1 to E4 is the smallest.
  • two color misregistration determination areas are provided on both sides of the area Sk.
  • the color shift determining region 8 in S1 'in 1 5 0, 1 5 1 ing and two regions Do you I was shown by c
  • the difference of the G component is calculated in the same direction in which the degree of unevenness Ek was calculated in each region, and the minimum value is defined as ⁇ .
  • the difference between pixels having a color component other than G on the region Sk is calculated, and in the example where k is 1,
  • the color misregistration determination circuit 220 calculates the color misregistration amount ⁇ ,
  • step S3 in FIG. 9 the equation for calculating the weight is changed from equation (3) to equation (14).
  • step S5 the weighted average calculated in step S4 and the pixel value of pixel X (corresponding to Figs. 3 ⁇ and 3 ⁇ , hereafter referred to as C5.
  • C is the value of R and B )
  • step S10 equation (16) is used instead of equation (9).
  • step S14 based on the weighted average result of step S13 and the G component obtained at pixel Z (G5 in association with FIG. 6A), the missing color components (also C5 and Is calculated by equation (17) and written to Outlmg.
  • step S15 the coordinates (cx, cy) on the image of the optical axis center of the optical system 101, which have been previously set, and the given coordinates ( x, y) is used to find the square d of the distance from the center of the optical axis.
  • step S16 the amount of color misregistration given on the memory as a force table is given as the square of the distance from the optical axis center d and as a parameter. Then, the focal length P of the optical system 101 is subtracted as an index, and the color shift amounts Ar and Ab at the given coordinates are obtained.
  • a weighted average is calculated by the average calculation unit for a plurality of types of color components, and a value of a color component missing in the target pixel is restored based on the weighted average result and a pixel value of the target pixel.
  • An image processing apparatus comprising:
  • the weight setting unit corresponds to at least the weight calculation circuit A106 and the weight calculation circuit B112
  • the average calculation unit corresponds to at least the average circuit A107 and the average circuit B113.
  • the restoration unit corresponds to at least the G calculation circuit 108 and the RB calculation circuit 114.
  • the weight setting unit corresponds to at least the weight calculation circuit A206, the weight calculation circuit B112, and the aberration calculation circuit 219
  • the average calculation unit includes at least the average circuit A107 and the average circuit
  • the restoring unit is at least G calculation This corresponds to the circuit 208 and the RB calculation circuit 2 1 4.
  • the weight setting unit assigns a weight to each direction in a plurality of directions in the vicinity. Based on the weight, the average calculation unit calculates the weighted average of the pixel values of the pixels in the vicinity, and the restoration unit calculates the weighted average result and Since the missing color component is calculated based on the pixel value of the target pixel, the missing color can be restored with higher accuracy than simple interpolation.
  • the weight setting unit selects one or more sets of two pixels that are arranged in parallel with each direction S k in the neighborhood and have the corresponding color component for a predetermined color component, 2.
  • the image processing apparatus according to 1, wherein the weight Wk for each direction S k is calculated based on the pixel value difference of each set.
  • the weight setting unit calculates a pixel value difference between two pixels that are arranged in parallel in this direction and have a corresponding color component in each direction in which the weight is calculated, and calculate the weight based on the calculated value. Optimal missing color restoration can be performed on the pattern.
  • the weight setting unit calculates the pixel value difference of each set for a plurality of types of color components, and multiplies the pixel value difference by a predetermined coefficient to obtain a sum for each of the directions S k. 3.
  • the weight setting unit calculates the weight by mixing the pixel value differences for multiple types of color components.As a result, the optimal missing color is used even for an edge pattern that cannot be handled only by using the pixel value difference for a single color component. Can be restored.
  • the weight setting unit has an estimating unit that estimates an approximate value of a predetermined color component in the target pixel within the vicinity of the predetermined size, and calculates a weight Wk for each direction S k in each direction S k
  • the image processing apparatus calculates based on a difference between a pixel value of a pixel having the predetermined color component and the approximate value.
  • the estimating unit corresponds at least to the estimating circuit 119.
  • the estimation unit estimates the approximate value of the predetermined color component in the target pixel in the vicinity, and the weight setting unit performs weight calculation based on the difference between the result and the pixel value of the neighboring pixel.
  • the optimum missing color restoration can be performed even for an edge pattern in which the change of the value of the predetermined color component is large but the change of the values of the other color components is small.
  • the weight setting unit selects a plurality of sets of two pixels that are arranged in parallel with each direction Sk and have a predetermined color component within the vicinity of the predetermined size. 2.
  • the image processing apparatus selects the minimum value of the pixel value difference of each set.
  • a set of a plurality of pixels corresponds to a rectangular area indicated by 150 and 151 in FIG.
  • the weight setting unit calculates the pixel value difference for each direction S k for all integers from 1 to n, and then calculates the maximum value of the pixel value difference.
  • the image processing apparatus according to any one of 2, 3, and 5, wherein the weight is calculated such that the smaller the weight is, the more uniform the weight is in each direction.
  • the weight setting unit calculates a weight Wk in each direction so as to be inversely proportional to a pixel value difference in each direction Sk, and to make a sum of weights in the plurality of directions equal to 1 3 or 6.
  • the image processing device according to any one of 5.
  • the weight setting unit has a color misregistration evaluation unit that evaluates the amount of edge displacement between color components in the target pixel, and calculates a weight calculation method according to the evaluation result of the color misregistration evaluation unit.
  • the image processing apparatus according to any one of 2 and 35, wherein
  • the weight setting unit corresponds to at least the weight calculation circuit A206 and the aberration calculation circuit 219.
  • the color misregistration evaluation unit corresponds to at least the aberration calculation circuit 219 and the color misregistration determination circuit 220 of a preferred modification.
  • the weight setting unit changes the method of calculating the weight by changing the predetermined coefficient according to an evaluation result of the color misregistration evaluation unit.
  • the predetermined coefficient is
  • the specific gravity of whether to calculate using multiple color components or to calculate using a single color component can be easily changed. This prevents the calculation of the optimal weight at the edge from failing due to the presence of color misregistration.
  • the restoration unit multiplies the pixel value of the pixel of interest and the weighted average result of the average calculation unit for the plurality of color components by a predetermined coefficient, and then sums up the values of the missing color component.
  • the restoration unit has a color misregistration evaluation unit that evaluates the amount of edge displacement between color components in the target pixel, and the restoration is performed in accordance with the evaluation result of the color misregistration evaluation unit.
  • the image processing apparatus according to 1 or 10, wherein the method for calculating a color component is changed.
  • the restoration unit corresponds to at least the RB calculation circuit 214.
  • the color shift evaluation section corresponds to the aberration calculation circuit 219 and a color shift determination circuit of a preferred modification.
  • the restoration section has a color misregistration evaluation section for evaluating an amount of shift of an edge between color components in the pixel of interest, and the predetermined section 10.
  • the image processing apparatus according to 10, wherein a calculation method of the missing color component is changed by changing a number according to an evaluation result of the color misregistration evaluation unit. 10.
  • the color misregistration evaluation unit corresponds to at least the aberration calculation circuit 219 ( (action / effect)
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array, and a color component R or B is obtained at the pixel of interest.
  • the plurality of directions S 1 to S 4 the plurality of types of color components are the color components obtained in the pixel of interest, and G, and the missing color component is G.
  • the single-chip image sensor has a mosaic filter having a primary color Bayer array, and a color component G is obtained at the target pixel.-The target pixel and a predetermined size centered on the target pixel.
  • the directions connecting each of the pixels having the color component R in the vicinity of the pixel are referred to as the plurality of directions, the plurality of types of color components are R and G, and the missing color component is R.
  • the single-chip image pickup device has a mosaic filter having a primary color Bayer arrangement, a color component G is obtained at the target pixel, and the target pixel and a predetermined centered on the target pixel.
  • the directions connecting to each of the pixels having the color component B in the vicinity of the size are referred to as the plurality of directions.
  • the plurality of types of color components are B and G, and the missing color component is B. thing
  • the plurality of directions include a color component missing in the pixel of interest and one of color components obtained in the pixel of interest in the vicinity of a predetermined size of the pixel of interest. 2.
  • the image processing device wherein the image processing apparatus is set in a direction connecting each of the pixels from which both color components are obtained and the target pixel.
  • the weight calculation can be performed more appropriately by setting the direction in which the weight is calculated in the direction connecting the pixel having the same color component as the target pixel and the target pixel.
  • the single-chip image sensor has a mosaic filter in a primary color Bayer array, and the missing color component in the pixel of interest is R or B, and the color component obtained in the pixel of interest. 18.
  • An image processing program that inputs an image of an optical image captured by an imaging system to a computer and outputs a color image by compensating for missing color components at each pixel.
  • a weighted average is calculated by the averaging function for a plurality of types of color components, and based on the weighted average result and the pixel value of the target pixel, the value of the color component missing in the target pixel is restored.
  • Restore function
  • the weight setting function selects one or more sets of two pixels that are arranged in parallel with the direction Sk in the neighborhood and have the corresponding color component for each of the plurality of color components.
  • 21. The image processing program according to 21, wherein a weight Wk for each of the directions Sk is calculated based on a value obtained by multiplying the pixel value difference by a predetermined coefficient.
  • the weight setting function calculates the pixel value difference between two pixels having the corresponding color component in parallel to the direction in which the weight is calculated in each direction, and calculating the weight based on the difference.
  • the optimal missing color restoration can be performed for the pattern.
  • the restoration function has a color misregistration evaluation function for evaluating an edge shift amount between color components in the pixel of interest, and the missing color component is determined according to an evaluation result of the color misregistration evaluation function.
  • the restoration function has a color misregistration evaluation function for evaluating an amount of shift of an edge between color components in the target pixel, and includes a pixel value of the target pixel and the flatness with respect to the plurality of types of color components.
  • 21. The image processing program according to 21, wherein the weighted average result of the average function is multiplied by a coefficient that changes according to the evaluation result of the color misregistration evaluation function, and then summed to obtain a value of the missing color component.
  • the color misregistration evaluation function corresponds at least to the function realized by the aberration calculation circuit 219, and is specifically represented by the flow in FIG. (Action ⁇ effect)

Abstract

画像処理装置は、光学像を撮像系により撮像した画像を入力し、各画素で欠落する色成分を補ってカラー画像を出力する。重み設定部は、注目画素を含む所定サイズの近傍において、注目画素から発する複数の方向S1,S2,..Sn(nは1以上の整数)の各方向Sk（ｋは1からnの整数）に対する重みWkを設定する。平均算出部は、前記所定サイズの近傍において各方向Sk（ｋは1からnの整数）上にあり、かつ特定の色成分を有する画素の画素値Vkに対し、画素値V1からVnの前記重みW1からWnによる加重平均を計算する。復元部は、複数種類の色成分に対して前記平均算出部により加重平均を算出し、この加重平均結果と、前記注目画素の画素値とに基づいて、前記注目画素において欠落する色成分の値を復元する。

Description

明 細 書
画像処理装置及ぴ画像処理プロ グラム
技術分野
本発明は画像処理装置及び画像処理プロ グラムに関 し、 特 に、 例えば単板撮像系または二板撮像系または三板画素ずら し撮像系から出力された画像をコ ンピュータによ り処理し、 画素ごと に 3色成分値をもつカ ラーデジタル画像を生成する 画像処理装置及び画像処理プロ グラムに関する。
背景技術
デジタルカ メ ラ等に利用 されている単板撮像系では、 画素 ごと に異なる色フィルタ を装着 した単板撮像素子を用いてお り 、 このよ う な単板撮像素子からの出力画像においては、 各 画素につき一種類の色成分値しか得られない。 その結果、 力 ラーデジタル画像を生成するためには、 各画素で欠落してい る色成分値を補う カ ラー化処理が必要となる。 これは、 二板 撮像系や三板画素ずら し撮像系を用いる場合でも同様である , このカラー化処理は、 工夫しないと最終的なカ ラー画像に ぼけや偽色などの劣化が生じる。 そのため、 従来から種々の 方法が提案されている。 例えばエッジ検出に関する技術が開 示された特開平 8 — 2 9 8 6 6 9 号公報では、 図 1 5 Aに示 す色フ ィ ルタ配置を持つ単板べィャ配列の撮像素子に対し、 図 1 5 B に示すよ う に注目画素の周囲に十字状の近傍を と り . 注目画素に対する水平方向と垂直方向の捕間値 Gh, Gv を、
Gh= (G4 + G6) /2+ (2ホ B5 - B3 - B7) /4，
Gv= (G2 + G8) /2+ (2*B5-B1-B9) /4 .式（1一 1) と推定する。 次に、 水平、 垂直どち らの方向に段差が多いか を示す評価値 dH, dVを、
dH= |G4-G61+ |B3-2*B5+B7 | ,
dV=|G2-G8| + |Bl-2*B5+B9| 式 - 2) と計算し、 評価値が小さ く 、 よ り 平坦と判断された方向の捕 間値を用いる。 なお、 （x ( は X の絶対値を表す。 また、 * は乗算を示している。
また、 も う一つの従来技術の例である特開平 1 0 — 1 6 4 6 0 2 号公報では、 水平方向に対して差分 1 G2- G81を求め、 その関数と して値 n を算出する。 また、 垂直方向に対しても 差分 G6|を求め、 その関数と して値 mを算出する。 そ し て、 最終的な注目画素の補間結果 Gx を、
Gx= (m* (G4 + G6) +n* (G2 + G8) ) / (2* (ra+n) ) 式（2-1) と、 水平方向の画素値と垂直方向の画素値の重み付けで求め る。 この式は、 実質的に、 垂直方向の補間値
Gh= (G2 + G8)/2, Gv=(G4 + G6)/2 式（2 - 2) を計算し、 それらの加重平均
Gx= (n*Gh+m*Gv) / (n + m) 式（2 - 3) を算出する こ と に等 しい。
上記の従来技術では、 図 15 Cに示すよ う な斜めの色エツ ジの場合、 水平、 垂直どち らの方向でも色エッジをまたいで 捕間結果 Gh， Gv を算出するため、 誤差が大き く なる。 また、 特に、 水平、 垂直いずれかの方向を選択する従来技術の場合 平坦で周囲の画素全てを用いて補間 した方が望ま しい場合に も、 補間結果算出に用いる画素が限られて しまい、 ノイ ズ低 減効果が少ない。
発明の開示
本発明の 目的は、 水平、 垂直のエッジ以外のパタ ンに対 しても最適な捕間を行った高精度なカ ラー化処理が可能な画 像処理装置及び画像処理プログラ ムを提供する こ と にある。
本発明の第 1 の側面によれば、 光学像を撮像系によ り 撮像 した画像を入力 し、 各画素で欠落する色成分を補ってカ ラ一 画像を出力する画像処理装置であって、 注目画素を含む所定 サイ ズの近傍において、 注 目 画素か ら発す る複数の方向 S l，S 2，. . S n ( nは 1 以上の整数）の各方向 S k ( k は 1 力、ら nの 整数） に対する重み Wk を設定する重み設定部と、 前記所定 サイ ズの近傍において各方向 S k ( k は 1 から n の整数） 上 にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対し 画素値 V I から Vnの前記重み W 1 から Wn によ る加重平均を計 算する平均算出部と、 複数種類の色成分に対して前記平均算 出部によ り加重平均を算出 し、 この加重平均結果と、 前記注 目画素の画素値と に基づいて、 前記注目画素において欠落す る色成分の値を復元する復元部と、 を具備する。
また、 本発明の第 2 の側面によれば、 第 1 の側面に係る画 像処理装置に関 し、 前記重み設定部は、 所定の色成分に関 し て、 前記近傍内での各方向 S k に平行に並び、 かつ該当色成 分を有する二つの画素の組を一組以上選択し、 前記各方向 Sk に対する重み Wk を、 各組の画素値差分に基づいて計算す る。
また、 本発明の第 3 の側面によれば、 第 2 の側面に係る画 像処理装置に関 し、 前記重み設定部は、 複数種類の色成分に 関する前記各組の画素値差分を計算 し、 前記画素値差分に所 定の係数を乗じて総和 した値に基づいて、 前記各方向 S k に 対する重み Wk を決定する。
また、 本発明の第 4の側面によれば、 第 1 の側面に係る画 像処理装置に関 し、 前記重み設定部は、 前記注目画素におけ る所定の色成分の概算値を前記所定サイズの近傍内で推定す る推定部を有し、 前記各方向 S k に対する重み Wk を、 各方向 S k 上にあ り かつ前記所定の色成分を有する画素の画素値と 前記概算値と の差分に基づいて計算する。
また、 本発明の第 5 の側面によれば、 第 1 の側面に係る画 像処理装置に関 し、 前記重み設定部は、 前記各方向 S k に対 する重み Wk の計算において、 前記所定サイズの近傍内で各 方向 S k に平行に並び、 かつ所定の色成分を有する二つの画 素の組を複数選択し、 各組の画素値差分の最小値を計算する , また、 本発明の第 6 の側面によれば、 第 2、 第 3 , 第 5 の いずれか 1 つの側面に係る画像処理装置に関 し、 前記重み設 定部は、 前記各方向 S k に対する画素値差分の計算を 1 から n の全ての整数に対 して行った後、 前記画素値差分の最大値 を求め、 その大き さが小さいほど各方向に対する重みが均等 になる よ う に重みを計算する。
また、 本発明の第 7 の側面によれば、 第 3 または第 5 のい ずれか 1 つの側面に係る画像処理装置に関 し、 前記重み設定 部は、 前記各方向 S k に対する画素値差分に反比例し、 かつ 前記複数の方向に渡る重みの総和が 1 になる よ う に前記各方 向に対する重み を計算する。
また、 本発明の第 8 の側面によれば、 第 2、 第 3 、 第 5 の いずれか 1 つの側面に係る画像処理装置に関 し、 前記重み設 定部は、 前記注目画素における色成分間のエッジのずれ量を 評価する色ずれ評価部を有し、 この色ずれ評価部での評価結 果に応じて重みの計算方法を変える。
また、 本発明の第 9 の側面によれば、 第 8 の側面に係る画 像処理装置に関 し、 前記重み設定部は、 前記所定の係数を前 記色ずれ評価部での評価結果に応 じて変化させる こ と で前記 重みの計算方法を変える。
また、 本発明の第 1 0 の側面によれば、 第 1 の側面に係る 画像処理装置に関し、 前記復元部は、 前記注目画素の画素値 および前記複数種類の色成分に対する前記平均算出部の加重 平均結果に所定の係数を乗じた後、 総和 して前記欠落する色 成分の値を求める。
また、 本発明の第 1 1 の側面によれば、 第 1 又は第 1 0 の 側面に係る画像処理装置に関 し、 前記復元部は、 前記注目画 素における色成分間のエッジのずれ量を評価する色ずれ評価 部を有し、 この色ずれ評価部での評価結果に応じて前記欠落 する色成分の計算方法を変える。
また、 本発明の第 1 2 の側面によれば、 第 1 0 の側面に係 る画像処理装置に関 し、 前記復元部は、 前記注目画素におけ る色成分間のエッジのずれ量を評価する色ずれ評価部を有し 前記所定の係数を前記色ずれ評価部の評価結果に応じて変化 させる こ とで前記欠落する色成分の計算方法を変える。 また、 本発明の第 1 3 の側面によれば、 第 8 または第 1 1 または第 1 2 のいずれか 1 つの側面に係る画像処理装置に関 し、 前記色ずれ評価部は、 前記光学像が有する色収差に基づ いて色成分間のエッジのずれ量を評価する。
また、 本発明の第 1 4の側面によれば、 第 3 の側面に係る 画像処理装置に関 し、 前記単板撮像素子は原色べィャ配列の モザイ ク フィ ルタ を有し、 前記注目画素において色成分 Rま たは Bが得られてお り 、 前記注目画素に対する上下左右の 4 方向を前記複数の方向 S 1 から S 4 と し、 前記複数種類の色成 分は、 当該注目画素において得られている色成分、 および G であ り 、 前記欠落する色成分が Gである。
また、 本発明の第 1 5 の側面によれば、 第 3 の側面に係る 画像処理装置に関 し、 前記単板撮像素子は原色べィャ配列の モザイ ク フ ィ ルタを有 し、 前記注目画素において色成分 Gが 得られてお り 、 当該注目画素と、 この注目画素を中心とする 所定サイ ズの近傍内で色成分 R を有する画素の各々 を結んだ 方向を前記複数の方向 と し、 前記複数種類の色成分は Rおよ ぴ G であ り 、 前記欠落する色成分が R である。
また、 本発明の第 1 6 の側面によれば、 第 3 の側面に係る 画像処理装置に関し、 前記単板撮像素子は原色べィャ配列の モザイ ク フ ィ ルタを有 し、 前記注目画素において色成分 Gが 得られており 、 当該注目画素と、 この注目画素を中心とする 所定サイ ズ近傍内で色成分 B を有する画素の各々 と を結んだ 方向を前記複数の方向 と し、 前記複数種類の色成分は Bおよ ぴ Gであ り 、 前記欠落する色成分が Bである。 また、 本発明の第 1 7 の側面によれば、 第 1 1 の側面に係 る画像処理装置に関 し、 前記複数の方向は、 前記注目画素の 所定サイ ズの近傍において、 前記注目画素において欠落する 色成分と、 当該注目画素において得られている色成分の う ち いずれか一つと 、 の両方の色成分が得られている画素の各々 と、 前記注目画素と を結んだ方向に設定される。
また、 本発明の第 1 8 の側面によれば、 第 1 7 の側面に係 る画像処理装置に関 し、 前記単板撮像素子は原色べィャ配列 のモザイ ク フ ィ ルタ を有し、 前記注目画素において欠落する 色成分が Rまたは Bであ り 、 前記注目画素において得られて いる色成分の う ちいずれか一つは Gである。
また、 本発明の第 1 9 の側面によれば、 第 9 の側面に係る 画像処理装置に関し、 前記所定の係数を前記色ずれ評価部で の評価結果に応 じて変化させる際に、 前記注目画素で得られ ている色成分と のずれ量が大きな色成分の種類を調べ、 該当 色成分に関する前記画素値差分に対して割 り 当てる係数を小 さ く する。
また、 本発明の第 2 0 の側面によれば、 第 1 2 の側面に係 る画像処理装置に関 し、 前記所定の係数を前記色ずれ評価部 での評価結果に応じて変化させる際に、 前記欠落を復元した い色成分と のずれ量が大きな色成分の種類を調べ、 該当色成 分に関する前記加重平均結果に割り 当てる係数を小さ く する また、 本発明の第 2 1 の側面によれば、 コ ンピュータに光 学像を撮像系によ り 撮像した画像を入力 し、 各画素で欠落す る色成分を補ってカ ラー画像を出力する画像処理プロ グラム であって、 前記コ ンピュータに、 注目画素を含む所定サイズ の 近 傍 に お い て 、 注 目 画 素 か ら 発 す る 複 数 の 方 向 S l， S 2 , . . S n ( n は 1 以上の整数）の各方向 S k ( k は 1 力 ら n の 整数） に対する重み Wk を設定する重み設定機能と、 前記所 定サイズの近傍において各方向 S k ( k は 1 力 ら n の整数） 上にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対 し、 画素値 V I カゝら Vn の前記重み W 1 力 ら Wn による加重平均 を計算する平均機能と、 複数種類の色成分に対して前記平均 機能によ り 加重平均を算出 し、 この加重平均結果と、 前記注 目画素の画素値と に基づいて、 前記注目画素において欠落す る色成分の値を復元する復元機能と、 を実現させる。
また、 本発明の第 2 2の側面によれば、 第 2 1 の側面に係 る画像処理プロ グラムに関 し、 前記重み設定機能は、 複数の 色成分各々 に対して前記近傍内での方向 S k に平行に並ぴか つ該当色成分を有する二つの画素の組を一組以上選択し、 前 記各組の画素値差分に所定の係数を乗じて緩和 した値に基づ いて、 前記各方向 S k に対する重み Wk を計算する。
また、 本発明の第 2 3 の側面によれば、 第 2 1 の側面に係 る画像処理プロ グラムに関 し、 前記復元機能は、 前記注目画 素における色成分間のエ ッジのずれ量を評価する色ずれ評価 機能を有し、 この色ずれ評価機能での評価結果に応じて前記 欠落する色成分の計算方法を変える。
また、 本発明の第 2 4の側面によれば、 第 2 1 の側面に係 る画像処理プロ グラムに関 し、 前記復元機能は、 前記注目画 素における色成分間のエ ッジのずれ量を評価する色ずれ評価 機能を有し、 当該注目画素の画素値、 および前記複数種類の 色成分に対する前記平均機能の加重平均結果に、 前記色ずれ 評価機能の評価結果に応じて変わる係数を乗 じた後、 総和 し て前記欠落する色成分の値を求める。
また、 本発明の第 2 5 の側面によれば、 第 2 3 または第 2 4 のいずれか 1 つの側面に係る画像処理プロ グラ ムに関 し、 前記色ずれ評価機能は、 前記光学像の有する色収差に基づい て色成分間のエッジのずれ量を評価する。
図面の簡単な説明
図 1 は、 本発明の第 1 実施形態に係る画像処理装置と して のデジタルカメ ラ 1 0 0 の概略構成を示すプロ ック図である 図 2 は、 重み計算回路 A106 で設定される重み計算用の領 域の説明図である。
図 3 A， 3 B は、 重み計算回路 B112 における一回目 の動 作時の作用説明図 （その 1 ) である。
図 4 は、 重み計算回路 B112 における一回目の動作時の作 用説明図 （その 2 ) である。
図 5 A， 5 Bは、 重み計算回路 B112 における一回目 の動 作時の作用説明図 （その 3 ) である。
図 6 A , 6 B , 6 Cは、 重み計算回路 B112 における二回 目 の動作時の作用説明図である。
図 7 は、 本発明の第 1 実施形態における好ま しい第二の変 形例における推定回路 119 の図である。
図 8 は、 本発明の第 1 実施形態において、 第三の好ま しい 変形例で設定される重み計算用の領域の説明図である。 図 9 は、 本発明の第 1 実施形態に対応したソフ ト処理のフ ロ ^である。
図 1 0 は、 本発明の第 1 実施形態に対応したソ フ ト処理に おける RB復元処理のフ ローである。
図 1 1 は、 本発明の第 2実施形態に係る画像処理装置と し てのデジタルカメ ラ 1 0 0 の概略構成を示すプロ ック図であ る。
図 1 2 A， 1 2 B は、 色ずれ量に応じて重み計算を制御す る関数の説明図である。
図 1 3 は、 本発明の第 2実施形態中好ま しい変形例におけ る色ずれ判定回路 220 の図である。
図 1 4 は、 本発明の第 2実施形態に対応したソ フ ト処理に おける色ずれ量計算のフローである。
図 1 5 A， B , Cは、 従来技術の説明図である。
発明を実施するための最良の形態
以下、 図面を参照 して本発明の実施形態について詳細に説 明する。
(第 1 荚施形態）
図 1 は、 本発明の第 1 実施形態に係る画像処理装置と して のデジタルカメ ラ 100 の概略構成を示すブロ ック 図である。 デジタルカメ ラ 100 は、 図 1 に示すよ う に、 光学系 101 と、 単板べィャ配列 CCD102 と、 単板べィャ配列 CCD102からの出 力画像を記憶する単板画像バ ッ フ ァ 103 と、 単板画像バ ッ フ ァ 103 内の画像に対し、 G 成分が欠落している画素位置にお ける G成分を推定して G成分画像を生成し、 これを G画像バ ッファ 109 に記憶する G 復元回路 104 と 、 G画像バッフ ァ 109 に記憶された G成分画像および単板画像バッファ 103 内 の画像に基づいて Rおよび B成分の欠落を復元し、 3 色カ ラ 一画像を生成してカ ラー画像バ ッ フ ァ 115 に記憶する R/B復 元回路 110 と、 カラー画像バ ッ フ ァ 115 内の 3色カラー画像 に対して色変換やエッジ強調を行う画質調整回路 116 と、 画 質の調整された画像を記録する記録回路 117 と、 前記した各 回路の動作を制御する制御回路 118 とからなる。
上記した G 復元回路 104 は、 重み計算回路 A106 と、 平均 回路 A107 と、 G 計算回路 108 と からな り 、 RB 復元回路 110 は、 重み計算回路 B112 と、 平均回路 B113 と、 KB 計算回路 114 と か ら な る。 重み計算回路 A106 お よび重み計算回路 B112 は、 いずれも近傍の複数の方向に対 して凹凸度を評価 し、 評価結果に基づいて各領域に割り 当てる重みを計算する が、 計算方法は異なる。
また、 平均回路 A107および平均回路 B113 は、 いずれも各 方向で特定色成分を有する画素を選択し、 各方向に割 り 当て られた重みに基づいて選択した画素の画素値の加重平均を計 算するが、 計算方法は異なる。
また、 G 計算回路 108 は、 平均回路 A107 から得られた色 成分ごと の加重平均結果から最終的に欠落する G成分の値を 計算 し、 RB 計算回路 114 は平均回路 B113 から得られた色成 分ごと の加重平均結果から最終的に欠落する R 成分ない し B 成分の値を計算する。
上記したデジタルカメ ラ 100の作用は以下の通 り である。 図示しないシャ ツタがユーザによ り 押下される と、 まず、 光 学系 101 によ る光学像が単板べィャ配列 CCD 102 で撮像され 各画素あた り 一種類の色成分しかない単板状態の画像が単板 画像 ッ フ ァ 103 に得られる。 次に、 重み計算回路 A106 は 単板画像バ ッ フ ァ 103 内の単板状態の画像の各面素に対 して 処理を行う が、 注目画素で得られている色成分の種類によ り 処理が異なる。
注目画素で得られている色成分が Gの場合、 画素値をその まま G画像バ ッ フ ァ 109 の対応する画素位置に書き込む。
—方、 注目画素で Rまたは B成分が得られている場合は、 欠落する G成分を補 う処理を行 う。 以下、 注目画素で得られ ている色成分が図 2 の よ う に B の場合を例に説明するが、 注 目画素で得られている色成分が Rの場合は B を R に置き換え ればよい。
この場合、 図 2 に示すよ う に、 'まず注目画素の 5X5 近傍 内で上下左右の 4方向に f 算用の領域 S j ( j は 1 から 4 の整 数）を設定し、 各領域 Sj に対し、 領域に隣接する G画素も利 用 して、 以下の式で凹凸度 Ej を計算する。 式中、 min(x，y) は X と yの小さい方を返す関数である。 、
E1=|B5-B7 I + I G4-G61 -min ( | G4-G6 | , IG2-G8 |.)
E2= I B5 -B9 I + I G2 -G8 | -min ( | G -G6 | , |G2-G8 | )
式（3〉 E3=|B5-B3|+|G4-G6| -min(lG4-G6| , |G2-G8 | )
E4= I B5-B1 I + I G2-G8 I -min ( | G4-G6 | , \ G2-G81 ) こ こで算出された凹凸度 Ej は、 各領域が平坦でないほど 大き く 、 平坦なほど小さ く なる指標である。
次に、 重み計算回路 A106 は、 凹凸度 Ej から、 各方向に対 する重み Wj を、 '
Wj = (1/Ej)/W、 W = 1/E1 + 1/E2 + 1/E3 + 1/E4 式（4) に従って計算し、 結果を平均回路 A107 に出力する。
平均回路 A107 では、 重み計算回路 A107 から入力された重 み W1 から W4 に基づいて、 各領域 Sj 内の画素値を使って色 成分ごと の加重平均を計算 し、 結果を G計算回路 108 に出力 する。 具体的には、 色成分 G に対しては領域 S1〜S4 からそ れぞれ G6，G8, G4, G2 を と り 、 加重平均
Ga = W1*G6+W2*G8+W3*G4+W4*G2 式 (5) を計算する。 また、 色成分 B に対しては、 領域 S1~S4 から それぞれ B7, B9, B3， B1 をと り、 加重平均
Ba = W1*B7 + W2*B9 + W3*B3+W4*B1 ¾ (6) を計算する。 ただし、 色成分 R に対しては、 領域 S1〜S4 に
R成分が含まれていないので計算 しない。
G計算回路 108 では、 平均回路 A107から出力された Ga, Ba および注目画素で得られている B5 から、 最終的に欠落する G 成分 G5 を、 G5 = Ga+ (B5- Ba) と計算 し、 G画像バッ フ ァ 109 內の対応する画素位置に書き こむ。
単板画像バッ ファ 103 内の画像の全画素に対してこれらの 一連の処理が終了する と、 G画像バッフ ァ 109 には G成分の 欠落が捕われた画像が得られる。 その後、 制御回路 118 は RB 復元回路 110 を動作させる。 RB 復元回路 110 内では、 重 み計算回路 B112 が単板画像バッ ファ 103 内の画像の各画素 に対す る 処理 を 開始す る が 、 各画素で単板べィ ャ配列 CCD 102 から得られている色成分の種類によ り 、 処理が異な る。
まず、 注目画素で得られている色成分が G以外の場合は、 注目画素の画素値をカ ラー画像バッフ ァ 115 に書きこむ。 ま た、 G画像バッフ ァ 109から注目画素に対応する画素位置の 画素値を読み出 し、 同 じく カラー画像バッ フ ァ 115 に書き こ む。
一方、 注目画素で得られている色成分が Gの場合は、 単板 画像バッファ 103 から注目画素の周囲 5X5 の近傍の画素値 を読み出 し、 同時に、 G画像バッフ ァ 109 から も対応する近 傍の画素値を読み出 して、 複数の方向に対する凹凸度を計算 する。
計算する方向は図 3 A， 3 B に示す D1〜！ )12 の 12 方向で 計算用の領域は図 4の S 1〜 S 12 である。 各領域は、 近傍内で 色成分 Rまたは Bが得られている画素 （図 3 中斜線で示した 部分） と注目画素の二つの画素からなっている。
各方向 Dj ( j は 1 から 12 までの整数） に対する凹凸度 E j は、 各領域 Sj に含まれる二つの画素の G成分の差分によ り 計算される。 例えば、 5X5 近傍において得られている色 成分のパターンが図 5 Aの場合、 方向 D1 に対する凹凸度は . El = |G2- G13| と 算 出 さ れ、 D7 に対す る 囬凸度は、 E7 = |G6-G13 Iと なる。
次に、 重み計算回路 B112 は各方向 Dj の凹凸度 Ej から、 以下のよ う に方向ごと の重みを計算する。 D1-D6に対し、 Wj=(l/Ej) ,W=l/El+l/E2+l/E3+l/E4+l/
E5+l/ES(jは 1から 6の整数） 式（7〉
D7-D12に对し、 Wj=(l/Ej)W ,W =1/E7+1/E8+1/E9+1/
E10+1/E11+1/E12 (j fま 7力 ら 12の整数）
そ し； C、 これらの計算結果を平均回路 B113 に出力する。 D1
〜D6 と D7〜！) 12 の二組に分けて計算 している理由は、 各領 域で得 られる色成分のパターンが異なる か らであ る。 5 X 5 近傍において得られている色成分のパターンが図 5 Aの場合 は、 D1〜D6 に対応する領域 Sl〜 S6 では G成分と B成分、 D7 〜！ )12 に対応する領域 S1〜S6 では G 成分と R 成分が得られ る。 5X 5 内で得られる色成分のパターン と しては他に図 5 Bがあるが、 この場合は D 1〜 D6 に対応する領域 S 1〜 S6 では G成分と R成分、 D7〜！) 12 に対応する領域 S1〜S6 では G成分 と B成分が得られる。
平均回路 B113 は、 重み計算回路 B112 において設け られた 各方向ごと に、 まず計算用の領域' Sj (j は 1~ 12 までの整 数）から、 注目画素以外の'画素を選択する。 例えば、 図 5 A において、 S1 からは色成分 B に対して B2、 色成分 G に対し て G2 を選ぶ。 そ して、 D1〜D6 と D7〜！） 12.の二通 り の方向の 組に対し、 対応する領域から選択された画素の:画素値を方向 ご と の重みで加重平均 し 、 色成分 ご と の 近傍 内 の 平均 Ra, Ga, Ba を求める。 ただ し領域に該当する色成分が含まれ ない場合は計算は行わない。 図 5 Aおよび図 5 B に対して行 われる加重平均の計算式は、 図 5 Aに対して ： 方向 D1-D6の力口重平均： Ba=Wl *B2+W2 *B4 + 3 *B12+W *B1 j +W5*B22+W6*B24 式（8-1)
' Gal= l*G2+W2*G4+ 3*G12+W4*Gl4
+W5*G22+ 6*G24
方向 D7~D12の力 U重平均： Ra=W7 *R6+W8 *R8+W9 *R10+Wl 0 *R16
+W11*R18+W12*R20 式（8 - 2)
Ga2=W7*G6+ 8*G8+ 9*G10+ 10*Gl6
+ 11*G18+ 12*G20
図 5 Bに対して ： 方向 D1-D6の力 [[重平均： Ra=Wl *R2+W2 *R4+ 3*R12+ *R14
+W5*R22+W6*R24 ，8_つ）
Ga2 = 1*G2+W2*G4 +W3 *G12 + *G14
+W5*G22+W6*G24 - 方向 D7~D12のカロ重平均： Ba=W7 *B6+W8 *B8+W9 *B10+Wl 0 *B16
+W11*B18+W12*B20 ■ 式（8 - 4)
Ga 1 =Wフ * *G8 * Gl 0+ W 0 *G16
+ 11*G18+W12*G20 近傍内 の加重平均が こ の よ う に完了する と 、 平均回路 B113 は加重平均結果を RB計算回路 114 に出力する。
RB 計算回路 114 では、 '注目画素の画素値と平均回路 B 113 からの出力に基づいて、 以下のよ う に欠落色成分 B13および R13 を計算する ：
B13=Ba+ (G13-Gal)
R13=Ra+ (G13-Ga2) 式（9>
¾ して、 計算結果をカ ラー画像バッ フ ァ 115 の注目画素に. 対応する位置に書き込む。 なお、 式 （ 9 ) で Ba や Ra に、 さ らに Galや Ga2 と注目画素の G成分との差を加えている理 由は、 Ba や Ra をそのまま欠落色成分の推定値とする と 、 注 目画素自身の情報が利用されないために全体的にのつぺり し た不自然な印象が生じて しま う 現象を防ぐためである。
こ こまでの処理が単板画像バッファ 103 内の画像の全ての 画素に対して終了する と、 カラー画像バッフ ァ 115 內に単板 画像バッフ ァ 103 と 同 じ画素数の画像が生成され、 各画素で は、 RGB 全ての色成分が得られているか、 または R 成分また は B成分のみが欠落する状態と なる。 する と 、 次に重み計算 回路 B112が再度作動する。
重み計算回路 B112 は、 今度はカラー画像バ ッ フ ァ 115 の 各画素の近傍を読み出 して処理を行う が、 注目画素で RGB全 ての色成分が得られている場合は何も しない。 欠落している 色成分がある画素では、 注目画素の 3X3 近傍の画素値を力 ラー画像バ ッ フ ァ 115 カゝら読み出 し、 まず図 6 Cに示すよ う に上下左右おょぴ 4つの対角方向の計 8方向 D1〜D8 で近傍 内の凹凸度を計算する。 図 6 Aは、 3X 3 近傍で得られる色 成分のパターンを例示したものだが、 計算用の領域は、 方向 D1-D8 に対し、 図 6 B に示すよ う に注目画素の周囲で 3X3 近傍に含まれる 8画素のいずれかと注目画素との 2画素から なる Sl〜 S8 の 8通 り である。 方向 Dj の凹凸度 Ej は、 領域 S j に含まれる二つの画素の G成分の差分で評価する。 例え ば D1 に対する凹凸度は、 El = |G1- G5|と算出され、 D5 に おける凹凸度は、 E7 = |G9- G5|と なる。 そ して、 全領域の凹 凸度の計算が終了する と、 凹凸度 Ej から、 各方向に対する 重みを以下のよ う に計算する （j は 1 から 8 までの整数） j=(l/Ej)/W, W=∑ (1/Ek) は 1 力 ら 8 までの整数）
式 (10) そ して、 結果を平均回路 B113 に出力する。 なお、 3X3 近傍 で得られる色成分のノ、。ターンと しては、 他に図 6 Aの R と B を入れ替えたものがあるが、 この場合でも重みの計算は同一 となる。
平均回路 B113 では、 各方向 Dj に対し、 Sj から注目画素 以外の画素を選択する。 そ して、 注目画素で欠落する色成分 C (C は R, B のいずれか） および色成分 Gに対し、 選択された 画素の画素値を平均回路 B113 から出力された重み Wj で加重 平均した値
Ca = ∑ Wj*Cj， Ga = ∑ Wj*Gj 式（11) を RB計算回路 114 に出力する。
RB 計算回路 114 では、 注目画素においてすでに計算され ている G成分 G5 および平均計算回路 B113 から出力された加 重平均値を用いて、 注目画素において欠落する色成分 C5(C は R, B のいずれか） を、 C5 = Ca+(G5- Ga)と推定する。 そ し て、 結果をカ ラー画像バッフ ァ 115 の対応する画素位置に書 き込む。
こ こまでの処理が完了する と、 カラー画像バッ ファ 115 に は全画素で欠落色成分が復元されたカ ラー画像が得られる。 その後、 得られたカ ラー画像は画質調整回路 116 によ り 色変 換、 エ ッ ジ強調、 階調変換な どの処理を施され、 記録回路 117 によ り 図示 しない記録媒体に記録され、 デジタルカ メ ラ 100 の撮像動作が完了する。
なお、 本実施形態には多く の変形例が考え られる。 第一の 好ま しい変形例は、 重み計算回路 A106 における重み計算の 仕方である。 重み計算回路 A106 では、 各方向に対して算出 された凹凸度に基づいて重み計算を行 う が、 前述の計算式 (4), (7), (10)では、 凹凸度の絶対的な大小に関係なく 同 じ重 み付,けを行って しま う。 しかし、 現実的には凹凸度が全方向 で一様に小さい場合はノ イ ズの影響が支配的と考えられ、 重 み付けもでき るだけ均等にするほ う が望ま しい。 そこで、 例 えば計算式（10)を以下のよ う に変形し、 Wj に替えて以下の 新しい重み W' j を用いる。
■ W j=Vj/W ,W' =∑Vk (kは 1から 8までの整数） , Ί
V = *Wj+(l- > *1/8, r=h ( ax(ElfE2r-fE8) ) J ェ （12) 式中、 W j は式（ 10)で計算された値である。 また、 h (X)は X の単調減少な関数， max (vl， v2, .. v8)は vj ( j は 1 力、ら 8 の 整数） 中最大値を与える関数である。 これによ り 、 近傍にお ける凹凸度の絶対的な大き さが大きいほど V は小さ く 、 逆に 小さいと γ は大き く なる。 その結果、 ノイ ズの影響が相対的 に小さい場合は式（ 10)で計算される重み付けに近づき、 ノィ ズの影響が大きい場合は均等な重み付けに近づく よ う に重み が計算される。
第二の好ま しい変形例は、 重み計算回路 の計算方法 の変更である。 重み計算回路 A106 では、 各方向の凹凸度を G 成分の差分で評価しているが、 画像パターンによっては G 成分がほとんど変化せず R, Β成分だけが変化している場合も あ り う る。 そのよ う な場合に対処するため、 図 5 Α , Β にお いて各方向 Dj の凹凸度を、 G 以外の色成分も用いて計算す る。 そのために、 重み計算回路 A106 は図 7 に示す推定回路 119 を有し、 注目画素における G 以外の色成分の値を推定す る。 例えば図 3 の場合、 D1 カゝら D6 の方向に対しては、 注目 画素の B 成分の推定値と して B' = (B12 + B14) /2 を計算 し、 凹 凸度 Ej (j は 1 力 ら 6 の整数）を、 Ej = | Gk-G13 | + | B' -Bk | と計算する。
こ こで、 k は領域 Sj に含まれる注目画素以外の画素の番 号である。 D7 力、ら D12 の方向に対しては、 注目画素の R 成 分の推定値と して R' = (R8 + R18) /2 を計算 し、 凹凸度 Ej (j は 7 力、ら 12の整数） を、 Ej = | Gk-G13 | + | R' -Rk | と計算す る。 k は D1 力、ら D6 に対する場合と 同 じである。
同様に、 図 6 Aにおいてはまず、 注目画素における B成分 の推定値と して B' = (Bl+B3+B7+B9) /4 を計算 し、 方向 D1 か ら D8 に対する凹凸度 Ej を Ej = |G5-Gk | + | B' - Bk |と計算 する。 こ こで、 k は領域 Sj に含まれる注目画素以外の画素 の番号である。
また、 重み計算回路 A106 の計算の変更法と して、 第三の 好ま しい変形例をあげる こ とが出来る。 この変形例では、 上 下左右方向の凹凸度を計算する領域に図 8 に示すよ う に G画 素を加え、 例えば右方向の凹凸度 E1 を、 1 5 0， 1 5 1 で 示す矩形領域の差分も含めて
El= I B5-B71 + |G4-G6 | -min ( | G4-G6 | , | G2-G8 | ) +min ( | G2- G10 I , I G8-G1.1 I ) 式（13) と計算する。 このよ う に、 互いに位置がずれているが方向は 平行と なっている画素値差分を組み合わせる こ と で斜めエツ ジに対する復元精度を向上させる こ と が出来る。 また、 本実施形態ではデジタルカメ ラ内での回路処理を示 したが、 図 9 および図 1 0 に示すフローによる ソフ ト ウェア 処理も可能である。 このフ ロ ーは、 Inlmg, Outlmg とい う 二 つのメ モ リ 領域を用いる。 そ して、 単板べィ ャ配列 CCD102 よ り 出力された、 各画素につき二種の色成分が欠落する状態 の画像を Inlmg に書き込み、 処理を行 う と 、 Outlmg に各画 素に 3色そろったカラー画像が得られる。 以下、 フ ロ ーのス テ ツプを説明する。
まず、 ステ ップ S 1 では、 Inlmg の画素値を Outlmg にコ ピーする。 その際、 Inlmg の各画素位置で得られる色成分の 種類 C を計算 し、 Outlmg の対応する画素の、 色成分 C の値 と して書き込む。 次に、 ステ ップ S 2 では、 Inlmg を走査し , 色成分 Rまたは Bが得られている画素が存在するかど う か探 索する。 該当する画素がない場合はステ ップ S 6 に進み、 あ る場合はステ ップ S 3 に進む。 以下、 該当する画素を X とす る。
ステ ップ S 3 では、 画素 X の 5X5 近傍内で図 2 に示すよ う に上下左右に領域をと り 、 各方向の重みを計算する。 計算 式は、 式（3)， （4)である。 なお、 式（4)は画素 Xにおいて B成 分が得られている例で、 R 成分が得られている場合は B を R に置き換える。
次に、 ステ ップ S 4では、 画素 Xの上下左右にあって色成 分 G を持つ画素の画素値を、 ステ ップ S 3 で計算された各方 向の重みで加重平均し、 Ga を得る。 計算式は式（5)である。 また、 画素 X で得られている色成分 C (あるいは R または B) に対し、 画素 Xの上下左右にあって色成分 C を持つ画素の画 素値を、 ステップ S 3 で計算された各方向の重みで加重平均 し、 Ca を得る。 Cが B の場合の計算式は式（6)である。
ステップ S 5 では、 ステ ップ S 4 で計算された加重平均、 および画素 X の画素値 （図 2 と対応付けて、 以下これを C5 とする。 C は R, B のいずれかである。 ) から、 欠落する G成 分の値 （同様にこれを G5 とする） を、 G5 = Ga + (C5 - Ca) と計算する。 そ して、 G5 を Outlmg に書き込む。
ステ ッ プ S 6 では、 図 1 0 のフ ロ ーに示す工程に従った RB 復元処理を行う。 以下は、 RB 復元処理のフローの各ステ ップの説明である。
まずステ ップ S 7 では、 Outlmg を走査し、 色成分 G しか 得られていない未処理の画素が存在するかど う か探索する。 未処理の画素がない場合にはただちにステ ップ S 11 に移行 し、 未処理の画素がある場合にはステ ップ S 8 に進む。 以下. 該当する画素を Y と呼ぶ。
ステップ S 8 では、 画素 Y の 5X5 近傍内に図 3 に示した D1 から D6,および D7 から D 12 の二組各 6 通 り の方向を設け . 各方向の重みを計算する。 そのために、 各方向上で、 図 3 の 斜線で示した画素の G成分の値と 、 画素 Yの G成分の値の差 分の絶対値 Ej (j は 1 から 12 の整数）を求め、 重みを組ごと に式（7)で計算する。
ステップ S 9 では、 D1 力 ら D6、 および D7から D12の各耝 ごと に、 図 3 の斜線で示した画素の画素値を色成分ごと にス テツプ S 8 で計算された重みで加重平均する。 斜線で示した 画素では色成分 G と R または G と Bが得られているので、 二 種類の色成分に対する加重平均結果が得られる。 得られる色 成分の種類おょぴ計算式は、 画素 Yの近傍で得られている色 成分のパターンが図 5 A， B のいずれかに応 じて式（8-1)か ら式（8-4)に示 した とお り である。
ステ ップ S 1 0 では、 ステ ップ S 9 で得られた加重平均結 果、 および画素 Y で得られている画素値（図 5 Aないし 5 B と対応付けて、 以下 G13 とする） に基づいて、 欠落する R成 分および B 成分（これらを同様に R13, B13 とする） を、 計算 式（9)で求め、 Outlmgに書き込む。
ステ ップ S 1 1 では、 Outlmg を走査 し、 欠落する色成分 のある画素を探す。 該当する画素がない場合は終了し、 ある 場合はステ ップ S 1 2 に進む。 以下、 該当する画素を Z とす る。
ステップ S 1 2 では、 画素 Z の 3X3 近傍で図 6 Cに示 し た 8方向をと り 、 各方向の重みを計算する。 そのために、 ま ず各方向にある近傍画素と画素 Z の注目画素の差分の絶対値 Ej ( j は 1 から 8の整数） を求め、 重みを式（10)に従い計算 する。
ステップ S 1 3 では、 画素 Zで欠落する色成分 Cおよび色 成分 G に対 し、 各方向にある画素の対応する色成分の値を S12 で求めた重みによ り加重平均する。 計算式は式（11)であ る。
ステ ップ S 1 4では、 ステ ップ S 1 3 の加重平均結果、 お ょぴ画素 Z で得られている G 成分 （図 6 Aと対応付けて G5 とする） に基づいて、 欠落色成分 （同 じ く C5 とする） を C5 = Ga + (C5— Ca)によ り 求め、 Outlmg に書き込む。
なお、 本実施形態および変形例は、 請求項 1 、 2、 3 、 4 5 、 6、 7 、 1 0 、 1 4、 1 5 、 1 6 、 1 7 、 1 8 、 2 1 、 2 2 に記載の発明を含んでいる。
(第 2実施形態）
図 1 1 は、 本発明の第 2実施形態に係る画像処理装置と し てのデジタルカメ ラ 2 0 0 の概略構成を示すプロ ック図であ る。 第 2実施形態は第 1 実施形態と同様の部分が多いので、 以下では第 1 実施形態と異なる部分についてのみ記載する。 第 2 実施形態は第 1 実施形態と 同 じく 本発明をデジタルカメ ラに適用 した例であるが、 光学系 101 の状態に応じて補間処 理の特性を変化させる点が異なる他は第 1 実施形態と は同一 である。 そのために、 図 1 1 に示すよ う に、 光学系 101 の状 態に基づき単板画像バッファ 103 内の各画素位置でのエッジ の色ずれ量を算出する収差計算回路 219が設け られ、 その出 力によ り G復元回路 204 中の重み計算回路 A206 と G 計算回 路 208、 および RB復元回路 210 中の重み計算回路 B112 と RB 計算回路 214が制御される。
以下、 デジタルカ メ ラ 200 の作用を、 第 1 実施形態と異な る点を中心に説明する。 図示しないシャ ツタがユーザによ り 押下される と、 第 1 実施形態と 同 じく 、 光学系 101 によ る光 学像が単板べィャ配列 CCD102 で撮像され、 各面素あた り一 種類の色成分 しかない単板状態の画像が単板画像バ ッ フ ァ 103 に得られる。 また、 光学系 101 の焦点距離と被写体距離 が収差計算回路 219 に出力される。
次に、 重み計算回路 A206 が単板画像バッ ファ 103 內の単 板状態の画像の各画素に対して処理を行う が、 注目画素で得 られている色成分が Gの場合は、 第一の形態と同 じ処理が行 われる。 一方、 注目画素で色成分 Rまたは Bが得られている 場合は、 第一の形態と 同 じく 注目画素近傍の上下左右の 4方 向に対する凹凸度の計算を行う が、 それに先立って、 まず収 差計算回路 219 に注目画素の座標（x, y)を出力する。
収差計算回路 219 は、 焦点距離、 被写体距離、 および光軸 中心からの距離、 の 3 つの量の離散的な値の組に対して、 色 成分 G に対する色成分 R および B の色ずれ量が記録された LUT を回路内に保持している。 そ して、 座標（x, y)が入力さ れる と 、 まず光軸中心に対応する座標（cx, cy)と注目画素の 座標 （x, y) の距離の 2 乗 D を、 D= (cx-x)2 + (cy-y)2 によ り 計算する。 次に、 先に入力された焦点距離、 被写体距離、 計算された D、 および LUT に保持されたデータから、 公知の テーブル捕間法によ り座標（X, y)における色成分 G に対する 色成分 R の色ずれ量 Ar、 および色成分 G に対する色成分 B の色ずれ量 Ab を算出 して重み計算回路 A206 に出力する。
その後、 重み計算回路 A206 では、 注目画素の上下左右に 図 2 に示す S1〜S4 の領域を設け、 各領域の平坦度 Ej (j は 1 〜4 の整数）を、 以下の式で計算する。 第一の形態例での説 明同様、 注目画素で得られている色成分が図 2 の よ う に β の 場合についての説明である。 Ε1=α?* IB5-B7 | + |G4-G6| -min( |G4-G6| , |G2-G8 | )
E2= or * I B5 -B9 I + I G2 -G8 | -rnin ( | G4 -G6 | , |G2-G8 | ) .
¾(14)
E3= * I B5-B3 | + | G4 -G6 | -min ( | G -G6 | , |G2-G8 | )
Ε4=α* I B5-B1 I + I G2-G8 | -min ( | G4-G6 | , |G2-G8 | )
a=l-f (I |G4-G6| -IG8-G12 | | ) *g (ma (Ar,Ab) )
式中、 f, g は図 1 2 A, B に示す関数で、 図中の T1， T2 は所 定の閾値である。 また、 max (X, y)は X と y の大きい方を表す 式（ 14)の は、 色ずれ評価量 Ar ない し Ab が T 1 付近、 かつ G 成分の水平方向の差分 G4- G6 iと垂直方向の差分 |G2-G8 |が 比較的近い値の場合に 0 に近づき、 その他の場合は 1 に'近づ く こ と を特徴とする。 その結果、 特に色ずれ量が 1画素に近 い斜めのエ ッジに対し、 凹凸度が近傍の色成分 Gのみに基づ いて計算される よ う になる。
重み計算回路 A206 における この後の重みの計算自体は、 第 1 実施形態と 同 じであ り 、 計算結果は平均回路 A107 に出 力 される。 ただ し、 第 1 実施形態 と異な り 、 収差計算回路 219 で計算された色ずれ量 Arおよび Ab を G計算回路 208 に 出力する。
平均回路 A107 での処理は第 1 実施形態と 同 じであ り 、 色 成分ごと に、 注目画素近傍の上下左右方向の画'素値に対し、 重み計算回路 A206 で計算された重みによ る加重平均が計算 される。 色成分 Rを持つ画素は図 2で設けた領域にないので 色成分 B と Gの加重平均値 Ba, Gaのみ得られる。
G 計算回路 208 では、 平均回路 A107 から出力された色成 分ごとの加重平均と注目画素の画素値から、 最終的に欠落す る G 成分 G5 を算出 し、 G画像バッフ ァ 109 内の対応する画 素位置に書き こむ。 ただし、 計算式が第 1 実施形態と少 し異 な り 、 重み計算回路 A206 から得られた色ずれ量 Ab を用いて G5=Ga+ * (B5-Ba)
=1 - g(Ab) 式（15) と計算する。 こ こで、 g は図 1 2 B に示した関数である。 単板画像バッフ ァ 103 内の画像の全画素に対してこれらの 一連の処理が終了する と、 第 1 実施形態と 同 じく 、 G画像バ ッファ 109 には G成分の欠落が捕われた画像が得られる。 そ の後、 制御回路 .118 は RB復元回路 210 を動作させる。 RB 復 元回路 210 内では、 重み計算回路 B112 が単板画像バッフ ァ 103 内の画像の各画素に対する処理を開始するが、 その内容 は第 1 実施形態と 同 じである。 その結果、 色成分 Gが得られ ている注目画素の近傍で、 図 5 Aに示した D1〜D12 の 12 方 向に対し、 D1〜！ )6 の組と D7〜D12 の組各々 に対して重み W1 力 ら W6、 および W7 から W12 が得られる。 その後平均回路 B113 が動作するが、 その処理内容も第 1 実施形態と 同一で あ り 、 例えば近傍で得られている色成分のパターンが図 5 B の場合は方向 D1〜！) 6 に対する加重平均結果と して Baおよび Gal が得られ、 方向 D7〜！ 12 の加重平均結果と して Ra およ ぴ Ga2； ^得られる。 '
次に RB 計算回路 214 が動作するが、 第 1 実施形態と異な り 、 まず収差計算回路 219 に注目画素の座標（X, y)を出力す る。 収差計算回路 219 は G成分の欠落を捕 う際に行ったの同 じ処理を行い、 注目画素における G成分に対する R成分の色 ずれ量 Ar と G成分に対する B成分の色ずれ量 Ab を算出 して RB計算回路 214 に出力する。 RB 計算回路 214 では、 平均回路 B113 からの加重平均結果 および色ずれ量 Ar， Ab を用いて、
Bl3-Ba+j¾* (G13- Gal) /R13=Ra+/Sr* (G13-Ga2) 1一
Figure imgf000030_0001
のよ う に注目画素で欠落する R成分と B成分を計算 し、 結 果をカラー画像バッフ ァ 115 の注目画素に対応する位置に書 き込む。 式中 g は図 1 2 Bに示す関数である。
こ こまでの処 aが単板画像バッフ ァ 103 内の画像の全ての 画素に対して終了する と、 カラー画像バッフ ァ 115 内に単板 画像バッフ ァ 103 と 同 じ画素数の画像が生成され、 各画素で は、 RGB 全ての色成分が得られているカ または R 成分また は B成分のみが欠落する状態と なる。 する と次に重み計算回 路 B112 が再度作動するが、 その処理内容は第 1 実施形態と 同一であ り 、 欠落している色成分がある画素に対し、 図 6 C に示した、 近傍の方向 D 1〜 D8 に対する重み W j ( j は 1 力 ら 8 までの整数）を算出 して平 ¾回路 B113 に出力する。
平均回路 B 113 の処理内容も第 1 実施形態と同一であ り 、 注目画素で欠落する色成分 C (Cは R, B のいずれか） および色 成分 Gに対する近傍画素の加重平均 Ca および： Ga を RB 計算 回路 214 に出力する。
RB 計算回路 214 は、 再び収差計算回路 219 に注目画素の 座標（x, y)を出力 し、 注目画素における G 成分に対する R 成 分の色ずれ量 Ar と G成分に対する B成分の色ずれ量 Ab を得 る。 そ して、 平均回路 B113 からの加重平均結果おょぴ色ず れ量 Ac ( c は欠落している色成分が R カゝ B かに応じて r 力 b のいずれ力 ）を用いて、
C5=Ca+^c* (G5-Ga)
Figure imgf000031_0001
式（17) の よ に、 注目画素で欠落する色成分 C (欠落している色成 分に応じて Rか B のいずれか） を計算 し、 結果をカラー画像 バ ッフ ァ 115 の注目画素に対応する位置に書き込む。
こ こまでの処理が完了する と、 カ ラー画像バッフ ァ 115 に は全画素で欠落 成分が復元されたカ ラー画像が得られる。 その後の作用は第 1 実施形態と 同一であ り 、 得られたカ ラー 画像が画質調整回路 116 によ り 色変換、 エッジ強調、 階調変 換などの処理を施され、 記録回路 117 によ り 図示しない記録 媒体に記録されてデジタルカメ ラ 200 の撮像動作が完了する。
- なお、 本実施形態は種々 の変形が可能である。 好ま しい変 形例は、 収差計算回路 219 が存在 しない場合に各画素位置で の色ずれを推定して補間処理を制御する ものである。 具体的 には、 図 1 3 に示すよ う 、 重み計算回路 A206 に以下の作 用を持つ色ずれ判定回路 220 を設ける。 この場合、 はじめに 重み計算回路 A206 が式（14)に よ り 上下左右方向の凹凸度 Ej (j は 1 から 4 の'整数）を求めるが、 収差計算'回路 219 が存 在 しないので、 式（14)中 Ar、 Ab を共に 0 とおいて計算する c 次に、 色ずれ判定回路 220 が動作し、 まず凹凸度 E1 から E4 のいずれが最小かを調べる。 そ して、 最小の凹凸度を与える 方向 k について、 領域 Sk の両脇に色ずれ判定用領域を二 つ設ける。 例えば k が 1 の場合、 色ずれ判定用領域は図 8 中 S1' 中 1 5 0 , 1 5 1 で示 したよ う な二つの領域と な る c そ して、 各領域で凹凸度 Ek を計算 したの と 同 じ方向で G 成 分の差分を計算 し、 その最小値を Δ とする。 また、 領域 Sk 上で G 以外の色成分を持つ画素同士の差分を計算 し、 Δ， と する k が 1 の例では、
厶 = min ( I G2— G101 , 1 G8 - Gil I )， Δ ' = |Β5 - Β7|と なる。
最後に、 色ずれ判定回路 220 は色ずれ量 Αを、
. Γτΐ(Δ' < Τ3 かつ Δ > Τ4)
" 一 ίο (その他の場合 ） 式 (18) と計算する。 こ こで、 T1 は図 1 2 Β に示 した所定の値であ る。 また、 Τ3, Τ4 はあ らかじめ設定された閾値である。 その 後、 重み計算回路 Α206 は再度各方向の凹凸度 Ej (j は 1 から 4 の整数）を求めるが、 今度は式（14)中の Ar, Ab を A とおい て計算する。 そ して前述の方法で凹凸度から重みを計算 し、 平均回路 A107 に出力する。
また、 本実施形態ではデジタルカメ ラ.内での回路処理を示 したが、 ソフ ト ウェア処 ΐίも可能である。 その場合、 フ ロ ー は、 第 1 実施形態中図 9および図 1 0 に示 したものと ほぼ同 じになるが、 ステ ップ S 3, S 5, S 10, S 14·の処理内容が変わ り 、 また、 図 1 4 に示すフローが付加される。 '以下、 第 1 実 施形態と異なる点についてのみ述べる。
まず、 図 9 のステ ップ S 3 については、 重みの計算式が式 (3)から式（14)に変更になる。 ステ ップ S 5 については、 ス テ ツプ S 4 で計算された加重平均、 および画素 X の画素値 (図 3Α， 3Β と対応付けて、 以下これを C5 とする。 C は R, B のいずれか。 ） から、 欠落する G 成分の値 （同様にこれを G5 とする） を式（15)によ り 計算 し、 結果を Outlmg に書き込 む。 ステ ップ S 10 については、 計算式（9)に替えて計算式 (16)を用いる。 ステ ップ S 14 については、 ステップ S 13 の 加重平均結果、 および画素 Z で得られている G成分 （図 6A と対応付けて G5 とする） に基づいて、 欠落色成分 （同 じく C5 とする） を式（17)によ り 求め、 Outlmg に書き込む。
そ して、 ステ ップ S 3， S5, S10, S14 の各ステ ップで色ずれ 量 Ar, Ab が必要と なつた際には、 注目画素（X または Y また は Z)の座標、 およびパラメータ と して与え られる光学系 101 の焦点距離 P から、 図 14 に示すフ ロ ーを用いて色ずれ量の 計算を行う。
図 1 4 において、 まず、 ステ ップ S 15 では、 あ ら力、じめ 設定されている、 光学系 101 の光軸中心の画像上での座標 (cx， cy)と、 与え られた座標（x， y)によ り 、 光軸中心からの距 離の 2 乗 d を求める。 次に、 ステ ップ S 16 ではあ ら力 じめ テーブルと してメ モ リ 上に与え られている色ずれ量を、 光軸 中心からの距離の 2乗 dおよびパラメ ータ と して与えられる 光学系 101 の焦点距離 P を索引 と して引き、 与えられた座標 における色ずれ量 Ar, Ab を求める。
なお、 本実施形態及びその変形例は ^求項
7 、 8 、 9 、 1 0 、 1 1 、 1 2 、 1 3 1 4、 1 5 、 1 6、 1 7 、 1 8 、 1 9 、 2 0、 2 1 、 2 2 2 3 に記載の発明を 含んでいる。
(付記）
1 . 光学像を撮像系によ り撮像した画像を入力 し、 各画素 で欠落する色成分を補ってカラー画像を出力する画像処理装 置であって、
注目画素を含む所定サイズの近傍において、 注目画素から 発する複数の方向 Sl，S2，.. Sn(n は 1 以上の整数）の各方向 Sk ( k は 1 から n の整数） に対する重み Wk を設定する重み 設定部と、
前記所定サイズの近傍において各方向 Sk ( k は 1 から η の整数） 上にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対し、 画素値 VI か ら Vn の前記重み W1 力、ら Wn によ る 加重平均を計算する平均算出部と 、
複数種類の色成分に対して前記平均算出部によ り加重平均 を算出 し、 この加重平均結果と、 前記注目画素の画素値と に 基づいて、 前記注目画素において欠落する色成分の値を復元 する復元部と、
を具備する画像処理装置。
(対応する実施の形態）
第 1 実施形態では、 重み設定部は、 少な く と も重み計算回 路 A106および重み計算回路 B112 に対応し、 平均算出.部は、 少な く と も平均回路 A107および平均回路 B113 に対応し、 復 元部は、 少なく と も G 計算回路 108 および RB 計算回路 114 に対応する。
また、 第 2実施形態では、 重み設定部は、 少な く と も重み 計算回路 A206および重み計算回路 B112および収差計算回路 219 に対応し、 平均算出部は、 少なく と も平均回路 A107 お よび平均回路 B113 に対応し、 復元部は、 少な く と も G 計算 回路 208および RB計算回路 2 1 4 に対応する。
(作用 · 効果）
近傍の複数の方向で重み設定部が各方向に重みを割 り 当て . その重みに基づいて平均算出部が近傍内の画素の画素値の加 重平均を と り 、 復元部が加重平均結果おょぴ注目画素の画素 値に基づいて欠落色成分を求めるので、 単純補間よ り 高精度 の欠落色復元が行える。
2 . 前記重み設定部は、 所定の色成分に関 して、 前記近傍 内での各方向 S k に平行に並び、 かつ該当色成分を有する二 つの画素の組を一組以上選択し、 前記各方向 S k に対する重 み Wk を、 各組の画素値差分に基づいて計算する 1 に記載の 画像処理装置。
(対応する実施の形態）
1 . に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
重み設定部が、 重みを計算する各方向に対し、 当方向に平 行に並びかつ該当色成分を有する二つの画素の画素値差分を 計算 し、 それに基づいて重みを計算する結果、 種々 のエッジ パターンに対して最適な欠落色復元が行える。
3 . 前記重み設定部は、 複数種類の色成分に関する前記各 組の画素値差分を計算 し、 前記画素値差分に所定の係数を乗 じて総和 した値に基づいて、 前記各方向 S k に対する重み Wk を決定する 2 に記載の画像処理装置。
(対応する実施の形態）
1 . に記載の 「対応する実施の形態」 と 同様である。 (作用 · 効果）
重み設定部が、 複数種類の色成分に対する画素値差分を混 合して重み計算する結果、 単一の色成分に対する画素値差分 を利用するだけでは対応できないエッジパターンに対しても 最適な欠落色復元が行える。
4 . 前記重み設定部は、 前記注目画素における所定の色成 分の概算値を前記所定サイズの近傍内で推定する推定部を有 し、 前記各方向 S k に対する重み Wk を、 各方向 S k 上にあ り かつ前記所定の色成分を有する画素の画素値と、 前記概算値 と の差分に基づいて計算する 1 に記載の画像処理装置.。
(対応する実施の形態）
少なく と も第二の好ま しい変形例に対応する。 推定部、 少 なく と も推定回路 1 19 に対応する。
(作用 · 効果）
推定部が注目画素における所定の色成分の概算値を近傍内 で推定し、 その結果と近傍画素の画素値の差分に基づいて重 み設定部が重み計算を行う こ と によ り 、 近傍内での所定の色 成分の値の変化は大きいがその他の色成分の値の変化は小さ いよ う なエッジパターンに対しても最適な欠落色復元が行え る。
5 . 前記重み設定部は、 前記各方向 S k に対する重み Wkの 計算において、 前記所定サイズの近傍内で各方向 Sk に平行 に並び、 かつ所定の色成分を有する二つの画素の組を複数選 択 し、 各組の画素値差分の最小値を計算する 1 に記載の画像 処理装置。 (対応する実施の形態）
少なく と も第三の好ま しい変形例に対応する。 複数通 り の 画素の組は、 図 8 の 1 5 0 , 1 5 1 で示す矩形領域に対応す る。
(作用 · 効果）
所定の色成分を有する二つの画素の組を複数通 り 設け、 各組 の画素値差分の最小値を計算する こ とで、 近傍内の種々 のェ ッジパターンに、 よ り 高精度に対応する こ とが出来る。
6 . 前記重み設定部は、 前記各方向 S k に対する画素値差 分の計算を 1 から n の全ての整数に対して行った後、 前記画 素値差分の最大値を求め、 その大き さが小さいほど各方向に 対する重みが均等になるよ う に重みを計算する 2、 3 、 5 の いずれか 1 つに記載の画像処理装置。
(対応する実施の形態）
少なく と も第一の好ま しい変形例に対応する。
(作用 · 効果）
複数の方向の画素値差分の最大値が小さいほど各方向に対 する重みが均等になる よ う に重みを計算する こ と によ り 、 重 み計算結果へのノイズの悪影響を低減でき る。
7 . 前記重み設定部は、 前記各方向 S k に対する画素値差 分に反比例 し、 かつ前記複数の方向に渡る重みの総和が 1 に なる よ う に前記各方向に対する重み Wk を計算する 3 または 5 のいずれか 1 つに記載の画像処理装置。
(対応する実施の形態）
1 に記載の 「対応する実施の形態」 と 同様である。 (作用 · 効果）
画素値の変化が少ない方向ほど重みが大き く なるため、 欠 落復元結果に占めるエッジに沿った方向での補間の比重が大 き く な り 、 エッジ部でも よ り 高精度な欠落色復元が行える。
8 . 前記重み設定部は、 前記注目画素における色成分間の エ ッ ジのずれ量を評価する色ずれ評価部を有し、 この色ずれ 評価部での評価結果に応じて重みの計算方法を変える 2 、 3 5 のいずれか 1 つに記載の画像処理装置。
(対応する実施の形態）
重み設定部は、 少なく と も重み計算回路 A206 および収差 計算回路 2 1 9 に対応する。 色ずれ評価部は、 少な く と も収差 計算回路 2 1 9 および、 好ま しい変形例の色ずれ判定回路 220 に対応する。
(作用 · 効果）
色ずれの存在によ り エッジ部での最適な重みの計算が失敗 するのを防止でき る。
9 . 前記重み設定部は、 前記所定の係数を前記色ずれ評価 部での評価結果に応じて変化させる こ とで前記重みの計算方 法を変える 8 に記載の画像処理装置。
(対応する実施の形態）
8 に記載の 「対応する実施の形態」 と 同様である。 所定の 係数は である。
(作用 · 効果）
重み計算の際に、 複数の色成分を利用 した計算を行 う か、 単一の色成分を利用 した計算を行 う かの比重を簡単に変化さ せる こ とができ、 色ずれの存在によ り エッジ部での最適な重 みの計算が失敗するのを防止でき る。
1 0 . 前記復元部は、 前記注目画素の画素値および前記複 数種類の色成分に対する前記平均算出部の加重平均結果に所 定の係数を乗じた後、 総和 して前記欠落する色成分の値を求 める 1 に記載の画像処理装置。
(対応する実施の形態）
1 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
複数種類の色成分に対する画素値差分を混合して欠落色の 復元を行 う こ と で、 単一の色成分に基づいた復元では对応で きないエッジパターンに対しても最適な欠落色復元が行える c
1 1 . 前記復元部は、 前記注目画素における色成分間のェ ッジのずれ量を評価する色ずれ評価部を有し、 この色ずれ評 価部での評価結果に応 じて前記欠落する色成分の計算方法を 変える 1 又は 1 0 に記載の画像処理装置。
(対応する実施の形態）
復元部は、 少なく と も RB 計算回路 2 1 4 に対応する。 色ず れ評価部は収差計算回路 2 1 9および好ま しい変形例の色ずれ 判定回路に対応する。
(作用 · 効果）
色ずれの存在によ り エッジ部での欠落色復元結果が単純捕 間の結果に比べて返って悪化するのを防止でき る。
1 2 . 前記復元部は、 前記注目画素における色成分間のェ ッジのずれ量を評価する色ずれ評価部を有し、 前記所定の係 数を前記色ずれ評価部の評価結果に応じて変化させる こ とで 前記欠落する色成分の計算方法を変える 1 0 に記載の画像処 理装置。
1 1 . に記載の 「対応する実施の形態」 と 同様である。 所 定の係数は J3 rおよび ]3 bである。
(作用 · 効果）
色ずれの存在によ り エッジ部での欠落色復元結果が単純捕 間の結果に比べて返って悪化するのを防止でき る。
1 3 . 前記色ずれ評価部は、 前記光学像が有する色収差に 基づいて色成分間のエッジのずれ量を評価する 8 または 1 1 または 1 2 のいずれか 1 つに記載の画像処理装置。
(対応する実施の形態）
色ずれ評価部は、 少なく と も収差計算回路 2 1 9 に対応する ( (作用 · 効果）
色ずれの評価が他の方法よ り 確実に行える。
1 4 . 前記単板撮像素子は原色べィャ配列のモザイ ク フィ ルタを有し、 前記注目画素において色成分 Rまたは B が得ら れてお り 、 前記注目画素に対する上下左右の 4方向を前記複 数の方向 S 1 から S 4 と し、 前記複数種類の色成分は、 当該注 目画素において得られている色成分、 および Gであり 、 前記 欠落する色成分が Gである こ と
を特徴とする 3 に記載の画像処理装置。
(対応する実施の形態）
3 . に記載の 「対応する実施の形態」 と同様である。
(作用 · 効果） 原色べィャ配列に特に適している点を除いて 3 と同様であ る。
1 5 . 前記単板撮像素子は原色べィ ャ配列のモザイ ク フィ ルタを有し、 前記注目画素において色成分 Gが得られており - 当該注目画素と 、 この注目画素を中心とする所定サイ ズの近 傍内で色成分 R を有する画素の各々 を結んだ方向を前記複数 の方向 と し、 前記複数種類の色成分は Rおよび Gであ り 、 前 記欠落する色成分が Rである こ と
を特徴とする 3 に記載の画像処理装置。
(対応する実施の形態）
3 に記載の 「対応する実施の形態」 と同様である。
(作用 · 効果）
原色べィャ配列に特に適している点を除いて 3 と同様であ る。
1 6 . 前記単板撮像素子は原色べィ ャ配列のモザイ ク フィ ルタ を有し、 前記注目画素において色成分 Gが得られてお り 、 当該注目画素と、 この注目画素を中心とする所定サイ ズ近傍 内で色成分 B を有する画素の各々 と を結んだ方向を前記複数 の方向と し、 前記複数種類の色成分は Bおよび Gであ り 、 前 記欠落する色成分が B である こ と
を特徴とする 3 に記載の画像処理装置。
(対応する実施の形態）
3 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
原色べィ ャ配列に特に適している点を除いて 3 と同様であ る。
1 7 . 前記複数の方向は、 前記注目画素の所定サイ ズの近 傍において、 前記注目画素において欠落する色成分と、 当該 注目画素において得られている色成分の う ちいずれか一つと、 の両方の色成分が得られている画素の各々 と、 前記注目画素 と を結んだ方向に設定される 1 に記載の画像処理装置。
(対応する実施の形態）
2 に記載の 「対応する実施の形態」 と同様である。
(作用 · 効果）
注目画素と 同 じ色成分が得られている画素と、 注目画素と を結ぶ方向に重みを計算する方向を設定する こ とで重み計算 がよ り 適切に行える。
1 8 . 前記単板撮像素子は原色べィャ配列のモザイ ク フィ ルタを有し、 前記注目画素において欠落する色成分が Rまた は Bであ り 、 前記注目画素において得られている色成分の う ちいずれか一つは Gである 1 7 に記載の画像処理装置。
(対応する実施の形態）
3 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
原色べィ ャ配列に特に適している点を除いて 1 7 と 同様で ある。
1 9 . 前記所定の係数を前記色ずれ評価部での評価結果に 応じて変化させる際に、 前記注目画素で得られている色成分 と のずれ量が大きな色成分の種類を調べ、 該当色成分に関す る前記画素値差分に対して割り 当てる係数を小さ く する こ と を特徴とする 9 に記載の画像処理装置。
(対応する実施の形態）
9 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
近傍内の、 注目画素において得られていない色成分の情報 について、 その利用比率を色ずれが大きい場合は小さ く する こ と によ ってかえって副作用が生じる こ と を防ぐこ と ができ る。
2 0 . 前記所定の係数を前記色ずれ評価部での評価結果に 応じて変化させる際に、 前記欠落を復元したい色成分と のず れ量が大きな色成分の種類を調べ、 該当色成分に関する前記 加重平均結果に割り 当てる係数を小さ く する 1 2 に記載の画 像処理装置。
(対応する実施の形態）
1 2 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
近傍内の、 注目画素において欠落を復元したい色成分以外 の色成分の情報について、 その利用比率 s を色ずれが大きい 場合は小さ く する こ と によってかえって副作用が生じる こ と を防ぐこ とができ る。
2 1 . コ ン ピュータに光学像を撮像系によ り撮像した画像 を入力 し、 各画素で欠落する色成分を補ってカラー画像を出 力する画像処理プロ グラムであって、
前記コ ン ピュータ に、
注目画素を含む所定サイ ズの近傍において、 注目画素から 発する複数の方向 Sl, S2, .. Sn(n は 1 以上の整数）の各方向 Sk ( k は 1 から n の整数） に対する重み Wk を設定する重み 設定機能と、
前記所定サイ ズの近傍において各方向 Sk ( k は 1 から n の整数） 上にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対し、 画素値 VI から Vn の前記重み W1 から によ る 加重平均を計算する平均機能と、
複数種類の色成分に対して前記平均機能によ り加重平均を 算出 し、 この加重平均結果と、 前記注目画素の画素値と に基 づいて、 前記注目画素において欠落する色成分の値を復元す る復元機能と、
を実現させるための画像処理プロ グラム。
(対応する実施の形態）
1 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
1 に記載の 「作用 ' 効果」 と 同様である。
2 2 . 前記重み設定機能は、 複数の色成分各々 に対して前 記近傍内での方向 Sk に平行に並びかつ該当色成分を有する 二つの画素の組を一組以上選択 し、 前記各組の画素値差分に 所定の係数を乗 じて緩和 した値に基づいて、 前記各方向 Sk に対する重み Wk を計算する 2 1 に記載の画像処理プロ グラ ム。
(対応する実施の形態）
1 に記載の 「対応する実施の形態」 と同様である。
(作用 · 効果） 重み設定機能が、 重みを計算する各方向に対し、 当方向に 平行に並ぴかつ該当色成分を有する二つの画素の画素値差分 を計算し、 それに基づいて重みを計算する結果、 種々 のエツ ジパターンに対 して最適な欠落色復元が行える。
2 3 . 前記復元機能は、 前記注目画素における色成分間の エッ ジのずれ量を評価する色ずれ評価機能を有し、 この色ず れ評価機能での評価結果に応じて前記欠落する色成分の計算 方法を変える こ と
を特徴とする 2 1 に記載の画像処理プログラム。
(対応する実施の形態）
1 1 に記載の 「対応する実施の形態」 と 同様である。
(作用 · 効果）
1 1 に記載の 「作用 · 効果」 と 同様である。
2 4 . 前記復元機能は、 前記注目画素における色成分間の エ ッジのずれ量を評価する色ずれ評価機能を有し、 当該注目 画素の画素値、 および前記複数種類の色成分に対する前記平 均機能の加重平均結果に、 前記色ずれ評価機能の評価結果に 応じて変わる係数を乗じた後、 総和 して前記欠落する色成分 の値を求める 2 1 に記載の画像処理プログラム。
(対応する実施の形態）
1 及び 1 1 に記載の 「対応する実施の形態」 と 同様である , 係数は ] 3 rおよび b である。
複数種類の色成分に対する画素値差分を混合して欠落色の 復元を行う こ と で、 単一の色成分に基づいた復元では対応で きないエッジパターンに対しても最適な欠落色復元が行える , また、 色ずれの存在によ り エ ッジ部での欠落色復元結果が 単純補間の結果に比べて返って悪化するのを防止でき る。 2 5 . 前記色ずれ評価機能は、 前記光学像の有する色収差 に基づいて色成分間のエッジのずれ量を評価する 2 , 3 また は 2 4 のいずれか 1 つに記載の画像処理プロ グラム。
(対応する実施の形態）
色ずれ評価機能は、 少なく と も収差計算回路 2 1 9 の実現す る機能に対応し、 具体的には図 1 4 のフ ローで表わされる。 (作用 · 効果）
色ずれの評価が他の方法よ り 確実に行える。
産業上の利用可能性
本発明によれば、 水平、 垂直のエッジ以外のパターンに対 して最適な補間を行 う こ とができ、 これによつてよ り 高精度 な欠落色の復元が可能になる。

Claims

請 求 の 範 囲
1 . 光学像を撮像系によ り撮像した画像を入力 し、 各画素 で欠落する色成分を補ってカラー画像を出力する画像処理装 置であって、
注目画素を含む所定サイ ズの近傍において、 注目画素から 発する複数の方向 Sl, S2，.. Sn(n は 1 以上の整数）の各方向 Sk ( k は 1 から n の整数） に対する重み Wk を設定する重み 設定部と、
前記所定サイ ズの近傍において各方向 Sk ( k は 1 から n の整数） 上にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対し、 画素値 VI から Vn の前記重み W1 から によ る 加重平均を計算する平均算出部と、
複数種類の色成分に対して前記平均算出部によ り加重平均 を算出 し、 この加重平均結果と 、 前記注目画素の画素値と に 基づいて、 前記注目画素において欠落する色成分の値を復元 する復元部と、
を具備する画像処理装置。
2 . 前記重み設定部は、 所定の色成分に関 して、 前記近傍 内での各方向 Sk に平行に並ぴ、 かつ該当色成分を有する二 つの画素の組を一組以上選択し、 前記各方向 Sk に対する重 み を、 各組の画素値差分に基づいて計算する請求項 1 記 載の画像処理装置。
3 . 前記重み設定部は、 複数種類の色成分に関する前記各 組の画素値差分を計算 し、 前記画素値差分に所定の係数を乗 じて総和 した値に基づいて、 前記各方向 Sk に対する重み Wk を決定する請求項 2記載の画像処理装置。
4 . 前記重み設定部は、 前記注目画素における所定の色成 分の概算値を前記所定サイズの近傍内で推定する推定部を有 し、 前記各方向 S k に対する重み Wk を、 各方向 S k 上にあ り かつ前記所定の色成分を有する画素の画素値と、 前記概算値 と の差分に基づいて計算する請求項 1 記載の画像処理装置。
5 . 前記重み設定部は、 前記各方向 S k に対する重み Wk の 計算において、 前記所定サイズの近傍内で各方向 S k に平行 に並び、 かつ所定の色成分を有する二つの画素の組を複数選 択し、 各組の画素値差分の最小値を計算する請求項 1 記載の 画像処理装置。
6 . 前記重み設定部は、 前記各方向 S k に対する画素値差 分の計算を 1 から nの全ての整数に対して行った後、 前記画 素値差分の最大値を求め、 その大き さが小さいほど各方向に 対する重みが均等になる よ う に重みを計算する請求項 2、 3 5 のいずれか 1 つに記載の画像処理装置。
7 . 前記重み設定部は、 前記各方向 S k に対する画素値差 分に反比例 し、 かつ前記複数の方向に渡る重みの総和が 1 に なる.よ う に前記各方向に対する重み Wk を計算する請求項 3 または 5 のいずれか 1 つに記載の画像処理装置。
8 . 前記重み設定部は、 前記注目画素における色成分間の エ ッ ジのずれ量を評価する色ずれ評価部を有し、 この色ずれ 評価部での評価結果に応じて重みの計算方法を変える請求項
2， 3 , 5 のいずれか 1 つに記載の画像処理装置。
9 . 前記重み設定部は、 前記所定の係数を前記色ずれ評価 部での評価結果に応じて変化させる こ とで前記重みの計算方 法を変える請求項 8記載の画像処理装置。
1 0 . 前記復元部は、 前記注目画素の画素値おょぴ前記複 数種類の色成分に対する前記平均算出部の加重平均結果に所 定の係数を乗じた後、 総和 して前記欠落する色成分の値を求 める請求項 1記載の画像処理装置。
1 1 . 前記復元部は、 前記注目画素における色成分間のェ ッジのずれ量を評価する色ずれ評価部を有し、 この色ずれ評 価部での評価結果に応 じて前記欠落する色成分の計算方法を 変える請求項 1 又は 1 0記載の画像処理装置。
1 2 . 前記復元部は、 前記注目画素における色成分間のェ ッジのずれ量を評価する色ずれ評価部を有し、 前記所定の係 数を前記色ずれ評価部の評価結果に応 じて変化させる こ とで 前記欠落する色成分の計算方法を変える請求項 1 0記載の画 像処理装置。
1 3 . 前記色ずれ評価部は、 前記光学像が有する色収差に 基づいて色成分間のエ ッジのずれ量を評価する請求項 8 また は 1 1 または 1 2のいずれか 1 つに記載の画像処理装置。
1 4 . 前記単板撮像素子は原色べィャ配列のモザイ ク フィ ルタ を有し、 前記注目画素において色成分 R または Bが得ら れてお り 、 前記注目画素に対する上下左右の 4方向を前記複 数の方向 S 1 から S 4 と し、 前記複数種類の色成分は、 当該注 目画素において得られている色成分、 および Gであ り 、 前記 欠落する色成分が G である請求項 3記載の画像処理装置。
1 5 . 前記単板撮像素子は原色べィャ配列のモザイ ク フィ ルタ を有し、 前記注目画素において色成分 Gが得られており 当該注目画素と、 この注目画素を中心とする所定サイ ズの近 傍内で色成分 Rを有する画素の各々 を結んだ方向を前記複数 の方向と し、 前記複数種類の色成分は Rおよび Gであ り 、 前 記欠落する色成分が Rである請求項 3記載の画像処理装置。
1 6 . 前記単板撮像素子は原色べィャ配列のモザイ ク フィ ルタ を有し、 前記注目画素において色成分 Gが得られてお り 当該注目画素と、 この注目画素を中心とする所定サイ ズ近傍 内で色成分 B を有する画素の各々 と を結んだ方向を前記複数 の方向 と し、 前記複数種類の色成分は Bおよび Gであ り 、 前 記欠落する色成分が B である請求項 3 記載の画像処理装置。
1 7 . 前記複数の方向は、 前記注目画素の所定サイ ズの近 傍において、 前記注目画素において欠落する色成分と、 当該 注目画素において得られている色成分の う ちいずれか一つと . の両方の色成分が得られている画素の各々 と、 前記注目画素 と を結んだ方向に設定される請求項 1 記載の画像処理装置。
1 8 . 前記単板撮像素子は原色べィ ャ配列のモザイ ク フィ ルタ を有し、 前記注目画素において欠落する色成分が R また は B であ り 、 前記注目画素において得られている色成分の う ちいずれか一つは Gである請求項 1 7記載の画像処理装置。
1 9 . 前記所定の係数を前記色ずれ評価部での評価結果に 応じて変化させる際に、 前記注目画素で得られている色成分 と のずれ量が大きな色成分の種類を調べ、 該当色成分に関す る前記画素値差分に対して割り 当てる係数を小さ く する請求 項 9 記載の画像処理装置。
2 0 . 前記所定の係数を前記色ずれ評価部での評価結果に 応じて変化させる際に、 前記欠落を復元したい色成分と のず れ量が大きな色成分の種類を調べ、 該当色成分に関する前記 加重平均結果に.割 り 当てる係数を小さ く する請求項 1. 2記載 の画像処理装置。
2 1 . コ ン ピュータ に光学像を撮像系によ り 撮像した画像 を入力し、 各画素で欠落する色成分を補ってカラー画像を出 力する画像処理プロ グラムであって、
前記コ ン ピュータに、
注目画素を含む所定サイ ズの近傍において、 注目画素から 発する複数の方向 Sl, S2， .. Sn(n は 1 以上の整数）の各方向 Sk ( k は 1 から n の整数） に対する重み Wk を設定する重み 設定機能と、
前記所定サイズの近傍において各方向 Sk ( k は 1 から 11 の整数） 上にあ り 、 かつ特定の色成分を有する画素の画素値 Vk に対し、 画素値 VI から Vn の前記重み W1 力、ら Wn による 加重平均を計算する平均機能と、
複数種類の色成分に対して前記平均機能によ り 加重平均を 算出 し、 この加重平均結果と、 前記注目画素の画素値と に基 づいて、 前記注目画素において欠落する色成分の値を復元す る復元機能と、
を実現させるための画像処理プログラム。
2 2 . 前記重み設定機能は、 複数の色成分各々 に対して前 記近傍内での方向 Sk に平行に並びかつ該当色成分を有する 二つの画素の組を一組以上選択し、 前記各組の画素値差分に 所定の係数を乗 じて緩和 した値に基づいて、 前記各方向 S k に対する重み Wk を計算する請求項 2 1記載の画像処理プロ グラム。
2 3 . 前記復元機能は、 前記注目画素における色成分間の エッジのずれ量を評価する色ずれ評価機能を有し、 この色ず れ評価機能での評価結果に応じて前記欠落する色成分の計算 方法を変える請求項 2 1記載の画像処理プロ グラム。
2 4 . 前記復元機能は、 前記注目画素における色成分間の エッジのずれ量を評価する色ずれ評価機能を有し、 当該注目 画素の画素値、 および前記複数種類の色成分に対する前記平 均機能の加重平均結果に、 前記色ずれ評価機能の評価結果に 応じて変わる係数を乗じた後、 総和して前記欠落する色成分 の値を求める請求項 2 1記載の画像処理プロ グラム。
2 5 . 前記色ずれ評価機能は、 前記光学像の有する色収差 に基づいて色成分間のエッジのずれ量を評価する請求項 2 , 3 または 2 4 のいずれか 1 つに記載の画像処理プログラム。
PCT/JP2004/004258 2003-03-28 2004-03-26 画像処理装置及び画像処理プログラム WO2004088992A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005504196A JP4350706B2 (ja) 2003-03-28 2004-03-26 画像処理装置及び画像処理プログラム
US11/226,944 US7454057B2 (en) 2003-03-28 2005-09-15 Image processing apparatus and image processing program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003092071 2003-03-28
JP2003-092071 2003-03-28
JP2003416796 2003-12-15
JP2003-416796 2003-12-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/226,944 Continuation US7454057B2 (en) 2003-03-28 2005-09-15 Image processing apparatus and image processing program

Publications (1)

Publication Number Publication Date
WO2004088992A1 true WO2004088992A1 (ja) 2004-10-14

Family

ID=33134297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/004258 WO2004088992A1 (ja) 2003-03-28 2004-03-26 画像処理装置及び画像処理プログラム

Country Status (3)

Country Link
US (1) US7454057B2 (ja)
JP (1) JP4350706B2 (ja)
WO (1) WO2004088992A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036765A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2011066892A (ja) * 2010-09-17 2011-03-31 Sony Corp 画像処理装置、画像処理方法および撮像装置
WO2011148760A1 (ja) * 2010-05-26 2011-12-01 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4350706B2 (ja) * 2003-03-28 2009-10-21 オリンパス株式会社 画像処理装置及び画像処理プログラム
US7742624B2 (en) * 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8472712B2 (en) * 2009-10-20 2013-06-25 Apple Inc. System and method for applying lens shading correction during image processing
US8294781B2 (en) * 2009-10-20 2012-10-23 Apple Inc. System and method for sharpening image data
US8259198B2 (en) * 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
US8593483B2 (en) 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
US8471932B2 (en) 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
US8508612B2 (en) 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
EP2645723B1 (en) 2011-03-11 2015-06-17 FUJIFILM Corporation Imaging device, method for controlling operation thereof, and imaging system
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
JP5755814B2 (ja) * 2012-08-27 2015-07-29 富士フイルム株式会社 画像処理装置、方法、プログラム及び撮像装置
CN107637068B (zh) * 2016-11-30 2019-10-25 Oppo广东移动通信有限公司 图像坏点补偿方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045509A (ja) * 1999-07-28 2001-02-16 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001197512A (ja) * 2000-01-14 2001-07-19 Mitsubishi Electric Corp 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP2002152762A (ja) * 2000-08-30 2002-05-24 Nikon Corp 画像処理装置および画像処理プログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP3503372B2 (ja) 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
JP2001045316A (ja) * 1999-08-04 2001-02-16 Fuji Photo Film Co Ltd 色修正関係抽出方法および色修正方法
AU3047801A (en) * 2000-02-03 2001-08-14 Alst Technical Excellence Center Image resolution improvement using a color mosaic sensor
US6738510B2 (en) * 2000-02-22 2004-05-18 Olympus Optical Co., Ltd. Image processing apparatus
US6931152B2 (en) * 2001-09-17 2005-08-16 Ramot At Tel Aviv University Ltd. Method for improved automatic partial color constancy correction
US7085426B2 (en) * 2001-10-15 2006-08-01 Jonas August Volterra filters for enhancement of contours in images
JP4350706B2 (ja) * 2003-03-28 2009-10-21 オリンパス株式会社 画像処理装置及び画像処理プログラム
US7369699B1 (en) * 2003-08-29 2008-05-06 Apple Inc. Methods and apparatuses for restoring color and enhancing electronic images
US7356180B2 (en) * 2003-09-30 2008-04-08 Sharp Laboratories Of America, Inc. Systems and methods for correcting image color balance
JP4007964B2 (ja) * 2004-01-19 2007-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045509A (ja) * 1999-07-28 2001-02-16 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001197512A (ja) * 2000-01-14 2001-07-19 Mitsubishi Electric Corp 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法
JP2002152762A (ja) * 2000-08-30 2002-05-24 Nikon Corp 画像処理装置および画像処理プログラムを記録した記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036765A (ja) * 2005-07-28 2007-02-08 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP4635769B2 (ja) * 2005-07-28 2011-02-23 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
WO2011148760A1 (ja) * 2010-05-26 2011-12-01 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2011066892A (ja) * 2010-09-17 2011-03-31 Sony Corp 画像処理装置、画像処理方法および撮像装置

Also Published As

Publication number Publication date
US20060012841A1 (en) 2006-01-19
JPWO2004088992A1 (ja) 2006-07-06
JP4350706B2 (ja) 2009-10-21
US7454057B2 (en) 2008-11-18

Similar Documents

Publication Publication Date Title
WO2004088992A1 (ja) 画像処理装置及び画像処理プログラム
EP2574039B1 (en) Image pickup device, image processing device, image processing method, and image processing program
JP4831067B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
JP4253655B2 (ja) デジタル撮影装置の色補間法
WO2006048962A1 (ja) 画素信号処理装置及び画素信号処理方法
JP2007066138A (ja) 画像処理装置および画像処理プログラム
JP2010524297A (ja) パンクロマティック画素を組み込むエッジマッピング
JP2003153290A (ja) ベイヤーパターン画像データ用ノイズフィルタ
WO2006006373A1 (ja) 画像処理装置およびコンピュータプログラム製品
JP2010525427A (ja) パンクロマティック画素を使用するエッジマッピング
JP4863505B2 (ja) 画像処理装置
JP3621304B2 (ja) 画像の輝度補正方法
JP5169994B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5049460B2 (ja) カラー撮像画像データの補間方法およびプログラム
JP2004048465A (ja) 画像処理装置および画像処理プログラム
JP2010016814A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
JPWO2005013622A1 (ja) 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JPH11284944A (ja) 画像処理方法及び装置
JP5353945B2 (ja) 画像処理装置および画像処理プログラム並びに電子カメラ
JP5458906B2 (ja) 画像処理装置
JP2007306083A (ja) 撮像装置および信号処理装置
JP5153842B2 (ja) 画像処理装置、画像処理プログラム
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4958672B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005504196

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11226944

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 11226944

Country of ref document: US

122 Ep: pct application non-entry in european phase