WO2004047427A1 - フリッカ低減方法、撮像装置およびフリッカ低減回路 - Google Patents

フリッカ低減方法、撮像装置およびフリッカ低減回路 Download PDF

Info

Publication number
WO2004047427A1
WO2004047427A1 PCT/JP2003/013237 JP0313237W WO2004047427A1 WO 2004047427 A1 WO2004047427 A1 WO 2004047427A1 JP 0313237 W JP0313237 W JP 0313237W WO 2004047427 A1 WO2004047427 A1 WO 2004047427A1
Authority
WO
WIPO (PCT)
Prior art keywords
flicker
component
input image
signal
image signal
Prior art date
Application number
PCT/JP2003/013237
Other languages
English (en)
French (fr)
Inventor
Masaya Kinoshita
Makibi Nakamura
Kenji Tanaka
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP03756640A priority Critical patent/EP1566962A4/en
Priority to AU2003302113A priority patent/AU2003302113A1/en
Priority to US10/535,114 priority patent/US7656436B2/en
Publication of WO2004047427A1 publication Critical patent/WO2004047427A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Definitions

  • the present invention relates to an image pickup device when an object is photographed by an XY address scan type image pickup device (imager, image sensor) such as a CMOS (complementary metal oxide semiconductor) image pickup device under the illumination of a fluorescent lamp.
  • an imaging device such as a video camera using an XY address scanning type image sensor such as a CMOS image sensor, a digital still camera, and the like.
  • the present invention relates to a fritting force reducing circuit used in an imaging device.
  • the frequency of the luminance change (fluctuation change) of the fluorescent lamp tilt the commercial AC power frequency
  • the difference in frequency causes a temporal change in light and dark in the video signal of the shooting output, that is, a so-called fluorescent light flickering force.
  • the commercial AC power frequency is 50 Hz
  • the period of one field is 1/60 seconds
  • the period of the luminance change of the fluorescent lamp is 100 seconds, so that the change in the luminance of the fluorescent lamp
  • the exposure timing of each field shifts, and the exposure amount of each pixel changes for each field.
  • the exposure amount is different even for the same exposure time, and when the exposure time is shorter than 1/60 second (however, During the period bl, b2, and b3, the exposure amount is different even during the same exposure time. Since the exposure timing for the change in the luminance of the fluorescent lamp returns to the original timing every three fields, the change in brightness due to the fritting force is repeated every three fields. In other words, the luminance ratio of each field (the appearance of the fritting force) changes depending on the exposure period, but the period of the fritting force does not change. However, in the case of a progressive camera such as a digital camera and the vertical synchronization frequency is 30 Hz, the light / dark changes are repeated every three frames.
  • fluorescent lamps generally use a plurality of phosphors, for example, red, green, and blue phosphors, to emit white light.
  • each of these phosphors has a unique afterglow characteristic, and emits light with attenuated light with each afterglow characteristic during the period from the stop of discharge existing during the cycle of luminance change to the start of the next discharge. Therefore, during this period, the light that was initially white is attenuated while gradually changing its hue. If the exposure timing is shifted as described above, not only the light and dark changes but also the hue changes.
  • fluorescent lamps have a unique spectral characteristic that a strong peak exists at a specific wavelength, the signal fluctuation component differs depending on the color.
  • the exposure time is set to an integral multiple of the cycle of change in the brightness of the fluorescent lamp (100 times 100 seconds)
  • the exposure amount can be set regardless of the exposure timing. Is constant, and no fritting force is generated.
  • the exposure time is set to an integer multiple of 110 seconds when under fluorescent light illumination by detecting the presence of fluorescent light illumination by user operation or by signal processing in the camera. A scheme is being considered. According to this method, it is possible to completely prevent the generation of the frit force by a simple method.
  • the flit force will be a repetition period of 3 fields, and the average value of the video signal in each field will be constant
  • the exposure timing of each pixel is sequentially shifted by one period of a read clock (pixel clock) in the horizontal direction of the screen, and the exposure timing is increased for all pixels. Because of the different lighting, the above method cannot sufficiently suppress flicker.
  • Figure 29 shows this situation. As described above, the exposure timing of each pixel is sequentially shifted even in the horizontal direction of the screen. Since the normal cycle is sufficiently short, the exposure timing of each line in the vertical direction of the screen is shown, assuming that the exposure timing is the same for pixels on the same line. In practice, there is no problem with this assumption.
  • the exposure timing differs for each line (F1 shows the state in a certain field), and the exposure is performed in each line. Because of the difference in light intensity, light and dark changes and color changes due to fringe force occur not only between fields but also within fields, and stripes appear on the screen (the stripes themselves are horizontal, and the stripes are vertical. Direction).
  • this stripe pattern corresponds to five periods (five wavelengths) in three fields (three screens), and appears to flow vertically when viewed continuously.
  • FIGS. 30 and 31 show only the change in brightness due to flicker, but in fact, the above-mentioned color change is also added, and the image quality is significantly deteriorated. In particular, the color fretting force becomes remarkable as the shutter speed increases, and the image quality degradation becomes more conspicuous in an XY address scanning type image sensor because the effect appears in the screen.
  • the exposure time can be set to an integral multiple of the cycle of the luminance change of the fluorescent lamp (1/100 second), regardless of the exposure timing.
  • the exposure amount is constant, and no fluorescent lamp flicker including in-screen flicker occurs.
  • the electronic shutter speed is made variable with a CMOS image sensor or the like, the imaging device becomes complicated.
  • the exposure time can be set only to an integral multiple of 1Z100 seconds to prevent flicker, the exposure adjustment to obtain the appropriate exposure The degree of freedom of the means is reduced.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2000-3500102
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2000-230400
  • Patent Document 3 Japanese Unexamined Patent Application Publication No. 2000-16508 discloses a first electronic shutter value suitable for the current external light condition and a flicker cycle of a fluorescent lamp having a predetermined relationship.
  • Patent Document 4 Japanese Unexamined Patent Publication No. 11-1641642 discloses a method in which the state of a change in brightness under fluorescent light illumination is recorded in advance in a memory as a correction coefficient, while the video signal There is a method of detecting the phase of the frit component from the video signal from the image sensor using the difference in frequency between the component and the flicker component, and correcting the video signal with a correction coefficient in the memory according to the detection result. It is shown.
  • Patent Document 5 Japanese Unexamined Patent Application Publication No. 2000-0-167052 discloses that two video signals exposed with a time difference such that the phase of the fritting force is inverted by exactly 180 degrees. It shows a method of calculating a correction coefficient and correcting a video signal with the calculated correction coefficient.
  • a method of estimating a flicker component by measuring the amount of light of a fluorescent lamp using a light receiving element or a photometric element is to add a light receiving element or a photometric element to an imaging device. Therefore, the size / cost of the imaging device system increases.
  • the method of estimating a flicker component by photographing two kinds of images under different shirt conditions also has a disadvantage that the system of the imaging device is complicated. Moreover, this method has a disadvantage that it is not suitable for shooting moving images.
  • the method of using a coefficient prepared in a memory as a correction signal does not allow correction coefficients to be prepared for all types of fluorescent lamps. Depending on the type of lamp, there is a drawback that the fritz force component cannot be accurately detected and reduced.
  • a black component having a very small frit component is used in the method of extracting a flicker component from a video signal by using a difference in frequency between the video signal component and the flicker component. It is difficult to detect flicker components separately from video signal components in the background and low-illumination areas, and when there is a moving object on the screen, the flicker component detection performance is poor. Significantly reduced.
  • Patent Document 5 a method of estimating a frit component by capturing two images under different timing conditions is similar to the method described in Patent Document 3, in which the system of the imaging device is used. There are drawbacks that make it more complicated and unsuitable for movie shooting.
  • the present invention uses the simple signal processing without the use of a light receiving element or the like to reduce the fluorescent light flit force inherent in an XY address scanning type imaging element such as a CMOS imaging element to a subject or a video signal. Regardless of the type of fluorescent lamp, etc. Is made possible. Disclosure of the invention
  • the flicker reduction method of the first invention is as follows.
  • the flicker reduction method of the second invention is as follows.
  • the method for reducing flicker of the third invention is as follows.
  • a signal component other than the frit force component is removed as the integrated value or the difference value after the normalization, so that the flicker is reduced regardless of the object.
  • a signal that can easily estimate the frit component with high accuracy is obtained even in a black background portion or a low illuminance portion where the component is minute, and the normalized integrated value or the difference value up to the appropriate order
  • the Fritz force component can be estimated with high accuracy regardless of the type of fluorescent lamp or the waveform of luminance change, and even in the area where the signal component is discontinuous due to the influence of the subject.
  • the flicker component can be reliably and sufficiently reduced from the input image signal.
  • the fritting force component is detected for each color signal of each color obtained as a video signal, or for each luminance signal and each color signal of each color. Therefore, it is possible to detect the fluorescent light frit power including the color frit power with high accuracy, and to surely and sufficiently reduce it.
  • FIG. 1 is a diagram showing a system configuration of an embodiment of the imaging apparatus of the present invention.
  • FIG. 2 is a diagram illustrating an example of a digital signal processing unit of a primary color system.
  • FIG. 3 is a diagram illustrating an example of a digital signal processing unit of a color capturing system.
  • FIG. 3 is a diagram illustrating an example of FIG.
  • FIG. 5 is a diagram illustrating an example of an operation block when a saturation region is considered.
  • FIG. 6 is a diagram showing a second example of the fritting force reducing unit.
  • FIG. 7 is a diagram illustrating a third example of the fritting force reducing unit.
  • FIG. 8 is a diagram illustrating an example of a flicker reduction unit when non-fluorescent lighting is considered.
  • FIG. 9 is a diagram illustrating another example of the flicker reduction unit when considering under non-fluorescent lighting.
  • FIG. 10 is a diagram illustrating an example of an imaging apparatus in consideration of a case where a subject changes greatly in a short time due to an operation or operation of a photographer.
  • FIG. 11 is a diagram illustrating an example of an imaging apparatus in a case where a case where flicker reduction processing is not required depending on a shooting state is considered.
  • FIG. 12 is a diagram illustrating another example of the imaging apparatus in a case where the case where the flicker reduction processing is not required depending on the imaging state is considered.
  • FIG. 13 shows the basic structure of an example where the estimated flicker component is adjusted.
  • FIG. 14 is a diagram illustrating a first specific example in the case of adjusting the estimated flicker component.
  • FIG. 15 is a diagram illustrating a second specific example in the case where the estimated flicker component is adjusted.
  • FIG. 16 is a diagram provided for explanation of the examples of FIG. 14 and FIG.
  • FIG. 17A and FIG. 17B are diagrams showing equations for explanation of each example.
  • FIG. I8A and FIG. 18B are diagrams showing equations for explanation of each example.
  • FIG. 19A and FIG. 19B are diagrams showing equations used for explaining each example.
  • FIG. 20A to FIG. 20E are diagrams showing equations used to explain each example.
  • FIG. 21A to FIG. 21C are diagrams showing equations for explanation of each example.
  • FIGS. 22A and 22B are diagrams for explaining the examples of FIGS. 8 and 9.
  • FIG. 23 is a diagram showing a subject used in the test.
  • FIG. 24 is a diagram showing integral values in the case of the subject shown in FIG.
  • FIG. 25 is a diagram showing difference values in the case of the subject in FIG.
  • FIG. 26 is a diagram showing the difference value after the normalization in the case of the subject in FIG. 23.
  • FIG. 27 is a diagram showing the estimated flicker coefficient in the case of the subject in FIG.
  • FIG. 28 is a diagram for describing the flickering force of a fluorescent lamp in the case of a CCD image sensor.
  • FIG. 29 is a diagram provided to explain the flickering force of a fluorescent lamp in the case of an XY address scanning type image sensor.
  • FIG. 30 shows the fluorescent lamp flit force in the case of the XY address scanning type image sensor.
  • FIG. 3 is a diagram showing a stripe pattern in one screen.
  • FIG. 31 is a diagram showing a stripe pattern over three screens in which the fluorescent lamp flit force is continuous in the case of an XY address scanning type image sensor.
  • FIGS. 1 to 3 [Embodiment of imaging apparatus: FIGS. 1 to 3]
  • FIG. 1 shows a system configuration of an embodiment of an imaging apparatus according to the present invention, which is a case of a video camera using a CMOS image sensor as an XY address scanning type image sensor.
  • the imaging device of this embodiment that is, the video camera
  • light from a subject enters the CMOS image sensor 12 via the imaging optical system 11, and is photoelectrically converted by the CMOS image sensor 12.
  • An analog video signal is obtained from the image sensor 12.
  • the CMOS image sensor 12 consists of a photodiode (photogate), a transfer gate (Shatta transistor), a switching transistor (address transistor), an amplifying transistor, and a reset transistor (reset gate) on a CMOS substrate.
  • a plurality of pixels having such a configuration are formed in a two-dimensional array, and a vertical scanning circuit, a horizontal scanning circuit, and a video signal output circuit are formed.
  • the CMOS image sensor 12 may be either a primary color system or a color capture system as described later.
  • the analog video signal obtained from the CMOS image sensor 12 is a primary color signal of each RGB color or a color signal of the color capture system. is there.
  • the analog video signal from the CMOS image sensor 12 is sampled and held for each color signal in an analog signal processing unit 13 configured as an integrated circuit (IC), and gain is controlled by an automatic gain control (AGC). Is controlled and converted to a digital signal by A / D conversion.
  • IC integrated circuit
  • AGC automatic gain control
  • the digital video signal from the analog signal processing unit 13 is processed as described later in a digital signal processing unit 20 configured as an IC.
  • the flicker component is reduced by the method of the present invention for each signal component as described later, and finally the luminance signal Y and
  • the signals are converted to red and blue color difference signals R—Y and ⁇ — ⁇ , and output from the digital signal processor 20.
  • the system controller 14 is composed of a microcomputer or the like and controls each part of the camera.
  • a lens drive control signal is supplied from a system controller 14 to a lens drive driver 15 constituted by an IC, and the lens of the imaging optical system 11 is driven by the lens drive driver 15.
  • a timing control signal is supplied from the system controller 14 to the timing generator 16, various timing signals are supplied from the timing generator 16 to the CMOS image sensor 12, and the CMOS image sensor 12 is driven.
  • the detection signal of each signal component is taken into the system controller 14 from the digital signal processing unit 20, and the analog signal is sent from the system controller 14 to the analog signal processing unit 13 as described above.
  • the system controller 14 controls the signal processing in the digital signal processing unit 20.
  • a camera shake sensor 17 is connected to the system controller 14. If the subject changes greatly in a short time due to the operation of the photographer, this is determined from the output of the camera shake sensor 17.
  • the flicker reduction unit 25 is controlled as described later.
  • the system controller 14 also includes an operation unit 18a and a display unit 18b that constitute a user interface 18 via an interface (I / F) 19 configured by a microcomputer or the like.
  • an operation unit 18a When connected, the setting and selection operations on the operation unit 18a are performed by the system controller 1. 4 and the camera setting state and control state are displayed on the display section 18 b by the system controller 14.
  • the photographer changes the subject in a short period of time by performing a camera operation such as a zoom operation on the operation unit 18a, this is detected by the system controller 14 and the camera will be shifted as described later.
  • the force reduction unit 25 is controlled.
  • FIG. 2 shows an example of the digital signal processing unit 20 in the case of a primary color system.
  • the imaging optical system 11 of FIG. 1 has a separation optical system that separates light from a subject into color light of each color of RGB, and has a CMOS image sensor for each color of RGB as the CMOS image sensor 12.
  • CMOS image sensor for each color of RGB as the CMOS image sensor 12.
  • CMOS image sensor 12 As a three-chip system, or as a CMOS image sensor 12, a single CMOS image sensor with a color filter for each color of RGB on the light-incident surface, which is arranged repeatedly in the horizontal direction of the screen, one pixel at a time. System. In this case, primary color signals of each of the RGB colors are read out in parallel from the CMOS image sensor 12.
  • the clamp circuit 21 clamps the black level of the input RGB primary color signal to a predetermined level
  • the gain adjustment circuit 22 clamps the RGB primary colors according to the amount of exposure.
  • the gain of the signal is adjusted, and the flicker force reduction units 25R, 25G, and 25B reduce the flicker component in the RGB primary color signal after the gain adjustment according to the method of the present invention. Is done.
  • the white balance adjustment circuit 27 adjusts the white balance of the RGB primary color signal after flicker reduction.
  • the gamma correction circuit 28 converts the gradation of the RGB primary color signal after white balance adjustment, and the composite matrix circuit 29 outputs the output luminance signal from the RGB primary color signal after gamma correction. Y and color difference signals R_Y, BY are generated.
  • the luminance signal Y is generally generated after all the RGB primary color signal processing is completed as shown in Fig. 2, so that as shown in Fig. 2, the RGB primary color signal is processed in the RGB primary color signal in a free-range manner.
  • frits-force reduction units 25R, 25G, and 25B are arranged as shown in FIG. 2, but the arrangement is not necessarily limited thereto.
  • FIG. 3 shows an example of the digital signal processing unit 20 in the case of a complementary color system.
  • the complementary color system is a one-chip system having one CMOS image sensor having a complementary color filter formed on the light incident surface as the CMOS image sensor 12 of FIG.
  • a color filter 1 in FIG. 3 at every other horizontal line position Lo, the green color filter 1 G and the magenta color filter lMg are horizontal.
  • the cyan color filter section ICy and the yellow color filter section lYe are arranged one by one in the horizontal direction. They are sequentially and repeatedly arranged.
  • the clamp circuit 21 clamps the black level of the color capture signal to a predetermined level, and the gain adjustment circuit 22 adjusts the gain of the complementary color signal after clamping according to the amount of exposure. Is adjusted, the luminance signal Y is generated from the complementary color signal after the gain adjustment in the luminance synthesis circuit 23, and the primary color separation circuit 24 generates the RGB primary color signal from the color capture signal after the gain adjustment. Is done.
  • the fritting force reducing unit 25 Y reduces the fritting force component in the luminance signal Y from the luminance synthesizing circuit 23 by the method of the present invention.
  • flicker components in the RGB primary color signals from the primary color separation circuit 24 are reduced by the fritting force reduction units 25R, 25G, and 25B.
  • the gamma correction circuit 26 captures the gradation of the luminance signal after flicker reduction to obtain the luminance signal Y of the output, and the white balance adjustment circuit In 27, the white balance of the RGB primary color signal after the reduction of the frit force is adjusted, and in the gamma correction circuit 28, the gradation of the RGB primary color signal after the white balance adjustment is converted, and the composite matrix circuit 2 In step 9, the color difference signals R—Y and ⁇ — ⁇ are generated from the gamma-corrected RGB primary color signals.
  • a luminance signal and an RGB primary color signal are generated relatively before the digital signal processing unit 20. This is because the luminance signal can be easily generated by a simple addition process from the above synthesized signal, and an RGB primary color signal is generated from the above synthesized signal by difference processing, and a luminance signal is generated from the RGB primary color signal. Then, the S / N of the luminance signal deteriorates.
  • frits-force reduction units 25Y, 25R, 25G, and 25B are arranged as shown in FIG. 3, but it is not necessarily limited to this.
  • the input image signal is an RGB primary color signal or a luminance signal before flicker reduction, which is input to the flit force reduction unit 25, respectively, and the output image signal is a flit signal, respectively.
  • This is the RGB primary color signal or the luminance signal output from the power reduction unit 25 after flicker reduction.
  • the subject is photographed by an NTSC (60 Hz vertical synchronization frequency) CMOS camera under fluorescent lighting in an area where the commercial AC power supply frequency is 50 Hz. Therefore, when the fluorescent light frit power is not reduced, as shown in FIGS. 29 to 31, the light / dark change and color change due to the frit force occur not only between the fields but also within the field, and the Above is the case where three fields (three screens) appear as stripes for five periods (five wavelengths).
  • NTSC 60 Hz vertical synchronization frequency
  • FIG. 4 shows a first example of the fritted force reducing section 25.
  • FIGS. 30 and 31 show the case where the subject is uniform.
  • the 'fritz force component is proportional to the signal intensity of the subject.
  • the input image signal (RGB primary color signal or luminance signal before the reduction of the frit force) of a general subject in an arbitrary field n and an arbitrary pixel ( X , y) is defined as In, (x, y).
  • I n ′ (x, y) is expressed by the equation (1) in FIG. 17A as the sum of a signal component that does not include a flicker component and a flicker component proportional to the signal component.
  • In (x, y) is a signal component
  • ⁇ ⁇ (y) * In (x, y) is a frit component
  • ⁇ ⁇ (y) is a frit component.
  • One horizontal period is sufficiently shorter than the emission period of a fluorescent lamp (1/100 second), and the flicker coefficient can be regarded as constant for the same line in the same field. ⁇ ⁇ n (y).
  • ⁇ mn indicates the initial phase of each of the following fritting force components, and is determined by the emission cycle (1/100 second) of the fluorescent lamp and the exposure timing. However, since ⁇ has the same value every three fields, the value of ⁇ m ⁇ between the previous field and The difference is expressed by equation (3) in Fig. 17A.
  • the integration block 31 uses the equation (4) in FIG. As shown in), integration is performed over one line in the horizontal direction of the screen, and an integrated value F n (y) is calculated.
  • a n (y) in Eq. (4) is the integral value over one line of the signal component In (X, y), as expressed by Eq. (5) in FIG. 17B.
  • the calculated integrated value F n (y) is stored and held in the integrated value holding block 32 for detecting the fritting force in the subsequent fields.
  • the integrated value holding block 32 is configured to hold the integrated value of at least two fields. If the subject is uniform, the integral value an (y) of the signal component I n (x, y) becomes constant, so the integral value F n (y) of the input image signal I n '(x, y) It is easy to extract the flicker component an (y) * ⁇ n (y) from
  • an (y) also includes the m * cuo component, the luminance component and the color component as the frit component, and the luminance component and the color component as the subject's own signal component Cannot be separated, and it is not possible to purely extract only the frit component.
  • the flicker component of the second term is very small compared to the signal component of the first term in equation (4), the flicker component is almost completely buried in the signal component.
  • Fig. 24 shows the integral value F n (y) of the subject shown in Fig. 23 (actually a color image) in three consecutive fields. This is for the red signal.
  • Field: N + 0 (solid line), Fie 1 d: N + 1 (dashed line), Fie 1 d: N + 2 (dotted line) are three consecutive fields. These are the first, second, and third fields in.
  • the Fritz force component is directly extracted from the integral F n (y). Is impossible.
  • the integral value holding block 3 2 when calculating the integral value F n (y), the integral value holding block 3 2 The integrated value F n — 2 (y) of the same line is read out, and the average calculation block 3 3 is used to average the three integrated values F n (y), F n — l (y), and F n — 2 (y) The value AVE [F n (y)] is calculated.
  • the integral value holding block 3 2 is configured to hold the integral values of at least (j ⁇ 1) fields.
  • the example in FIG. 4 is a case where the approximation of equation (7) in FIG. 18A holds.
  • the difference calculation block 34 further calculates the integration value F n (y) of the field from the integration block 3 1 and the integration value F n__l (y) of the previous field from the integration value holding block 3 2. Is calculated, and a difference value Fn (y) -Fn-1 (y) represented by the equation (8) in FIG. 18B is calculated. Equation (8) also assumes that the approximation of equation (7) holds.
  • FIG. 25 shows difference values F n (y) —F n—1 (y) in three consecutive fields for the subject shown in FIG.
  • the difference value Fn (y) -Fn-1 (y) sufficiently removes the influence of the subject, so that the difference between the difference value Fn (y) and the integral value Fn (y) shown in FIG.
  • the appearance of the force component clearly appears.
  • the difference value F n from the difference calculation block 3 4 (y) - F n- 1 (y) is the average value AVE of the average calculation block 3 3 Normalization is performed by dividing by [F n (y)], and the normalized difference value gn (y) is calculated.
  • the difference value F n (y) -F n_l (y) is affected by the signal strength of the subject, so the level of luminance change and color change due to flicker differs depending on the area. Thus, the luminance change and the color change due to flicker can be adjusted to the same level over the entire area.
  • FIG. 26 shows normalized difference values g n (y) in three consecutive fields for the subject shown in FIG.
  • , 0 m which is expressed by the equation (11a) (lib) in Fig. 19B, is the amplitude of the next-order spectrum of the normalized difference value gn (y). If the normalized difference value gn (y) is Fourier-transformed to detect the amplitude I Am I of each next-order spectrum and the initial phase 0 m, the equation (1 2a) By using (1 2b), the amplitude ⁇ m and initial phase ⁇ of each order flicker component shown in equation (2) in Fig. 17A can be obtained. Therefore, in the example of FIG. 4, in the DF ⁇ block 51, the difference value gn (y) after the normalization from the normalization block 35 is equivalent to one wavelength (L line) of the Fritz force. Perform discrete Fourier transform on the data.
  • Equation (13) is DFT [g n (y)] and the DFT result of order m is Gn (m)
  • the DFT operation is expressed by equation (13) in FIG. 20B.
  • W in equation (13) is represented by equation (14).
  • Equations (15a) and (15) in FIG. 20C the relationship between Equations (11a) (lib) and Equation (13) is represented by Equations (15a) and (15) in FIG. 20C.
  • the equations (16a) and (16b) of FIG. The amplitude 7 m and the initial phase ⁇ can be obtained.
  • the data length of the DFT calculation is set to one wavelength (L line) of the fritting force. This means that a discrete vector group that is an integral multiple of COo can be directly obtained. Because it can be.
  • FFT Fast Fourier Transform
  • DFT Downward Fast Fourier Transform
  • the spectrum is extracted by the DFT operation defined by the expression (13), and then the next free-range is calculated by the operation of the expressions (16a) and (16b).
  • the amplitude ⁇ m of the force component and the initial phase ⁇ are estimated.
  • the estimated value of ⁇ , ⁇ m ⁇ from the DF block 51 is used to calculate the flicker expressed by the equation (2) in FIG.
  • the force coefficient ⁇ ⁇ (y) is calculated.
  • the Fritz force component can be sufficiently approximated, so that the Fritz force coefficient ⁇ ⁇ ( In calculating y), the total order is not infinity but can be limited to a predetermined order, for example, the second order.
  • FIG. 27 shows the Fritz force coefficient ⁇ ⁇ (y) in three consecutive fields for the subject shown in FIG.
  • the flicker force component is completely buried in the signal component, and the flicker component is a small area such as a black background portion or a low illuminance portion.
  • the frit component can be detected with high accuracy. be able to. '
  • estimating the flicker component from the spectrum up to an appropriate order approximates the normalized difference value gn (y) without completely reproducing it.
  • the frit component of that part can be accurately estimated.
  • the arithmetic block 40 adds 1 to the flicker coefficient ⁇ n (y) from the fritz force generation block 53 and inputs the sum [1 + ⁇ (y)].
  • the image signal In '(x, y) is divided.
  • the frit component contained in the input image signal In ′ (X, y) is almost completely removed, and the output block 40 outputs the output image signal (the RGB primary colors after the frit reduction) from the arithmetic block 40.
  • a signal or a luminance signal a signal component I n (x, y) substantially free from flicker components is obtained.
  • the calculation block 40 is used by utilizing the fact that the flicker is repeated every three fields.
  • a function is provided to hold the Fritz force coefficient ⁇ ⁇ (y) over three fields, and the held Fritz force coefficient is stored for the input image signal I n ′ (x, y) after three fields ⁇ ⁇ (y) may be calculated. (Example when the saturation region is considered: Fig. 5)
  • the arithmetic block 40 when the level of the 'input image signal In' (x, y) is in the saturation region, when the operation of the expression (17) is performed by the operation block 40, the signal component (color) Component or luminance component). Therefore, it is desirable that the arithmetic block 40 be configured as shown in the example of FIG.
  • the operation block 40 in the example of FIG. 5 is an addition circuit 41 that adds 1 to the flicker coefficient ⁇ n (y) from the flicker generation block 53, and the sum [1 + ⁇ n (y)] It is composed of a divider circuit 42 that divides the input image signal I n ′ (x, y), a switch 43 on the input side, a switch 44 on the output side, and a saturation level determination circuit 45.
  • the level determination circuit 45 determines, for each pixel, whether or not the level of the input image signal In, (X, y) is equal to or higher than the threshold level of the saturation region.
  • the switches 43 and 44 are shifted to the opposite side by the saturation level determination circuit 45 in the pixel.
  • the input image signal I n ′ (x, y) is output as it is from the operation block 40 as an output image signal.
  • Figure 6 shows an example of this case.
  • the integrated value F n (y) from the integration block 31 is replaced by the average value AVE [F n (y) from the average calculation block 33. ]
  • the normalized difference value gn (y) is obtained.
  • each of the DFT blocks is calculated by the equations (16a) and (16b). While the amplitude of the next Fritz force component ⁇ m and the initial phase ⁇ are estimated, in the example of Fig. 6, after extracting the spectrum by the DFT operation defined by equation (13), The amplitude ⁇ m and the initial phase ⁇ of each order flicker component are estimated by the operations of the equations (20a) and (20b). Subsequent processing is the same as in the example of FIG.
  • the flicker reduction unit 25 can be simplified accordingly. Also in this example, it is desirable that the arithmetic block 40 be configured as in the example of FIG.
  • the average value AVE [F n (y)] used for normalization in the example of FIG. 4 is expressed as an (6) when an approximation of equation (7) in FIG. y) and the second term [an (y) * ⁇ n (y)] in equation (4) in Fig. 17B is sufficiently smaller than the first term an (y). The effect of the second term on the impact is very small.
  • the difference value Fn (y) —Fn—1 (y) from the difference calculation block 34 is converted to the integration value Fn ( Normalize by dividing by y). Subsequent processing is the same as in the example of FIG.
  • the integral value holding block 32 only needs to be able to hold the integral value for one field, and does not require the average value calculation block 33, so that the fritting force reduction section 25 can be simplified. it can.
  • the arithmetic block 40 be configured as in the example of FIG.
  • FIG. 8 shows an example in which the flicker reduction section 25 is configured as described above.
  • the normalized integration value calculation block 30 is configured as in the example of FIG. 4, FIG. 6, or FIG. In the examples of FIGS. 4 and 7, not the integral value F n (y) but the differential value F n (y) -one F n — 1 (y) is normalized, but for convenience, the normalized integral value is calculated. Called block.
  • a fluorescent light illumination judgment block 52 is provided between the DFT block 51 and the fritting force generation block 53.
  • the level (amplitude) ⁇ ⁇ of each next component estimated and calculated in the DFT block 51 is as shown in Fig. 22 ⁇ under the fluorescent lamp illumination. While the level is sufficiently larger than a certain threshold value T h and decreases rapidly as m increases, under non-fluorescent lighting, as shown in Fig. 22B, the level of each next component becomes the threshold value T h or less.
  • the spectrum should be zero, but in practice, because the subject moves, the normalized difference value gn (y ) Or the integrated value gn (y) 11 inevitably contains a small number of frequency components.
  • the fluorescent light illumination determination block 52 determines that the illumination is not performed by the non-fluorescent lamp, and for all the orders m, ⁇ Zero the estimate of m.
  • the flicker coefficient ⁇ n (y) also becomes zero, and the input image signal In, (x, y) is output from the arithmetic block 40 as an output image signal as it is.
  • Figure 9 shows another example.
  • the fluorescent light illumination determination block 52 determines whether or not it is under fluorescent light illumination, as in the example of FIG. 8, but if it is determined that it is under non-fluorescent light illumination, The detection flag COMP—OFF is set to stop the processing in the flicker generation block 53 and the operation block 40, and the input image signal I n ′ (X, y) is used as it is as the output image signal. Output from the calculation block 40. If it is under fluorescent light illumination, the detection flag COMP-OFF is reset, and the flicker reduction processing is executed as described above.
  • the imaging apparatus is configured as shown in, for example, FIG.
  • FIG. 10 As the fritting force reducing unit 25, in the example of FIG. 4, FIG. 6 or FIG. 5 6 and frits force holding block 57 are provided, A detection flag DET-OFF, which will be described later, output from the system controller 14 is supplied to the switches 55 and 56 as a switching signal. It is assumed that the flicker holding block 57 can hold the flicker coefficient ⁇ n (y) for three fields, and the flicker force coefficient ⁇ ⁇ (y) is changed every time the processing for one field is completed. In addition to storing the data for each field, the read output can be switched by repeating every three fields.
  • the system controller 14 controls the driving of the lens according to the photographer's zoom operation such as telephoto or wide-angle operation.
  • the camera shake of the photographer is detected by the camera shake sensor 17 and the camera shake information is sent to the system controller 14.
  • the system controller 14 controls camera shake correction based on the camera shake information. Panning / tilting is also detected by the system controller 14, and the system controller 14 performs control such as weakening camera shake correction during pan junging.
  • Such detection control is generally the same as that performed by a camera. Further, in the example of FIG.
  • the system controller 14 when the system controller 14 detects a photographer's operation or movement in which the subject changes greatly in a short time, the system controller 14 sets the detection flag DET-OFF, and If no operation or operation is performed, reset the detection flag DET—OFF. Then, in a normal state where the subject does not change greatly in a short time, the detection flag DET-OFF is reset, so that the switch 55 is switched to the flicker generation block 5 by the flicker force reduction unit 25. Switched to 3 side, The current flit force coefficient ⁇ (y) from the flit force generation block 53 is supplied to the operation block 40, and the flicker reduction processing is executed, and the switch 56 is turned on. Then, the flicker force coefficient ⁇ n (y) at that time is stored in the flicker holding block 57.
  • the detection flag DET-OFF is set, and the flicker reduction section 25 causes the switch 55 to flicker.
  • the holding block 57 side reading from the fritting force holding block 57 instead of the fritting force coefficient ⁇ ⁇ ⁇ (y) with the poor detection accuracy at that time from the fritting force generating block 53
  • the flit force coefficient ⁇ ⁇ n (y) force S with good detection accuracy is supplied to the calculation block 40 to reduce the flit force.
  • the switch 56 is turned off, and the flicker coefficient ⁇ ⁇ n (y) with poor detection accuracy at that time is prevented from being stored in the fritz force holding block 57.
  • the detection flag DET-OFF is also sent to the normalized integration value calculation block 30, the DFT block 51, and the flicker generation block 53, and the subject is operated or operated by the photographer.
  • the detection flag DET-OFF is set, and the normalized integration value calculation block 30, the DFT block 51, and the fritz force generation block 53 are set. Is stopped. Therefore, in this example, power consumption can also be reduced.
  • the fritz force coefficient ⁇ ⁇ (y) is replaced with the immediately preceding signal, but a signal at a previous stage, for example, the integral value F n (y) is replaced with the immediately preceding signal. You may be comprised so that it may be replaced with a number.
  • the first situation in which the fritting force reduction processing is unnecessary is, for example, the case where a still image is captured by a video camera / digital still camera capable of capturing both moving images and still images.
  • the exposure timing (exposure start and exposure end timing) of all pixels in one screen can be made the same, and the It is possible to avoid the generation of a light fritting force.
  • Readout from the image sensor can be performed slowly with the mechanical shutter closed and shielded from light because there is no restriction on the frame rate as in the case of shooting a moving image.
  • the shooting conditions that do not require fritz force reduction processing are as follows.
  • the exposure time electronic shutter time
  • the exposure time can be adjusted to the brightness of the fluorescent lamp.
  • it is set to an integral multiple of the change cycle (1/100 second).
  • Whether it is under fluorescent light illumination can be detected from the level of the spectrum extracted by the DFT block 51, as shown in the examples of FIGS.
  • the system controller 14 can directly detect the presence of non-fluorescent lighting even from the same non-fluorescent lighting under the same non-fluorescent lighting in the system controller 14.
  • the exposure time is set to an integral multiple of the cycle of the luminance change of the fluorescent lamp (1Z100 seconds). Occasionally, no fluorescent light fringing force including the in-screen fringing force is generated.
  • the system controller 14 can directly detect whether or not the exposure time has been set to an integral multiple of the cycle of the luminance change of the fluorescent lamp by adjusting the exposure amount or the like.
  • the system controller 14 determines that the shooting state does not require the fringe force reduction processing, the flicker reduction processing is not performed, and the input image signal I n ′ ( The system is configured so that x, y) is output as-is from the flicker reduction unit 25 as an output image signal.
  • FIG. 11 shows an example of such a system configuration.
  • a zeroing block 59 is provided between the DFT block 51 and the flicker generation block 53 to reduce the flit force from the system controller 14.
  • the zeroing block 59 is controlled by the on / off control signal.
  • the flicker reduction on / off control signal is set to the on state, and the zeroing block 59 is controlled by the DFT block 51.
  • the estimated values of ym and ⁇ are output to the flicker generation block 53 as they are. Therefore, in this case, the flicker reduction processing is executed as described above.
  • the system controller 14 determines that the flicker force reduction processing is unnecessary, the flicker reduction on / off control signal is turned off, and The zeroing block 59 sets the estimated value of ⁇ to zero for all orders m. Therefore, in this case, the flicker coefficient ⁇ n (y) also becomes zero, and the input image signal In, (x, y) force S is output from the operation block 40 as an output image signal as it is.
  • FIG. 12 shows another example.
  • the operation block 40 of the fritting force reduction section 25 has the addition circuit 41, the division circuit 42, and the switches 43, 44 shown in the example of FIG.
  • the switch is configured so as not to include the determination circuit 45, and the switches 43 and 44 are switched by a flicker reduction on / off control signal from the system controller 14.
  • the switches 43 and 44 are switched to the division circuit 42 side, and as described above, the equation (17) ) Is output from the operation block 40 as an output image signal.
  • the switches 43 and 44 are switched to the opposite side, and the input image signal I n ′ (X, y) remains unchanged. It is output from the operation block 40 as an output image signal.
  • the fritting force reduction on / off control signal is also sent to the normalized integral value calculation block 30, the DFT block 51, and the fritting force generation block 53, and the system controller 14.
  • the processing in the normalized integral value calculation block 30, the DFT block 51, and the flicker generation block 53 is stopped. Therefore, in this example, power consumption can also be reduced.
  • an average calculation or a difference calculation between a plurality of fields is performed in detecting a frit force component, so that the instant when the switch of the fluorescent lamp is turned on or off, or under the fluorescent lamp illumination, In a transitional unstable state, such as when entering a room or exiting a room under fluorescent lighting, the fritz force component cannot be detected accurately. Therefore, if the flicker reduction process is performed using the flicker component obtained in such a state, an undesirable correction may be performed on the input image signal.
  • the horizontal angle of view change caused by camera operation such as horizontal subject movement or panning / zooming or camera shake is reliably and stably flipped.
  • flit force reduction performance is slightly reduced for vertical movement of the subject due to camera movements such as vertical subject movement, tilting and zooming, or camera shake. Lower.
  • LPF low-pass filter
  • the following example is a case in which the amplitude and the phase of the estimated flicker component, which are parameters related to the flicker force reduction, are adjusted.
  • Figure 13 shows the basic configuration of this example.
  • the data of the estimated amplitude ⁇ m and the initial phase ⁇ of the flicker force component obtained from the DFT block 51 of the above-described flicker force reduction unit 25 are transmitted to the system controller 14.
  • the data is then adjusted by the parameter control unit 14a in the system controller 14 as described later, and the data of the adjusted amplitude ym and the initial phase ⁇ ′ is Input to the block generation block 53.
  • the flicker coefficient ⁇ n (y) expressed by (2) is calculated. That is, in this example, ⁇ ⁇ and ⁇ in Equation (2) in FIG. 17A are replaced with ⁇ ⁇ , and ⁇ '.
  • FIG. 13 shows the normalized integral value calculation block 3 of the frits force reduction unit 25.
  • the normalized integral value calculation block 30 may have the configuration shown in FIG. 6 or FIG.
  • FIG. 14 shows a first specific example in this case.
  • the data of the amplitude ⁇ m and the initial phase ⁇ mn as the input signals of the parameter control unit 14a actually have m systems per field, but are shown here as one system. The same applies to the data of the amplitude ⁇ m ′ and the initial phase ⁇ ′ which are output signals of the parameter control unit 14a.
  • the data of the amplitude ⁇ m and the initial phase ⁇ mn from the DF ⁇ block 51 are supplied to the digital LPFs (low-pass filters) 61 and 62 respectively, and the output data of the digital LPF 61 is
  • the output data of the gain adjustment circuit 63 is supplied to the flicker generation block 53 as data of the adjusted amplitude ⁇ ', and the digital LPF
  • the output data of 62 is input to the flicker generation block 53 as data of the adjusted initial phase ⁇ m ⁇ ,.
  • the time constant Ta of the digital LPF 61 and the time constant Tp of the digital LPF 62 are set by the time constant setting block 65.
  • the gain (multiplication coefficient) Ka in the gain adjustment circuit 63 is set by the gain setting block 66.
  • the commercial AC power source frequency is 5 0 Eta Zeta
  • the vertical synchronizing frequency of the camera is 6 0 Eta zeta
  • the initial phase ⁇ ⁇ ⁇ the same value every three fields, between the previous field Produces the difference (difference) expressed by equation (3) in Fig. 17 1.
  • the digital LPF 62 it is necessary to configure one LPF for data having the same phase in consideration of the variation of the initial phase ⁇ . That is, when the period of the fluctuation of the initial phase ⁇ m ⁇ is 3 fields as in the above example, three LPFs are provided as the digital LPF 62, and the data of the initial phase ⁇ ⁇ ⁇ are Input to two LPFs.
  • the data of the amplitude ⁇ m and the initial phase ⁇ ⁇ ⁇ and the ⁇ ⁇ (auto exposure) control information and the AWB (auto white balance) control information obtained in the system controller 14 are Input to status detection block 68.
  • the control information is, specifically, information on the brightness of the screen, and the AWB control information is, specifically, information indicating whether or not the camera is under a color temperature or fluorescent lighting.
  • the state detection block 68 determines whether or not the current shooting environment is under fluorescent light illumination, or whether or not the switch of the fluorescent light is turned on or off, from the input information as described below.
  • Imaging that affects the occurrence of fluorescent lamp flicker such as whether the transition state is from non-fluorescent lighting to fluorescent lighting or from fluorescent lighting to non-fluorescent lighting. The situation is detected, and the control mode is determined according to the detection result.
  • the determined control mode is presented to the time constant setting block 65 and the gain setting block 66 by the control mode presentation signal, and in response to this, the time constant setting block 65 digitally converts the PF 61 and 6 Set the time constants T a and T p of 2 and gain setting block 6 6 Set the gain Ka in circuit 63.
  • FIG. 16 shows an example of the criterion for the above-described state detection in the state detection block 68.
  • the flit force is constantly and stably generated under the fluorescent lamp illumination.
  • the brightness of the screen fluctuates at a substantially constant cycle under fluorescent lighting, so it can be sufficiently judged from the brightness information of the A control that indicates that the screen is under fluorescent lighting. .
  • the light source is estimated from the detected color information, and it is determined whether or not the light source is a fluorescent lamp. You can also determine that there is.
  • the accuracy of detection is increased by comprehensively judging information beyond the past multiple fields.
  • the state detection block 68 sets the control mode to the mode A described later when it is determined that the flicker is constantly and stably generated under the fluorescent lamp illumination. .
  • the estimated amplitude ⁇ m of the frit force component fluctuates randomly near zero due to only the noise component, and The phase ⁇ fluctuates randomly due to noise.
  • the fritting force reduction processing is not required under the non-fluorescent lamp illumination.
  • there is no periodicity in the fluctuation of the screen brightness Therefore, it can be sufficiently determined from the AE control brightness information that indicates that the screen is under non-fluorescent lighting. it can. It is also possible to determine that the subject is under non-fluorescent lighting from the light source estimation information of the AWB control described above.
  • the accuracy of detection is increased by comprehensively judging information beyond the past multiple fields.
  • the control mode is set to the control mode. Is set to mode B described later.
  • the time constant setting block 65 and the gain setting block 66 specifically determine the time constants Ta and Tp of the digital LPFs 61 and 62 and the gain. What value should be set as the gain Ka in the adjustment circuit 63 is determined as follows according to the system configuration and the requirements for the system.
  • the time constant Ta of the digital LPF 61 As described above, although the estimated amplitude ⁇ m of the flicker component varies depending on whether it is near zero or not, the mode A (fluorescence In the state where the frit force is constantly and stably generated under the lighting of the lamp, or in the mode B (the state where the frit force is not generated constantly under the non-fluorescent lighting), the value is almost constant. Become. The value does not become almost constant when there is a disturbance.
  • the time constant T a is set to be short, with emphasis on the latter followability.
  • the time constant T a becomes longer, and when transitioning from mode A to mode B or from mode B to mode A, the time constant T a becomes shorter.
  • the time constant Ta can be dynamically controlled.
  • mode ⁇ (a state in which no fritting force is constantly generated under non-fluorescent lighting)
  • the initial phase ⁇ ⁇ ⁇ continues to take a random value, so the time constant T p is set longer.
  • the time constant ⁇ ⁇ can be set to an arbitrary value due to the effect of gain adjustment described later.
  • the time constant Ta or ⁇ ⁇ may be switched between mode ⁇ ⁇ and mode ⁇ .
  • the gain Ka in the gain adjustment circuit 63 in mode A (the state in which the frit force is constantly and stably generated under the fluorescent light) is represented by the amplitude ⁇ as shown in FIG. Since m is almost constant, the gain Ka should basically be set to 1.
  • K a the capture rate of the amplitude ⁇ m can be directly controlled.
  • the gain Ka is not limited to 1, but can be set to a value larger than 1 or a value smaller than 1.
  • a system may be configured.
  • mode B a state in which no fritting force is constantly generated under non-fluorescent lighting
  • the amplitude ⁇ m becomes a random value near zero due to noise.
  • the gain Ka is set to zero so that unnecessary processing is not performed.
  • Mode A or Mode B the state in which the frit force is generated constantly or not.
  • the frit component is extracted by an average operation or a difference operation between a plurality of fields.
  • a part of each signal sequence used for the averaging operation or the difference operation includes a flicker component, and the other part does not include a flicker component.
  • the gain setting block 66 detects the transition state of the control mode and controls the value of the gain Ka according to the transition state.
  • the reliability of the amplitude ⁇ m and the initial phase ⁇ is sufficiently high because the reliability of the amplitude ym and the initial phase ⁇ mn is still low at the start of the transition.
  • the gain Ka is switched from zero to 1 and the flicker force reduction processing in the flicker generation block 53 and the calculation block 40 is executed, or the gain Ka is gradually reduced.
  • the flicker generation block 53 and the calculation block 40 are used to smoothly execute flicker reduction processing.
  • FIG. 15 shows a second specific example.
  • This example is obtained by adding storage units 71 to 74, switches 75 to 78, and a state detection block 69 to the example shown in FIG.
  • the storage unit 71 stores data of the amplitude ⁇ m
  • the storage unit 72 stores data of the initial phase ⁇
  • the storage unit 73 stores the output data of the gain adjustment circuit 63.
  • the storage unit 74 stores the output data of the digital LPF 62
  • the switches 75 to 78 store the storage units 71 to 7 in accordance with the detection results of the state detection block 69, respectively. 4 input and output data
  • the output data of switch 75 is supplied to digital LPF 61
  • the output data of switch 76 is supplied to digital PF 62
  • the output data of switch 77 is selected.
  • the output data of the switch 78 is input to the flicker generation block 53 as the data of the initial phase ⁇ ′. .
  • Zooming information and camera shake information are input to the state detection block 69.
  • the state detection block 69 determines from the zooming information whether a large angle of view change has occurred due to zooming, and from the camera shake information, a large angle of view due to panning / tilting or large-amplitude camera shake. It is determined whether or not a change has occurred.
  • the state detection block 69 switches the switches 75 to 78 to the sides other than the storage units 71 to 74, respectively. That is, normally, similarly to the example of FIG. 14, the fritting force reduction processing is executed.
  • the state detection block 69 switches the switches 75 to 78 to the storage units 71 to 74, respectively.
  • the reliability of the amplitude ⁇ ⁇ and the initial phase ⁇ ⁇ ⁇ decreases, and the amplitudes obtained in the past and stored in the storage units 73 and 74 are reduced.
  • the data and the initial phase data are input to the fritting force generation block 53 as the amplitude ⁇ m and the initial phase ⁇ ′.
  • switches 777 and 788 are then switched to non-storage units 73 and 74. Immediately after this, the amplitude ⁇ m and the initial phase ⁇ ⁇ , contain errors.
  • the state detection block 69 not only switches the switches 77 and 78 to the storage units 73 and 74 but also switches the switches 5 and 76 are switched to the storage units 7 1 and 7 2, and the unreliable data at that time is stored in the storage units 7 1 and 7 2 without being input to the digital LPFs 6 1 and 6 2.
  • the control is performed so that highly reliable data before large changes in the angle of view are digitized and input to the PFs 61 and 62.
  • the reliability of the amplitude y m and the initial phase ⁇ ⁇ n is determined separately not only for the zooming information and the camera shake information, and the reliability level information of the determination result is used as input information of the state detection block 69, If the reliability level information indicates that the reliability of the amplitude ⁇ m and the initial phase ⁇ ⁇ ⁇ is low, the switches 75 to 78 are switched to the storage units 71 to 74 as described above. Therefore, it is also possible to configure so that past reliable data is used.
  • the input image signal I n ′ (x, y) is integrated over one line, but the integration of the input image signal In, (x, y) is This is to obtain the sampling value of the flicker component with less influence, so that the sampling may be performed not only for one line but also for a plurality of lines.
  • the input image signal In, (x, y ) can be integrated over a time that is several times or more than 10 times the horizontal period. Also, the integration time does not have to be an integral multiple of the horizontal period, such as 2.5 horizontal periods.
  • the load of the DFT operation in the DFT block 51 can be reduced, and when the subject moves in the vertical direction of the screen. In addition, the effect can be reduced.
  • the flicker reduction components 25R, 25G, and 25B detect and reduce the frit component for each primary color signal of each RGB color as shown in Fig. 2.
  • a flicker reducing unit 25 as in the above example is provided on the output side of the luminance signal Y of the composite matrix circuit 29 to detect a flicker component in the luminance signal Y. , May be configured to reduce.
  • the digital signal processing unit 20 including the flits force reduction unit 25 is configured by hardware.
  • the flicker reduction unit 25 or the digital signal processing unit 20 is not required. Some or all of them may be configured by software.
  • the vertical synchronization frequency is 60 Hz (one field cycle is 1 to 60 seconds).
  • the present invention is, for example, a progressive camera such as a digital camera, It can also be applied when the vertical synchronization frequency is 30 Hz (one frame period is 1/30 second).
  • the three-frame period (1/10 seconds) is an integral multiple of the fluorescent light emission period (1Z100 seconds). (The fringe fringe pattern is equivalent to 10 wavelengths in three frames.) Therefore, the fields in the above-described embodiment may be replaced with frames.
  • the present invention can also be applied to a case where an XY address scanning type imaging element other than the CMOS imaging element is used.
  • the fluorescent lamp flicker unique to an XY address scanning type image sensor such as a CMOS image sensor can be removed by subjecting the subject to simple signal processing without using a light receiving element or the like. Regardless of the signal level, video signal level, and type of fluorescent lamp, it can be detected with high accuracy and can be reliably and sufficiently reduced.
  • the method for reducing fringe power of the present invention when used for the primary color signals of RGB colors, it is necessary to detect not only bright and dark fringe powers but also color fringe powers with high accuracy and to reduce them reliably and sufficiently. Can be.
  • the reverse calculation is performed by performing the calculation of the flicker reduction. It is possible to prevent the signal component from being changed.
  • the flicker reduction calculation is performed. This can prevent the image quality from being affected.
  • the influence of disturbance is reduced in a steady state under fluorescent lamp illumination or non-fluorescent lamp illumination. It is not easy to receive, but it also has good responsiveness at the time of transition. ⁇ It is possible to realize a process with good follow-up, and also at the time of state transition, angle of view change, or when the reliability of flicker detection parameter is low. Appropriate processing can be performed smoothly and without discomfort.

Abstract

受光素子などを用いることなく、簡単な信号処理のみによって、ＣＭＯＳ撮像素子などのＸＹアドレス走査型の撮像素子に固有の蛍光灯フリッカを、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減できるようにする。信号Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含むＲＧＢ原色信号または輝度信号である。信号Ｉｎ’（ｘ，ｙ）を１水平周期以上の時間に渡って積分し、隣接するフィールドにおける積分値の差分値を連続する３フィールドにおける積分値の平均値で正規化する。その正規化後の差分値ｇｎ（ｙ）を離散フーリエ変換してスペクトルを抽出し、その抽出したスペクトルからフリッカ係数Γｎ（ｙ）を推定し、Ｉｎ’（ｘ，ｙ）／［１＋Γｎ（ｙ）］の演算を行う。

Description

フリ ツ力低減方法、 撮像装置おょぴフリ ツ力低減回路 技術分野
この発明は、 蛍光灯の照明下で CMO S (相補型金属酸化物半導体） 撮像素子などの XYア ドレス走查型の撮像素子 （イメージャ、 イメージ センサ） によつて被写体を撮影した場合に撮像素子から得られる映像信 号に生じる蛍光灯フリ ツ力を低減する方法、 CMO S撮像素子などの X Yァドレス走査型の撮像素子を用いたビデオ力メラゃデジタルスチルカ メラなどの撮像装置、 および、 その撮像装置に用いるフリ ツ力低減回路 に関する。 背景技術
商用交流電源によって直接点灯される蛍光灯の照明下で、 ビデオカメ ラによって被写体を撮影すると、 蛍光灯の輝度変化 （光量変化） の周波 数 （商用交流電源周波数の 2倍） とカメラの垂直同期周波数との違いに よって、 撮影出力の映像信号に時間的な明暗の変化、 いわゆる蛍光灯フ リ ツ力を生じる。
例えば、 商用交流電源周波数が 5 0 H zの地域において、 非インバー タ方式の蛍光灯の照明下で、 NT S C方式（垂直同期周波数は 6 0 H z ) の C CDカメラによって被写体を撮影する場合、 図 2 8に示すように、 1フィールド周期が 1 /6 0秒であるのに対して、 蛍光灯の輝度変化の 周期が 1ノ 1 0 0秒となるので、 蛍光灯の輝度変化に対して各フィール ドの露光タイミングがずれ、 各画素の露光量がフィールドごとに変化す る。
そのため、例えば、露光時間が 1 / 6 0秒であるときには、期間 a 1 ， a 2， a 3では、 同じ露光時間でも露光量が異なり、 露光時間が 1 / 6 0秒より短いとき （ただし、 後述のように 1 Z 1 0 0秒ではないとき） には、 期間 b l ， b 2 , b 3では、 同じ露光時間でも露光量が異なる。 蛍光灯の輝度変化に対する露光タイミングは、 3フィールドごとに元 のタイミングに戻るため、 フリツ力による明暗変化は、 3フィールドご との繰り返しとなる。 すなわち、 各フィールドの輝度比 （フリ ツ力の見 え方） は、 露光期間によって変わるが、 フリ ツ力の周期は変わらない。 ただし、 デジタルカメラなど、 プログレッシブ方式のカメラで、 垂直 同期周波数が 3 0 H z の場合には、 3 フレームごとに明暗変化が繰り返 される。
さらに、 蛍光灯は、 白色光を発光するために、 通常、 複数の蛍光体、 例えば、 赤、 緑、 青の蛍光体が用いられている。 しかし、 これら蛍光体 は、 それぞれが固有の残光特性を有し、 輝度変化の周期中に存在する放 電停止から次の放電開始までの期間は、 それぞれの残光特性で減衰発光 する。 そのため、 この期間では、 始めは白色であった光が、 次第に色相 を変えながら減衰することになるので、 上記のように露光タイミ ングが ずれると、 明暗変化だけでなく、 色相変化を生じる。 また、 蛍光灯は、 特定の波長に強いピークが存在するという特有の分光特性を持っている ため、 色によって信号の変動成分が異なる。
そして、このような色相変化、およぴ色ごとの変動成分の差によって、 いわゆる色フリ ッ力が発生する。
これに対して、 図 2 8の最下段に示すように、 露光時間を蛍光灯の輝 度変化の周期 （ 1ノ 1 0 0秒） の整数倍に設定すれば、 露光タイミング にかかわらず露光量が一定となって、 フリ ツ力を生じない。 実際、 ユーザの操作によって、 またはカメラでの信号処理により蛍光 灯照明下であることを検出することによって、 蛍光灯照明下である場合 には露光時間を 1 1 0 0秒の整数倍に設定する方式が考えられている。 この方式によれば、 単純な方法で、 フリ ツ力の発生を完全に防止するこ とができる。
しかし、 この方式では、 任意の露光時間に設定することができないた め、 適切な露出を得るための露光量調整手段の自由度が減ってしまう。 そのため、 任意のシャツタ速度 （露光時間） のもとで蛍光灯フリツ力 を低減することができる方法が要求される。
これについては、 C C D撮像装置のように 1画面内の全ての画素が同 一の露光タイミングで露光される撮像装置の場合には、 フリ ツ力による 明喑変化おょぴ色変化がフィールド間でのみ現れるため、 比較的容易に 実現することができる。
例えば、図 2 8の場合、露光時間が 1 / 1 0 0秒の整数倍でなければ、 フリ ツ力は 3 フィールドの繰り返し周期となるので、 各フィールドの映 像信号の平均値が一定となるように 3フィールド前の映像信号から現在 の輝度および色の変化を予測し、 その予測結果に応じて各フィールドの 映像信号のゲインを調整することによって、 フリ ッカを実用上問題のな いレベルまで抑圧することができる。
しかしながら、 C M O S撮像素子などの X Yア ドレス走查型の撮像素 子では、 画素ごとの露光タイミングが画面水平方向において読み出しク ロック （画素クロック） の 1周期分ずつ順次ずれ、 全ての画素で露光タ ィミングが異なるため、 上記の方法ではフリ ッカを十分抑圧することは できない。
図 2 9に、 その様子を示す。 上記のように画面水平方向でも各画素の 露光タイミングが順次ずれるが、 蛍光灯の輝度変化の周期に比べて 1水 平周期は十分短いので、 同一ライン上の画素は露光タイミングが同時で あると仮定し、画面垂直方向における各ラインの露光タイミングを示す。 実際上、 このように仮定しても問題はない。
図 2 9に示すように、 X Yアドレス走查型の撮像素子、 例えば C M O S撮像素子では、 ラインごとに露光タイミングが異なり （F 1は、 ある フィールドでの、 その様子を示す） 、 各ラインで露光量に差を生じるた め、 フリ ツ力による明暗変化および色変化が、 フィールド間だけでなく フィールド内でも生じ、 画面上では縞模様 （縞自体の方向は水平方向、 縞の変化の方向は垂直方向） として現れる。
図 3 0に、 被写体が均一なパターンの場合の、 この画面内フリ ツ力の 様子を示す。 縞模様の 1周期 （ 1波長） が 1 / 1 0 0秒であるので、 1 画面中には 1 . 6 6 6周期分の縞模様が発生することになり、 1フィー ルド当たりの読み出しライン数を Mとすると、 縞模様の 1周期は読み出 しライン数では L = M * 6 0 Z 1 0 0に相当する。 なお、 明細書および 図面では、 アスタリスク （* ) を乗算の記号として用いる。
図 3 1に示すように、 この縞模様は、 3フィールド （ 3画面） で 5周 期（ 5波長）分となり、連続的に見ると垂直方向に流れるように見える。 図 3 0およぴ図 3 1には、 フリ ッカによる明暗変化のみを示すが、 実 際には上述した色変化も加わり、 画質が著しく劣化する。 特に色フリ ツ 力は、 シャツタ速度が速くなると顕著になるとともに、 X Yアドレス走 查型の撮像素子では、 その影響が画面内に現れるため、 画質劣化がより 目立つようになる。
このような X Yァドレス走査型の撮像素子の場合にも、 露光時間を蛍 光灯の輝度変化の周期 ( 1 / 1 0 0秒) の整数倍に設定することができ れば、 露光タイミングにかかわらず露光量が一定となって、 画面内フリ ッカを含む蛍光灯フリ ッカを生じない。 しかしながら、 CMO S撮像素子などで、 電子シャツタ速度を可変に すると、 撮像装置が複雑になる。 しかも、 電子シャツタを自由に切れる 撮像装置であっても、 フリッカ防止のために露光時間を 1 Z 1 0 0秒の 整数倍にしか設定できないとすると、 適切な露出を得るための露光量調 整手段の自由度が減ってしまう。
そこで、 CMO S撮像素子などの X Yァドレス走査型の撮像素子に固 有の蛍光灯フリ ッカを低減する方法が提案されている。
特許文献 1 (特開 2 0 0 0— 3 5 0 1 0 2公報）または特許文献 2 (特 開 2 0 0 0— 2 3 0 4 0公報） には、 受光素子や測光素子により蛍光灯 の光量を測定することによってフリ ツ力成分を推定し、 その推定結果に 応じて撮像素子からの映像信号の利得を制御する方法が示されている。 特許文献 3 (特開 2 0 0 1— 1 6 5 0 8公報） には、 現在の外光条件 に適した第 1の電子シャッタ値と蛍光灯の明滅周期に対して所定の関係 を有する第 2の電子シャツタ値との 2条件で 2種の画像を撮影し、 両者 の信号を比較することによってフリ ツ力成分を推定し、 その推定結果に 応じて撮像素子からの映像信号の利得を制御する方法が示されている。 特許文献 4 (特開平 1 1一 1 6 4 1 9 2号公報） には、 あらかじめ蛍 光灯照明下での明暗変化の様子を補正係数としてメモリ内に記録してお く一方で、 映像信号成分とフリ ッカ成分の周波数の違いを利用して撮像 素子からの映像信号からフリ ツ力成分の位相を検出し、 その検出結果に 応じてメモリ内の補正係数によって映像信号を補正する方法が示されて いる。
特許文献 5 (特開 2 0 0 0— 1 6 5 7 5 2公報） には、 フリ ツ力の位 相がちょ う ど 1 8 0度反転するような時間差をもって露光された 2つの 映像信号から補正係数を算出し、 その算出した補正係数によって映像信 号を捕正する方法が示されている。 しかしながら、 特許文献 1， 2に記載のように、 受光素子や測光素子 により蛍光灯の光量を測定することによってフリ ッカ成分を推定する方 法は、 撮像装置に受光素子や測光素子を付加するので、 撮像装置システ ムのサイズゃコス トが増大する。
また、 特許文献 3に記載のように、 異なるシャツタ条件 （露出条件） で 2種の画像を撮影してフリ ッカ成分を推定する方法も、 撮像装置のシ ステムが複雑化する欠点があり、 しかも、 この方法は、 動画の撮影には 適さない欠点がある。
また、 特許文献 4に記載のように、 メモリ内に用意した係数を補正信 号として用いる方法は、 全ての種類の蛍光灯につき、 補正係数を用意し ておく ことは不可能であるため、 蛍光灯の種類によっては、 フリ ツ力成 分を正確に検出し、確実に低減することができない欠点がある。しかも、 特許文献 4に記載のように、 映像信号成分とフリ ッカ成分の周波数の違 いを利用して映像信号からフリ ッカ成分を抽出する方法では、 フリ ツ力 成分が微小な黒の背景部分や低照度の部分などでは、 映像信号成分と区 別してフリ ッカ成分を検出することが難しいとともに、 画面中に動きの ある物体が存在する場合には、 フリ ッカ成分の検出性能が著しく低下す る。
また、 特許文献 5に記載のように、 異なるタイミング条件で 2種の画 像を撮影してフリ ツ力成分を推定する方法は、 特許文献 3に記載の方法 と同様に、 撮像装置のシステムが複雑化するとともに、 動画の撮影には 適さない欠点がある。
そこで、 この発明は、 受光素子などを用いることなく、 簡単な信号処 理のみによって、 C M O S撮像素子などの X Yァドレス走查型の撮像素 子に固有の蛍光灯フリ ツ力を、 被写体や映像信号レベルおょぴ蛍光灯の 種類などにかかわらず、 高精度で検出し、 確実かつ十分に低減すること ができるようにしたものである。 発明の開示
第 1の発明のフリ ッカ低減方法は、
蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を撮影す ることによって得られる映像信号または輝度信号に含まれる蛍光灯フリ ッカ成分を低減する方法であって、
前記映像信号または前記輝度信号を入力画像信号として、 その入力画 像信号を 1水平周期以上の時間に渡って積分する工程と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルからフリ ッカ成分を推定する工程と、 その推定したフリ ッカ成分を打ち消すように、 推定したフリ ッカ成分 と前記入力画像信号を演算する工程と、
を備えるものである。
第 2の発明のフリ ッカ低減方法は、
蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を撮影す ることによって得られる各色の色信号に含まれる蛍光灯フリ ッカ成分を 低減する方法であって、
前記各色の色信号を、 それぞれ入力画像信号として、 その入力画像信 号を 1水平周期以上の時間に渡って積分する工程と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルカゝらフリ ッカ成分を推定する工程と、 ' その推定したフリ ッカ成分を打ち消すように、 推定したフリ ッカ成分 と前記入力画像信号を演算する工程と、
を備えるものである。
第 3の発明のフリ ッカ低減方法は、
蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を撮影す ることによって得られる輝度信号おょぴ各色の色信号に含まれる蛍光灯 フリ ッカ成分を低減する方法であって、
前記輝度信号および前記各色の色信号を、 それぞれ入力画像信号とし て、その入力画像信号を 1水平周期以上の時間に渡って積分する工程と、 その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルからフリ ッカ成分を推定する工程と、 その推定したフリ ッカ成分を打ち消すように、 推定したフリ ッカ成分 と前記入力画像信号を演算する工程と、
を備えるものである。
上記の方法の、 この発明のフリ ツ力低減方法では、 正規化後の積分値 または差分値として、 フリ ツ力成分以外の信号成分が除去されて、 被写 体にかかわらず、 かつフリ ッカ成分が微小な黒の背景部分や低照度の部 分などでも、 フリ ツ力成分を容易に高精度で推定できる信号が得られ、 その正規化後の積分値または差分値の適当な次数までのスぺク トルを抽 出することによって、 蛍光灯の種類や輝度変化波形などにかかわらず、 かつ被写体の影響によって信号成分が不連続となる領域でも、 フリ ツ力 成分を高精度で推定することができ、 その推定したフリ ッカ成分と入力 画像信号を演算することによって、 入力画像信号からフリ ッカ成分を確 実かつ十分に低減することができる。 特に、 第 2または第 3の発明のフリ ツ力低減方法では、 映像信号とし て得られる各色の色信号ごとに、 または輝度信号おょぴ各色の色信号ご とに、 フリ ツ力成分を検出し、 低減するので、 色フリ ツ力を含む蛍光灯 フリ ツ力を、 高精度で検出し、 確実かつ十分に低減することができる。 図面の簡単な説明
図 1は、 この発明の撮像装置の一実施形態のシステム構成を示す図で ある。
図 2は、 原色系システムのデジタル信号処理部の一例を示す図である 図 3は、 捕色系システムのデジタル信号処理部の一例を示す図である 図 4は、 フリ ツ力低減部の第 1の例を示す図である。
図 5は、 飽和領域を考慮した場合の演算プロックの一例を示す図であ る。
図 6は、 フリ ツ力低減部の第 2の例を示す図である。
図 7は、 フリ ツ力低減部の第 3の例を示す図である。
図 8は、 非蛍光灯照明下を考慮した場合のフリ ッカ低減部の一例を示 す図である。
図 9は、 非蛍光灯照明下を考慮した場合のフリ ッカ低減部の他の例を 示す図である。
図 1 0は、 撮影者の操作または動作によって被写体が短時間で大きく 変化する場合を考慮した場合の撮像装置の例を示す図である。
図 1 1は、 撮影状況によってフリ ッカ低減処理が不要となる場合を考 慮した場合の撮像装置の一例を示す図である。
図 1 2は、 撮影状況によってフリ ッカ低減処理が不要となる場合を考 慮した場合の撮像装置の他の例を示す図である。
図 1 3は、 推定されたフリ ッカ成分を調整する場合の例の基本的な構 成を示す図である。
図 1 4は、 推定されたフリ ッカ成分を調整する場合の第 1の具体例を 示す図である。
図 1 5は、 推定されたフリ ッカ成分を調整する場合の第 2の具体例を 示す図である。
図 1 6は 、 図 1 4およぴ図 1 5の例の説明に供する図である。
図 1 7 Aと図 1 7 Bは、 各例の説明に供する式を示す図である。
図 i 8 Aと図 1 8 Bは、 各例の説明に供する式を示す図である。
図 1 9 Aと図 1 9 Bは、 各例の説明に供する式を示す図である。
図 2 0 A 〜図 2 0 Eは、 各例の説明に供する式を示す図である。
図 2 1 A 〜図 2 1 Cは、 各例の説明に供する式を示す図である。
図 2 2 Aと図 2 2 Bは、 図 8およぴ図 9の例の説明に供する図である 図 2 3は 、 試験で用いた被写体を示す図である。
図 2 4は 、 図 2 3の被写体の場合の積分値を示す図である。
図 2 5は 、 図 2 3の被写体の場合の差分値を示す図である。
図 2 6は 、 図 2 3の被写体の場合の正規化後の差分値を示す図である 図 2 7は 、 図 2 3の被写体の場合の推定されたフリ ッカ係数を示す図 である o
図 2 8は 、 C C D撮像素子の場合の蛍光灯フリ ッ力の説明に供する図 である o
図 2 9は 、 X Yァドレス走査型の撮像素子の場合の蛍光灯フリ ッ力の 説明に供する図である。
図 3 0は 、 X Yァドレス走查型の撮像素子の場合の蛍光灯フリ ツ力の
1画面内の縞模様を示す図である。
図 3 1は、 X Yァドレス走查型の撮像素子の場合の蛍光灯フリ ツ力の 連続する 3画面に渡る縞模様を示す図である。 発明を実施するための最良の形態
〔撮像装置の実施形態： 図 1〜図 3〕
(システム構成： 図 1 )
図 1は、 この発明の撮像装置の一実施形態のシステム構成を示し、 X Yァドレス走查型の撮像素子として CMO S撮像素子を用いたビデオ力 メラの場合である。
この実施形態の撮像装置、 すなわちビデオカメラでは、 被写体からの 光が、 撮像光学系 1 1を介して CMO S撮像素子 1 2に入射して、 CM O S撮像素子 1 2で光電変換され、 CMO S撮像素子 1 2からアナログ 映像信号が得られる。 '
CMO S撮像素子 1 2は、 CMO S基板上に、 フォ トダイオード （フ オ トゲート） 、 転送ゲート (シャツタ トランジスタ） 、 スイッチングト ランジスタ （ア ドレス トランジスタ） 、 増幅トランジスタ、 リセッ ト ト ランジスタ （リセッ トゲート） などを有する画素が複数、 2次元状に配 列されて形成されるとともに、 垂直走査回路、 水平走查回路および映像 信号出力回路が形成されたものである。
CMO S撮像素子 1 2は、 後述のように原色系と捕色系のいずれでも よく、 CMO S撮像素子 1 2から得られるアナログ映像信号は、 RGB 各色の原色信号または捕色系の色信号である。
その CMO S撮像素子 1 2からのアナログ映像信号は、 I C (集積回 路）として構成されたアナログ信号処理部 1 3において、色信号ごとに、 サンプルホールドされ、 AG C (自動利得制御） によってゲインが制御 され、 A/D変換によってデジタル信号に変換される。
そのアナログ信号処理部 1 3からのデジタル映像信号は、 I Cとして 構成されたデジタル信号処理部 2 0において、 後述のように処理され、 デジタル信号処理部 2 0内のフリ ッカ低減部 2 5において、 後述のよう に信号成分ごとに、 この'発明の方法によってフリ ッカ成分が低減された 上で、 最終的に輝度信号 Yと赤、 青の色差信号 R— Y， Β— Υに変換さ れて、 デジタル信号処理部 2 0から出力される。
システムコントローラ 1 4は、 マイクロコンピュータなどによって構 成され、 カメラ各部を制御する。
具体的に、 システムコン トローラ 1 4から、 I Cによって構成された レンズ駆動用ドライバ 1 5に、 レンズ駆動制御信号が供給され、 レンズ 駆動用ドライバ 1 5によって、 撮像光学系 1 1のレンズが駆動される。 また、システムコントローラ 1 4からタイミングジェネレータ 1 6に、 タイミング制御信号が供給され、 タイミングジエネレータ 1 6から C M O S撮像素子 1 2に、 各種タイミング信号が供給されて、 C M O S撮像 素子 1 2が駆動される。
さらに、 デジタル信号処理部 2 0からシステムコン トローラ 1 4に、 各信号成分の検波信号が取り込まれ、 システムコン トローラ 1 4からの A G C信号によって、 アナ口グ信号処理部 1 3において、 上記のように 各色信号のゲインが制御されるとともに、 システムコントローラ 1 4に よって、 デジタル信号処理部 2 0における信号処理が制御される。
また、システムコントローラ 1 4には、手ぶれセンサ 1 7が接続され、 撮影者の動作によって被写体が短時間で大きく変化する場合には、 その ことが、 手ぶれセンサ 1 7の出力から、 システムコントローラ 1 4によ つて検出され、 後述のようにフリ ッカ低減部 2 5が制御される。
また、 システムコン トローラ 1 4には、 マイクロコンピュータなどに よって構成されたインタフェース （ I / F ) 1 9を介して、 ユーザイン タフエース 1 8を構成する操作部 1 8 aおよび表示部 1 8 bが接続され、 操作部 1 8 a での設定操作や選択操作などが、 システムコントローラ 1 4によって検出されるとともに、 カメラの設定状態や制御状態などが、 システムコン トローラ 1 4によって表示部 1 8 bに表示される。
撮影者が操作部 1 8 aでズーム操作などのカメラ操作を行うことによ つて被写体が短時間で大きく変化する場合には、 そのことが、 システム コントローラ 1 4によって検出され、 後述のようにフリ ツ力低減部 2 5 が制御される。
また、後述のようなフリ ッカ低減処理が不要な場合には、そのことが、 システムコントローラ 1 4によって検出され、 後述のようにフリ ッカ低 減部 2 5が制御される。
(原色系システムの場合： 図 2 )
図 2に、 原色系システムの場合のデジタル信号処理部 2 0の一例を示 す。
原色系システムは、 図 1の撮像光学系 1 1が被写体からの光を RGB 各色の色光に分離する分解光学系を有し、 CMO S撮像素子 1 2として RGB各色用の CMO S撮像素子を有する 3板システム、 または、 CM O S撮像素子 1 2として、 光入射面に RGB各色の色フィルタが画面水 平方向に 1画素ごとに順次、 繰り返し配列された一つの CMO S撮像素 子を有する 1板システムである。 この場合、 CMO S撮像素子 1 2から は、 RG B各色の原色信号がパラ レルに読み出される。
図 2のデジタル信号処理部 2 0では、 クランプ回路 2 1で、 入力の R GB原色信号の黒レベルが所定レベルにクランプされ、 ゲイン調整回路 2 2で、 露出量に応じてクランプ後の RGB原色信号のゲインが調整さ れ、 フリ ツ力低減部 2 5 R， 2 5 G, 2 5 Bで、 この発明の方法によつ て、 ゲイン調整後の R G B原色信号中のフリ ッカ成分が低減される。
さらに、 図 2のデジタル信号処理部 2 0では、 ホワイ トバランス調整 回路 2 7で、 フリ ッカ低減後の RGB原色信号のホワイ トバランスが調 整され、 ガンマ補正回路 2 8で、 ホワイ トパランス調整後の RGB原色 信号の階調が変換され、 合成マ ト リ クス回路 2 9で、 ガンマ捕正後の R GB原色信号から、 出力の輝度信号 Yおよび色差信号 R_Y， B— Yが 生成される。
原色系システムでは、 一般に図 2のように R G B原色信号の処理が全 て終了した後に輝度信号 Yが生成されるので、 図 2のよ うに RGB原色 信号の処理過程で RG B原色信号中のフリ ッカ成分を低減することによ つて、 各色成分および輝度成分のフリ ッカ成分を共に十分に低減するこ とができる。
なお、 フリ ツ力低減部 2 5 R， 2 5 G, 2 5 Bは、 図 2のように配置 することが望ましいが、 必ずしも、 これに限定されるものではない。
(補色系システムの場合： 図 3 )
図 3に、 補色系システムの場合のデジタル信号処理部 2 0の一例を示 す。
補色系システムは、 図 1の CMO S撮像素子 1 2として、 光入射面に 補色系の色フィルタが形成された一つの CMO S撮像素子を有する 1板 システムである。 捕色系の色フィルタは、 例えば、 図 3に色フィルタ 1 として示すように、 ある一つおきの水平ライン位置 L oでは、 緑の色フ ィルタ部 1 Gとマゼンタの色フィルタ部 lMgが水平方向に 1画素ごと に順次、 繰り返し配列され、 他の一つおきの水平ライン位置 L eでは、 シアンの色フィルタ部 I C yとイェローの色フィルタ部 l Y eが水平方 向に 1画素ごとに順次、 繰り返し配列されたものである。
この場合、 図 1の CMO S撮像素子 1 2からは、 隣接する 2水平ライ ン位置の映像信号が合成されて読み出される。 したがって、 CMO S撮 像素子 1 2からは、 各水平期間において、 図 3の例では、 緑の色信号と シアンの色信号との合成信号と、 マゼンタの色信号とイェローの色信号 との合成信号とが、 1画素クロックごとに交互に得られる。
図 3のデジタル信号処理部 2 0では、 クランプ回路 2 1で、 その捕色 信号の黒レベルが所定レベルにクランプされ、 ゲイン調整回路 2 2で、 露出量に応じてクランプ後の補色信号のゲインが調整され、 輝度合成回 ，路 2 3で、 ゲイン調整後の補色信号から輝度信号 Yが生成されるととも に、 原色分離回路 24で、 ゲイン調整後の捕色信号から RGB原色信号 が生成される。
さらに、 図 3のデジタル信号処理部 20では、 フリ ツ力低減部 2 5 Y で、 この発明の方法によって、 輝度合成回路 2 3からの輝度信号 Y中の フリ ツ力成分が低減されるとともに、 フリ ツ力低減部 2 5 R， 2 5 G， 2 5 Bで、 この発明の方法によって、 原色分離回路 24からの R G B原 色信号中のフリ ッカ成分が低減される。
さらに、図 3のデジタル信号処理部 20では、ガンマ補正回路 2 6で、 フリ ッカ低減後の輝度信号の階調が捕正されて、 出力の輝度信号 Yが得 られ、 ホワイ トバランス調整回路 2 7で、 フリ ツ力低減後の RGB原色 信号のホワイ トバランスが調整され、 ガンマ捕正回路 2 8で、 ホワイ ト バランス調整後の RGB原色信号の階調が変換され、 合成マトリクス回 路 2 9で、 ガンマ補正後の RGB原色信号から色差信号 R— Y， Β— Υ が生成される。
補色系システムでは、 図 3のようにデジタル信号処理部 2 0の比較的 前段で輝度信号および RGB原色信号が生成される。 これは、 輝度信号 は、 上記の合成信号から単純な加算処理によって容易に生成できるとと もに、 上記の合成信号から差分処理によって RGB原色信号を生成し、 その RGB原色信号から輝度信号を生成すると、 輝度信号の S/Nが劣 化するからである。
しかし、このよ うに輝度信号と色信号の処理系統を別にする場合には、 各色成分のフリ ッカ成分を低減するだけでは、 輝度成分のフリ ッカ成分 を低減するのに十分でなく、 図 3のよ うに別に輝度成分のフリ ッカ成分 を低減することによって初めて、 各色成分および輝度成分のフリ ツ力成 分を共に十分に低減することができる。
なお、 フリ ツ力低減部 2 5 Yおよび 2 5 R， 2 5 G, 2 5 Bは、 図 3 のように配置することが望ましいが、 必ずしも、 これに限定されるもの ではない。
〔フリ ッカ低減方法の実施形態 ： 図 4〜図 2 7〕
図 2のフ リ ッカ低減部 2 5 R， 2 5 G, 2 5 B、 および図 3のフリ ツ 力低減部 2 5 Y, 2 5 R, 2 5 G, 2 5 Bは、 それぞれ、 以下の例のよ うに構成される。 したがって、 以下では、 フリ ツ力低減部 2 5 R, 2 5 G, 2 5 B , 2 5 Yを、 フリ ツ力低減部 2 5 と総称する。
また、 以下において、 入力画像信号とは、 それぞれ、 フリ ツ力低減部 2 5に入力されるフリ ッカ低減前の RGB原色信号または輝度信号であ り、 出力画像信号とは、 それぞれ、 フリ ツ力低減部 2 5から出力される フリ ッカ低減後の RGB原色信号または輝度信号である。
また、 以下の例は、 商用交流電源周波数が 5 0 H zの地域において、 蛍光灯の照明下で、 NT S C方式 （垂直同期周波数は 6 0 H z ) の CM O Sカメラによって被写体を撮影する場合、 したがって、 蛍光灯フリ ツ 力を低減しないときには、 図 2 9〜図 3 1に示したように、 フリ ツ力に よる明暗変化および色変化が、 フィールド間だけでなく フィールド内で も生じ、 画面上では 3フィールド （3画面） で 5周期 （ 5波長） 分の縞 模様として現れる場合である。
蛍光灯が非ィンバータ方式の場合は勿論、 ィンバータ方式の場合も、 整流が十分でない場合にはフリ ツ力を生じるので、 蛍光灯が非インパー タ方式の場合に限らない。 (フリッカ低減方法の第 1の例： 図 4)
図 4は、 フリ ツ力低減部 2 5の第 1の例を示す。
図 3 0およぴ図 3 1は、 被写体が一様な場合であるが、 一般に'フリ ツ 力成分は被写体の信号強度に比例する。
そこで、 一般の被写体についての任意のフィールド nおよび任意の画 素 （X， y ) における入力画像信号 （フリ ツ力低減前の RGB原色信号 または輝度信号） を I n， （x， y) とすると、 I n ' (x， y) は、 フリ ッカ成分を含まない信号成分と、 これに比例したフリ ッカ成分との 和として、 図 1 7 Aの式 （ 1 ) で表される。
I n (x， y) は、 信号成分であり、 Γ η (y ) * I n ( x , y ) は、 フリ ツ力成分であり、 Γ η ( y ) は、 フリ ツ力係数である。 蛍光灯の発 光周期 （ 1 / 1 0 0秒） に比べて 1水平周期は十分短く、 同一フィール ドの同一ラインではフリ ッカ係数は一定と見なすことができるので、 フ リ ッカ係数は Γ n (y) で表す。
Γ n (y ) を一般化するために、 図 1 7 Aの式 （ 2) に示すように、 フーリエ級数に展開した形式で記述する。 これによつて、 蛍光灯の種類 によって異なる発光特性および残光特性を全て網羅した形式でフリ ッカ 係数を表現することができる。
式 （2) 中の； L oは、 図 3 0に示した画面内フリ ツ力の波長であり、 1フィールド当たりの読み出しライン数を Mとすると、 L ( = M * 6 0 / 1 0 0 ) ラインに相当する。 ω οは、 οで正規化された規格化角周 波数である。
γ mは、 各次 （m= l， 2， 3 ··) のフ リ ッカ成分の振幅である。 Φ mnは、 各次のフリ ツ力成分の初期位相を示し、 蛍光灯の発光周期 （ 1 / 1 0 0秒） と露光タイミングによって決まる。 ただし、 Φπιηは 3フ ィールドごとに同じ値になるので、 直前のフィールドとの間の Φ m ηの 差は、 図 1 7 Aの式 （3 ) で表される。
<積分値の算出および保存 >
図 4の例では、 まず、 入力画像信号 I n ' (x， y ) 力 S、 フリツカ検 出用に絵柄の影響を少なくするために、 積分プロック 3 1で、 図 1 7 B の式（4 )に示すように、画面水平方向に 1ライン分に渡って積分され、 積分値 F n (y) が算出される。 式 （4) 中の a n (y ) は、 図 1 7 B の式 （ 5 ) で表されるように、 信号成分 I n ( X , y ) の 1 ライン分に 渡る積分値である。
算出された積分値 F n (y ) は、 以後のフィールドでのフリ ツ力検出 用に、 積分値保持ブロック 3 2に記憶保持される。 積分値保持ブロック 3 2は、少なく とも 2フィールド分の積分値を保持できる構成とされる。 被写体が一様であれば、 信号成分 I n (x， y ) の積分値 a n (y ) が一定値となるので、 入力画像信号 I n ' ( x , y) の積分値 F n (y ) からフリ ッカ成分 a n (y ) * Γ n (y ) を抽出することは容易である。
しかし、 一般的な被写体では、 a n ( y ) にも m* cu o成分が含まれ るため、 フリ ツ力成分としての輝度成分および色成分と、 被写体自身の 信号成分としての輝度成分および色成分とを分離することができず、 純 粋にフリ ツ力成分のみを抽出することはできない。 さらに、 式 （4) の 第 1項の信号成分に対して第 2項のフリ ッカ成分は非常に小さいので、 フリ ッカ成分は信号成分中にほとんど埋もれてしまう。
参考として、 図 2 3に示す被写体 （実際はカラー画像） についての、 連続する 3フィールドにおける積分値 F n (y ) を、 図 2 4に示す。 こ れは、 赤色信号についてのもので、 F i e l d : N + 0 (実線） 、 F i e 1 d ： N + 1 (破線） 、 F i e 1 d ： N + 2 (点線） は、 連続する 3 フィールドにおける第 1、 第 2、 第 3フィールドである。 図 2 4からも 分かるように、 積分値 F n (y) から直接、 フリ ツ力成分を抽出するの は不可能と言える。
<平均値計算およぴ差分計算 >
そこで、 図 4の例では、 積分値 F n (y ) から a n (y ) の影響を取 り除くために、 連続する 3フィールドにおける積分値を用いる。
すなわち、 この例では、 積分値 F n (y ) の算出時、 積分値保持プロ ック 3 2力 ら、 1フィールド前の同じラインの積分値 F n— 1 (y) 、 および 2フィールド前の同じラインの積分値 F n— 2 (y ) が読み出さ れ、平均値計算プロック 3 3で、 3つの積分値 F n (y), F n_ l (y), F n— 2 (y ) の平均値 AVE [F n (y ) ] が算出される。
連続する 3フィールドの期間中の被写体をほぼ同一と見なすことがで きれば、 a n (y ) は同じ値と見なすことができる。 被写体の動きが 3 フィールドの間で十分小さければ、 実用上、 この仮定は問題ない。 さら に、 連続する 3フィールドにおける積分値の平均値を演算することは、 式 （3) の関係から、 フリ ツ力成分の位相が （一 2 π_ 3) *mずつ順 次ずれた信号を加え合わせることになるので、 結果的にフリツ力成分が 打ち消されることになる。 したがって、 平均値 AVE [F n (y ) ] は、 図 1 8 Aの式 （ 6) で表される。
ただし、 以上は、 図 1 8 Aの式 （ 7 ) の近似が成り立つものとして、 連続する 3フィールドにおける積分値の平均値を算出する場合である力 被写体の動きが大きい場合には、 式 （ 7) の近似が成り立たなくなる。 そのため、 被写体の動きが大きい場合を想定したフリ ッカ低減部 2 5 としては、 積分値保持プロック 3 2に 3フィールド以上に渡る積分値を 保持し、 当該のフィールドの積分値 F n ( y ) を合わせて 4フィールド 以上に渡る積分値の平均値を算出すればよい。 これによつて、 時間軸方 向のローパスフィルタ作用により、 被写体が動いたことによる影響が小 さくなる。 ただし、 フリ ツ力は 3フィールドごとの繰り返しとなるので、 フリ ツ 力成分を打ち消すには、 連続する 〗 （ 3の、 2倍以上の整数倍、 すなわ ち、 6， 9 ··) フィールドにおける積分値の平均値を算出する必要があ り、 積分値保持プロック 3 2は、 少なく とも （ j 一 1 ) フィールド分の 積分値を保持できる構成とする。
図 4の例は、 図 1 8 Aの式 （ 7) の近似が成り立つものとした場合で ある。 この例では、 さらに、 差分計算ブロック 34で、 積分ブロック 3 1からの当該フィールドの積分値 F n ( y ) と、 積分値保持ブロック 3 2からの 1フィールド前の積分値 F n__l (y ) との差分が計算され、 図 1 8 Bの式 （ 8 ) で表される差分値 F n (y ) 一 F n— 1 (y ) が算 出される。 式 （8) も、 式 （ 7) の近似が成り立つことを前提としてい る。
図 2 5に、 図 2 3に示した被写体についての、 連続する 3フィールド における差分値 F n (y ) — F n— 1 (y ) を示す。 これから分かるよ うに、 差分値 F n (y ) 一 F n— 1 (y ) では、 被写体の影響が十分除 去されるため、 図 24に示した積分値 F n (y ) に比べてフリ ツ力成分 (フリ ツ力係数） の様子が明確に現れる。
ぐ差分値の正規化 >
図 4の例では、 さらに、 正規化ブロック 3 5で、 差分計算ブロック 3 4からの差分値 F n (y ) — F n— 1 (y ) が、 平均値計算ブロック 3 3からの平均値 AVE [F n (y ) ] で除算されることによって正規化 され、 正規化後の差分値 g n (y ) が算出される。
正規化後の差分値 g n (y) は、 図 1 8 Aの式（ 6) と図 1 8 Bの （8) および三角関数の和積公式によって、 図 1 9 Aの式 （ 9) のように展開 され、 さらに図 1 7 Aの式 （3) の関係から、 図 1 9 Bの式 （ 1 0) で 表される。 式 （ 1 0) 中の | Am し θ πιは、 式 （ 1 1 a ) ( l i b ) で表される。
差分値 F n (y ) -F n_l (y ) は、 被写体の信号強度の影響が残 るため、 領域によってフリ ッカによる輝度変化および色変化のレベルが 異なってしまうが、 上記のように正規化することによって、 全領域に渡 つてフリ ッカによる輝度変化および色変化を同一レベルに合わせること ができる。
図 2 6に、 図 2 3に示した被写体についての、 連続する 3フィールド における正規化後の差分値 g n (y ) を示す。
<スぺク トル抽出によるフリ ッカ成分の推定〉
図 1 9 Bの式 （ 1 1 a ) ( l i b) で表される | Am |， 0 mは、 正 規化後の差分値 g n (y ) の、 各次のスペク トルの振幅おょぴ初期位相 であり、 正規化後の差分値 g n (y ) をフーリエ変換して、 各次のスぺ ク トルの振幅 I Am Iおよび初期位相 0 mを検出すれば、 図 2 0 Aの式 ( 1 2 a) (1 2 b) によって、 図 1 7 Aの式 （2) に示した各次のフ リ ッカ成分の振幅 γ mおよび初期位相 Φπιηを求めることができる。 そこで、 図 4の例では、 D F Τブロック 5 1において、 正規化ブロッ ク 3 5からの正規化後の差分値 g n (y ) の、 フリ ツ力の 1波長分 （L ライン分） に相当するデータを、 離散フーリエ変換する。
D F T演算を D F T [g n (y ) ] とし、 次数 mの D F T結果を G n (m) とすれば、 D F T演算は、 図 20 Bの式 （ 1 3) で表される。 式 ( 1 3 ) 中の Wは、 式 （ 1 4) で表される。 また、 D F Tの定義によつ て、 式 （ 1 1 a ) ( l i b) と式 （ 1 3) との関係は、 図 2 0 Cの式 （ 1 5 a ) ( 1 5 ) で表される。
したがって、 式 （ 1 2 a ) ( 1 2 ) ( 1 5 a ) ( 1 5 b ) から、 図 2 0 Dの式 （ 1 6 a ) ( 1 6 b) によって、 各次のフリ ッカ成分の振幅 7 mおよび初期位相 Φπιηを求めることができる。 D FT演算のデータ長を、 フリ ツ力の 1波長分 （Lライン分） とする のは、これによつて、ちょ う ど CO oの整数倍の離散スぺク トル群を直接、 得ることができるからである。
—般に、 デジタル信号処理のフーリエ変換としては、 F F T (高速フ 一リエ変換） が用いられるが、 この発明の実施形態では、 あえて D F T を用いる。 その理由は、 フーリエ変換のデータ長が 2のべき乗になって いないので、 F F Tより D F Tの方が都合よいためである。 ただし、 入 出力データを加工して F F Tを用いることもできる。
実際の蛍光灯照明下では、 次数 mを数次までに限定しても、 フリ ツ力 成分を十分近似できるので、 D F T演算もデータを全て出力する必要は なく、 この発明の用途では F F Tに比べて演算効率の点でデメ リ ッ トは ない。
D F Tブロック 5 1では、 まず、 式 （ 1 3) で定義される D F T演算 によって、 スぺク トルが抽出され、 その後、 式 （ 1 6 a ) ( 1 6 b ) の 演算によって、 各次のフリ ツ力成分の振幅 γ mおよび初期位相 Φηιηが 推定される。
図 4の例では、 さらに、 フリ ッカ生成ブロック 5 3で、 D F Τプロッ ク 5 1からの γ ηι, Φ m ηの推定値から、 図 1 7 Αの式 （ 2 ) で表され るフリ ツ力係数 Γ η (y ) が算出される。
ただし、 上述したように、 実際の蛍光灯照明下では、 次数 mを数次ま でに限定しても、 フリ ツ力成分を十分近似できるので、 式 （2) による フリ ツ力係数 Γ η (y ) の算出に当たっては、 総和次数を無限大ではな く、 あらかじめ定められた次数、 例えば 2次までに限定することができ る。
図 2 7に、 図 23に示した被写体についての、 連続する 3フィールド におけるフリ ツ力係数 Γ η (y ) を示す。 上記の方法によれば、 積分値 F n (y ) ではフリ ツ力成分が信号成分 中に完全に埋もれてしまう、 フリ ッカ成分が微小な黒の背景部分や低照 度の部分などの領域でも、 差分値 F n (y ) 一 F n— 1 (y ) を算出し、 これを平均値 AVE [F n (y ) ] で正規化することによって、 フリ ツ 力成分を高精度で検出することができる。 '
また、 適当な次数までのスぺク トルからフリ ッカ成分を推定すること は、 正規化後の差分値 g n (y ) を完全に再現しないで近似することに なるが、 これによつて、 かえって、 被写体の状態によって正規化後の差 分値 g n (y ) に不連続な部分を生じても、 その部分のフリ ツ力成分を 精度良く推定できることになる。
<フリ ッカ低減のための演算 >
図 1 7 Aの式（ 1 ) から、 フリ ッカ成分を含まない信号成分 I n (x， y ) は、 図 20 Eの式 （ 1 7) で表される。
そこで、 図 4の例では、 演算ブロック 40で、 フリ ツ力生成ブロック 5 3からのフリ ッカ係数 Γ n (y ) に 1が加えられ、 その和 [ 1 + Γ η (y ) ] で入力画像信号 I n ' (x, y ) が除算される。
これによつて、 入力画像信号 I n ' ( X , y) に含まれるフリ ツ力成 分がほぼ完全に除去され、 演算プロック 40からは、 出力画像信号 （フ リ ツ力低減後の RGB原色信号または輝度信号） として、 実質的にフリ ッカ成分を含まない信号成分 I n (x, y ) が得られる。
なお、 システムが有する演算能力の制約から、 上記の全ての処理を 1 フィールドの時間内で完結できない場合には、 フリ ッ力が 3フィールド ごとの繰り返しとなることを利用して、 演算ブロック 4 0内にフリ ツ力 係数 Γ η (y ) を 3フィールドに渡って保持する機能を設け、 3フィー ルド後の入力画像信号 I n ' (x， y ) に対して、 その保持したフリ ツ 力係数 Γ η (y ) を演算する構成とすればよい。 (飽和領域を考慮した場合の例： 図 5 )
図 4の例で、'入力画像信号 I n ' ( x , y ) のレベルが飽和領域にあ る場合、 演算プロック 4 0で式 （ 1 7 ) の演算を行う と、 逆に信号成分 (色成分または輝度成分） が変化してしまう。 そこで、 演算ブロック 4 0は、 図 5の例のように構成することが望ましい。
図 5の例の演算ブロック 4 0は、 フリ ッカ生成プロック 5 3からのフ リ ッカ係数 Γ n ( y )に 1を加える加算回路 4 1、その和 [ 1 + Γ n ( y ) ] で入力画像信号 I n ' ( x， y ) を除算する除算回路 4 2、 入力側のス イッチ 4 3， 出力側のスィ ッチ 4 4、 および飽和レベル判定回路 4 5に よって構成され、飽和レベル判定回路 4 5で、入力画像信号 I n， ( X , y ) のレベルが飽和領域の閾値レベル以上であるか否かが、 画素ごとに 判断される。
そして、 入力画像信号 I n， ( x , y ) のレベルが飽和領域の閾値レ ベルに満たないときには、 その画素では、 飽和レベル判定回路 4 5によ つてスィ ッチ 4 3および 4 4が除算回路 4 2側に切り替えられて、 上述 したように、 式 （ 1 7 ) の演算結果が出力画像信号として、 演算プロッ ク 4 0から出力される。
これに対して、 入力画像信号 I n， ( X , y ) のレベルが飽和領域の 閾値レベル以上であるときには、 その画素では、 飽和レベル判定回路 4 5によってスィッチ 4 3および 4 4が反対側に切り替えられて、 入力画 像信号 I n ' ( x , y ) が、 そのまま出力画像信号として、 演算ブロッ ク 4 0から出力される。
したがって、 入力画像信号 I n， ( X , y ) のレベルが飽和領域にあ る場合に、 信号成分 （色成分または輝度成分） が変化してしまうことが なく、 高画質の出力画像信号が得られる。
(フリ ッカ低減方法の第 2の例 ： 図 6 ) 図 4の例のように、 差分値 F n ( y ) 一 F n一 1 ( y ) を平均値 A V E [F n (y ) ] で正規化すれば、 有限の計算精度を効果的に確保する ことができる。 しかし、 要求される計算精度を満足できる場合には、 積 分値 F n (y ) を直接、 平均値 AVE [F n (y ) ] で正規化してもよ レ、。
図 6は、 この場合の例を示し、 正規化ブロック 3 5で、 積分ブロック 3 1からの積分値 F n (y ) が、 平均値計算ブロック 3 3からの平均値 AVE [F n (y ) ] で除算されることによって正規化され、 正規化後 の差分値 g n (y ) が算出される。
ただし、 この場合の正規化後の差分値 g n (y ) は、 図 2 1 Aの式 （ 1 8) で表されるものとなるので、 後段の処理を図 4の例と同様にするた め、 減算回路 3 6で、 図 2 1 Bの式 （ 1 9) に示すように、 式 （1 8) で表される正規化後の差分値 g n (y ) から 1を減算し、 その結果を D F T (離散フーリエ変換） ブロック 5 1に送出する。
この場合、 I Am I = 7 m, 0 ηι=Φιηηであるので、 図 2 0 Cの式 ( 1 5 a ) ( 1 5 b) から、 γ πι， Φπιηは、 図 2 1 Cの式 (20 a ) (20 b ) によって求めることができる。
したがって、 D F Tブロック 5 1では、 図 4の例では、 式 （ 1 3) で 定義される D F T演算によってスぺク トルを抽出した後、 式 （ 1 6 a ) ( 1 6 b) の演算によって各次のフリ ツ力成分の振幅 γ mおよび初期位 相 Φπιηを推定するのに対して、 図 6の例では、 式 （ 1 3) で定義され る D F T演算によってスぺク トルを抽出した後、 式 （ 2 0 a ) (2 0 b ) の演算によって各次のフリ ッカ成分の振幅 γ mおよび初期位相 Φιηηを 推定する。 以後の処理は、 図 4の例と同じである。
図 6の例では、 差分計算ブロック 3 4が不要となるので、 その分、 フ リ ッカ低減部 2 5を簡略化することができる。 この例でも、 演算ブロック 40は、 図 5の例のように構成することが 望ましい。
(フリ ッカ低減方法の第 3の例 ： 図 7 )
図 4の例で正規化に用いる平均値 AVE [F n (y ) ] は、 図 1 8 A の式 （ 7) の近似が成り立つ場合には、 式 （6 ) で表されるように a n (y ) に等しいとともに、 図 1 7 Bの式 （4) の第 2項 [a n (y ) * Γ n (y ) ] は、 第 1項の a n (y ) に比べて十分小さいので、 正規化 に及ぼす第 2項の影響は非常に小さい。
したがって、 正規化については、 平均値 AVE [F n (y ) ] の代わ りに積分値 F n (y ) を用いても、 ほとんど問題がなく、 平均値 AVE [F n (y ) ] を用いる場合と同様に、 効果的にフリ ツ力成分を検出す ることができる。
そこで、 図 7の例では、 正規化プロック 3 5で、 差分計算ブロック 3 4からの差分値 F n ( y ) —F n— 1 ( y ) を、 積分プロック 3 1から の積分値 F n (y )で除算することによって正規化する。以後の処理は、 図 4の例と同じである。
図 7の例では、 積分値保持プロック 3 2は 1フィールド分の積分値を 保持できればよいとともに、 平均値計算プロック 3 3を必要としないの で、 フリツ力低減部 2 5を簡略化することができる。
この例でも、 演算ブロック 40は、 図 5の例のように構成することが 望ましい。
(非蛍光灯照明下では別の処理を行う場合の例 ： 図 8および図 9) 非蛍光灯照明下 （蛍光灯ではない照明環境） で撮影する場合、 上述し たフリ ッカ低減処理を行っても、特別の不具合を生じないが、この場合、 本来不要な処理を行うことになるので、 たとえフリ ツ力成分が十分小さ くても、 画質への影響が懸念される。 そのため、 非蛍光灯照明下で撮影する場合には、 フリ ツ力低減処理が 実行されず、 入力画像信号 I n ' (x， y ) 力 S、 そのまま出力画像信号 としてフリ ッカ低減部 2 5から出力されるように、 フリ ッカ低減部 2 5 を構成することが望ましい。
図 8は、そのようにフリ ッカ低減部 2 5を構成した場合の一例を示す。 正規化積分値算出ブロック 3 0は、 図 4、 図 6または図 7の例のように 構成される。 図 4および図 7の例では、 積分値 F n (y ) ではなく、 差 分値 F n (y ) 一 F n— 1 (y ) が正規化されるが、 便宜上、 正規化積 分値算出プロックと称する。
図 8の例では、 D F Tブロック 5 1 とフリ ツ力生成ブロック 5 3との 間に、 蛍光灯照明下判定プロック 5 2が設けられる。
DF Tブロック 5 1で推定され、 算出される各次の成分のレベル （振 幅） γ πιは、 蛍光灯照明下では、 図 2 2 Αに示すように、 πι= 1の成分 のレベルが、 ある閾値 T hより十分大きく、 mが大きくなるにつれて急 激にレベルが小さくなるのに対して、 非蛍光灯照明下では、 図 2 2 Bに 示すように、 各次の成分のレベルが閾値 T h以下となる。
非蛍光灯照明下では、 スペク トルがゼロになるのが理想であるが、 実 際上は、 被写体が動くために、 連続する複数フィールドの信号から生成 される正規化後の差分値 g n (y ) または積分値 g n (y ) 一 1に、 周 波数成分を僅かに含むことは避けられない。
そこで、 蛍光灯照明下判定ブロック 5 2では、 例えば、 m= l の成分 のレベルが閾値 T hを超えるか否かを判断し、 閾値 T を超える場合に は、 蛍光灯照明下であると判定して、 D F Tプロック 5 1からの γ m， Φπιηの推定値を、 そのままフリ ツ力生成ブロック 5 3に出力する。 し たがって、 この場合には、 上述したようにフリ ツ力低減処理が実行され る。 —方、 m= 1の成分のレベルが閾値 T h以下である場合には、 蛍光灯 照明下判定ブロック 5 2は、 非蛍光灯照明下であると判定して、 次数 m の全てにつき、 γ mの推定値をゼロにする。 したがって、この場合には、 フリ ッカ係数 Γ n ( y ) もゼロとなり、 入力画像信号 I n， ( x , y ) が、 そのまま出力画像信号として演算ブロック 40から出力される。 図 9は別の例を示す。この例では、蛍光灯照明下判定プロック 5 2は、 図 8の例と同様に蛍光灯照明下であるか否かを判定するが、 非蛍光灯照 明下であると判定した場合には、 検出フラグ COMP— OF Fをセッ ト して、 フリ ッカ生成ブロック 5 3および演算プロック 4 0での処理を停 止させ、 入力画像信号 I n' ( X , y ) を、 そのまま出力画像信号とし て演算ブロック 4 0から出力させる。 蛍光灯照明下である場合には、 検 出フラグ COMP— OF Fがリセッ トされ、 上述したようにフリ ッカ低 減処理が実行される。
図 9の例では、 非蛍光灯照明下で撮影する場合、 画質への影響を無く すことができるだけでなく、 消費電力を削減することができる。
(撮影者の操作や動作によって被写体が大きく変化する場合：図 1 0 ) ズーミング、 パンニング、 チルティングなどのカメラ操作によって、 または撮影者の手ぶれによって、 被写体が短時間で大きく変化する場合 が多々ある。 この場合、 図 1 8 Aの式 （ 7 ) の仮定が成り立たなくなる ので、 結果的にフリ ツ力検出精度が悪化する。
そこで、 このように撮影者の操作または動作によって被写体が短時間 で大きく変化する場合を考慮して、 撮像装置は、 例えば、 図 1 0の例の ように構成する。
図 1 0の例では、 フリ ツ力低減部 2 5としては、 図 4、 図 6または図 7の例において、 フリ ツ力生成ブロック 5 3と演算ブロック 4 0との間 に、 スィッチ 5 5， 5 6およぴフリ ツ力保持ブロック 5 7が設けられ、 システムコントローラ 1 4から出力される後述の検出フラグ D E T— O F Fが、 スィ ッチ 5 5および 5 6に切り替え信号として供給される。 フリ ッカ保持プロック 5 7は、 3ブイールド分のフリ ッカ係数 Γ n ( y ) を保持できるものとされ、 1フィールド分の処理が終了するごと にフリ ツ力係数 Γ η ( y ) を次のフィールド用に格納するとともに、 3 フィールドごとの繰り返しで読み出し出力が切り替えられるようにされ る。
撮影者の操作または動作によって被写体が短時間で大きく変化する場 合には、 これがシステムコントローラ 1 4によって検出される。
例えば、 撮影者が操作部 1 8 a のズームキーを押すと、 それがインタ フェース 1 9を介してシステムコントローラ 1 4によって検知される。 システムコン トローラ 1 4は、 これによつて、 望遠や広角の操作など、 撮影者のズーム操作に応じて、 レンズの駆動を制御する。 また、 撮影者 の手ぶれは、 手ぶれセンサ 1 7によって検知され、 システムコントロー ラ 1 4に手ぶれ情報が送られる。 システムコン トローラ 1 4は、 その手 ぶれ情報をもとに、 手ぶれ捕正を制御する。 パンニングゃチルティング も、 システムコン トローラ 1 4によって検知され、 システムコン トロー ラ 1 4は、 パンユング中は手ぶれ補正を弱めるなどの制御を行う。 この ような検出制御は、 一般にカメラで行われていることと変わらない。 さらに、 図 1 0の例では、 システムコントローラ 1 4は、 被写体が短 時間で大きく変化するような撮影者の操作または動作を検出した場合に は、 検出フラグ D E T— O F Fをセッ ト し、 そのような操作または動作 がなされない場合には、 検出フラグ D E T— O F Fをリセッ トする。 そして、 被写体が短時間で大きく変化しない通常の状態では、 検出フ ラグ D E T— O F Fがリセッ トされることによって、 フリ ツ力低減部 2 5では、スィ ッチ 5 5がフリ ッカ生成ブロック 5 3側に切り替えられて、 フリ ツ力生成ブロック 5 3からの、 そのときのフリ ツ力係数 Γ η ( y ) が演算プロック 4 0に供給され、 フリ ッカ低減処理が実行されるととも に、 スィッチ 5 6がオンにされて、 そのときのフリ ツ力係数 Γ n ( y ) がフリ ッカ保持プロック 5 7に格納される。
一方、 撮影者の操作または動作によって被写体が短時間で大きく変化 する場合には、検出フラグ D E T— O F Fがセッ トされることによって、 フリ ッカ低減部 2 5では、 スィッチ 5 5がフリ ッカ保持ブロック 5 7側 に切り替えられ、 フリ ツ力生成ブロック 5 3からの、 そのときの検出精 度の悪いフリ ツ力係数 Γ η ( y ) に代えて、 フリ ツ力保持ブロック 5 7 から読み出された、 被写体が短時間で大きく変化する操作または動作が なされる直前の、 検出精度の良いフリ ツ力係数 Γ n ( y ) 力 S、 演算プロ ック 4 0に供給され、 フリ ツ力低減処理が実行されるとともに、 スイツ チ 5 6がオフにされて、 そのときの検出精度の悪いフリ ッカ係数 Γ n ( y ) がフリ ツ力保持ブロック 5 7に格納されるのが防止される。
したがって、 この例では、 撮影者の操作または動作によって被写体が 短時間で大きく変化する場合にも、 フリ ツ力検出精度が良くなり、 フリ ッ力が確実かつ十分に低減される。
さらに、 この例では、 検出フラグ D E T— O F Fが、 正規化積分値算 出ブロック 3 0、 D F Tブロック 5 1およぴフリ ッカ生成ブロック 5 3 にも送出され、 撮影者の操作または動作によって被写体が短時間で大き く変化する場合には、 検出フラグ D E T— O F Fがセッ トされることに よって、 正規化積分値算出ブロック 3 0、 D F Tブロック 5 1およぴフ リ ツ力生成ブロック 5 3での処理が停止される。 したがって、 この例で は、 消費電力を削減することもできる。
なお、 この例は、 フリ ツ力係数 Γ η ( y ) を直前の信号にすげ替える 場合であるが、 より前段の信号、 例えば積分値 F n ( y ) を、 直前の信 号にすげ替えるように構成してもよい。
(撮影状況によっては別の処理を行う場合の例：図 1 1および図 1 2 ) 以下に示すように、 撮影状況によってはフリ ッカ低減処理が不要とな る場合がある。 この場合、 画質への影響を考慮すると、 上述した非蛍光 灯照明下で撮影する場合と同様に、 本来不要なフリ ツ力低減処理は行わ ない方が望ましい。
フリ ツ力低減処理が不要な撮影状況としては、 第 1に、 動画と静止画 の両方を撮影できるビデオ力メラゃデジタルスチルカメラで静止画を撮 影する場合が挙げられる。
この場合、 C M O S撮像素子などの X Yア ドレス走査型の撮像素子を 用いたカメラでも、 1画面内の全ての画素の露光タイミング （露光開始 および露光終了のタイミング） を同一にすることができ、 蛍光灯フリ ツ 力の発生を回避することができる。 撮像素子からの読み出しは、 動画を 撮影する場合のようなフレームレー トの制約がないので、 機械的なシャ ッタを閉じて遮光した状態で、 ゆっく り行うことができる。
そして、 このように 1画面内の全ての画素の露光タイミングを同一に して静止画を撮影する場合であるか否かについては、 図 1の実施形態で は、 操作部 1 8 aでのカメラ操作に基づいて、 システムコントローラ 1 4において検出することができる。
フリ ツ力低減処理が不要な撮影状況としては、 第 2に、 屋外の太陽光 のもとなどで撮影する場合や、 露光量の調整などによって露光時間 （電 子シャツタ時間） を蛍光灯の輝度変化の周期 （ 1 / 1 0 0秒） の整数倍 に設定する場合が挙げられる。
蛍光灯照明下であるか否かは、 図 8および図 9の例に示したように、 D F Tブロック 5 1で抽出されたスぺク トルのレベルから検出すること ができるが、 ここで、 屋外の太陽光のもとなどで撮影する場合というの は、 同じ非蛍光灯照明下でも、 被写体の光量などからシステムコン ト口 ーラ 1 4において、 非蛍光灯照明下であることを直接検出できる場合で ある。
また、 上述したように、 C M O S撮像素子などの X Yア ドレス走査型 の撮像素子を用いたカメラでも、露光時間を蛍光灯の輝度変化の周期（ 1 Z 1 0 0秒） の整数倍に設定したときには、 画面内フリ ツ力を含む蛍光 灯フリ ツ力を生じない。 そして、 露光量の調整などによって露光時間が 蛍光灯の輝度変化の周期の整数倍に設定されたか否かは、 システムコン トローラ 1 4において直接検出することができる。
そこで、 このよ う にシステムコン トローラ 1 4によってフ リ ツ力低減 処理が不要な撮影状況であると判断された場合には、 フリ ッカ低減処理 が実行されず、 入力画像信号 I n ' ( x , y ) が、 そのまま出力画像信 号としてフリ ッカ低減部 2 5から出力されるように、 システムを構成す る。
図 1 1は、 そのようにシステムを構成した場合の一例を示す。 この例 では、 フリ ッカ低減部 2 5において、 D F Tブロック 5 1 とフリ ッカ生 成ブロック 5 3 との間にゼロ化ブロック 5 9が設けられ、 システムコン トローラ 1 4からのフリ ツ力低減オンオフ制御信号によって、 ゼロ化ブ ロック 5 9が制御される。
そして、 システムコントローラ 1 4においてフリ ツ力低減処理が必要 と判断された場合には、 フリ ッカ低減オンオフ制御信号がオン状態とさ れ、 ゼロ化ブロック 5 9は、 D F Tブロック 5 1力 らの y m， Φ πι ηの 推定値を、そのままフリ ッカ生成ブロック 5 3に出力する。したがって、 この場合には、 上述したようにフリ ッカ低減処理が実行される。
一方、 システムコントローラ 1 4においてフリ ツ力低減処理が不要と 判断された場合には、フリ ッカ低減オンオフ制御信号がオフ状態とされ、 ゼロ化ブロック 5 9は、 次数 mの全てにつき、 γ πιの推定値をゼロにす る。 したがって、 この場合には、 フリ ッカ係数 Γ n ( y ) もゼロとなり、 入力画像信号 I n， ( x , y ) 力 S、 そのまま出力画像信号として演算ブ ロック 4 0から出力される。
図 1 2は別の例を示す。 この例では、 フリ ツ力低減部 2 5の演算プロ ック 4 0が、 図 5の例に示した加算回路 4 1、 除算回路 4 2およびスィ ツチ 4 3， 4 4を有し、 飽和レベル判定回路 4 5を有しないものとして 構成され、 システムコントローラ 1 4からのフリ ッカ低減オンオフ制御 信号によって、 スィッチ 4 3および 4 4が切り替えられる。
そして、 システムコントローラ 1 4においてフリ ツ力低減処理が必要 と判断された場合には、 スィッチ 4 3および 4 4が除算回路 4 2側に切 り替えられて、 上述したように、 式 （ 1 7 ) の演算結果が出力画像信号 として、 演算プロック 4 0から出力される。
一方、 システムコントローラ 1 4においてフリ ッカ低減処理が不要と 判断された場合には、 スィッチ 4 3および 4 4が反対側に切り替えられ て、 入力画像信号 I n ' ( X , y ) が、 そのまま出力画像信号として、 演算ブロック 4 0から出力される。
さらに、 図 1 2の例では、 フリ ツ力低減オンオフ制御信号が、 正規化 積分値算出ブロック 3 0、 D F Tプロック 5 1およびフリ ツ力生成プロ ック 5 3にも送出され、 システムコントローラ 1 4においてフリ ツ力低 減処理が不要と判断された場合には、 正規化積分値算出プロック 3 0、 D F Tブロック 5 1およびフリ ッカ生成ブロック 5 3での処理が停止さ れる。 したがって、 この例では、 消費電力を削減することもできる。
(検出されたフリ ッカ成分を調整する場合の例 ： 図 1 3〜図 1 5 ) 上述した各例の方法によれば、 蛍光灯フリ ツ力が定常的 ·安定的に発 生している状態では、 入力画像信号からフリ ッカ成分を確実かつ効果的 に低減することができる。
しかし、 上述した各例の方法では、 フリ ツ力成分の検出に当たって、 複数フィールド間の平均演算または差分演算を行うため、 蛍光灯のスィ ツチをオンまたはオフにした瞬間や、 蛍光灯照明下の部屋に入室し、 ま たは蛍光灯照明下の部屋から退出した時など、遷移的な非安定状態では、 フリ ツ力成分を正確に検出することができない。 そのため、 このような 状態のときに得られたフリ ッカ成分によってフリ ッカ低減処理を実行す ると、 入力画像信号に対して望ましくない補正が行われてしまうことが ある。
また、 上述した各例の方法では、 水平方向の被写体移動、 またはパン ニングゃズーミングなどのカメラ操作や撮影者の手ぶれによって発生す る水平方向の画角変化については、 確実かつ安定的にフリ ッカを低減す ることができるが、 垂直方向の被写体移動、 またはチルティングゃズー ミングなどのカメラ操作や撮影者の手ぶれによって発生する垂直方向の 画角変化については、 フリ ツ力低減性能が若干低くなる。
この問題は、 図 1 0に示した方法によって解決することができる。 し かし、 この方法では、 被写体が短時間で大きく変化しない通常の安定状 態と、 撮影者の操作または動作によって被写体が短時間で大きく変化す る場合との間で、 フリ ツ力係数 Γ η ( y ) が切り替えられるので、 撮影 者は違和感を抱くことがある。
また、 通常の安定状態でも、 外乱を抑えることはできないが、 図 1 0 に示した方法では、 追従性が速いため、 外乱に直接反応し、 かえってフ リッカ低減の誤差を生じてしまうことがある。
外乱の影響を少なくするには、フリ ッカ成分を推定する処理の過程で、 L P F (ローパスフィルタ） によるフィルタリングを行い、 かつ、 その 時定数を長く して、 フリ ッカ推定の追従性を遅くすればよい。 しかし、 このように追従性を遅くすると、 上述した状態遷移時の追従 性まで遅くなつてしまい、 蛍光灯のスィ ッチをオンにした瞬間や、 蛍光 灯照明下の部屋に入室した時のように、 フリッカ低減処理が必要である にもかかわらず、 なかなか処理が実行されないという問題や、 蛍光灯の スィッチをオフにした瞬間や、 蛍光灯照明下の部屋から退出した時のよ うに、 フリ ツ力低減処理が不要であるにもかかわらず、 処理が続行され てしまう という問題を生じる。
そのほか、 検出されたフリ ツ力成分を、 そのまま入力映像信号と演算 する代わりに、 必要に応じて、 検出されたフリ ツ力成分を、 その振幅や 位相を調整した上で、 入力映像信号と演算することによって、 様々な場 面で、 よりフレキシブルかつ適切なフリ ッカ低減を行うことができる。 そこで、 以下の例は、 フリ ツ力低減に係るパラメータである、 推定さ れたフリ ッカ成分の振幅および位相を調整する場合である。
図 1 3に、 この例の基本的な構成を示す。 この例では、 上述したフリ ッ力低減部 2 5の D F Tブロック 5 1から得られる、 推定されたフリ ッ 力成分の振幅 γ mおよび初期位相 Φπι ηのデータを、 システムコン ト口 ーラ 1 4に取り込んで、 システムコントローラ 1 4内のパラメータ制御 部 1 4 aで、 後述のように調整し、 その調整後の振幅 y m， および初期 位相 Φπιη ' のデータを、 フリ ツ力低減部 2 5のフリ ッカ生成ブロック 5 3に入力する。
フリ ッカ生成ブロック 5 3では、 D F Tブロック 5 1から得られる振 幅 γ mおよび初期位相 Φηιηに代えて、 この調整後の振幅 γ πι' および 初期位相 Φπι η ' から、 図 1 7 Αの式 （ 2 ) で表されるフリ ッカ係数 Γ n (y ) が算出される。 すなわち、 この例では、 図 1 7 Aの式 （2) 中 の γ πιおよび Φπιηは、 γ πι， および Φπιη ' で置き換えられる。
なお、 図 1 3は、 フリ ツ力低減部 2 5の正規化積分値算出ブロック 3 0を、 図 4に示した構成とする場合であるが、 正規化積分値算出ブロッ ク 3 0は、 図 6または図 7に示した構成としてもよい。
<第 1の具体例： 図 1 4 >
図 1 4は、 この場合の第 1の具体例を示す。
パラメータ制御部 1 4 aの入力信号となる振幅 γ mおよび初期位相 Φ mnのデータは、 実際上は 1フィールド当たり m系統あるが、 ここでは 1系統にまとめて示す。 パラメータ制御部 1 4 aの出力信号となる振幅 γ m' および初期位相 Φπιη ' のデータについても、 同様である。
この例では、 D F Τブロック 5 1からの振幅 γ mおよび初期位相 Φ m nのデータが、 それぞれデジタル L P F (ローパスフィルタ） 6 1およ ぴ 6 2に供給され、 デジタル L P F 6 1の出力データが、 ゲイン調整回 路 （乗算回路） 6 3に供給され、 ゲイン調整回路 6 3の出力データが、 調整後の振幅 γ πι' のデータとして、 フリ ッカ生成ブロック 5 3に入力 されるとともに、 デジタル L P F 6 2の出力データが、 調整後の初期位 相 Φ m η , のデータとして、 フリ ッカ生成プロック 5 3に入力される。 デジタル L P F 6 1の時定数 T a、 およぴデジタル L P F 6 2の時定 数 T pは、 時定数設定ブロック 6 5によって設定される。 ゲイン調整回 路 6 3でのゲイン （乗算係数） K aは、 ゲイン設定プロック 6 6によつ て設定される。
デジタル L P F 6 1および 6 2としては、 時定数を一定範囲内で任意 かつ連続的に変えることができるものが望ましいが、 目的の時定数を設 定できない場合には、それに近い時定数を設定できるものとすればよレ、。 また、一つの L P Fで時定数を連続的に変えることができない場合には、 内部に別個の時定数を有する複数の L P Fを用意し、これに時定数 T a， T p として制御コードを与えることによって、 その複数の L P Fから一 つの L P Fが選択されるように構成することができる。 また、 フリ ツ力発生時の初期位相 Φ πι ηは、 周期的に変動する。 例え ば、 商用交流電源周波数が 5 0 Η Ζ、 カメラの垂直同期周波数が 6 0 Η ζの場合には、 初期位相 Φ ηι ηは、 3フィールドごとに同じ値になり、 直前のフィールドとの間では、 図 1 7 Αの式 （3 ) で表される差 （違い） を生じる。
そのため、 デジタル L P F 6 2は、 この初期位相 Φ πι ηの変動を考慮 して、 同じ位相のデータに対して一つの L P Fを構成する必要がある。 すなわち、 上記の例のように初期位相 Φ m ηの変動の周期が 3フィール ドである場合には、 デジタル L P F 6 2として 3つの L P Fを設け、 初 期位相 Φ πι ηのデータを、 これら 3つの L P Fに振り分けて入力する。
さらに、 振幅 γ mおよび初期位相 Φ πι ηのデータと、 システムコン ト ローラ 1 4内で得られる Α Ε (自動露出） 制御情報おょぴ AW B (ォー トホワイ トバランス） 制御情報とが、 状態検出プロック 6 8に入力され る。 A Ε制御情報は、 具体的には、 画面の明るさの情報であり、 AW B 制御情報は、 具体的には、 色温度や蛍光灯照明下であるか否かを示す情 報である。
そして、 状態検出ブロック 6 8において、 これら入力情報から、 後述 のように、 現在の撮影環境が蛍光灯照明下であるか否か、 あるいは、 蛍 光灯のスィツチがオンまたはオフにされるなど、 非蛍光灯照明下から蛍 光灯照明下への遷移状態、 または蛍光灯照明下から非蛍光灯照明下への 遷移状態にあるか否かなどの、 蛍光灯フリ ッ力の発生に影響する撮影状 況が検出され、 その検出結果に応じて制御モードが決定される。
その決定された制御モードが、 制御モード呈示信号によって、 時定数 設定ブロック 6 5およびゲイン設定プロック 6 6に呈示され、 これを受 けて、 時定数設定ブロック 6 5は、 デジタルし P F 6 1および 6 2の時 定数 T aおよび T pを設定し、 ゲイン設定ブロック 6 6は、 ゲイン調整 回路 6 3でのゲイン K aを設定する。
図 1 6に、 状態検出プロック 6 8での上述した状態検出の判断基準の 例を示す。 まず、 蛍光灯照明下でフリ ツ力が定常的 ·安定的に発生して いる場合には、 推定されたフリ ツ力成分の振幅 γ mは、 ほぼ一定値とな り、 初期位相 Φ πι ηは、 一定周期 （商用交流電源周波数が 5 0 Η ζ、 力 メラの垂直同期周波数が 6 0 Η ζの場合には、 3フィールド） ごとにほ ぼ同じ値になる。
したがって、 これら情報から、 蛍光灯照明下でフリ ツ力が定常的 ·安 定的に発生している状態であることを十分判断することができる。
そのほか、 蛍光灯照明下では、 画面の明るさがほぼ一定周期で変動す るので、 そのことを示す A Ε制御の明るさ情報から、 蛍光灯照明下であ ることを十分判断することができる。
また、 通常、 AW B制御では、 検波された色情報から光源を推定し、 光源が蛍光灯であるか否かを判断しているので、 その A W B制御の光源 推定情報から、 蛍光灯照明下であることを判断することもできる。
この例では、 過去の複数フィールドに渡る以上の情報を総合的に判断 することによって、 検出の精度を高める。
そして、 状態検出プロック 6 8は、 このように蛍光灯照明下でフリ ッ 力が定常的 ·安定的に発生している状態と判断した場合には、 制御モー ドを後述のモード Aに設定する。
一方、非蛍光灯照明下で定常的にフリ ッ力が発生していない場合には、 推定されたフリ ツ力成分の振幅 γ mは、 ノイズ成分のみで、 ゼロ付近で ランダムに変動し、 初期位相 Φ πι ηは、 ノイズによってランダムに変動 する。
したがって、 これら情報から、 非蛍光灯照明下でフリ ツ力低減処理が 不要な状態であることを十分判断することができる。 そのほか、 非蛍光灯'照明下では、 画面の明るさの変動に周期性がない ので、 そのことを示す A E制御の明るさ情報から、 非蛍光灯照明下であ ることを十分判断することができる。 また、 上述した AW B制御の光源 推定情報から、 非蛍光灯照明下であることを判断することもできる。
この例では、 過去の複数フィールドに渡る以上の情報を総合的に判断 することによって、 検出の精度を高める。
そして、 状態検出プロック 6 8は、 このように非蛍光灯照明下で定常 的にフリ ツ力が発生していない （フリ ツ力低減処理が不要な） 状態と判 断した場合には、 制御モードを後述のモード Bに設定する。
状態検出ブロック 6 8で決定された制御モードに応じて、 具体的に、 時定数設定ブロック 6 5およびゲイン設定プロック 6 6で、 デジタル L P F 6 1 , 6 2の時定数 T a， T pおよびゲイン調整回路 6 3でのゲイ ン K a として、 いかなる値を設定すべきかについては、 システムの構成 やシステムに対する要求に応じて、 以下のように決定する。
まず、デジタル L P F 6 1の時定数 T aについては、上述したように、 推定されたフリ ッカ成分の振幅 γ mは、 ゼロ付近か否かの違いはあるも のの、 モー ド A (蛍光灯照明下でフリ ツ力が定常的 ·安定的に発生して いる状態） でも、 モード B (非蛍光灯照明下で定常的にフリ ツ力が発生 していない状態）でも、ほぼ一定値となる。ほぼ一定値とならないのは、 外乱がある場合である。
そこで、 外乱に対して強い、 よりロバストな.システムとするには、 デ ジタル L P F 6 1の時定数 T aを長く設定するのが望ましい。 しかし、 制御モードが、 モード Aからモード Bに、 またはモード Bからモード A に、 遷移する場合を考えると、 遷移時には追従性が速い方が良く、 デジ タル L P F 6 1の時定数 T aは短めに設定すべきである。
すなわち、 振幅 γ πιについては、 2つの相反する要求を同時に満足す る必要がある。 しかし、 図 4、 図 6または図 7に示したような、 この発 明の方法の基本的な方法は、 もともと外乱に対して強いアルゴリズムで める。
したがって、 実際には、 後者の追従性を重視して、 時定数 T aを短め に設定する。 もちろん、 モー ド Aまたはモー ド Bのような定常状態では 時定数 T aが長くなり、 モー ド Aからモード Bへの遷移時またはモード Bからモード Aへの遷移時には時定数 T aが短くなるように、 時定数 T aを動的に制御できれば、 最も好適である。
一方、 デジタル L P F 6 2の時定数 T pについては、 モー ド A (蛍光 灯照明下でフリ ツ力が定常的 ·安定的に発生している状態） では、 図 1 6に示したように、 フリ ツ力発生の原理によって、 初期位相 Φ πι ηは一 定周期ごとにほぼ同じ値となるので、 外乱に対して強くなるように、 時 定数 Τ ρを十分長く設定すべきである。
これに対して、 モード Β (非蛍光灯照明下で定常的にフリ ツ力が発生 していない状態） では、 初期位相 Φ πι ηはランダムな値を取り続けるの で、 時定数 T pを長く設定することによる効果は特に無い。 具体的に、 モード Βでは、 後述のゲイン調整の効果によって、 時定数 Τ ρは任意の 値に設定することができる。
なお、 モー ド Αとモー ド Βの間で時定数 T aまたは Τ ρを切り替える ように構成してもよい。
ゲイン調整回路 6 3でのゲイン K aについては、 モー ド A (蛍光灯照 明下でフリ ツ力が定常的 ·安定的に発生している状態） では、 図 1 6に 示すように振幅 γ mがほぼ一定値となるので、 基本的にゲイン K aを 1 に設定すればよい。
ただし、 ゲイン K aは、 振幅 γ mの補正率を決定するものであり （K a = 1に設定すると、 入力の 1 0 0 %を出力し、 捕正率はゼロ） 、 ゲイ ン K aを変えることによって、 振幅 γ mの捕正率を直接制御することが できる。
そして、 実際の撮影環境では、 あえて振幅を大きく したい場合や、 小 さく したい場合があるので、 ゲイン K aは、 1に限らず、 1より大きい 値、 または 1より小さい値に設定できるように、 システムを構成しても よい。
一方、 モー ド B (非蛍光灯照阴下で定常的にフリ ツ力が発生していな い状態） では、 振幅 γ mはノイズによってゼロ付近のランダムな値とな る。そして本来、モード Bではフリ ッカ低減処理を行う必要がないので、 モード Bでは、 ゲイン K aをゼロに設定して、 不必要な処理がなされな いようにする。
以上は、 モー ド Aまたはモー ド Bという安定状態 （フリ ツ力が定常的 に発生している状態、 または定常的に発生していない状態） の場合であ るが、 状態検出プロック 6 8で検出されるモードがモード Aからモード Bに変化したときには、 撮影環境が蛍光灯照明下から非蛍光灯照明下に 遷移した可能性が高く、 状態検出プロック 6 8で検出されるモー ドがモ 一ド Bからモー ド Aに変化したときには、 撮影環境が非蛍光灯照明下か ら蛍光灯照明下に遷移した可能性が高い。
そして、 図 4、 図 6または図 7に示したような、 この発明の方法の基 本的な方法では、 複数フィールド間の平均演算または差分演算によって フリ ツ力成分を抽出するので、 このような遷移時には、 平均演算または 差分演算に用いられる各信号列の一部にはフリ ッカ成分を含み、 他の一 部にはフリ ッカ成分を含まない状態となる。
その結果、 平均演算または差分演算によって得られるフリ ッカ成分に 誤差を生じ、 検出される振幅 γ mおよび初期位相 Φ πι ηにも誤差が発生 する。 そして、 このような誤差を含む振幅 γ mおよび初期位相 Φ πι ηか らフリ ツ力係数 Γ η ( y ) を算出すると、 当然ながら、 出力画像信号に 悪影響を及ぼす。
この問題を軽減するため、 ゲイン設定ブロック 6 6では、 制御モード の遷移状態を検出し、 遷移状態に応じてゲイン K aの値を制御する。
具体的に、 制御モードがモード Aからモード Bに遷移した場合、 遷移 開始時点で既に振幅 γ mおよび初期位相 Φ πι ηの信頼性が落ちているの で、 遷移後、 直ちにゲイン K aを 1からゼロに切り替えて、 フリ ツ力生 成ブロック 5 3および演算プロック 4 0でのフリ ッカ低減処理を停止し、 またはゲイン K aを徐々に小さく して、 フリ ツ力生成ブロック 5 3およ び演算プロック 4 0でのフリ ッカ低減処理をスムーズに停止する。
逆に制御モードがモード Bからモード Aに遷移した場合、 遷移開始時 点では未だ振幅 y mおよび初期位相 Φ m nの信頼性が低いので、 振幅 γ mおよび初期位相 Φ πι ηの信頼性が十分高くなるまで待ってから、 ゲイ ン K aをゼロから 1に切り替えて、 フリ ッカ生成ブロック 5 3およぴ演 算ブロック 4 0でのフリ ツ力低減処理を実行し、 またはゲイン K aを徐 々に大きく して、 フリ ッカ生成プロック 5 3および演算プロック 4 0で のフリ ッカ低減処理をスムーズに実行する。
<第 2の具体例 ： 図 1 5 >
図 1 5は、 第 2の具体例を示す。
この例は、 図 1 4に示した例に対して、 記憶部 7 1〜 7 4、 スィッチ 7 5〜 7 8および状態検出ブロック 6 9を付加したものである。
記憶部 7 1は、 振幅 γ mのデータを記憶し、 記憶部 7 2は、 初期位相 Φ ιη ηのデータを記憶し、 記憶部 7 3は、 ゲイン調整回路 6 3の出力デ ータを記憶し、 記憶部 7 4は、 デジタル L P F 6 2の出力データを記憶 するものであり、 スィッチ 7 5〜 7 8は、 それぞれ、 状態検出プロック 6 9の検出結果に応じて、 記憶部 7 1〜 7 4の入力データと出力データ のいずれかを選択するものであり、 スィッチ 7 5の出力データが、 デジ タル L P F 6 1に供給され、 スィッチ 7 6の出力データが、 デジタル P F 6 2に供給され、 スィッチ 7 7の出力データが、 振幅 γ m ' のデー タとしてフリ ッカ生成プロック 5 3に入力され、 スィッチ 7 8の出力デ ータが、 初期位相 Φ πι η ' のデータとしてフリ ッカ生成ブロック 5 3に 入力される。
状態検出ブロック 6 9には、 ズーミング情報おょぴ手ぶれ情報が入力 される。 状態検出ブロック 6 9は、 ズーミング情報からは、 ズーミング によって大きな画角変化を生じているか否かを判断し、 手ぶれ情報から は、 パンニングゃチルティング、 または大振幅の手ぶれなどによって大 きな画角変化を生じているか否かを判断する。
そして、 大きな画角変化を生じていないと判断した場合には、 状態検 出プロック 6 9は、 スィッチ 7 5〜 7 8を、 それぞれ記憶部 7 1〜 7 4 ではない側に切り替える。 すなわち、 通常は、 図 1 4の例と同様に、 フ リ ツ力低減処理が実行される。
一方、 大きな画角変化を生じていると判断した場合には、 状態検出ブ ロック 6 9は、 スィッチ 7 5〜 7 8を、 それぞれ記憶部 7 1〜 7 4側に 切り替える。
すなわち、 大きな画角変化を生じている状態では、 振幅 γ πιおよび初 期位相 Φ πι ηの信頼性が落ちるので、 過去に求められて記憶部 7 3およ び 7 4に記憶されている振幅データおょぴ初期位相データが、 振幅 γ m ， および初期位相 Φ πι η ' としてフリ ツ力生成ブロック 5 3に入力され る。
図 1 6に示すように、 モード Α (蛍光灯照明下でフリ ツ力が定常的 · 安定的に発生している状態） では、 振幅 y mおよび初期位相 Φ πι ηが安 定しているので、 過去の値を用いても何ら問題はなく、 むしろ過去の値 を積極的に利用すべきである。
ただし、 画角変化中にデジタル L P F 6 1および 6 2に信頼性の低い データが入力され続けると、 次にスィ ッチ 7 7および 7 8が記憶部 7 3 および 7 4ではない側に切り替えられた直後の振幅 γ m， および初期位 相 Φ πι η， は、 誤差を含んだものとなる。
これを防止するため、 大きな画角変化を生じている状態では、 状態検 出ブロック 6 9は、 スィッチ 7 7および 7 8を記憶部 7 3および 7 4側 に切り替えるだけでなく 、 スィ ッチ 7 5および 7 6を記憶部 7 1および 7 2側に切り替えて、 そのときの信頼性の低いデータが、 デジタル L P F 6 1および 6 2に入力されずに、 記憶部 7 1および 7 2に記憶されて いる、 大きな画角変化を生じる前の信頼性の高いデータが、 デジタルし P F 6 1および 6 2に入力されるように制御する。
なお、 ズーミング情報や手ぶれ情報に限らず、 別途、 振幅 y mおよび 初期位相 Φ ιη nの信頼性を判定して、 その判定結果の信頼性レベル情報 を、 状態検出ブロック 6 9の入力情報とし、 信頼性レベル情報が振幅 γ mおよび初期位相 Φ πι ηの信頼性が低いことを示す場合には、 上記のよ うにスィッチ 7 5〜 7 8が記憶部 7 1〜 7 4側に切り替えられることに よって、 過去の信頼性の高いデータが用いられるように構成することも できる。
<効果>
以上の例によれば、 蛍光灯照明下や非蛍光灯照明下の定常状態では外 乱の影響をより受けにく く、 それでいて遷移時の応答性 ·追従性の良い 処理を実現することができる。 また、 状態遷移時や画角変化時、 または フリ ツ力検出パラメータの信頼性が低い場合などにも、 スムーズに、 か つ違和感なく、 適切な処理を行うことができる。
〔他の実施形態〕 (積分について）
上述した各例は、 入力画像信号 I n ' ( x， y ) を 1ライン分に渡つ て積分する場合であるが、 入力画像信号 I n， （x， y ) の積分は、 絵 柄の影響を少なく してフリ ッカ成分のサンプリング値を得るためである ので、 1ラインに限らず、 複数ラインの時間に渡って行ってもよい。 上 述したように画面上では縞模様として現れる蛍光灯フリ ツ力 （画面内フ リ ツ力） の 1周期は L ( = M * 6 0 / 1 0 0 ) ラインに相当するので、 その 1周期、 すなわち Lラインで、 少なく とも 2つのサンプリング値を 得るようにすれば、 いわゆるサンプリ ングの定理から、 フリ ツ力成分を 検出することができる。
実際上は、 画面内フリ ツ力の 1周期、 すなわち Lラインで、 数個以上 ないし 1 0個以上のサンプリング値を得ることが望ましいが、 その場合 でも、 入力画像信号 I n， ( x , y ) を水平周期の数倍以上ないし 1 0 倍以上の時間に渡って積分することができる。 また、 積分時間は、 2 . 5水平周期などというように、 水平周期のちょう ど整数倍でなくてもよ レヽ o
そして、 このように積分時間を長く し、 単位時間当たりのサンプリン グ数を減らす場合には、 D F Tブロック 5 1における D F T演算の負担 を軽くすることができるとともに、 被写体が画面垂直方向に動いた場合 に、 その影響を少なくすることができる。
(その他について）
図 2のような原色系システムの場合、 図 2のよ うにフリ ッカ低減部 2 5 R , 2 5 G , 2 5 Bによって R G B各色の原色信号ごとにフリ ツ力成 分を検出し、 低減する代わりに、 例えば、 合成マトリタス回路 2 9の輝 度信号 Yの出力側に、上述した例のようなフリ ッカ低減部 2 5を設けて、 輝度信号 Y中のフリ ッカ成分を検出し、低減するように構成してもよレ、。 また、 上述した実施形態は、 フリ ツ力低減部 2 5を含むデジタル信号 処理部 2 0をハードウエアによって構成する場合であるが、 フリ ッカ低 減部 2 5またはデジタル信号処理部 2 0の一部または全部をソフトウ工 ァによって構成してもよい。
また、 上述した実施形態は、 垂直同期周波数が 6 0 H z ( 1 フィール ド周期が 1ノ6 0秒） の場合であるが、 この発明は、 例えば、 デジタル カメラなど、 プログレッシブ方式のカメラで、 垂直同期周波数が 3 0 H z ( 1 フレーム周期が 1 / 3 0秒） の場合にも適用することができる。 この場合は、 3 フレーム周期 （ 1 / 1 0秒） が蛍光灯の発光周期 （ 1 Z 1 0 0秒） の整数倍となる （フリ ツ力の縞模様は 3 フレームで 1 0波長 分となる） ので、 上述した実施形態のフィールドをフレームに置き換え ればよい。
さらに、 この発明は、 C M O S撮像素子以外の X Yア ドレス走査型の 撮像素子を用いる場合にも適用することができる。 産業上の利用可能性
上述したように、この発明によれば、受光素子などを用いることなく、 簡単な信号処理のみによって、 C M O S撮像素子などの X Yァドレス走 查型の撮像素子に固有の蛍光灯フリ ッカを、 被写体や映像信号レベルお よび蛍光灯の種類などにかかわらず、 高精度で検出し、 確実かつ十分に 低減することができる。
特に、 R G B各色の原色信号につき、 この発明のフリ ツ力低減方法を 用いる場合には、 明暗フリ ツ力だけでなく色フリ ツ力をも、 高精度で検 出し、 確実かつ十分に低減することができる。
また、 信号レベルが飽和領域にあるときにはフリツ力低減の演算を行 わないようにする場合には、 フリ ッカ低減の演算を行うことによって逆 に信号成分が変化してしまうことを防止することができる。
また、 非蛍光灯照明下であるときにはフリ ッカ低減の演算を行わない ようにする場合には、 フリ ッカ低減の演算を行うことによる画質への影 響を防止することができる。
さらに、 撮影者の操作または動作によって被写体が短時間で大きく変 化するときには、 直前に推定したフリ ツ力成分、 または直前の信号に基 づいて推定したフリ ッカ成分を演算する場合には、 被写体が短時間で大 きく変化することによるフリ ッカ検出精度の悪化を防止することができ る。
さらに、 静止画を撮影するときなどのようにフリ ツ力低減処理が不要 な撮影状況であるときにはフリ ッカ低減の演算を行わないようにする場 合には、 フリ ッカ低減の演算を行うことによる画質への影響を防止する ことができる。
さらに、 推定したフリ ツ力成分を調整し、 その調整後のフリ ツ力成分 を入力画像信号と演算する場合には、 蛍光灯照明下や非蛍光灯照明下の 定常状態では外乱の影響をより受けにく く、 それでいて遷移時の応答性 •追従性の良い処理を実現することができるとともに、 状態遷移時や画 角変化時、またはフリ ッカ検出パラメータの信頼性が低い場合などにも、 スムーズに、 かつ違和感なく、 適切な処理を行うことができる。

Claims

請 求 の 範 囲 1 . 蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を撮 影することによって得られる映像信号または輝度信号に含まれる蛍光灯 フリ ツ力成分を低減する方法であって、
前記映像信号または前記輝度信号を入力画像信号として、 その入力画 像信号を 1水平周期以上の時間に渡って積分する工程と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルからフリ ッカ成分を推定する工程と、 その推定したフリ ッカ成分を打ち消すように、 推定したフリ ッカ成分 と前記入力画像信号を演算する工程と、
を備えるフリ ッカ低減方法。
2 . 蛍光灯照明下で Χ Υァドレス走査型の撮像素子により被写体を撮 影することによって得られる各色の色信号に含まれる蛍光灯フリ ツ力成 分を低減する方法であって、
前記各色の色信号を、 それぞれ入力画像信号として、 その入力画像信 号を 1水平周期以上の時間に渡って積分する工程と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルからフリ ッカ成分を推定する工程と、 その推定したフリ ッカ成分を打ち消すように、 推定したフリ ッカ成分 と前記入力画像信号を演算する工程と、
を備えるフリ ッカ低減方法。
3 . 蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を撮 影することによって得られる輝度信号および各色の色信号に含まれる蛍 光灯フリ ッカ成分を低減する方法であって、
前記輝度信号および前記各色の色信号を、 それぞれ入力画像信号とし て、その入力画像信号を 1水平周期以上の時間に渡って積分する工程と、 その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する工程と、
その正規化後の積分値または差分値のスぺク トルを抽出する工程と、 その抽出したスぺク トルからフリ ッカ成分を推定する工程と、 その推定したフリ ツ力成分を打ち消すように、 推定したフリ ツ力成分 と前記入力画像信号を演算する工程と、
を備えるフリ ッカ低減方法。
4 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
前記正規化工程では、 前記差分値を連続する複数フィールドまたは複 数フレームにおける積分値の平均値で除算するフリ ツ力低減方法。
5 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
前記正規化工程では、 前記積分値を連続する複数フィールドまたは複 数フレームにおける積分値の平均値で除算し、 その除算結果から所定値 を減算するフリ ッカ低減方法。
6 . 請求項 1〜 3のいずれかのフリ ツ力低減方法において、
前記正規化工程では、 前記差分値を前記積分値で除算するフリ ッカ低 減方法。
7 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
前記スぺク トル抽出工程では、 正規化後の積分値または差分値をフー リェ変換するフリ ッカ低減方法。
8 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、 前記入力画像信号のレベルが飽和領域にあるか否かを判断し、 飽和領 域にあると判定したときには、 前記入力画像信号を、 そのまま出力画像 信号として取り出すフリ ッカ低減方法。
9 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
抽出したスぺク トルのレベルから蛍光灯照明下であるか否かを判断し、 蛍光灯照明下ではないと判定したときには、 前記入力画像信号を、 その まま出力画像信号として取り出すフリ ッカ低減方法。
1 0 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
撮影者の操作または動作によって被写体が短時間で大きく変化するか 否かを判断し、 大きく変化すると判定したときには、 直前に推定したフ リ ツ力成分、 または直前の信号に基づいて推定したフリ ツ力成分と、 前 記入力画像信号を演算するフリ ッカ低減方法。
1 1 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
フリ ッカ低減処理が不要な撮影状況であるか否かを判断し、 不要な撮 影状況であると判定したときには、 前記入力画像信号を、 そのまま出力 画像信号として取り出すフリ ッカ低減方法。
1 2 . 請求項 1〜 3のいずれかのフリ ッカ低減方法において、
推定したフリ ッカ成分を調整し、 その調整後のフリ ッカ成分を前記入 力画像信号と演算するフリ ッカ低減方法。
1 3 . 請求項 1〜 3のいずれかのフリ ツ力低減方法において、
推定したフリ ッカ成分の振幅データおよび初期位相データを、 それぞ れローパスブイルタを通して調整し、 その調整後の振幅データおよび初 期位相データを用いて、 前記入力画像信号と演算するフリ ッカ成分を生 成するフリ ッカ低減方法。
1 4 . 請求項 1 3のフリ ツ力低減方法において、
調整後の振幅データおよび初期位相データを記憶部に保存しておき、 一定の状態が検出された場合には、 その保存されている振幅データおよ び初期位相データを用いて、 前記入力画像信号と演算するフリ ッカ成分 を生成するフリ ッカ低減方法。
1 5 . X Yア ドレス走查型の撮像素子と、
この撮像素子により被写体 撮影することによって得られる映像信号 または輝度信号を入力画像信号として、 その入力画像信号を 1水平周期 以上の時間に渡って積分する手段と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリ ッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備える撮像装置。
1 6 . X Yア ドレス走査型の撮像素子と、
この撮像素子により被写体を撮影することによって得られる各色の色 信号を、
それぞれ入力画像信号として、 その入力画像信号を 1水平周期以上の時 間に渡って積分する手段と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備える撮像装置。
1 7 . X Yア ドレス走査型の撮像素子と、
この撮像素子により被写体を撮影することによって得られる輝度信号 およぴ各色の色信号を、 それぞれ入力画像信号として、 その入力画像信 号を 1水平周期以上の時間に渡って積分する手段と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリ ッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備える撮像装置。
1 8 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記正規化手段は、 前記差分値を連続する複数フィールドまたは複数 フレームにおける積分値の平均値で除算する撮像装置。
1 9 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記正規化手段は、 前記積分値を連続する複数フィールドまたは複数 フレームにおける積分値の平均値で除算し、 その除算結果から所定値を 減算する撮像装置。
2 0 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記正規化手段は、 前記差分値を前記積分値で除算する撮像装置。
2 1 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記スぺク トル抽出手段は、 正規化後の積分値または差分値をフーリ ェ変換する手段である撮像装置。
2 2 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記入力画像信号のレベルが飽和領域にあるか否かを判断し、 飽和領 域にあると判定したときには、 前記入力画像信号を、 そのまま出力画像 信号として取り出す手段を備える撮像装置。
2 3 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記スぺク トル抽出手段によって抽出されたスぺク トルのレベルから 蛍光灯照明下であるか否かを判断し、 蛍光灯照明下ではないと判定した ときには、 前記入力画像信号を、 そのまま出力画像信号として取り出す 手段を備える撮像装置。
2 4 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
撮影者の操作または動作によって被写体が短時間で大きく変化するか 否かを判断し、 大きく変化すると判定したときには、 前記演算手段に対 して、 前記フリ ツ力成分推定手段によって直前に推定されたフリ ツ力成 分、 または直前の信号に基づいて前記フリ ッカ成分推定手段によって推 定されたフリ ツ力成分と、 前記入力画像信号を演算させる手段を備える 撮像装置。
2 5 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
フリ ツ力低減処理が不要な撮影状況であるか否かを判断し、 不要な撮 影状況であると判定したときには、 前記入力画像信号を、 そのまま出力 画像信号として取り出す手段を備える撮像装置。
2 6 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記フリ ッカ成分推定手段によって推定されたフリ ッカ成分を調整し て、 前記入力画像信号と演算されるフリ ツ力成分を生成する調整手段を 備える撮像装置。
2 7 . 請求項 1 5〜 1 7のいずれかの撮像装置において、
前記フリ ッカ成分推定手段によって推定されたフリ ッカ成分の振幅デ ータおよび初期位相データを調整して、 前記入力画像信号と演算される フリ ッカ成分を生成するローパスフィルタ手段を備える撮像装置。
2 8 . 請求項 2 7の撮像装置において、 前記ローパスフィルタ手段によつて調整された振幅データおよぴ初期 位相データを保存する記憶手段と、
一定の状態が検出された場合に、 前記記憶手段に保存されている振幅 データおよび初期位相データを用いて、 前記入力画像信号と演算するフ リ ッカ成分を生成する手段とを備える撮像装置。
2 9 . 蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を 撮影することによって得られる映像信号または輝度信号に含まれる蛍光 灯フリ ッカ成分を低減する回路であって、
前記映像信号または前記輝度信号を入力画像信号として、 その入力画 像信号を 1水平周期以上の時間に渡って積分する手段と、
その積分値、 または隣接するフィールドまたはフ レームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリ ッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備えるフリ ッカ低減回路。
3 0 . 蛍光灯照明下で X Yァ ドレス走査型の撮像素子により被写体を 撮影することによって得られる各色の色信号に含まれる蛍光灯フリ ツ力 成分を低減する回路であって、
前記各色の色信号を、 それぞれ入力画像信号として、 その入力画像信 号を 1水平周期以上の時間に渡って積分する手段と、
その積分値、 または隣接するフィールドまたはフレームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリ ッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備えるフリ ッカ低減回路。
3 1 . 蛍光灯照明下で X Yァドレス走査型の撮像素子により被写体を 撮影することによって得られる輝度信号および各色の色信号に含まれる 蛍光灯フリ ッカ成分を低減する回路であって、
前記輝度信号および前記各色の色信号を、 それぞれ入力画像信号とし て、その入力画像信号を 1水平周期以上の時間に渡って積分する手段と、 その積分値、 または隣接するフィールド.またはフレームにおける積分 値の差分値を、 正規化する手段と、
その正規化後の積分値または差分値のスぺク トルを抽出する手段と、 その抽出されたスぺク トルからフリ ッカ成分を推定する手段と、 その推定されたフリ ッカ成分を打ち消すように、 推定されたフリ ツ力 成分と前記入力画像信号を演算する手段と、
を備えるフリ ツ力低減回路。
3 2 . 請求項 2 9〜 3 1 のいずれかのフリ ッカ低減回路において、 前記正規化手段は、 前記差分値を連続する複数フィールドまたは複数 フレームにおける積分値の平均値で除算するフ リ ッカ低減回路。
3 3 . 請求項 2 9〜 3 1のいずれかのフリ ッカ低減回路において、 前記正規化手段は、 前記積分値を連続する複数フィールドまたは複数 フレームにおける積分値の平均値で除算し、 その除算結果から所定値を 減算するフリ ッカ低減回路。
3 4 . 請求項 2 9〜 3 1 のいずれかのフリ ッカ低減回路において、 前記正規化手段は、 前記差分値を前記積分値で除算するフリ ッカ低減 回路。
3 5 . 請求項 2 9〜 3 1のいずれかのフリ ッカ低減回路において、 前記スぺク トル抽出手段は、 正規化後の積分値または差分値をフーリ ェ変換する手段であるフリ ッカ低減回路。
3 6 . 請求項 2 9〜 3 1のいずれかのフリ ッカ低減回路において、 前記入力画像信号のレベルが飽和領域にあるか否かを判断し、 飽和領 域にあると判定したときには、 前記入力画像信号を、 そのまま出力画像 信号として取り出す手段を備えるフリ ッカ低減回路。
3 7 . 請求項 2 9〜 3 1のいずれかのフリ ッカ低減回路において、 前記スぺク トル抽出手段によって抽出されたスぺク トルのレベルから 蛍光灯照明下であるか否かを判断し、 蛍光灯照明下ではないと判定した ときには、 前記入力画像信号を、 そのまま出力画像信号として取り出す 手段を備えるフリ ッカ低減回路。
3 8 . 請求項 2 9〜 3 1 のいずれかのフリ ッカ低減回路において、 外部手段の制御によって、 前記演算手段に対して、 前記フリ ツ力成分— 推定手段によって直前に推定されたフリ ッカ成分、 または直前の信号に 基づいて前記フリ ッカ成分推定手段によって推定されたフリ ッカ成分と、 前記入力画像信号を演算させる手段を備えるフリ ッカ低減回路。
3 9 . 請求項 2 9〜 3 1のいずれかのフリ ッカ低減回路において、 外部手段の制御によって、 前記入力画像信号を、 そのまま出力画像信 号として取り出す手段を備えるフリ ッカ低減回路。
4 0 . 請求項 2 9〜 3 1のいずれかのフリ ツ力低減回路において、 前記フリ ッカ成分推定手段によって推定され、 かつ外部手段によって 調整されたフリ ッカ成分を前記入力画像信号と演算する手段を備えるフ リ ッカ低減回路。
PCT/JP2003/013237 2002-11-18 2003-10-16 フリッカ低減方法、撮像装置およびフリッカ低減回路 WO2004047427A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03756640A EP1566962A4 (en) 2002-11-18 2003-10-16 FLAG REDUCTION PROCEDURE, IMAGING DEVICE AND FLAG REDUCTION SWITCHING
AU2003302113A AU2003302113A1 (en) 2002-11-18 2003-10-16 Flicker reduction method, image pickup device, and flicker reduction circuit
US10/535,114 US7656436B2 (en) 2002-11-18 2003-10-16 Flicker reduction method, image pickup device, and flicker reduction circuit

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-333158 2002-11-18
JP2002333158 2002-11-18
JP2003-173642 2003-06-18
JP2003173642A JP4423889B2 (ja) 2002-11-18 2003-06-18 フリッカ低減方法、撮像装置およびフリッカ低減回路

Publications (1)

Publication Number Publication Date
WO2004047427A1 true WO2004047427A1 (ja) 2004-06-03

Family

ID=32328307

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/013237 WO2004047427A1 (ja) 2002-11-18 2003-10-16 フリッカ低減方法、撮像装置およびフリッカ低減回路

Country Status (6)

Country Link
US (1) US7656436B2 (ja)
EP (1) EP1566962A4 (ja)
JP (1) JP4423889B2 (ja)
KR (1) KR101040842B1 (ja)
AU (1) AU2003302113A1 (ja)
WO (1) WO2004047427A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1725023A2 (en) * 2005-05-16 2006-11-22 Sony Corporation Image process apparatus and image pickup apparatus
EP1814310A1 (en) * 2004-11-15 2007-08-01 Sony Corporation Flicker correcting method, flicker correcting circuit, and imaging device using them
CN100477744C (zh) * 2005-04-19 2009-04-08 索尼株式会社 闪烁校正方法与设备以及成像设备
US7538799B2 (en) 2005-01-14 2009-05-26 Freescale Semiconductor, Inc. System and method for flicker detection in digital imaging
CN1882047B (zh) * 2005-06-13 2011-06-15 索尼株式会社 图像处理设备和图像拾取设备
CN105430289A (zh) * 2015-11-19 2016-03-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于cmos图像传感器检测led闪烁频率的方法

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4259998B2 (ja) * 2003-12-19 2009-04-30 三洋電機株式会社 フリッカ検出装置及び撮像装置
JP4796755B2 (ja) * 2004-07-01 2011-10-19 Ｈｏｙａ株式会社 像ブレ補正装置
US7683948B2 (en) * 2005-03-31 2010-03-23 Freescale Semiconductor, Inc. System and method for bad pixel replacement in image processing
JP4207923B2 (ja) 2005-04-19 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4207926B2 (ja) 2005-05-13 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4539449B2 (ja) * 2005-06-10 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4631611B2 (ja) 2005-08-30 2011-02-16 ソニー株式会社 フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法
JP4904749B2 (ja) * 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
KR100721664B1 (ko) 2005-12-22 2007-05-23 매그나칩 반도체 유한회사 이미지 센서의 플리커 검출 회로 및 방법
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US8068148B2 (en) * 2006-01-05 2011-11-29 Qualcomm Incorporated Automatic flicker correction in an image capture device
US7593040B2 (en) 2006-01-30 2009-09-22 Omnivision Technologies, Inc. Image anti-shake in digital cameras
JP5175441B2 (ja) * 2006-03-03 2013-04-03 日本電気株式会社 撮影装置及び方法並びにプログラム
JP4840578B2 (ja) * 2006-06-29 2011-12-21 京セラ株式会社 撮像装置のフリッカ検出方法と装置
EP2092448A1 (en) * 2006-11-14 2009-08-26 Koninklijke Philips Electronics N.V. Method and apparatus for detecting slow motion
KR100891434B1 (ko) * 2007-05-16 2009-04-03 주식회사 코아로직 플리커 노이즈 검출 장치, 방법 및 그 기록매체
JP4971956B2 (ja) * 2007-11-27 2012-07-11 キヤノン株式会社 フリッカ補正装置、フリッカ補正方法並びに撮像装置
JP5111100B2 (ja) * 2007-12-28 2012-12-26 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
US8144213B2 (en) 2008-02-04 2012-03-27 Panasonic Corporation Imaging device, integrated circuit, and imaging method for encoding image frames based on detected flicker of a light source
JP5035025B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP2010021645A (ja) * 2008-07-08 2010-01-28 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP5106283B2 (ja) * 2008-07-15 2012-12-26 三洋電機株式会社 ビデオカメラ
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
JP4626689B2 (ja) * 2008-08-26 2011-02-09 ソニー株式会社 撮像装置、補正回路および補正方法
US8451345B2 (en) 2008-11-20 2013-05-28 Panasonic Corporation Flicker reduction device, integrated circuit, and flicker reduction method
JP5218239B2 (ja) * 2009-04-14 2013-06-26 ソニー株式会社 画像データ処理装置および撮像装置
EP2262228A1 (en) 2009-06-09 2010-12-15 Global IP Solutions (GIPS) AB Detection and supression of flicker in a sequence of images
JP2011030093A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd ビデオカメラ
JP4724767B2 (ja) * 2009-08-19 2011-07-13 アキュートロジック株式会社 撮像装置のフリッカ検出方法及びフリッカ検出装置、フリッカ検出プログラム
JP2011091775A (ja) 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP5523124B2 (ja) * 2010-01-26 2014-06-18 キヤノン株式会社 撮像装置
JP5625371B2 (ja) 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP2011163947A (ja) * 2010-02-10 2011-08-25 Seiko Epson Corp 光特性測定方法およびその装置
JP5682196B2 (ja) * 2010-09-22 2015-03-11 セイコーエプソン株式会社 画像補正回路、撮影装置および画像補正プログラム
JP2012109794A (ja) 2010-11-17 2012-06-07 Toshiba Corp 固体撮像装置
US9418270B2 (en) 2011-01-31 2016-08-16 Hand Held Products, Inc. Terminal with flicker-corrected aimer and alternating illumination
US8542292B2 (en) 2011-02-04 2013-09-24 Panasonic Corporation Flicker correction device, flicker correction method and flicker correction program
JP5296112B2 (ja) * 2011-02-04 2013-09-25 パナソニック株式会社 フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム
US9088727B2 (en) 2011-04-06 2015-07-21 Pelco, Inc. Spatially-varying flicker detection
JPWO2012147337A1 (ja) * 2011-04-28 2014-07-28 オリンパス株式会社 フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
US8736711B2 (en) * 2012-03-19 2014-05-27 Htc Corporation Camera with anti-flicker capability and image capturing method with anti-flicker capability
US9367907B2 (en) 2013-04-12 2016-06-14 Panasonic Intellectual Property Corporation Of America Flicker reducing device, imaging device, and flicker reducing method
CN104541499B (zh) * 2013-06-14 2018-05-18 松下电器（美国）知识产权公司 摄像装置、集成电路以及闪烁减少方法
JP6060824B2 (ja) * 2013-06-20 2017-01-18 株式会社Ｊｖｃケンウッド 撮像装置、及びフリッカ低減方法
JP2016034094A (ja) 2014-07-31 2016-03-10 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびイメージセンサ
JP6525525B2 (ja) 2014-07-31 2019-06-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10244183B2 (en) 2014-08-27 2019-03-26 Sony Corporation Image capturing device and method of controlling image capturing device
JP6300118B2 (ja) * 2015-09-24 2018-03-28 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
KR102523301B1 (ko) * 2015-12-15 2023-04-19 삼성전자주식회사 플리커를 제거하는 이미지 센서 회로 및 이를 포함하는 카메라 장치
JP2018093275A (ja) * 2016-11-30 2018-06-14 オリンパス株式会社 撮像装置およびフリッカ判定方法
KR20220048090A (ko) 2020-10-12 2022-04-19 삼성전자주식회사 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122513A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
JPH11252446A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd フリッカ補正装置
EP1091571A2 (en) 1999-10-08 2001-04-11 Matsushita Electric Industrial Co., Ltd. Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency
JP2001119708A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd フリッカ検出・補正装置およびフリッカ検出・補正方法
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195127B1 (en) * 1996-07-18 2001-02-27 Sanyo Electric Co., Ltd. Digital camera, having a flash unit, which determines proper flash duration through an assessment of image luminance and, where needed, a preliminary flash emission
US6850278B1 (en) * 1998-11-27 2005-02-01 Canon Kabushiki Kaisha Solid-state image pickup apparatus
US7298401B2 (en) * 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11122513A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
JPH11252446A (ja) * 1998-03-03 1999-09-17 Matsushita Electric Ind Co Ltd フリッカ補正装置
EP1091571A2 (en) 1999-10-08 2001-04-11 Matsushita Electric Industrial Co., Ltd. Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency
JP2001119708A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd フリッカ検出・補正装置およびフリッカ検出・補正方法
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1566962A4

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1814310A1 (en) * 2004-11-15 2007-08-01 Sony Corporation Flicker correcting method, flicker correcting circuit, and imaging device using them
CN100484197C (zh) * 2004-11-15 2009-04-29 索尼株式会社 闪烁校正方法、闪烁校正电路、以及使用它们的摄像装置
EP1814310A4 (en) * 2004-11-15 2010-09-08 Sony Corp FLACKER CORRECTION, FLACKER CORRECTION AND IMAGING DEVICE
US8040392B2 (en) 2004-11-15 2011-10-18 Sony Corporation Flicker correcting method, flicker correcting circuit, and imaging device using them
US7538799B2 (en) 2005-01-14 2009-05-26 Freescale Semiconductor, Inc. System and method for flicker detection in digital imaging
CN100477744C (zh) * 2005-04-19 2009-04-08 索尼株式会社 闪烁校正方法与设备以及成像设备
EP1725023A2 (en) * 2005-05-16 2006-11-22 Sony Corporation Image process apparatus and image pickup apparatus
EP1725023A3 (en) * 2005-05-16 2007-08-15 Sony Corporation Image process apparatus and image pickup apparatus
US8416337B2 (en) 2005-05-16 2013-04-09 Sony Corporation Image process apparatus and method for processing a color image signal
CN1882047B (zh) * 2005-06-13 2011-06-15 索尼株式会社 图像处理设备和图像拾取设备
CN105430289A (zh) * 2015-11-19 2016-03-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于cmos图像传感器检测led闪烁频率的方法

Also Published As

Publication number Publication date
KR101040842B1 (ko) 2011-06-14
US7656436B2 (en) 2010-02-02
EP1566962A4 (en) 2009-09-16
JP4423889B2 (ja) 2010-03-03
AU2003302113A1 (en) 2004-06-15
US20060055823A1 (en) 2006-03-16
JP2004222228A (ja) 2004-08-05
KR20050075425A (ko) 2005-07-20
EP1566962A1 (en) 2005-08-24

Similar Documents

Publication Publication Date Title
WO2004047427A1 (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
JP4483744B2 (ja) 撮像装置及び撮像制御方法
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
JP4904749B2 (ja) フリッカ低減方法、フリッカ低減回路及び撮像装置
JP4487640B2 (ja) 撮像装置
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
US20140063294A1 (en) Image processing device, image processing method, and solid-state imaging device
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
US10412356B2 (en) Image processing apparatus and image processing method
KR20060129954A (ko) 화상 처리 장치 및 촬상 장치
EP1725023B1 (en) Image process apparatus and image pickup apparatus
JP2012151566A (ja) 撮像装置
JP2007158964A (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2003756640

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2003756640

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006055823

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10535114

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057008810

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038A3546X

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057008810

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003756640

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10535114

Country of ref document: US