WO2006009105A1 - 映像処理装置およびその方法 - Google Patents

映像処理装置およびその方法 Download PDF

Info

Publication number
WO2006009105A1
WO2006009105A1 PCT/JP2005/013143 JP2005013143W WO2006009105A1 WO 2006009105 A1 WO2006009105 A1 WO 2006009105A1 JP 2005013143 W JP2005013143 W JP 2005013143W WO 2006009105 A1 WO2006009105 A1 WO 2006009105A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
pixel
color difference
value
luminance
Prior art date
Application number
PCT/JP2005/013143
Other languages
English (en)
French (fr)
Inventor
Tsuyoshi Yoshii
Yuji Tanikawa
Masahiro Okada
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US11/632,967 priority Critical patent/US7817856B2/en
Priority to JP2006529179A priority patent/JP4667381B2/ja
Publication of WO2006009105A1 publication Critical patent/WO2006009105A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention relates to a video processing apparatus and method for extracting or processing character information typified by subtitles included in a video stream such as emergency-use in television broadcasting, for example.
  • text information such as emergency-use may be added to the screen of the program being broadcast and broadcast.
  • the user wants to record the program.
  • the emergency-use recording itself is not desired.
  • text information such as emergency broadcasts included in the video stream is meaningful when viewed in real time, but text information is not required when viewing the recorded stream (that is, when time has passed).
  • text information is not required when viewing the recorded stream (that is, when time has passed).
  • the text information hinders comfortable viewing.
  • Patent Technology Document 1 Japanese Patent Laid-Open No. 9-200684
  • an interpolation signal must be prepared before broadcasting in order to create an image stream by inserting an interpolation signal separately from the image stream.
  • it cannot practically fulfill the purpose of broadcasting youth in an emergency. Therefore, there is a need for a video processing method that satisfies the conflicting demands that text information can be added to a broadcast program immediately in an emergency and the screen power text information of the added program can be erased as needed. Talk! Therefore, according to the present invention, it is not necessary to prepare an interpolated signal separately from the video signal on the broadcast side, and it is not necessary to generate a video stream.
  • the present invention is a video processing method for selectively processing character information embedded in an input video stream
  • a character recognition step for recognizing the embedded character information Based on at least one of the luminance information and the luminance information!
  • a character processing step of performing at least one of erasure, movement, and enlargement on the recognized character information is a character processing step of performing at least one of erasure, movement, and enlargement on the recognized character information.
  • the video processing method can generate a video stream in which character information is processed from a video stream including character information such as emergency-use. For example, if a TV program recorded using a recorder such as a DVD recorder contains character information, the video stream from which the character information has been deleted can be played by applying the present invention to this playback, A comfortable viewing environment that meets the needs of viewers can be provided.
  • FIG. 1 is a block diagram showing a configuration of a video processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a frame image of a video stream that is a processing target in the video processing apparatus shown in FIG.
  • FIG. 3 is a flowchart showing the main character recognition operations of the video processing apparatus shown in FIG.
  • Fig. 4 shows the search range specification in the search range specification subroutine shown in Fig. 3. It is a clear diagram.
  • FIG. 5 is a flowchart showing the operation in the search range specifying subroutine shown in FIG.
  • FIG. 6 is an explanatory diagram of high brightness search in the high brightness value pixel search subroutine shown in FIG. 3.
  • FIG. 7 is a flowchart showing operations in the character recognition subroutine shown in FIG.
  • FIG. 8 is an explanatory diagram of the same color search in the same color search subroutine shown in FIG. 3.
  • FIG. 9 is a flowchart showing the same color search subroutine operation shown in FIG.
  • FIG. 10 is an explanatory diagram of character display area recognition in the character display area recognition subroutine shown in FIG. 3.
  • FIG. 11 is a flowchart showing operations in the character display area recognition subroutine shown in FIG. 3.
  • FIG. 12 is an explanatory diagram of character line width recognition in the character line width recognition subroutine shown in FIG. 3.
  • FIG. 13 is a flowchart showing the operation in the character line width recognition subroutine shown in FIG.
  • FIG. 14 is an explanatory diagram of character border recognition in the character border recognition subroutine shown in FIG. 3.
  • FIG. 15 is a flowchart showing operations in the character outline recognition subroutine shown in FIG.
  • FIG. 16 is an explanatory diagram of flashing display recognition in the flashing display recognition subroutine shown in FIG. 3.
  • FIG. 17 is a flowchart showing operations in the blinking display recognition subroutine shown in FIG.
  • FIG. 18 shows the movement display recognition in the movement display recognition subroutine shown in FIG. It is explanatory drawing.
  • FIG. 19 is a flowchart showing the operation in the moving display recognition subroutine shown in FIG.
  • FIG. 20 is a flowchart showing the main character processing operations of the video processing apparatus shown in FIG.
  • FIG. 21 is an explanatory diagram of character deletion in the character information deletion subroutine shown in FIG.
  • FIG. 22 is a flowchart showing the operation in the character information erasing subroutine shown in FIG.
  • FIG. 23 is a flowchart showing the operation in the character information movement subroutine shown in FIG.
  • FIG. 24 is a flowchart showing an operation in the character information enlargement subroutine shown in FIG.
  • FIG. 25 is a flowchart showing the operation in the attention area avoidance subroutine shown in FIG.
  • FIG. 26 is a block diagram showing a structure of a recording device in the video processing device according to the embodiment of the present invention.
  • FIG. 27 is a block diagram showing a structure of a reproduction display device in the video processing device according to the embodiment of the present invention.
  • Video processing device Avp has preprocessor 002, input memory 003, character recognizer 011, character processor 012, character display pixel table storage memory 013, character display frame table storage memory 014, output memory 004, and post-processing Includes vessel 015.
  • the video processing device Avp includes Sarako, a system controller 030 that controls the overall operation, and a memory 40 that stores data necessary for control.
  • the pre-processor 002 converts the video stream Svc in which the character information Ic (Fig. 2) is incorporated into the original stream Sv (not shown) input from the outside into the luminance signal Y, for each frame. Separated into color difference Cb signal and color difference Cr and output to input memory 003.
  • the luminance signal Y The color difference Cb signal and the color difference Cr are indicated as Y, Cb, and in the drawing, respectively.
  • the luminance signal Y, color difference Cb signal, and color difference Cr signal are collectively referred to as frame signals.
  • the input memory 003 is a video stream having a certain time width before and after the ⁇ th frame when the video processing device Avp processes a frame signal of an arbitrary Nth frame in the video stream. This is a storage area with a capacity for storing the quantity.
  • the input memory 0 03 includes a luminance frame memory 005, a color difference Cb frame memory 006, and a color difference Cr frame memory 007.
  • the luminance signal Y, the color difference Cb signal, and the color difference Cr signal separated by the preprocessor 002 are stored in the luminance frame memory 005, the color difference Cb frame memory 006, and the color difference Cr frame memory 007, respectively.
  • the character recognizer 011 receives the luminance signal Y, the color difference Cb signal, and the color difference Cr signal supplied from the luminance frame memory 005, the color difference Cb frame memory 006, and the color difference Cr frame memory 007, respectively. Judges whether character information Ic is included. The character recognizer 011 further recognizes which pixel in the frame is the character pixel indicating the character information Ic, generates character pixel coordinate information Cp representing the coordinate position of the character pixel, and generates a character display pixel table. Output to memory 013.
  • the pixels constituting the screen image represented by the video stream are referred to as pixels P
  • the pixels representing the character information Ic are referred to as character pixels Pc in the screen pixels to identify each pixel. .
  • the screen image is composed of an infinite number of pixels arranged in the raster scan order.
  • Each pixel is identified by coordinates (X, y) corresponding to the horizontal position and the vertical position. That is, when identifying each of the pixel P and the character pixel Pc, they are expressed as a pixel P (x, y) and a character pixel Pc (x, y).
  • the individual pixels P and the character pixels Pc are identified as the pixel P (x, y) and the character pixel Pc (x, y), respectively, as necessary.
  • the character display pixel table storage memory 013 further recognizes the character P representing the character information Ic (at least one of the luminance signal Y, the color difference Cb signal, and the color difference Cr signal) as the character pixel Pc.
  • Pixel coordinate information Cp is generated and output to the character display pixel table storage memory 013.
  • Character pixel coordinate information Cp specifies the character pixel Pc. Data representing the coordinates (x, y) of the character pixel Pc. That is, the data of the character pixel Pc (x, y) is recorded in a table form in the character display pixel table storage memory 013, so that the character pixel coordinate information Cp can be called a character display pixel table.
  • the character display frame table storage memory 014 registers a frame in which the character information Ic is found based on the character pixel coordinate information Cp.
  • the character frame information Fc is data constituting the frame table. In this sense, the character frame information Fc can be called a character display frame table.
  • the character frame information Fc may be information used for identifying normal frames such as a frame number.
  • the character recognizer 011 outputs the luminance signal Y, the color difference Cb signal, and the color difference Cr signal to the character processor 012 after the character recognition processing.
  • the character recognizer 011 will be described in detail later with reference to FIGS.
  • the character display pixel table storage memory 013 supplies the character pixel coordinates Cp.
  • the character display frame table storage memory 014 supplies the character pixel Pc to the character processor 012.
  • Character display pixel table storage memory 013 stores character information included in luminance signal Y, color difference Cb signal, and color difference Cr signal input from character recognizer 011 based on character pixel coordinates Cp and character frame information Fc. The component is subjected to processing represented by movement, each multiplication, and erasing, and then output to the output memory 004.
  • the luminance signal Y, the color difference Cb signal, and the color difference Cr signal that have been subjected to this processing are distinguished from the processed luminance signal YT, the processed color difference Cb signal CbT, and the processed color difference Cr signal CrT, respectively.
  • they are labeled YT, CbT, and CrT, respectively.
  • the character display pixel table storage memory 013 will be described in detail later with reference to FIGS.
  • Output memory 004 includes processed luminance frame memory 008, processed color difference Cb frame memory 009, and processed color difference Cr frame memory 010 (in the drawing, Y frame memory, Cb frame memory, and Cr frame, respectively) Memory and display). Similar to the input memory 003, the output memory 004 is a storage area having a capacity capable of storing a video stream amount of a predetermined time width before and after the Nth frame.
  • the luminance frame memory 005, color difference Cb frame memory 006, and processed color difference Cr frame memory 010 temporarily store the processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT, respectively.
  • the output memory 004 holds the processed luminance signal YT, the color difference Cb signal, and the color difference Cr signal for a predetermined time, and then outputs them to the post-processor 015.
  • the post-processor 015 YZC combines the processed luminance signal YT, the processed color difference CbT signal, and the processed color difference CrT signal to generate and output a video stream Svt.
  • the video stream SvY is basically the same as the video stream Svc except that the video stream SvY is included in the video stream Svc and the character information Ic is processed. In this way, when the video stream Svc including the character information Ic is input to the video processing device Avp, the video stream in which the character information Ic is processed such as moving, doubling, erasing, etc. Svt is generated and output.
  • FIGS. Fig. 2 shows an example of the screen image I of the arbitrary Nth frame represented by the video stream Svc.
  • the screen image I is composed of H XV pixels P (x, y).
  • H and V are predetermined integer values defined for each standard.
  • X indicates the position in the horizontal (H) direction
  • y indicates the position in the vertical direction.
  • the screen image I is composed of the ground E, the building B, and the sky S.
  • “ABCDEFGHI” is displayed in the space S at the top of the screen image I. That is, this “ABCDEFGHI” is the character information Ic incorporated in the video stream Sv, and the image other than the character information Ic is the original video stream Sv. That is, the character recognizer 011 recognizes “ABCDEFGHI” (character information) included in each frame of the video stream Svc.
  • the pixel P representing “ABCDEFGHI” is the character pixel Pc.
  • FIG. 3 is a flowchart showing the character recognition operation of the character recognizer 011.
  • Character recognition by the character recognizer 011 is: search range specification subroutine # 100, high brightness pixel search subroutine # 200, same color search subroutine # 300, character display area recognition subroutine # 400, character line width recognition subroutine # 500, It includes a character border recognition subroutine # 600, a blinking display recognition subroutine # 700, and a moving display recognition subroutine # 800.
  • the search range of the character information Ic on the screen is designated in advance.
  • character information Ic such as emergency-use is often displayed at the top, bottom, left and right edges of the screen. Therefore, by limiting the search range Rs, which is the target range for searching the character information Ic, in the screen image I to an arbitrary range, the detection error of the character information Ic is reduced.
  • the search range Rs is set at the top of the screen.
  • the screen image I shown in Fig. 4 is similar to the screen image I shown in Fig. 3.
  • This “construction in 1970” is a caption Cs for explaining the image, not the character information Ic embedded in the video stream Sv.
  • the caption Cs is often displayed at a location different from the character information Ic for explanation of the image.
  • the character information Ic is displayed at the top of the screen, but in the case of movie subtitles, it is often displayed at the bottom of the image.
  • the character information Ic to be incorporated later in the video stream Sv is often displayed on the screen image I in such a part as to impair the intention of the image creator as much as possible!
  • the character information Ic and the caption Cs may be mixed, and when it is difficult to specify the location where the character information Ic exists, instead of specifying the search range Rs, the character information The area where Ic cannot exist is designated as the non-search range Rsc. As a result, it is inferior to the case where the search range Rs is specified, and the load of the character recognition process is reduced, and the probability of erroneous detection of the character information Ic can be prevented or erroneous detection can be prevented.
  • step S102 the search range Rs, which is a range in which the character pixel Pc is searched, or the character pixel Pc is not searched for the input video stream Svc.
  • You are inquired about the power to set. This inquiry may be made to display a message on a monitor (not shown) that displays an image of the video stream Svc such as a television, or may be made by voice.
  • the user inputs an answer “Yes” or “No” using an input means such as a remote control mouse. If the user inputs Yes, control proceeds to the next step S104.
  • step S104 the user designates the search range Rs or the non-search range Rsc.
  • the user designates the search range Rs or the non-search range Rsc by using an input unit such as a mouse for the screen image I of the video stream Svc displayed on the monitor.
  • the designated search range Rs or non-search range Rsc is input to the character recognizer 011 as information representing a set of coordinates (X, y) of the pixel P constituting the image.
  • the search range specification subroutine # 100 ends. If the user answers No in step S102, control skips step S104 described above and the search range specifying subroutine # 100 ends.
  • the high-intensity value pixel search subroutine # 200 extracts pixels that display the character information Ic based on features that are generally displayed with high luminance on the screen.
  • FIG. 6 shows the luminance signal Y stored in the input luminance Y frame memory 005.
  • the luminance screen image IY of the portion including the character information Ic “A” in the image of FIG. 4 is partially enlarged.
  • the luminance screen image IY is composed of H XV luminance pixels PY (x, y).
  • each square represents a luminance pixel PY (x, y).
  • the luminance pixel PY (x, y) is also simply referred to as the luminance pixel PY when it is not necessary to identify each individual pixel.
  • the vertical axis indicates the luminance value VY of the luminance pixel PY (x, y) on the line Ln
  • the horizontal axis indicates the luminance pixel PY (x, y) on the line Ln. Is shown.
  • the luminance pixel ⁇ that displays the character information Ic is referred to as a character luminance pixel PYc
  • the pixel that displays the stream Sv is referred to as a stream luminance pixel PYs.
  • the luminance value VY of the character luminance pixel PYc and the stream luminance pixel PYs is distinguished from the character luminance value VYc and the stream luminance value VYs, respectively.
  • the line Ln crosses the upper part of “A” of the character information Ic.
  • the character luminance value VYc of the character luminance pixel PYc constituting the character of the character information Ic is larger than the stream luminance value VYs of the stream luminance pixel PYs displaying the video stream Sv. . Therefore, in the present invention, a luminance threshold value Vth for distinguishing the character luminance value VYc from the stream luminance value VYs is set in advance, and a luminance pixel PY having a luminance value VY greater than the luminance threshold value Vth is extracted as the character luminance value PYc. .
  • it is preferably performed in the order of raster scanning.
  • the above-described extraction processing of the character luminance value P Yc is performed for all the pixels P in the search range determined by the search range specification subroutine # 100. Applied. Character pixel coordinate information Cp representing the coordinates (X, y) of the character luminance pixel PYc extracted as character information Ic is generated. Then, the character display pixel table storage memory 013 registers the coordinates (X, y) of the extracted character luminance pixel PYc based on the character pixel coordinate information Cp. Also, character frame information Fc representing the frame from which the character luminance pixel PYc is extracted is generated.
  • the character display frame table storage memory 01 4 registers the frame from which the character luminance pixel PYc is extracted based on the character frame information Fc.
  • the character pixel coordinate information Cp is stored in the character display pixel table storage memory 013
  • the character frame information Fc is stored in the character display frame table storage memory 014.
  • step S202 the above-described luminance threshold value Vth is set.
  • the user inputs an appropriate value using input means such as a remote controller.
  • Video stream The combination of the type of the video Svc and the type of the character information Ic may be configured to be supplied from means for storing the predetermined luminance threshold Vth (FIG. 1). Then, the control proceeds to the next Step S204.
  • step S204 all the luminance pixels PY (x
  • the values of X and y are counted up in the order of raster scanning, and the search target is updated. Then, the control proceeds to the next Step S206.
  • step S206 the coordinate value (x, y) of the luminance pixel PY (x, y) is converted to the above-described step S206.
  • step S208 it is determined whether or not the luminance value VY of the luminance pixel PY (x, y) is greater than the luminance threshold Vth. If Yes, that is, if it is determined that the luminance pixel PY (x, y) is the character luminance pixel PYc, the control proceeds to the next step S210.
  • step S210 the luminance pixel PY (x, y) determined to be the character luminance pixel PYc.
  • the character pixel coordinate information Cp is generated based on the coordinates (x, y). Then, the control proceeds to the next Step S212.
  • step S212 character frame information Fc is generated based on the identifier of the frame including the luminance pixel PY (x, y) determined as the character luminance pixel PYc. Then, control proceeds to the next step S 214.
  • step S206 If it is determined No in step S206 and step S208 described above, the control skips steps S208, S210, and S212 and directly performs step S208.
  • step S214 it is determined whether or not there remains an unsearched pixel among all the luminance pixels PY (x, y) set as the search target in step S204. Specifically, the x and y coordinate values of the current luminance pixel PY to be searched are It is determined whether or not it is smaller than the maximum value set in 204. If yes, control returns to step S204 to select the luminance pixel PY in the next raster scan order. Thereafter, the above process is repeated until it is determined as No in this step.
  • step S214 when the recognition of the character luminance pixel PY c is completed for the luminance signal Y of the current frame, control proceeds to the next step S216.
  • step S216 character pixel coordinate information Cp and character frame information Fc representing the recognized character luminance pixel PYc generated in step S210 and step S212 in relation to the full luminance pixel PY are stored in the character display pixel table, respectively. It is recorded in the memory 013 and the character display frame table storage memory 014. That is, the character luminance pixel PYc is registered in the character display pixel table storage memory 013, and the frame is registered in the character display frame table storage memory 014. Then, the high luminance value pixel search subroutine # 200 is terminated, and the control advances to the same color search subroutine # 300.
  • the character luminance pixel is not sufficient to complete and register the character pixel coordinate information Cp and the character frame information Fc.
  • the character display pixel table storage memory 013 and the character display frame table storage memory 014 may be registered in the character display pixel table storage memory 013 and the character display frame table storage memory 014 as character pixel coordinate information Cp and character frame information Fc.
  • the same color search subroutine # 300 is generally based on the feature that the character information Ic for emergency-use etc. is displayed in the same color, based on the brightness threshold Vth in the high brightness pixel search subroutine # 200
  • a filter of the same color degree of color difference
  • the recognition accuracy of the character information Ic is increased.
  • whether or not they are the same color is similarly determined based on either the color difference Cb signal or the color difference Cr signal. Therefore, in order to avoid redundancy, in this specification, the description based on the color difference Cr signal is omitted from the description based on the color difference Cb signal.
  • FIG. 8 shows the color difference Cb signal stored in the color difference Cb frame memory 006.
  • the color difference Cb screen image Icb is configured in the same manner as the brightness screen image IY described above, except that the signal based on the color difference Cb screen image Icb is a color difference Cb signal. That is, in the color difference Cb screen image Icb, each cell represents the color difference Cb pixel Pcb (X, y) of the color difference Cb screen image Icb. And y indicate the horizontal coordinate and the vertical coordinate in the color difference Cb screen image Icb, respectively.
  • the vertical axis indicates the color difference Cb value Vcb of the color difference Cb pixel Pcb (X, y) on the line Ln
  • the horizontal axis indicates the color difference Cb pixel Pcb (X, y) on the line Ln.
  • the color difference Cb pixel that displays the character information Ic is referred to as the color difference Cb character pixel PcbC
  • the color difference Cb pixel that displays the stream Sv is referred to as the color difference Cb stream pixel P cbS, as necessary.
  • a color difference Cb pixel PCb are collectively referred to as a color difference Cb pixel PCb.
  • the color difference value Vcb of the color difference Cb character pixel PcbC and the color difference Cb stream pixel PCbS are distinguished from the character color difference Cb value VcbC and the stream color difference Cb value VcbS, respectively.
  • the line Ln crosses the upper part of “A” of the character information Ic. If the character information I c is displayed in the same color, the color difference corresponding to the character luminance pixel P Yc registered in step # 200 Cb pixel Pcb color difference Cb value The average value of VcbC is almost the same as the character display color. Has the same value. Therefore, the display color of the character should fall within the range of the average value error a of the Cb color difference values Vcb of all the color difference Cb pixels Pcb registered in the high luminance value pixel search subroutine # 200.
  • the character luminance pixel PYc (X, y) corresponding to the color difference Cb pixel Pcb (x, y) that has been removed is deleted from the character display pixel table storage memory 013.
  • OC is an arbitrary allowable amount and is appropriately determined with respect to the input video stream Svc and the video processing device Avp. In this way, the recognition accuracy of the character information Ic based on the detection of the character luminance pixel PYc by the high luminance value pixel search subroutine # 200 is improved.
  • the processing of the high luminance value pixel search subroutine # 200 is not necessarily essential for the character information Ic recognition in the present invention.
  • step S302 it is determined whether or not the same color search is performed.
  • a message “Do you want to search for the same color?” Is displayed on the monitor to the user, and the user responds to the message using an input means such as a remote control.
  • whether or not to perform the same color search may be determined in advance for the combination of the type of the video stream Svc and the type of the character information Ic. Then, control proceeds to the next step S304
  • step S304 the character pixel coordinate information Cp is read from the character display pixel table storage memory 013, and the character pixel Pc luminance signal Y (the color difference Cb screen image Icb is recorded in the character pixel coordinate information Cp.
  • the color difference Cb pixel Pcb (x, y) corresponding to x, y) is specified. Then, the control proceeds to the next Step S306.
  • step S306 the Cb color difference values V cb of all the specified color difference Cb pixels Pcb (x, y) are detected. Then, an average Cb color difference value Vcb (mean) that is an average value of the detected Cb color difference values Vcb is calculated. Then, the control proceeds to the next Step S308.
  • step S308 two identical color difference Cb threshold values Vcbl and Vcb2 are generated according to the following equations (1) and (2) based on the error ⁇ described above.
  • Vcbl Vcb i, mean) ⁇ ... 'mountain
  • Vcb2 Vcb (mean) + ⁇ ... (2)
  • step S310 the order in which the same color determination process for determining whether or not the color difference Cb pixels Pcb specified in step S304 are the same color is determined, and in the determined order.
  • Color difference Cb pixel Pcb (X, y) is selected one by one.
  • the X and y values are counted up in the order of raster scanning, and the search target is selected. The Then, the control proceeds to the next Step S 312.
  • step S312 it is determined whether or not the Cb color difference value Vcb of the color difference Cb pixel Pcb (x, y) selected in step S310 is larger than the same color difference Cb threshold Vcbl and smaller than the same color difference Cb threshold Vcb2. Is done. No, that is, the color difference Cb pixel Pcb (X, y) is the character information I If it is determined that the color difference is not Cb character pixel PcbC, control proceeds to the next step S314.
  • step S314 the character pixel coordinate information Cp is corrected. Specifically, from the character pixel coordinate information Cp, in step S312, (x, y) of the character luminance pixel PYc corresponding to the color difference Cb pixel Pcb (x, y) determined not to be the color difference Cb character pixel PcbC. , y) The character pixel coordinate information Cp is corrected so that the coordinates are deleted from the character pixel coordinate information Cp. Then, the control proceeds to the next Step S316.
  • step S316 it is determined whether or not there remains any unsearched color difference Cb pixel Pcb (X, y) specified as the search target in step S304. Specifically, it is determined whether or not the (X, y) coordinate value of the current color difference Cb pixel Pcb to be searched is smaller than the maximum value set in step S304. If yes, control returns to step S312, and the color difference Cb pixel Pcb (X, y) in the next raster scan order is selected. Thereafter, the above process is repeated until it is determined No in this step.
  • step S316 that is, when the same color search processing is completed for the color difference Cb signal of the current frame, control proceeds to the next step S318.
  • step S3108 character frame information Fc is corrected if necessary based on the character pixel coordinate information Cp corrected in step S316. Specifically, the character included in the frame registered in the character frame information Fc is deleted by deleting the character luminance pixel PYc corresponding to the color difference Cb pixel Pcb (X, y) determined not to be the color difference Cb character pixel PcbC. When the luminance pixel PYc is not registered in the character pixel coordinate information Cp, the frame is deleted from the character frame information Fc. Then, the process of the same color search subroutine # 300 ends.
  • step S302 the control skips steps S302 to S318 described above, that is, executes the same color determination process in the same color search subroutine # 300. Proceed immediately to the next character display area recognition subroutine # 400.
  • step S312 If YES in step S312, that is, if it is determined that the color difference Cb pixel Pcb (x, y) is the color difference Cb character pixel PcbC, the control corrects the character pixel coordinate information Cp. Skip S314 and proceed to step S316. Then, through the step S318, the processing of the same color search subroutine # 300 is finished, and the control proceeds to the character display area recognition subroutine # 400.
  • Character display area recognition subroutine # 400 is generally based on the feature that character information Ic such as emergency-use is densely displayed in a limited area on the screen. This is intended to improve recognition accuracy.
  • a pixel existing at a position relatively distant from the other character pixel Pc is extracted, and the character pixel coordinate information Cp is extracted.
  • the registration as a character pixel is deleted.
  • the character pixel Pc mentioned here is either the character luminance pixel PYc registered in the high luminance value pixel search subroutine # 200 or the color difference Cb character pixel PcbC registered in the same color search subroutine # 300. May be.
  • Fig. 10 basically shows that the character information Ic is not "ABCDEFGHI” and "A BCDEFGH1JKLMNJ” and “OPQRSTUVWXYZ” are displayed in two lines! It is the same as the screen image I illustrated in Fig. 1.
  • the range in which the character information Ic is displayed is called a character display area Ric. If the brightness value VY of noise N is greater than the brightness threshold value Vth (Yes in step S208), then the Cb color difference value Vcb and the Cr color difference value Vcr are within the predetermined threshold values.
  • noise N is erroneously recognized as character information Ic. That is, the pixel P constituting the noise N is erroneously registered in the character display pixel table storage memory 013 and the Z or character display frame table storage memory 014 as the character pixel Pc. In the character display area recognition subroutine # 400, such erroneous recognition is prevented as follows. [0062]
  • the noise N and the character information Ic are identified as follows. That is, the distance between one of all character pixels Pc (character luminance pixel PYc, color difference Cb character pixel PcbC) registered in the character display pixel table storage memory 013 and all other character pixels Pc. Calculate the sum of "L".
  • This L is called the total distance L between other pixels of each character pixel Pc. Based on this other inter-pixel total distance L, it is determined how far the specific character pixel Pc is displayed with respect to the character display area Ric. Next, a character pixel Pc having an extremely large total distance L between other pixels L compared to the average total distance L between other pixels L (mean), which is the average value of the total distance L between other pixels, It is deleted from the character frame information Fc stored in the character display pixel table storage memory 013 as not representing.
  • step S402 it is determined whether or not to perform character display area recognition.
  • a message “Would you like to perform character display area recognition?” Is displayed on the monitor to the user, and the user responds to the message using input means such as a remote control.
  • whether or not to perform character display area recognition may be determined in advance for the combination of the type of video stream and the type of character information Ic. Control then proceeds to the next step S404.
  • step S404 the character pixel coordinate information Cp is read from the character display pixel table storage memory 013, and the character pixel Pc (x, y) is specified based on the character pixel coordinate information Cp. Then, the control proceeds to the next step S406.
  • step S406 the order of obtaining the total distance L between other pixels is determined and determined for all the character pixels Pc (x, y) specified in step S404. One character pixel Pc is selected at a time. Then, the control proceeds to the next Step S408.
  • step S408 a total distance L between other r pixels is calculated for the character pixel Pc selected in step S406. Then, the control proceeds to the next Step S410.
  • step S412 an average inter-pixel total distance L (mean) is calculated. Control then proceeds to the next step S414.
  • step S414 as in step S406, a character pixel Pc that compares the total distance L between other pixels with the average total distance L (mean) between other pixels is selected. Then, the control proceeds to the next Step S416.
  • step S416 it is determined whether or not the total distance L between other pixels is smaller than the average total distance L (mean) between other pixels by a predetermined distance ⁇ .
  • ⁇ is a distance determined as appropriate depending on the image quality of the video stream SVc. If it is determined that No, that is, the character pixel Pc is not the character information Ic, the control proceeds to the next step S418.
  • step S4108 the character pixel coordinate information Cp is corrected. Specifically, from the character pixel coordinate information Cp, the (X, y) coordinate force of the character pixel Pc determined not to be the character information Ic is deleted from the character pixel coordinate information Cp in step S416. Then, the control proceeds to the next Step S420.
  • step S420 as in step S410, in step S414, among all the character pixels Pc selected for comparison, a comparison is made with the average distance between other average pixels L (mea n). It is judged whether or not there is a power that is not left. If yes, control returns to step S414 and the next character pixel Pc is selected. Thereafter, the above-described processing is repeated until it is determined as No in this step. Then, when No, that is, all the character pixels Pc are compared with the average distance L (mean) between other pixels, the control proceeds to the next step S422.
  • step S422 based on the character pixel coordinate information Cp corrected in step S418, if necessary, the character frame information Fc is corrected as in step S316 described above. Then, the processing of the character display area recognition subroutine # 400 is completed.
  • Character line width recognition subroutine # 500 generally determines the line width of a character from the continuity of appearance in the horizontal and vertical directions of the character pixel Pc based on the feature that characters are drawn with a constant character line width.
  • the extracted character pixel Pc with extremely different continuous values is judged not to be the character information Ic, and is registered and deleted from the character pixel coordinate information Cp, thereby further improving the accuracy of character recognition. Is.
  • FIG. 12 shows an enlarged display of the limited area Rc including “D” of the character information Ic in the screen image I shown in FIG. 4, and shows the continuous value distribution Dc of the character pixels Pc.
  • characters are drawn with a certain character line width Cwl. Therefore, the continuous value distribution Dc of character registration pixels in the horizontal or vertical direction is concentrated near the value of the character line width Cwl. Even if the continuous value C is larger than the character line width CwU, the characters are independent of each other, so the character size width Cw is not exceeded.
  • the character size width Cw is generally several times to several tens of times the character line width Cwl, although it depends on the font. Therefore, it is determined that the character pixel Pc having the continuous value C having the continuous value C that is extremely larger than the character line width CwU is not the character information Ic, and is registered and deleted from the character pixel coordinate information Cp.
  • step S502 it is first determined in step S502 whether or not character line width recognition is to be performed.
  • a message “Would you like to recognize the character line width?” Is displayed on the monitor to the user, and the user is configured to respond to the message using input means such as a remote control.
  • whether or not to perform character line width recognition may be determined in advance for the combination of the type of video stream Svc and the type of character information Ic. Then, the control proceeds to the next Step S504.
  • step S504 the character pixel coordinate information Cp is read from the character display pixel table storage memory 013, and the character pixel Pc is specified based on the character pixel coordinate information Cp. Then, control proceeds to the next step S 506.
  • step S506 the order in which the character line width recognition process is performed on the character pixel Pc identified in step S504 is determined, and one character pixel Pc is selected at a time in the determined order.
  • the same color determination process ends for each set character pixel Pc.
  • the search target is selected. Then, the control proceeds to the next Step S508.
  • step S508 the continuous value Ch in the horizontal direction is counted for the character pixel Pc selected in step S506. Then, the control proceeds to the next Step S510.
  • step S510 the continuous value Cv in the vertical direction is counted for the character pixel Pc selected in step S506. Then, the control proceeds to the next Step S512.
  • step S512 out of all the character pixels Pc identified in step S504, the continuous value Ch and the continuous value Cv are counted! /, Na! /, Or something remains! / It is determined whether or not. If yes, control returns to step S506 and the next character pixel Pc is selected. Thereafter, the above process is repeated until it is determined No in this step. Then, when No, that is, for all the character pixels Pc, the continuous value Ch and the continuous value Cv are counted, the control proceeds to the next step S514.
  • step S51 the character size width Cwl is obtained by averaging the continuous values Ch counted in step S508. Then, the control proceeds to the next Step S516.
  • step S516 the character size width Cw is obtained by averaging the continuous values Cv counted in step S510. Then, the control proceeds to the next Step S518.
  • step S5128 it is determined whether or not the continuous value Ch is extremely larger than the character line width Cwl. Note that this extreme degree is appropriately determined based on the video stream SVc and the character information Ic. If it is determined that Yes, that is, the character pixel Pc does not correspond to the character information Ic from the viewpoint of the character size width Cwl, the control proceeds to the next step S520.
  • step S520 the character pixel Pc is deleted from the character pixel coordinate information Cp. Then, control proceeds to step S522.
  • step S522 it is determined whether continuous value Cv is extremely larger than character size width Cw. Note that this extreme degree is appropriately determined based on the video stream SVc and the character information Ic. If Yes, that is, the character pixel Pc is determined not to correspond to the character information Ic from the viewpoint of both the character line width Cwl and the character size width Cw, the control proceeds to the next step S524. [0087] In step S524, the character pixel Pc is deleted from the character pixel coordinate information Cp. Since the character pixel Pc has already been deleted from the character pixel coordinate information Cp in step S520 before being deleted in this step, this step may be omitted to avoid duplication of processing.
  • the character pixel Pc has character information from both the character line width Cwl and character size width Cw viewpoints.
  • the character information Ic can be recognized and checked with higher accuracy. Control then proceeds to step S530.
  • step S522 the character pixel Pc is determined to correspond to the character information Ic from the viewpoint of the character line width Cwl, and also corresponds to the character information Ic from the viewpoint of the character size width Cw. If so, control skips step S524 and proceeds to step S530.
  • Step S518 if No, that is, character pixel Pc is determined to correspond to character information Ic from the viewpoint of character size width Cwl, control proceeds to Step S526.
  • step S526 as in step S522, it is determined whether continuous value Cv is extremely larger than character size width Cw. Yes, that is, the character pixel Pc is determined to be character information Ic from the viewpoint of the character line width Cwl. If character size Pc is determined not to be character information Ic from the viewpoint of character size width Cw, the control is the next step. Proceed to S528.
  • step S528, the character pixel Pc is deleted from the character pixel coordinate information Cp from the character pixel coordinate information Cp.
  • the character pixel Pc is the character information Ic from the viewpoint of the character line width Cwl
  • the character information Ic is the character information Ic from the viewpoint of the character size width Cw. It is possible to recognize and process the character information Ic with higher accuracy by recording what is judged to be absent.
  • Step S530 Summary! Character frame information Fc is corrected based on the character pixel coordinate information Cp corrected in each of steps S520, S524, and S530 described above. Then, the processing of the character line width recognition subroutine # 500 ends. If the answer is No in step S502, control skips steps S502 to S530 and the character If line width recognition processing is not performed, proceed to character border recognition subroutine # 600.
  • Character border recognition subroutine # 600 recognizes character information Ic that is displayed in a certain color that is frequently used as a character display method.
  • FIG. 14 shows an enlarged view of the limited area including “C” in the character information Ic shown in FIG.
  • the color of the border pixel Po is the same. That is, the luminance value VY, the color difference Cb, and the color difference Cr of the pixel P (x, y) located in the border portion are the same.
  • a pixel P (x, y) having the same luminance value VY, color difference Cb, and color difference Cr is very likely to be a border pixel Po.
  • the luminance value VY, color difference value VCb, and color difference value VCr of the pixel P (x, y) located around the character pixel Pc registered in the character display pixel table storage memory 013 are the same. It is judged whether or not they are the same, and if the surrounding pixels P (x, y) of a certain percentage or more have the same luminance value VY, color difference Cb, and color difference Cr, it is assumed that the character is displayed with a border. recognize.
  • the peripheral pixel P (x, y) means four pixels P (x, y) that are not the closest character pixels Pc in the horizontal and vertical directions of the character pixel Pc.
  • the fact that bordering is used as a character display method is stored in the character display pixel table storage memory 013.
  • the coordinates (X, y) of the detected border pixel Po are also recorded as a part of the character pixel coordinate information Cp.
  • the recognition accuracy of the character information Ic is further improved by deleting the registration of the character pixel Pc when the peripheral pixel is drawn with the border color of the extracted border pixel Po. Reduce false detection of character pixels.
  • step S602 it is determined whether or not to perform character border recognition.
  • a message “Do you recognize the outline of the character?” Is displayed on the monitor to the user, and the user is configured to respond to the message using an input means such as a remote controller.
  • an input means such as a remote controller.
  • the control proceeds to the next Step S604.
  • step S604 the character pixel coordinate information Cp is read from the character display pixel table storage memory 013, and the character pixel Pc is specified based on the character pixel coordinate information Cp. Then, the control proceeds to the next step S606.
  • step S606 the coordinates (X, y) of the peripheral pixel Pp of the character pixel Pc specified in step S604 are specified. Further, the total number Npp of the specified peripheral pixels Pp is calculated and the counter Ct is set to zero. As described above, in this example, the four pixels P (x, y) that are not the closest character pixels Pc in the horizontal and vertical directions of the character pixel Pc are specified as the peripheral pixels Pp. Is done. Then, the control proceeds to the next Step S608.
  • step S608 the order in which edge degree recognition processing is performed on the peripheral pixels Pp specified in step S606 is determined, and one peripheral pixel Pp is selected in the determined order.
  • the values of X and y are counted up in the order of raster scanning, and the next peripheral pixel P P is selected. Then, the control proceeds to the next Step S610.
  • step S610 the luminance value VY, the color difference value VCb, and the color difference value V Cr of the peripheral pixel Pp are detected. Then, the control proceeds to the next Step S612.
  • step S612 it is determined in step S606 whether or not there are any remaining peripheral pixels Pp in which the luminance value VY, the color difference value VCb, and the color difference value VCr are not detected. The If yes, control returns to step S608 and the next peripheral pixel Pp is selected. Thereafter, the above process is repeated until it is determined No in this step. Then, when No, that is, for all the character pixels Pc, the continuous value Ch and the continuous value Cv are counted, the control proceeds to the next step S614.
  • step S614 the average luminance value VY (mean), the average color difference value VCb (mean), and the average color difference are obtained by averaging all the luminance values VY, color difference values VCb, and color difference values VCr obtained in step S614. The value VCr (mean) is determined. Then, the control proceeds to the next Step S615.
  • step S615 as in step S608, however, the order for determining whether or not the peripheral pixel Pp is displayed in the same color is determined, and the peripheral pixels are determined in the determined order. Pp is selected one by one. Then, the control proceeds to the next Step S616.
  • step S616 regarding the peripheral pixel Pp selected in step S615, the luminance value VY, the chrominance Cb value signal, and the chrominance value VCr are the average luminance value VY (mean) and the average chrominance value VCb (mean ) And the average color difference value VCr (mean).
  • the degree of the same degree is appropriately determined according to the video stream SVc, the character information Ic, and the border. If Yes, that is, if it is determined that the peripheral pixel Pp is the border pixel Po, the control proceeds to the next step S618.
  • step S618 the counter Ct is incremented by one. Then, the control proceeds to the next Step S620.
  • step S620 as in step S612, however, there remains a peripheral pixel Pp selected in step S615 that has not been determined to be a border pixel Po. Is judged. If yes, control returns to step S615 to select the next peripheral pixel Pp. Thereafter, the above processing is repeated until it is determined No in this step. Then, when No, that is, when it is determined whether or not all peripheral pixels Pp are edge pixels Po, control proceeds to the next step S618.
  • step S616 if No in step S616 described above, that is, if it is determined that the peripheral pixel Pp is not the border pixel Po, step S618 and step S620 are skipped, and the control returns to step S615.
  • step S622 the value of the counter Ct obtained in step S618 is divided by the total number Npp of the peripheral pixels Pp to obtain the same color ratio D of the peripheral pixels Pp that are displayed in the same color! Then, the control proceeds to the next Step S624.
  • step S624 the order in which it is determined whether or not the peripheral pixel Pp is a border pixel is determined as in step S615, and one peripheral pixel Pp is determined in the determined order. Selected one by one. Then, the control proceeds to the next Step S626.
  • step S626 it is determined whether or not the same color ratio D force ratio threshold D th obtained in step S622 is smaller.
  • the percentage threshold Dth is the video stream SVc, text It is determined as appropriate according to the information Ic and the border status. And control is the next step
  • step S628 the peripheral pixel Pp corresponding to the peripheral pixel Pp is deleted from the character pixel coordinate information Cp. Then, the control proceeds to the next Step S630.
  • step S630 the peripheral pixel Pp is registered in the character display pixel table storage memory 013 as character pixel coordinate information Cp. Then, the control proceeds to the next Step S632.
  • step S632 the character frame information Fc is appropriately corrected based on the character pixel coordinate information Cp. Then, the control proceeds to the next Step S634.
  • step S634 it is determined whether or not all peripheral pixels Pp selected in step S624 are border pixels.
  • control returns to step S624.
  • step S626 If it is determined No in step S626 above, control proceeds to steps S628, S630, S63.
  • the blinking display recognition subroutine # 700 is used frequently as a character display method, and repeats erasing and display at regular intervals to recognize character information Ic in which each character blinks.
  • Figure 16 shows three screen images Ibl, Ib2, and Ib3 over time, either left or right. Character information Ic is displayed on screen image lb 1, character information Ic is not displayed on screen image Ib2, and character information Ic is displayed on screen image Ib3 in the same manner as screen image Ibl.
  • the character display interval P1 and the character erasure interval P2 in which the character information Ic is displayed appear alternately with respect to the time axis direction.
  • the time length of the character display period P1 and the character erasure period P2, that is, the period is constant.
  • step S702 it is determined whether to perform blinking display recognition.
  • a message “Do you recognize flashing ideogram?” Is displayed on the monitor to the user, and the user is configured to respond to the message using input means such as a remote control.
  • input means such as a remote control.
  • step S704 the character frame information Fc is read from the character display frame table storage memory 014. Then, the control proceeds to the next Step S706.
  • step S706 a character display section P1 is detected from the continuity of frames registered in the character display frame table storage memory 014 based on the character frame information Fc. Then, the control proceeds to the next Step S708.
  • step S708 based on the character frame information Fc, the character erasure section P2 is detected from the time during which the continuity of frames registered in the character display frame table storage memory 014 is interrupted. Then, the control proceeds to the next Step S710.
  • step S710 it is determined whether or not the character information Ic is a blinking display. Specifically, when the character display section P1 and the character erasure section P2 detected in steps S706 and S708 respectively have predetermined values, it is determined that the display is blinking. Then, the control proceeds to the next Step S712.
  • step S712 it is stored in the character frame information Fc that the character information Ic is blinking. Then, the control ends the process of flashing display recognition subroutine # 700
  • step S710 If it is determined in step S710 that the character information Ic is not blinking, the control skips step S712 and the process of blinking display recognition subroutine # 700 ends. Similarly, if No in step S702, control skips steps S704 to S710, and the process of blinking display recognition subroutine # 700 ends.
  • the moving display recognition subroutine # 800 recognizes the moving display in which the character information Ic moves horizontally or vertically at a constant speed, which is frequently used as a character display method. It is processing to recognize.
  • Figure 18 shows how the character pixels displayed in the moving display frame move horizontally with respect to the direction of travel along the time axis. That is, the character information Ic on the frame N at a certain time coincides with the character pixel Pc in the frame N 13 ( ⁇ is an arbitrary positive integer) moved by ⁇ frames horizontally or vertically. No.
  • the distribution of the character pixel Pc of the frame ⁇ registered in the character display pixel table storage memory 013 and the position of the character pixel Pc in the frame ⁇ registered in the character display pixel table storage memory 013 If the distribution of
  • step S802 it is determined whether or not moving display recognition is to be performed.
  • a message “Do you recognize movement display?” Is displayed on the monitor to the user, and the user responds to the message using input means such as a remote control.
  • whether or not to perform moving display recognition may be determined in advance for the combination of the type of video stream and the type of character information Ic. If yes, control continues to the next step S804.
  • step S804 character pixel coordinate information Cp and character frame information Fc are read from character display pixel table storage memory 013 and character display frame table storage memory 014, respectively. Then, the control proceeds to the next Step S806.
  • step S806 based on the character pixel coordinate information Cp and the character frame information Fc, a pixel distribution Dn in the screen image I of the character pixel Pc in the frame N (N is an arbitrary positive integer) is obtained. Then, the control proceeds to the next Step S808.
  • step S808 the pixel distribution D ⁇ in the screen image I of the character pixel Pc in the frame N 13 is obtained.
  • D ⁇ 13 frames before the frame D and 13 pixels after the frame +, D ⁇ +.
  • 8+ are collectively referred to as the pixel distribution D
  • step S810 based on the following equation (3), a movement coefficient d representing the amount by which the character information Ic in the screen image In in the frame N can move maximum is calculated.
  • the movement amount ⁇ is the movement amount corresponding to the pixel resolution in the screen image In, and ⁇ is the minimum movement amount corresponding to the pixel resolution in the screen image In. Then, the control proceeds to the next Step S812.
  • step S812 based on the pixel distribution Dn obtained in step S804, the pixel distribution Dn (d) when moving by the movement coefficient d with respect to the frame N is calculated. Control then proceeds to the next step S814.
  • step S814 it is determined whether or not the pixel distribution Dn (d) force obtained in step S812 matches the pixel distribution D
  • D jS force Pixel distribution It is determined whether or not the force becomes a value power ⁇ obtained by subtracting Dd. If Yes, that is, they match (the subtraction result is 0), control proceeds to the next step S816.
  • step S816 the fact that the character information Ic is a moving display is written in the character frame information Fc and the character pixel coordinate information Cp. Then, the control proceeds to the next Step S818.
  • step S814 determines whether pixel distribution Dn (d) matches pixel distribution D j8. If it is determined in step S814 above that No, that is, pixel distribution Dn (d) does not match pixel distribution D j8, control skips step S816 and proceeds to step S818.
  • step S8108 it is determined whether or not the movement coefficient d incremented by ⁇ in step S810 is greater than or equal to the movement amount P. No, that is, the pixel distribution Dn (d) with respect to the maximum movable range of the character information Ic in the screen image In means that the determination of matching with the pixel distribution D ⁇ is not completed, so the control is performed in the above-described step S810.
  • character recognition subroutine # 400, character recognition subroutine # 500, character border recognition subroutine # 600, blinking display recognition subroutine # 700, and moving display recognition subroutine # 800 character pixel coordinate information Cp and character frame information Fc are generated in advance. Good. Therefore, in this sense, in this example, after the preceding high-intensity value pixel search subroutine # 200, the same color search subroutine # 300, character display area recognition subroutine # 400, character recognition subroutine # The order of executing 500, the character border recognition subroutine # 600, the blinking display recognition subroutine # 700, and the moving display recognition subroutine # 800 may be changed as necessary.
  • the character processor 012 has a function of performing various processes on the character information Ic from the video stream SVc based on information on the character pixel Pc of the character information Ic recognized by the character recognizer 011.
  • Character processor 012 is a character information deletion function that deletes character information Ic, a character information deletion function that deletes character information Ic when character information Ic is blinking, and a character that deletes character information Ic when character information Ic is moved.
  • the character processing process of the character processor 012 starts.
  • the character display pixel table storage memory 013 and the character display frame table storage memory 014 have character frames in a state reflecting the above recognition processing results. Stores the frame information Fc and b character pixel Pc.
  • step S1002 the user is inquired as to whether or not the video stream SVc has the ability to perform character erasure processing for erasing character information Ic.
  • a message “Do you want to execute the character information erasing process?” Is displayed on the monitor, and the user responds to the message using input means such as a remote controller.
  • the determination may be made automatically based on the character pixel Pc and the character frame information Fc. If yes, control continues to the next step S 1004.
  • step S1004 it is determined whether or not the video stream SVc has power indicating that the character information Ic is blinking. Specifically, the determination is made based on whether or not the character frame information Fc and the character pixel coordinate information Cp have a record indicating that the character information Ic is blinking. If determined as No, the process proceeds to next Step S 1006. On the other hand, if Yes, control proceeds to the next blinking character information erase subroutine # 1100.
  • the character information Ic that is flashing is deleted from the video stream SVc. This will be described in detail later.
  • the character processing by the character processor 012 ends.
  • step S1006 it is determined whether or not the video stream SVc has power that character information Ic is displayed. Specifically, the determination is made based on whether or not the character frame information Fc and the character pixel coordinate information Cp have a record indicating that the character information Ic is a moving display. If No, control proceeds to character erase subroutine # 1300. On the other hand, if Yes, control proceeds to the next move display character information deletion subroutine # 1200.
  • step S 1030 the character information Ic is deleted from the video stream SVc. This will be described in detail later.
  • step S 1002 the character processing by the character processor 012 ends. If No in step S 1002 described above, that is, if the character erasing process is not performed, the process proceeds to step S 1008.
  • step S1008 the user is inquired as to whether or not the video stream SVc is capable of performing a character movement process for moving the character information Ic.
  • a message “Would you like to execute the character information movement process?” Is displayed on the monitor to the user, and the user is configured to respond to the message using input means such as a remote control.
  • the user inputs a desired movement amount S.
  • it may be automatically determined based on the character pixel Pc and the character frame information Fc. If Yes, go to Character Information Enlargement Subroutine # 1400. However, the determination may be made automatically based on the character pixel Pc and the character frame information Fc. If yes, control proceeds to character information transfer subroutine # 1400.
  • the character information Ic is moved in the video stream SVc, the display location thereof is changed, that is, the character information Ic is moved in the screen image I. This will be described in detail later with reference to FIG. After the character information transfer subroutine # 1400 is processed, the character cache processing by the character force controller 012 is completed.
  • step S1008 No in step S1008 described above, that is, if character information movement processing is not performed, control proceeds to step S1010.
  • step S1010 the user is inquired about whether or not the video stream SVc has the power to perform the character information enlargement process for displaying the character information Ic in an enlarged Z reduced size.
  • a message “Would you like to execute the character information enlargement process?” Is displayed on the monitor, and the user responds to the message using input means such as a remote control.
  • the user inputs a desired magnification M.
  • the determination may be made automatically based on the character pixel Pc and the character frame information Fc. If yes, control proceeds to character information magnification subroutine # 1500.
  • character information enlargement subroutine # 1500 the character information Ic is enlarged and displayed in the video stream SVc. This will be described in detail later with reference to FIG. Character information enlargement subroutine # After processing of 1500, character processing by character processor 012 Ends.
  • step S1010 No in step S1010 described above, that is, if the enlarged display process of character information Ic is not performed, control proceeds to step S1012.
  • step S1012 it is determined whether or not the character information Ic is capable of moving and displaying the character information Ic in an area other than the attention area in the character information Ic.
  • a message “Do you want to execute the attention area avoidance process?” Is displayed on the monitor, and the user is configured to respond to the message using input means such as a remote controller.
  • the determination may be made automatically based on the character pixel Pc and the character frame information Fc. If yes, go to attention area avoidance subroutine # 1600.
  • the character information Ic is moved from the area where the viewer of the screen image I is easily noticed to the area where the viewer is not interested in the video stream SVc. This will be described in detail later with reference to FIG. After the processing of attention area avoidance subroutine # 1600, character processing by character processor 012 ends.
  • character information Ic is moved in character information movement subroutine # 1400.
  • character information Ic is enlarged in character information enlargement subroutine # 1500.
  • the attention area avoidance is performed, the character information Ic is moved to the non-attention area and displayed in the attention area avoidance subroutine # 1600.
  • FIG. 21 shows a character pixel Pc in screen image I.
  • the method for erasing the character pixel Pc (x, y) is described.
  • the horizontal or horizontal of the character pixel Pc (x, y) The brightness value VY, color difference value VCb, and color difference of the character pixel Pc (x, y) based on the four pixels P that are not closest to the character pixel Pc and the border pixel Po in the vertical direction.
  • Character information Ic is deleted by linearly interpolating the value VCr.
  • the character pixel Pc (x, y) is the border pixel Po
  • the brightness value VY, color difference value VCb, and color difference value VCr of the border pixel Po to be erased based on the neighboring pixel P are similarly determined.
  • Interpolate and erase The interpolation processing of the character pixel Pc or the border pixel Po is performed based on the character pixel coordinate information Cp registered in the character display pixel table storage memory 013, and the interpolation value of the character information Ic is calculated. Is done.
  • the character strength implement 012 overwrites each of the luminance signal Y, the color difference Cb signal, and the color difference Cr signal input from 0011 with the calculated interpolation value to process the processed luminance.
  • Processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT are respectively processed luminance frame memory 008, processed color difference Cb frame memory 009, and processed color difference Cr frame of output memory 004.
  • the character information Ic embedded in the video stream SVc is erased.
  • step S1302 the character pixel coordinate information Cp and the character frame information Fc are read from the character display pixel table storage memory 013 and the character display frame table storage memory 014. Then, the control proceeds to the next Step S1304.
  • step S1304 based on the character pixel coordinate information Cp, a character pixel Pc (x, y) to be complemented in units of frames is selected. Then, the control proceeds to the next Step S1306.
  • step S 1306 the interpolated luminance value VYt, interpolated color difference value VCbt, and interpolated color difference value VCrt for the character pixel Pc selected in step S 1304 are obtained by the method described above. Then, the control proceeds to the next Step S 1308. [0161] In step S1308, the luminance value VY, color difference value VCb, and color difference value VCr of the character pixel Pc (x, y) are respectively calculated as the interpolated luminance value VYt and the interpolated color difference obtained in step S1306. Overwritten with value VCbt and color difference value VCrt. Then, the control proceeds to the next Step S1310.
  • step S1310 among the character pixels Pc (x, y) to be corrected specified by the character pixel coordinate information Cp read in step S1302, the interpolation luminance value VYt, the interpolation color difference value VCbt, Then, the interpolated color difference value VCrt is obtained! /, Na! /, And there is a thing left! /.
  • step S1304 the control returns to step S1304 described above, and the processing from step S1304 to step S1308 is repeated so that all the character pixels Pc (x, y) in the frame become the interpolated luminance value VYt, color difference value VCrt, The character information Ic is deleted from the screen image I by being overwritten by the interpolation color difference value VCbt.
  • the luminance signal Y, color difference Cb signal, and color difference Cr signal on which the character pixel Pc (X, y) has been processed are processed luminance signal YT, processed color difference Cb signal CbT, and processed pixel, respectively.
  • step S1312 the processed luminance signal YT, the processed color difference Cb signal CbT, and the processed color difference Cr signal CrT that have the value of the character pixel Pc (x, y) whose pixel value has been rewritten are output memory 004 Is output.
  • the processed luminance signal YT, the processed color difference Cb signal Cb T, and the processed color difference Cr signal CrT are synthesized by the post-processor 015 into the video stream SVt. As described above, the character information Ic embedded in the video stream SVc is deleted from the video stream SVt.
  • character erase subroutine # 1300 is basically the character information erase subroutine # 1100 when blinking and moved. It can also be applied to the character information deletion subroutine # 1200. This is described below.
  • Character pixel Pc or border pixel P to be erased The luminance value VY, color difference value VCb, and color difference value VCr of o are the values of the corresponding pixel P (x, y) in the frame in the character erasure interval P2 that is closest in time. .
  • the interpolation value of the character information Ic is calculated.
  • the operation of the blinking character information deletion subroutine # 1100 is the same as the operation of the character information deletion subroutine # 1300 described above except that the interpolation value is calculated for a temporally adjacent frame that is not the same frame. It is. Also in the character information erasing subroutine # 1300, in step S1308, as in the character information erasing subroutine # 1300, an interpolated value may be obtained for the temporal proximity frame force not in the same frame.
  • Character display erase subroutine # 1200 for moving display is a moving display recognition subroutine
  • This process can be selected only when # 800 determines that the display method of character information Ic is moving display.
  • # 800 determines that the display method of character information Ic is moving display.
  • the value of the corresponding pixel P (x, y) is used in the closest frame in time.
  • the subsequent operations are the same as those in the character erasing subroutine # 1300 and the character information erasing subroutine # 1100 when blinking.
  • the screen image I of the video stream SVt output from the post-processor 015 has the character information Ic moved and displayed in the video stream SVc deleted. Yes.
  • the character information movement subroutine # 1400 is a process performed by the character force controller 012 that moves the character information Ic to a different position in the video stream Svc.
  • the character information Ic to be erased may be blinking or moving.
  • step S1402 the character pixel coordinate information Cp and the character frame information Fc are read from the character display pixel table storage memory 013 and the character display frame table storage memory 014. Then, the control proceeds to the next Step S1404.
  • step S1404 the character pixel Pc (x, y) to be moved is selected. Control then proceeds to the next step S 1406.
  • step S1406 the luminance value VY, color difference value VCb, and color difference value VCr of the character pixel Pc (x, y) are noted.
  • the luminance value VY, color difference value VCb, and color difference value VCr of the character pixel Pc (x, y) extracted in this step are used as the character luminance value VY (c) and character color difference value VCb ( c) and character color difference value VCr (c). That is, in this step, the character luminance value VY (c), the character color difference value VCb (c), and the character color difference value VCr (c) are extracted. Then, the control proceeds to the next Step S1408.
  • step S1408 the character luminance value VY (c), character color difference value VCb (c), and character color difference value VCr (c) are extracted from the character pixel Pc (x, y) to be moved. Thus, it is determined whether or not the power remains. If Yes, the control returns to step S1404 described above, and the processing from step S1404 to step S1406 is repeated, and the character luminance values VY (c) of all the character pixels Pc (x, y) to be moved. After the character color difference value VCb (c) and the character color difference value VCr (c) are extracted, “No” is determined in this step. Control then proceeds to the next character erase subroutine # 1000.
  • Character erasure subroutine # 1000 is obtained by deleting step S1302 for reading character pixel coordinate information Cp and character frame information Fc from character erasure subroutine # 1300 shown in FIG.
  • the character pixel coordinates read in step S1402 described above are used.
  • Character deletion processing is performed based on the information Cp and the character frame information Fc.
  • a processed luminance signal YT, a processed color difference Cb signal CbT, and a processed color difference Cr signal CrT from which the character pixel Pc (x, y) to be moved is erased are generated (S 1312). Then, the control proceeds to the next Step S1410.
  • step S1410 a pixel P (x, y) to which the character information Ic is moved is selected.
  • This destination pixel P (x, y) corresponds to the source character pixel P c (x, y) selected in step S 1404 and moved by a predetermined distance. Then, the control proceeds to the next Step S1412.
  • step S1412 the luminance value VY, color difference value VCb, and color difference value VCr of the pixel P (x, y) selected in step S1410 are the character luminance value VY (c), obtained in step S1406, respectively. Overwritten with character color difference value VCb (c) and character color difference value VCr (c). Then, the control proceeds to the next Step S 1414.
  • step S1414 the brightness value VY, color difference value VCb, and color difference value VCr are character brightness values VY (c) and character color difference values VCb (c) in the pixel P (x, y) that is the movement destination. , And the character color difference value VCr (c), it is determined whether or not there is any remaining power that has not been overwritten. If Yes, control returns to step S1410 described above, and the processing from step S1410 to step S1414 is repeated, and the luminance value VY, color difference value VCb, and color difference of all destination pixels P (x, y) are repeated.
  • Step S 1416 After the value VCr is overwritten with the character luminance value VY (c), the character color difference value VCb (c), and the character color difference value VCr (c), it is determined No in this step. Then, the control proceeds to the next Step S 1416.
  • step S1416 the processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT force generated in step S1312, and stored in the output memory 004, step S Updated with the luminance value VY, color difference value VCb, and color difference value VCr rewritten in 1412. Then, the updated processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT are synthesized by the post-processor 015 to generate a video stream SVt in which the character information Ic is moved.
  • Character information enlargement subroutine # 1500 is character processing by the character processor 012 This is the enlargement process that displays the character information Ic included in the video stream SVc with the state power expanded Z reduced.
  • step S1502 the character pixel coordinate information Cp and the character frame information Fc are read from the character display pixel table storage memory 013 and the character display frame table storage memory 014. Then, the control proceeds to the next Step S1504.
  • step S1504 a character pixel Pc (x, y) to be enlarged is selected. Control then proceeds to the next step S 1506.
  • step S1506 the character luminance value VY (c), character color difference value VCb (c), and character color difference value VCr (c) of the character pixel Pc (x, y) are extracted. Control then proceeds to the next step S 1508.
  • step S 1508 the character luminance value VY (c), the character color difference value VCb (c), and the character color difference value VCr (c) are among the character pixels Pc (x, y) to be enlarged. Once extracted, it is determined whether or not the power remains. If Yes, control returns to step S1504 described above, and the processing from step S1504 to step S1506 is repeated, and the character luminance value VY (c) of all the character pixels Pc (x, y) to be magnified. ), Character color difference value VCb (c), and character color difference value VCr (c) are extracted, and it is determined No in this step. Control then proceeds to the next character erase subroutine # 1000.
  • the processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal Cr T are generated with the character pixel Pc (X, y) to be expanded erased (S1312). Then, the control proceeds to the next Step S1510.
  • step S1510 a character pixel Pc (x, y) corresponding to the enlarged character information Ic is obtained.
  • the character pixel Pc (x XM, yX M) after the enlargement is obtained by multiplying the coordinate (X, y) of the character pixel Pc (x, y) constituting the character information Ic by the enlargement amount M.
  • the enlargement amount M is an arbitrary integer larger than 0. In other words, the size of the character information Ic after the enlargement may be larger or smaller than that before the enlargement. Then, the control proceeds to the next Step S1512.
  • step S 1512 a pixel P (x XM, y XM) corresponding to the character pixel Pc (x XM, y XM) is specified. Then, the control proceeds to the next Step S 1514.
  • step S1514 the order in which the enlargement process is performed on all the pixels P (x XM, yX M) specified in step S1512 is determined, and one by one is selected according to the order. Then, the control proceeds to the next Step S 1516.
  • step S1516 the luminance value VY, color difference value VCb, and color difference value VCr of the pixel P (x XM, yX M) selected in step S1514 are each extracted in step SI 506! Overwrite with character brightness value VY (c), character color difference value VCb (c), and character color difference value VCr (c) of pixel Pc (X, y).
  • the character information Ic is expanded by the pixel P (x X M, yX M) having the same luminance and color difference as the original character pixel Pc (x, y). Then, the control proceeds to the next Step S 1518.
  • step S1518 among the pixel P (xX M, yX M) specified in step S1512, the luminance value VY, color difference value VCb, and color difference value VCr are respectively set to the character luminance value VY (c). Then, it is determined whether the character color difference value VCb (c) and the character color difference value VCr (c) are not overwritten. After all the pixels P (xX M, yX M) are overwritten and the character information Ic is expanded, control proceeds to the next step S1520.
  • step S1520 the processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT force generated in step S1312 described above and stored in output memory 004 step S Updated with the luminance value VY, color difference value VCb, and color difference value VCr rewritten in 1516. Then, the updated processed luminance signal YT, processed color difference Cb signal CbT, and processed color difference Cr signal CrT are combined by the post-processor 015 to generate a video stream SVt in which the character information Ic has been moved.
  • the line represented as a single line is often expressed as a plurality of thin lines separated from each other or a collection of points separated from each other, which is difficult to see.
  • y) is overwritten with the text brightness value VY (c), text color difference value VCb (c), and text color difference value VCr (c). Just do it.
  • the attention area avoidance subroutine # 1600 automatically distinguishes the attention area that is noticed by humans in screen image I and the background that is not noticeable by humans in screen image I!
  • the character information Ic is moved to the non-attention area.
  • the character information Ic is moved using the character information movement subroutine # 1400 described above. That is, the distance between the calculated non-attention area and the current character information Ic area is calculated for each frame in the video stream Svc, and the character information Ic is moved by the calculated distance.
  • step S1602 the character pixel coordinate information Cp and the character frame information F c are read from the character display pixel table storage memory 013 and the character display frame table storage memory 014. Then, the control proceeds to the next Step S1604.
  • step S1604 a non-attention area is recognized for each frame of the video stream SVc based on the luminance signal Y, color difference Cb signal, and color difference Cr signal output from the input memory 003. Then, the control proceeds to the next Step S 1606.
  • step S1606 the range of the non-attention area recognized in step S1604 is calculated.
  • the non-attention area is recognized as a rectangle defined by four points. Then, together with the coordinates of the pixel P (x, y) corresponding to these four points, the pixel P (x, y) corresponding to the center of the non-target region is obtained.
  • the pixel P (x, y) corresponding to the center of the non-target region is referred to as a non-target region central pixel Pnn. Control then proceeds to the next step S 1608.
  • step S1608 the horizontal distance and the vertical distance between all the character pixels Pc (X, y) registered in the character pixel coordinate information Cp and the center pixel Pnn of the non-target area are respectively displayed.
  • the above-mentioned movement amount S is the non-target region horizontal movement distance Lhn.
  • # 1400 is the step S1402 for reading out character pixel coordinate information Cp and character frame information Fc.
  • the character information movement subroutine # 1400R instead of the deleted step S 1402, the character pixel coordinate information Cp and character frame information Fc read in step S 1602 and the movement amount S1608 are obtained. Based on the movement amount S, the character information Ic is moved to the non-attention area.
  • the recording device Ar includes an encoder 016, a recording unit 017, and a recording controller 018 in order to realize a function of recording the video stream Svt generated by the above-described video processing device Avp on the recording medium 019.
  • the encoder 016 encodes the video stream Svt input from the above-described post-processor 015 into a data format suitable for recording on the recording medium 019, and generates a recording video stream Svtr.
  • the recording unit 017 records the recording video stream Svtr on the recording medium 019.
  • the recording controller 018 controls the operation of the entire recording apparatus Ar (encoder 016 and recording unit 017).
  • the recording controller 018 may control the operation of the post-processor 015 in order to output the video stream Svt from the post-processor 015 of the video processor Avp. Further, the recording device Ar can be integrated with the video processing device Avp. In this case, the function of the recording controller 018 may be shared by the system controller 030.
  • the playback display device Ap includes a playback unit 020, a display unit 021, and a playback controller 022 in order to present the video stream Svt generated by the video processing device Avp as a projected image.
  • the playback unit 020 Based on the video stream Svt input from the post-processor 015, the playback unit 020 generates a sound image signal Sav in a format suitable for image display and utterance by the display unit 021.
  • the display unit 021 presents video or audio by the projection image signal Sav input from the reproduction unit 020.
  • the playback controller 022 controls the operation of the entire playback device (the playback unit 020 and the display unit 021).
  • the playback controller 022 may control the operation of the post-processor 015 in order to output the video stream Svt from the post-processor 015 of the video processor Avp. Further, the playback device Ap can be configured integrally with the video processing device Avp. In this case, the function of the playback controller 022 may be shared by the system controller 030.
  • the video processing apparatus can be used for processing such as erasure, movement, and enlargement of character information such as emergency-use incorporated in a video stream, and a recording apparatus such as a DVD recorder. It can also be applied to display devices such as monitors.

Abstract

　入力される映像ストリーム（Ｓｖｃ）に組み込まれた文字情報（Ｉｃ）に選択的に処理を施す映像処理方法において、映像ストリーム（Ｓｖｃ）をフレーム単位で輝度情報（ＶＹ）を示す輝度フレーム（Ｙ）と、色差情報（ＶＣｂ、ＶＣｒ）を示す複数の色差フレーム（Ｃｂ、Ｃｒ）とに分離され、輝度情報（ＶＹ）および輝度情報（Ｖｃｂ、ＶＣｒ）の少なくとも何れかに基づいて組み込まれた文字情報（Ｉｃ）を認識され、認識された文字情報（Ｉｃ）に対して消去、移動、および拡倍の少なくとも何れかの処理が施される。

Description

明 細 書
映像処理装置およびその方法
技術分野
[0001] 本発明は、例えばテレビジョン放送における緊急-ユースなどの映像ストリームに含 まれる字幕に代表される文字情報を、抽出或いは加工する映像処理装置およびそ の方法に関する。
背景技術
[0002] 通常のテレビジョン放送にぉ 、て放送されて!、る番組の録画中に、緊急-ユースな どの文字情報が放送中の番組の画面中に付加されて放送されることがある。このよう な場合、ユーザは番組の録画を欲している力 基本的に緊急-ユース自体の録画は 望まない。つまり、映像ストリームに含まれる緊急放送などの文字情報は、リアルタイ ムで視聴する場合は意味を持つが、録画したストリームを視聴する場合 (即ち時間が 経過した場合）には文字情報が必要でない場合が多い。また、映像ストリームを集中 して視聴した 、視聴者にとっては、文字情報は快適な視聴の妨げとなる。
そのために、放送されている番組に付加されている文字情報を消去する技術が従 来提案されている。そのような技術の例として、放送側で、本来の映像信号とは別に 補間信号を入力して映像ストリームを生成しておき、必要に応じて、受信側で映像ス トリーム力 映像信号のみを再生する技術が提案されて 、る (特許技術文献 1)。 特許文献 1：特開平 9— 200684号公報
発明の開示
発明が解決しょうとする課題
[0003] し力しながら、上述の方法においては、映像ストリームとは別に補間信号を挿入して 、映像ストリームを作成しておくために、放送の前に、補間信号を用意しておかなけ ればならず、緊急時に即応して-ユースを放送するという目的を実質上果たすことが できない。それゆえに、緊急時にも直ちに、放送中の番組に文字情報を付加できると 共に、必要に応じて付加した番組の画面力 文字情報を消去できると言う相反する 要望を満たす映像処理方法が必要とされて!/ヽる。 よって、本発明は、放送側で映像信号とは別に補間信号を用意して映像ストリーム を生成する必要が無ぐ受信側で文字放送が付加された映像ストリーム力も文字情 報を精度良く抽出し、消去や移動といった必要な加工を施し、視聴者が望むような映 像ストリームを生成できる映像処理方法およびその装置を提供することを目的とする 課題を解決するための手段
[0004] 本発明は、入力される映像ストリームに組み込まれた文字情報に選択的に処理を 施す映像処理方法であって、
前記映像ストリームをフレーム単位で輝度情報を示す輝度フレームと、色差情報を 示す複数の色差フレームとに分離する映像ストリーム分離ステップと、
前記輝度情報および前記輝度情報の少なくとも何れかに基づ！、て、前記組み込ま れた文字情報を認識する文字認識ステップと、
前記認識された文字情報に対して、消去、移動、および拡倍の少なくとも何れかの 処理を施す文字加工ステップとを備える。
発明の効果
[0005] 本発明に係る映像処理方法は、例えば緊急-ユースなどの文字情報が含まれる映 像ストリームから、文字情報を加工した映像ストリームを生成できる。例えば、 DVDレ コーダなどの録画機を用いて録画したテレビ番組に文字情報が含まれて 、た場合、 この再生に本発明を適用することによって、文字情報を消去した映像ストリームを再 生でき、視聴者の要望にあった快適な視聴環境を提供できる。
図面の簡単な説明
[0006] [図 1]図 1は、本発明の実施の形態に係る映像処理装置の構成を示すブロック図であ る。
[図 2]図 2は、図 1に示した映像処理装置において処理対象である映像ストリームのフ レーム画像の一例を表す図である。
[図 3]図 3は、図 1に示した映像処理装置の主な文字認識動作を表すフローチャート である。
[図 4]図 4は、図 3に示した検索範囲指定サブルーチンにおける検索範囲指定の説 明図である。
[図 5]図 5は、図 3に示した検索範囲指定サブルーチンにおける動作を表すフローチ ヤートである。
[図 6]図 6は、図 3に示した高輝度値画素検索サブルーチンにおける高輝度検索の 説明図である。
[図 7]図 7は、図 3に示した文字認識サブルーチンにおける動作を表すフローチャート である。
[図 8]図 8は、図 3に示した同一色検索サブルーチンにおける同一色検索の説明図で ある。
[図 9]図 9は、図 3に示した同一色検索サブルーチン動作を表すフローチャートである
[図 10]図 10は、図 3に示した文字表示領域認識サブルーチンにおける文字表示領 域認識の説明図である。
[図 11]図 11は、図 3に示した文字表示領域認識サブルーチンにおける動作を表すフ ローチャートである。
[図 12]図 12は、図 3に示した文字線幅認識サブルーチンにおける文字線幅認識の 説明図である。
[図 13]図 13は、図 3に示した文字線幅認識サブルーチンにおける動作を表すフロー チャートである。
[図 14]図 14は、図 3に示した文字縁取り認識サブルーチンにおける文字縁取り認識 の説明図である。
[図 15]図 15は、図 3に示した文字縁取り認識サブルーチンにおける動作を表すフロ 一チャートである。
[図 16]図 16は、図 3に示した点滅表示認識サブルーチンにおける点滅表示認識の 説明図である。
[図 17]図 17は、図 3に示した点滅表示認識サブルーチンにおける動作を表すフロー チャートである。
[図 18]図 18は、図 3に示した移動表示認識サブルーチンにおける移動表示認識の 説明図である。
[図 19]図 19は、図 3に示した移動表示認識サブルーチンにおける動作を表すフロー チャートである。
[図 20]図 20は、図 1に示した映像処理装置の主な文字加工動作を表すフローチヤ一 トである。
[図 21]図 21は、図 20に示した文字情報消去サブルーチンにおける文字消去の説明 図である。
[図 22]図 22は、図 20に示した文字情報消去サブルーチンにおける動作を表すフロ 一チャートである。
[図 23]図 23は、図 20に示した文字情報移動サブルーチンにおける動作を表すフロ 一チャートである。
[図 24]図 24は、図 20に示した文字情報拡倍サブルーチンにおける動作を表すフロ 一チャートである。
[図 25]図 25は、図 20に示した注目領域回避サブルーチンにおける動作を表すフロ 一チャートである。
[図 26]図 26は、本発明の実施の形態に係る映像処理装置における記録装置の構造 を示すブロック図である。
[図 27]図 27は、本発明の実施の形態に係る映像処理装置における再生表示装置の 構造を示すブロック図である。
符号の説明
Avp 映像処理装置
Ar 記録装置
Ap 再生装置
002 前処理器
003 入力用メモリ
004 出力用メモリ
005 輝度フレームメモリ
006 色差 Cbフレームメモリ 007 色差 Crフレームメモリ
008 被処理輝度フレームメモリ
009 被処理色差 Cbフレームメモリ
010 被処理色差 Crフレームメモリ
Oi l 文字認識器
012 文字加工器
013 文字表示画素テーブル記憶メモリ
014 文字表示フレームテーブル記憶メモリ
015 後処理器
016 エンコーダ
017 記録部
018 記録 =3ン卜ロー -ラ
019 記録媒体
020 再生部
021 表示部
022 再生コントロー -ラ
030 システムコントローラ
040 メモリ
発明を実施するための最良の形態
[0008] 先ず、図 1を参照して、本発明に係る映像処理装置について説明する。映像処理 装置 Avpは、前処理器 002、入力用メモリ 003、文字認識器 011、文字加工器 012、 文字表示画素テーブル記憶メモリ 013、文字表示フレームテーブル記憶メモリ 014、 出力用メモリ 004、および後処理器 015を含む。映像処理装置 Avpは、さら〖こ、全体 の動作を制御するシステムコントローラ 030および、制御に必要なデータを記憶する メモリ 40を含む。
[0009] 前処理器 002は、外部から入力される元々のストリーム Sv (図示せず）に、文字情 報 Ic (図 2)が組み込まれた映像ストリーム Svcを、フレーム毎に、輝度信号 Y、色差 C b信号、および色差 Crに分離して、入力用メモリ 003に出力する。なお、輝度信号 Y 、色差 Cb信号、および色差 Crは、それぞれ、図面においては、 Y、 Cb、および と 表示されている。また、輝度信号 Y、色差 Cb信号、および色差 Cr信号をフレーム信 号と総称する。
[0010] 入力用メモリ 003は、映像処理装置 Avpが映像ストリーム中のある任意の Nフレー ム目のフレーム信号に対して処理を行う際に、 Νフレーム目の前後のある一定時間 幅の映像ストリーム量を格納できる容量を持つ記憶領域である。なお、入力用メモリ 0 03は、輝度フレームメモリ 005、色差 Cbフレームメモリ 006、および色差 Crフレーム メモリ 007を含む。前処理器 002よって分離された、輝度信号 Y、色差 Cb信号、およ び色差 Cr信号はそれぞれ、輝度フレームメモリ 005、色差 Cbフレームメモリ 006、お よび色差 Crフレームメモリ 007に格納される。
[0011] 文字認識器 011は、輝度フレームメモリ 005、色差 Cbフレームメモリ 006、および色 差 Crフレームメモリ 007のそれぞれカゝら供給される輝度信号 Y、色差 Cb信号、およ び色差 Cr信号に文字情報 Icが含まれるかどうかを判定する。文字認識器 011は、さ らに、フレーム内のどの画素が文字情報 Icを示す文字画素かを認識して、文字画素 の座標位置を表す文字画素座標情報 Cpを生成して、文字表示画素テーブル記憶メ モリ 013に出力する。本明細書においては、説明の便宜上、映像ストリームが表す画 面画像を構成する画素を画素 Pと呼び、画面画素にお 、て文字情報 Icを表す画素を 文字画素 Pcと呼んでそれぞれを識別する。
[0012] 画面画像は、ラスタスキャンの順番に配置された無数の画素で構成される。そして 画素のそれぞれは、水平方向の位置と垂直方向の位置のそれぞれに対応する座標 (X, y)によって識別される。つまり、画素 Pおよび文字画素 Pcのそれぞれを識別する 場合には、画素 P (x, y)および文字画素 Pc (x, y)と表現される。本明細書において は、必要に応じて、個々の画素 Pおよび文字画素 Pcを、それぞれ画素 P (x, y)およ び文字画素 Pc (x, y)と識別するものとする。
[0013] 文字表示画素テーブル記憶メモリ 013はさらに、文字情報 Icを表すと認識された（ 輝度信号 Y、色差 Cb信号、色差 Cr信号の少なくとも何れかと)画素 Pを、文字画素 P cとして表す文字画素座標情報 Cpを生成して、文字表示画素テーブル記憶メモリ 01 3に出力する。文字画素座標情報 Cpは文字画素 Pcを特定する、いわば画面画像に おける文字画素 Pcの座標 (x, y)を表すデータである。つまり、文字画素 Pc (x, y)の データが文字表示画素テーブル記憶メモリ 013において、テーブル状に記録される ことより、文字画素座標情報 Cpを文字表示画素テーブルと呼ぶことができる。
[0014] 文字表示フレームテーブル記憶メモリ 014は、文字画素座標情報 Cpに基づいて、 文字情報 Icが発見されたフレームを登録する。文字フレーム情報 Fcはフレームテー ブルを構成するデータであり、この意味において文字フレーム情報 Fcを文字表示フ レームテーブルと呼ぶことができる。なお、文字フレーム情報 Fcは、フレーム番号な どの通常フレームの識別に用いられているもので良い。文字認識器 011は、文字認 識処理後に、輝度信号 Y、色差 Cb信号、および色差 Cr信号を文字加工器 012に出 力する。なお、後ほど、図 2〜図 19を参照して、文字認識器 011について詳述する。
[0015] 文字表示画素テーブル記憶メモリ 013は、文字画素座標 Cpを文字力卩工器 012〖こ 供給する。同様に、文字表示フレームテーブル記憶メモリ 014は、文字画素 Pcを文 字加工器 012に供給する。文字表示画素テーブル記憶メモリ 013は、文字画素座標 Cpおよび文字フレーム情報 Fcに基づ 、て、文字認識器 011から入力された輝度信 号 Y、色差 Cb信号、および色差 Cr信号に含まれる文字情報成分に対して、移動、各 倍、および消去に代表される加工処理を施した後に出力用メモリ 004に出力する。こ の加工処理が施された、輝度信号 Y、色差 Cb信号、および色差 Cr信号をそれぞれ 、被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTと 識別する。図面においては、それぞれ、 YT、 CbT、および CrTと表示されている。な お、文字表示画素テーブル記憶メモリ 013については、後ほど図 20〜図 25を参照し て詳述する。
[0016] 出力用メモリ 004は、被処理輝度フレームメモリ 008、被処理色差 Cbフレームメモリ 009、および被処理色差 Crフレームメモリ 010を含む（図面では、それぞれ、 Yフレ ームメモリ、 Cbフレームメモリ、 Crフレームメモリと表示）。なお、出力用メモリ 004は、 入力用メモリ 003と同様に、 Nフレーム目の前後の一定時間幅の映像ストリーム量を 格納できる容量を持つ記憶領域である。輝度フレームメモリ 005、色差 Cbフレームメ モリ 006、および被処理色差 Crフレームメモリ 010には、それぞれ、被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTが一時的に格納され る。
[0017] 出力用メモリ 004は所定時間だけ、被処理輝度信号 YT、色差 Cb信号、および色 差 Cr信号を保持した後に後処理器 015に出力する。後処理器 015は、被処理輝度 信号 YT、被処理色差 CbT信号、および被処理色差 CrT信号を YZC合成して映像 ストリーム Svtを生成して出力する。なお、映像ストリーム SvYは、映像ストリーム Svc に含まれて 、る文字情報 Icが処理を受けて 、る点を除 、ては、基本的に映像ストリ ーム Svcと同一である。このようにして、映像処理装置 Avpに対して、文字情報 Icを含 む映像ストリーム Svcが入力されると、文字情報 Icに対して、移動や各倍や消去など の加工が施された映像ストリーム Svtが生成されて出力される。
[0018] 次に、図 2〜図 19を参照して、文字認識器 011について説明する。図 2に、映像ス トリーム Svcの表す任意の Nフレーム目の画面画像 Iの一例を示す。なお、画面画像 I は、 H XV個の画素 P (x, y)で構成される。なお、 Hおよび Vはそれぞれ、規格ごとに 定められている所定の整数値である。なお、 Xは水平 (H)方向の位置を示し、 yは垂 直方向の位置を示す。
[0019] 同例においては、画面画像 Iの大部分は、地面 Eと建物 Bと空 Sとで構成されている 。そして、画面画像 Iの上部の空 Sの部分に「ABCDEFGHI」が表示されている。つ まり、この「ABCDEFGHI」が映像ストリーム Svに組み込まれた文字情報 Icであり、 文字情報 Ic以外の画像が元の映像ストリーム Svである。つまり、文字認識器 011は、 映像ストリーム Svcの各フレームに含まれる「ABCDEFGHI」（文字情報 ）を認識す る。本例においては、「ABCDEFGHI」を表す画素 Pが文字画素 Pcである。
[0020] 図 3に、文字認識器 011の文字認識動作を表すフローチャートを示す。文字認識 器 011による文字認識は、検索範囲指定サブルーチン # 100、高輝度値画素検索 サブルーチン # 200、同一色検索サブルーチン # 300、文字表示領域認識サブル 一チン # 400、文字線幅認識サブルーチン # 500、文字縁取り認識サブルーチン # 600、点滅表示認識サブルーチン # 700、および移動表示認識サブルーチン # 80 0を含む。
[0021] 前処理器 002によって YZC分離された映像ストリーム Svcのフレーム信号である、 輝度信号 Y、色差 Cb信号、および色差 Cr信号が文字認識器 011に入力された時点 で、文字認識動作が開始される。
まず、検索範囲指定サブルーチン # 100において、画面上における文字情報 Icの 検索範囲が予め指定される。一般的に、緊急-ユースなどの文字情報 Icは画面の上 下左右の端部に表示されることが多い。よって、画面画像 Iにおいて、文字情報 Icを 探索する対象範囲である探索範囲 Rsを任意の範囲に限定しておくことで、文字情報 Icの誤検出の低減を図る。図 2に例示する画面画像 Iでは、文字情報 Icは画面の上 部に表示されて!、るので、探索範囲 Rsは画面の上部に設定される。
[0022] 次に、図 4を参照して、映像ストリーム Svcに、後から組み込まれた文字情報 Icとは 別に、元の映像ストリームにも文字情報が含まれている場合の探索範囲 Rsについて 説明する。図 4に示す画面画像 Iは、図 3に示した画面画像 Iと類似している力 画像 の中央部の空 Sの部分にも、表示されている建物 Bの説明として「1970年 建 築」と の文字が表示されている。この「1970年 建 築」は、画像の説明のためのキヤプショ ン Csであって、映像ストリーム Svに組み込まれた文字情報 Icではない。同図に示す ように、画像の説明のためにキャプション Csは、文字情報 Icとは異なる場所に表示さ れることが多い。なお、図 2および図 4に示す例では、文字情報 Icは画面の上部に表 示されているが、映画の字幕などの場合は、画像の下部に表示されることが多い。何 れにしても、映像ストリーム Svに後から組み込まれる文字情報 Icは、画面画像 Iにお V、て、画像作成者の意図をできるだけ損なわな 、ような部分に表示されることが多!ヽ
[0023] このように、文字情報 Icとキャプション Csが混在する可能性があり、さらに文字情報 I cの存在する場所の特定が困難な場合には、探索範囲 Rsを指定する変わりに、文字 情報 Icが存在し得ない領域を非探索範囲 Rscとして指定する。結果、探索範囲 Rsを 指定する場合に比べては劣るもの、文字認識処理の負荷を低減すると共に、文字情 報 Icの誤検出の確率を防止あるいは、誤検出を防止できる。つまり、探索範囲 Rsある いは非探索範囲 Rscの指定を行わなくとも、処理負荷が増大および文字情報 Icの誤 検出の確率の増大を除けば、本サブルーチンの有無は文字認識処理に影響を与え ない。
[0024] 図 5を参照して、検索範囲指定サブルーチン # 100における動作の詳細について 説明する。検索範囲指定サブルーチン # 100においては、先ず
ステップ S102において、ユーザに対して、入力される映像ストリーム Svcに対して、 文字画素 Pcを探す範囲である探索範囲 Rs又は、文字画素 Pcを探さな!/ヽ非探索範 囲 Rscの何れかを設定する力否かが問い合わされる。この問い合わせは、テレビなど の映像ストリーム Svcの画像を表示するモニタ（図示せず）に、メッセージを表示する ようにしても良いし、音声で行っても良い。この問い合わせに対して、ユーザはリモコ ンゃマウスなどの入力手段を用いて、 Yes或いは Noの回答を入力する。ユーザが Y esを入力した場合、制御は次のステップ S 104に進む。
[0025] ステップ S104においては、ユーザは探索範囲 Rs又は非探索範囲 Rscを指定する 。好ましくは、ユーザは、上述のモニタに表示される映像ストリーム Svcの画面画像 I に対して、マウスなどの入力手段を用いて、探索範囲 Rs或いは非探索範囲 Rscを指 定する。なお、指定された探索範囲 Rs或いは非探索範囲 Rscは、画像を構成する画 素 Pの座標 (X, y)の集合を表す情報として、文字認識器 011に入力される。そして、 検索範囲指定サブルーチン # 100が終了する。なお、ステップ S102において、ユー ザが Noを回答した場合には、制御は上述のステップ S104をスキップして、検索範囲 指定サブルーチン # 100が終了する。
[0026] 次に、図 6を参照して、高輝度値画素検索サブルーチン # 200における動作につ いて説明する。高輝度値画素検索サブルーチン # 200は、緊急-ユースなどの文字 情報 Icは、一般的に、画面上に高輝度で表示される特徴に基づいて、文字情報 Icを 表示する画素を抽出する。図 6に、入力用輝度 Yフレームメモリ 005に格納されてい る輝度信号 Yであって、図 4の画像における文字情報 Icの「A」を含む部分の輝度画 面画像 IYを部分的に拡大して示すと共に、同輝度画面画像 IYの水平方向のライン Ln上の輝度分布 DYを示している。なお、輝度画面画像 IYは、 H XV個の輝度画素 PY(x, y)で構成される。図 6において、一つ一つの升目が、輝度画素 PY(x, y)を 示している。なお、輝度画素 PY(x, y)も特に個々を識別する必要のない場合には、 単に輝度画素 PYと呼ぶ。
[0027] また、輝度分布 DYにお 、て、縦軸はライン Ln上の輝度画素 PY (x, y)の輝度値 V Yを示し、横軸はライン Ln上の輝度画素 PY(x, y)を示している。なお、説明の便宜 上、必要に応じて、輝度画面画像 IYにおいて、文字情報 Icを表示する輝度画素 ΡΥ を文字輝度画素 PYcと呼び、ストリーム Svを表示する画素をストリーム輝度画素 PYs と呼び、それぞれを識別する。同様に、文字輝度画素 PYcおよびストリーム輝度画素 PYsの輝度値 VYをそれぞれ、文字輝度値 VYcおよびストリーム輝度値 VYsと識別 する。
[0028] 本例においては、ライン Lnは文字情報 Icの「A」の上部を横切っている。このように 、輝度画面画像 IYにおいて、文字情報 Icの文字を構成する文字輝度画素 PYcの文 字輝度値 VYcは、映像ストリーム Svを表示しているストリーム輝度画素 PYsのストリー ム輝度値 VYsより大きい。よって、本発明においては、文字輝度値 VYcとストリーム 輝度値 VYsを峻別する輝度閾値 Vthを予め設定しておき、輝度閾値 Vthより大きな 輝度値 VYを有する輝度画素 PYを文字輝度値 PYcとして抽出する。なお、このような 輝度画面画像 IYを構成する個々の輝度画素 PY(x, y)の輝度値 VYを、予定の輝度 閾値 Vthと比較するには、好ましくは、ラスタスキャンの順番に行われる。
[0029] つまり、高輝度値画素検索サブルーチン # 200においては、上述の文字輝度値 P Ycの抽出処理が、検索範囲指定サブルーチン # 100で定められた検索範囲内の全 ての画素 Pに対して施される。文字情報 Icであるとして抽出された文字輝度画素 PYc の座標 (X, y)を表す文字画素座標情報 Cpが生成される。そして、文字表示画素テ 一ブル記憶メモリ 013は、文字画素座標情報 Cpに基づいて、抽出された文字輝度 画素 PYcの座標 (X, y)を登録する。また、文字輝度画素 PYcが抽出されたフレーム を表す文字フレーム情報 Fcが生成される。文字表示フレームテーブル記憶メモリ 01 4は、文字フレーム情報 Fcに基づいて、文字輝度画素 PYcが抽出されたフレームを 登録する。言い換えれば、文字画素座標情報 Cpは文字表示画素テーブル記憶メモ リ 013に格納され、文字フレーム情報 Fcは文字表示フレームテーブル記憶メモリ 01 4に格納される。
[0030] 次に、図 7を参照して、上述の高輝度値画素検索サブルーチン # 200における動 作を詳細に説明する。高輝度値画素検索サブルーチン # 200が開始すると、先ず、 ステップ S202において、上述の輝度閾値 Vthが設定される。好ましくは、ユーザが リモコンなどの入力手段を用いて、適切な値を入力する。し力しながら、映像ストリー ム Svcの種類と文字情報 Icの種類の組み合わせにお 、て、予め決めてぉ 、た輝度 閾値 Vthを格納しておく手段から、供給されるように構成しても良い（図 1)。そして、 制御は次のステップ S 204に進む。
[0031] ステップ S204において、映像ストリーム Svcの輝度信号 Yの全ての輝度画素 PY(x
, y)に対して、文字輝度画素 PYcであるかを判別する文字輝度画素検出処理を施 す順番が決定されると共に、決定された順番に処理を施す輝度画素 PY(x, y)が 1 つずつ選択される。好ましくは、選択された輝度画素 PY(x, y)毎に、文字輝度画素 検出処理が終了するたびに、 Xおよび yの値をラスタスキャンの順番にカウントアップ して、検索対象を更新する。そして、制御は次のステップ S206に進む。
[0032] ステップ S206において、輝度画素 PY(x, y)の座標値（x, y)を、上述のステップ S
104にお 、て指定された探索範囲 Rs或 、は非探索範囲 Rscを表す座標値 (X, y)と 比較して、輝度画素 PYが探索範囲 Rs内或いは非探索範囲 Rsc内である力否かが 判断される。 Yesの場合、制御は次のステップ S208に進む。
[0033] ステップ S208において、輝度画素 PY(x, y)の輝度値 VYが輝度閾値 Vthより大き いか否かが判断される。 Yes、つまり輝度画素 PY(x, y)が文字輝度画素 PYcである と判断される場合、制御は次のステップ S 210に進む。
[0034] ステップ S210において、文字輝度画素 PYcであると判断された輝度画素 PY(x, y
)の座標 (x, y)に基づいて、文字画素座標情報 Cpが生成される。そして、制御は次 のステップ S212に進む。
[0035] ステップ S212において、文字輝度画素 PYcと判断された輝度画素 PY(x, y)が含 まれるフレームの識別子に基づいて、文字フレーム情報 Fcが生成される。そして、制 御は次のステップ S 214に進む。
[0036] なお、上述のステップ S206およびステップ S208において Noと判断される場合は、 制御は、ステップ S208、 S210、および S212の処理をスキップして、直接ステップ S
214に進む。
[0037] ステップ S214において、ステップ S204において、検索対象として設定された全て の輝度画素 PY(x, y)のうちで、検索がされていないものが残っているか否かが判断 される。具体的には、現在の検索対象の輝度画素 PYの x、 y座標の値が、ステップ S 204で設定された最大値より小さいか否かが判断される。 Yesの場合、制御はステツ プ S204に戻って、次のラスタスキャン順位にある輝度画素 PYが選択される。以降、 本ステップで Noと判断されるまで、上述の処理が繰り返される。
[0038] ステップ S214で Yes、つまり、現フレームの輝度信号 Yに対して文字輝度画素 PY cの認識が完了した時点で、制御は次のステップ S216に進む。
[0039] ステップ S216において、ステップ S210およびステップ S212において、全輝度画 素 PYに関して生成された、認識された文字輝度画素 PYcを表す文字画素座標情報 Cpおよび文字フレーム情報 Fcがそれぞれ文字表示画素テーブル記憶メモリ 013お よび文字表示フレームテーブル記憶メモリ 014に記録される。すなわち、文字輝度画 素 PYcが文字表示画素テーブル記憶メモリ 013に登録され、そのフレームが文字表 示フレームテーブル記憶メモリ 014に登録される。そして、高輝度値画素検索サブル 一チン # 200を終了して、制御は同一色検索サブルーチン # 300に進む。
[0040] なお、上述のように、フレームの全ての輝度画素 PYに対する文字輝度画素検出処 理の完了後に、文字画素座標情報 Cpおよび文字フレーム情報 Fcを完成させて登録 するのではなぐ文字輝度画素 PYcが検出される毎に、文字画素座標情報 Cpおよ び文字フレーム情報 Fcとして文字表示画素テーブル記憶メモリ 013および文字表示 フレームテーブル記憶メモリ 014に登録しても良い。
[0041] 同一色検索サブルーチン # 300は、一般的に緊急-ユースなどの文字情報 Icは同 一色で表示される特徴に基づいて、高輝度値画素検索サブルーチン # 200におけ る輝度閾値 Vthに基づいて検出した文字輝度画素 PYcに対して、同一色 (色差の程 度）というフィルタを適用して、文字情報 Icの認識精度を上げるものである。なお、本 発明においては、同一色であるか否かは、色差 Cb信号および色差 Cr信号の何れに 基づいても同様に、判断される。よって、冗長をさけるために、本明細書においては、 色差 Cb信号に基づく説明をもって、色差 Cr信号に基づく説明を省略する。
[0042] 図 8を参照して、同一色検索サブルーチン # 300に処理について、具体的に説明 する。図 8は、色差 Cbフレームメモリ 006に格納されている色差 Cb信号であって、図 4の画像における文字情報 Icの「A」を含む部分の色差 Cb画面画像 Icbを拡大して 示すと共に、色差 Cb画面画像 Icbの水平方向のライン Ln上の色差 Cb分布 Debを示 している。
[0043] 色差 Cb画面画像 Icbは、基づく信号が色差 Cb信号である点を除いて、上述の輝 度画面画像 IYと同様に構成されている。つまり、色差 Cb画面画像 Icbにおいて、一 つ一つの升目が、色差 Cb画面画像 Icbの色差 Cb画素 Pcb (X, y)を示している。 お よび yは、それぞれ色差 Cb画面画像 Icbにおける水平方向の座標、および垂直方向 の座標を示す。
[0044] また、色差 Cb分布 Debにおいて、縦軸はライン Ln上の色差 Cb画素 Pcb (X, y)の 色差 Cb値 Vcbを示し、横軸はライン Ln上の色差 Cb画素 Pcb (X, y)を示している。な お、説明の便宜上、必要に応じて、文字情報 Icを表示する色差 Cb画素を色差 Cb文 字画素 PcbCと呼び、ストリーム Svを表示する色差 Cb画素を色差 Cbストリーム画素 P cbSと呼び、それぞれを識別すると共に、両者を色差 Cb画素 PCbと総称する。同様 に、色差 Cb文字画素 PcbCおよび色差 Cbストリーム画素 PCbSの色差値 Vcbをそれ ぞれ、文字色差 Cb値 VcbCおよびストリーム色差 Cb値 VcbSと識別する。
[0045] 本例にぉ 、ては、ライン Lnは文字情報 Icの「A」の上部を横切って 、る。文字情報 I cが同一色で表示されているとすれば、ステップ # 200で登録された文字輝度画素 P Ycに対応する色差 Cb画素 Pcbの色差 Cb値 VcbCの平均値は、文字表示色とほぼ 同様の値を持つ。よって、文字の表示色は、高輝度値画素検索サブルーチン # 200 で登録された、全ての色差 Cb画素 Pcbの Cb色差値 Vcbの平均値士誤差 aの範囲 内に収まるはずであるので、この範囲外となった、色差 Cb画素 Pcb (x, y)に対応す る文字輝度画素 PYc (X, y)を文字表示画素テーブル記憶メモリ 013から登録削除 する。なお、 OCは任意の許容量であり、入力される映像ストリーム Svcや映像処理装 置 Avpに関して、適切に決定される。このようにして、高輝度値画素検索サブルーチ ン # 200による文字輝度画素 PYcの検出に基づぐ文字情報 Icの認識精度の向上 を図っている。しかしながら、本高輝度値画素検索サブルーチン # 200の処理が、本 発明における文字情報 Ic認識に不可欠と言う訳ではな 、。
[0046] 次に、図 9を参照して、上述の同一色検索サブルーチン # 300における動作につ いて、色差 Cbフレーム画像を例に詳細に説明する。なお、色差 Crフレーム画像の場 合も、色差 Cbフレーム画像の場合と同様であるので、説明を省く。 [0047] 同一色検索サブルーチン # 300が開始すると、先ず、
ステップ S302において、同一色検索を行うか否かが判断される。好ましくは、ユー ザに対して、モニタに「同一色検索を行うか」のメッセージを表示して、ユーザはリモコ ンなどの入力手段を用いて、メッセージに応答するように構成される。しかしながら、 映像ストリーム Svcの種類と文字情報 Icの種類の組み合わせにお 、て、同一色検索 を行うか否かを予め決めておいても良い。そして、制御は次のステップ S304に進む
[0048] ステップ S304において、文字表示画素テーブル記憶メモリ 013から文字画素座標 情報 Cpが読み出され、色差 Cb画面画像 Icbにおいて、文字画素座標情報 Cpに記 録されている文字画素 Pc輝度信号 Y (x, y)に対応する色差 Cb画素 Pcb (x, y)が特 定される。そして、制御は次のステップ S306に進む。
[0049] ステップ S306〖こお!/、て、特定された全ての色差 Cb画素 Pcb (x, y)の Cb色差値 V cbが検出される。そして、検出された Cb色差値 Vcbの平均値である平均 Cb色差値 Vcb (mean)が算出される。そして、制御は次のステップ S308に進む。
[0050] ステップ S308において、上述の誤差 αに基づいて、 2つの同一色差 Cb閾値 Vcbl 、および Vcb2が次式（1)および（2)に従って生成される。
Vcbl = Vcb i, mean)― …'山
Vcb2=Vcb (mean) + α … ·（2)
そして、制御は次のステップ S310に進む。
[0051] ステップ S310において、ステップ S304で特定された全ての色差 Cb画素 Pcbに対 して、同一色であるかを判断する同一色判定処理を施す順番が決定されると共に、 決定された順番に色差 Cb画素 Pcb (X, y)が 1つずつ選択される。好ましくは、設定さ れた色差 Cb画素 Pcb (X, y)毎に、同一色判定処理が終了するたびに、 Xおよび yの 値をラスタスキャンの順番にカウントアップして、検索対象が選択される。そして、制御 は次のステップ S 312に進む。
[0052] ステップ S312において、ステップ S310で選択された色差 Cb画素 Pcb (x, y)の Cb 色差値 Vcbが、同一色差 Cb閾値 Vcblより大きぐ且つ同一色差 Cb閾値 Vcb2より 小さいか否かが判断される。 No、つまり、当該色差 Cb画素 Pcb (X, y)は、文字情報 I cを表す色差 Cb文字画素 PcbCではないと判断場合、制御は次のステップ S314に 進む。
[0053] ステップ S314において、文字画素座標情報 Cpが補正される。具体的には、文字 画素座標情報 Cpからステップ S312にお 、て、色差 Cb文字画素 PcbCではな 、と判 断された色差 Cb画素 Pcb (x, y)に相当する文字輝度画素 PYcの（x, y)座標が文 字画素座標情報 Cpから削除されるように、文字画素座標情報 Cpが補正せれる。そ して、制御は次のステップ S316に進む。
[0054] ステップ S316において、ステップ S304において、検索対象として特定された全て の色差 Cb画素 Pcb (X, y)のうちで、検索がされていないものが残っているか否かが 判断される。具体的には、現在の検索対象の色差 Cb画素 Pcbの（X, y)座標の値が 、ステップ S304で設定された最大値より小さいか否かが判断される。 Yesの場合、制 御はステップ S312に戻って、次のラスタスキャン順位にある色差 Cb画素 Pcb (X, y) が選択される。以降、本ステップで Noと判断されるまで、上述の処理が繰り返される。
[0055] ステップ S316で Yes、つまり、現フレームの色差 Cb信号に対して同一色検索処理 が完了した時点で、制御は次のステップ S318に進む。
[0056] ステップ S318において、ステップ S316で補正された文字画素座標情報 Cpに基づ いて、必要であれば、文字フレーム情報 Fcが補正される。具体的には、色差 Cb文字 画素 PcbCではないと判断された色差 Cb画素 Pcb (X, y)に対応する文字輝度画素 PYcの削除により、文字フレーム情報 Fcに登録されているフレームに含まれる文字 輝度画素 PYcが文字画素座標情報 Cpに登録されなくなった時に、当該フレームが 文字フレーム情報 Fcから登録削除される。そして、同一色検索サブルーチン # 300 の処理が終了する。
[0057] 一方、上述のステップ S302において、 Noと判断される場合には、制御は上述のス テツプ S302〜S318をスキップして、つまり同一色検索サブルーチン # 300にお同 一色判定処理を実行することなぐ次の文字表示領域認識サブルーチン # 400に進 む。
[0058] また、ステップ S312において Yes、つまり、色差 Cb画素 Pcb (x, y)は、色差 Cb文 字画素 PcbCであると判断される場合、制御は文字画素座標情報 Cpを補正するステ ップ S314をスキップしてステップ S316に進む。そして、ステップ S318を経て、同一 色検索サブルーチン # 300の処理を終了して、制御は文字表示領域認識サブルー チン # 400に進む。
[0059] 文字表示領域認識サブルーチン # 400は、一般的に緊急-ユースなどの文字情 報 Icは画面上である限定された領域に密集して表示される特徴に基づいて、さらに 文字情報 Icの認識精度の向上を図るものである。簡単に言えば、上述の処理におい て、文字画素 Pcとして検出された画素 Pの内で、他の文字画素 Pcと相対的に離れた 位置に存在する画素を抽出して、文字画素座標情報 Cpから文字画素としての登録 を削除するものである。なお、ここでいう文字画素 Pcとは、高輝度値画素検索サブル 一チン # 200で登録された文字輝度画素 PYcおよび、同一色検索サブルーチン # 300で登録された色差 Cb文字画素 PcbCの何れであっても良い。
[0060] よって、今後、特に対象文字画素 Pcの種類に限定する必要が内場合には、文字表 示画素テーブル記憶メモリ 013に登録されている文字情報 Icを表す画素 Pを、全て 文字画素 Pcと総称して説明する。つまり、本例においては、文字表示画素テーブル 記憶メモリ 013に登録されている文字輝度画素 PYcおよび色差 Cb文字画素 PcbC ( PcrC)を文字画素 Pcと総称する。
[0061] 図 10を参照して、文字表示領域認識サブルーチン # 400における処理の基本的 な考え方について説明する。図 10は、文字情報 Icが「ABCDEFGHI」ではなぐ「A BCDEFGH1JKLMNJと「OPQRSTUVWXYZ」とが 2段に表示されて!ヽると共に、 ノイズ Nが表示されている点を除いて、基本的に図 2に例示した画面画像 Iと同じであ る。なお、文字情報 Icが表示されている範囲を、文字表示領域 Ricと呼ぶ。このような 画面画像 Iにお!/、て、ノイズ Nの輝度値 VYが輝度閾値 Vth大き 、場合 (ステップ S20 8で Yes)、さらに Cb色差値 Vcbおよび Cr色差値 Vcrが所定閾値内である場合 (ステ ップ S312で Yes)の場合には、ノイズ Nは文字情報 Icとして誤認識されてしまう。つま り、ノイズ Nを構成する画素 Pは、文字画素 Pcとして誤って文字表示画素テーブル記 憶メモリ 013、および Z或いは文字表示フレームテーブル記憶メモリ 014に登録され てしまう。文字表示領域認識サブルーチン # 400では、このような誤認識を以下のよ うにして防止する。 [0062] ノイズ Nと文字情報 Icとは、以下のようにして識別される。つまり、文字表示画素テ 一ブル記憶メモリ 013に登録されている全ての文字画素 Pc (文字輝度画素 PYc、色 差 Cb文字画素 PcbC)の内の 1つと、他の全ての文字画素 Pcとの距離の総和" L"を 算出する。この Lを個々の文字画素 Pcの他画素間総距離 Lと呼ぶ。この他画素間総 距離 Lに基づいて、特定の文字画素 Pcが文字表示領域 Ricに対してどの程度離れ た位置に表示されているかを判定する。次に、他画素間総距離 Lの平均値である平 均他画素間総距離 L (mean)に比べて極端に大きな値の他画素間総距離 Lを持つ 文字画素 Pcは、文字情報 Icを表すものではないとして、文字表示画素テーブル記憶 メモリ 013に格納されている文字フレーム情報 Fcから削除される。
[0063] 次に、図 11を参照して、文字表示領域認識サブルーチン # 400における動作を詳 細に説明する。文字表示領域認識サブルーチン # 400が開始すると、先ず、 ステップ S402において、文字表示領域認識を行うか否かが判断される。好ましくは 、ユーザに対して、モニタに「文字表示領域認識を行うか？」のメッセージを表示して 、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される 。し力しながら、映像ストリームの種類と文字情報 Icの種類の組み合わせにおいて、 予め文字表示領域認識を行うか否かを決めておいても良い。そして、制御は次のス テツプ S404に進む。
[0064] ステップ S404において、文字表示画素テーブル記憶メモリ 013から文字画素座標 情報 Cpが読み出され、同文字画素座標情報 Cpに基づいて、文字画素 Pc (x, y)が 特定される。そして、制御は次の本ステップ S406に進む。
[0065] ステップ S406にお!/、て、ステップ S404で特定された全ての文字画素 Pc (x, y)に 対して、他画素間総距離 Lを求める順番が決定されると共に、決定された順番に文 字画素 Pcを 1つずつ選択される。そして、制御は次のステップ S408に進む。
[0066] ステップ S408において、ステップ S406で選択された文字画素 Pcに関して他 r画素 間総距離 Lが算出される。そして、制御は次のステップ S410に進む。
[0067] ステップ S410にお!/、て、ステップ S404にお!/、て、領域確認対象として特定された 全ての文字画素 Pcのうちで、他画素間総距離 Lが算出されて 、な 、ものが残って ヽ る力否かが判断される。 Yesの場合、制御はステップ S406に戻って、次の文字画素 Pcが選択される。以降、本ステップで Noと判断されるまで、上述の処理が繰り返され る。そして、 No、つまり全ての文字画素 Pcに関して、他画素間総距離 Lが算出された 時点で、制御は次のステップ S412に進む。
[0068] ステップ S412において、平均他画素間総距離 L (mean)が算出される。そして、制 御は次のステップ S414に進む。
[0069] ステップ S414において、ステップ S406におけるのと同様に、他画素間総距離 Lを 平均他画素間総距離 L (mean)と比較する文字画素 Pcが選択される。そして、制御 は次のステップ S416に進む。
[0070] ステップ S416において、他画素間総距離 Lが平均他画素間総距離 L (mean)より 、所定距離 γだけ小さいか否かが判断される。なお、 γは、映像ストリーム SVcの画 質等によって適宜決められる距離である。 No、つまり文字画素 Pcは文字情報 Icでは 無いと判断される場合、制御は次のステップ S418に進む。
[0071] ステップ S418において、文字画素座標情報 Cpが補正される。具体的には、文字 画素座標情報 Cpからステップ S416にお 、て、文字情報 Icではな 、と判断された文 字画素 Pcの (X, y)座標力 文字画素座標情報 Cpから削除される。そして、制御は 次のステップ S420に進む。
[0072] ステップ S420において、ステップ S410におけるのと同様に、ステップ S414におい て、比較として選択される全ての文字画素 Pcのうちで、平均他画素間総距離 L (mea n)との比較が行われていないものが残っている力否かが判断される。 Yesの場合、制 御はステップ S414に戻って、次の文字画素 Pcが選択される。以降、本ステップで N oと判断されるまで、上述の処理が繰り返される。そして、 No、つまり全ての文字画素 Pcに関して、平均他画素間総距離 L (mean)との比較が行われた時点で、制御は次 のステップ S422に進む。
[0073] ステップ S422において、ステップ S418において補正されて文字画素座標情報 Cp に基づいて、必要であれば、上述のステップ S316におけるのと同様に文字フレーム 情報 Fcが補正される。そして、文字表示領域認識サブルーチン # 400の処理が終 了する。
[0074] 次に、図 12を参照して、文字線幅認識サブルーチン # 500における処理の基本的 な考え方について説明する。文字線幅認識サブルーチン # 500は、一般的に文字 は一定の文字線幅で描かれる特徴に基づ 、て、文字画素 Pcの水平および垂直方 向への出現の連続性から文字の線幅を抽出し、極端にかけ離れた連続値を持つ文 字画素 Pcを文字情報 Icではな 、と判断して、文字画素座標情報 Cpから登録削除す ることで、文字認識の精度のなおさらなる向上をはかるものである。
[0075] 図 12に、図 4に示した画面画像 Iにおける文字情報 Icの「D」を含む限定領域 Rcが 拡大表示されていると共に、文字画素 Pcの連続値分布 Dcを示す。同図に示される ように文字はある一定の文字線幅 Cwlで描画される。よって、水平または垂直方向へ の文字登録画素の連続値分布 Dcは、文字線幅 Cwlの値の付近に集中する。仮に連 続値 Cが文字線幅 CwUり大きい場合でも、文字は一文字一文字独立しているので 、文字サイズ幅 Cw以上となることはない。また、この文字サイズ幅 Cwはフォントにも よるが、一般的に文字線幅 Cwlの数倍〜数十倍程度である。よって、連続値 Cが文 字線幅 CwUり極端に大きな連続値 Cを持つ文字画素 Pcは文字情報 Icでないと判 断して、文字画素座標情報 Cpから登録削除する。
[0076] 図 13に示すフローチャートを参照して、文字線幅認識サブルーチン # 500におけ る動作の詳細を説明する。文字線幅認識サブルーチン # 500が開始すると、先ず、 ステップ S502において、文字線幅認識を行うか否かが判断される。好ましくは、ュ 一ザに対して、モニタに「文字線幅認識を行うか？」のメッセージを表示して、ユーザ はリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかし ながら、映像ストリーム Svcの種類と文字情報 Icの種類の組み合わせにおいて、予め 文字線幅認識を行うか否かを決めておいても良い。そして、制御は次のステップ S50 4に進む。
[0077] ステップ S504において、文字表示画素テーブル記憶メモリ 013から文字画素座標 情報 Cpが読み出され、同文字画素座標情報 Cpに基づいて、文字画素 Pcが特定さ れる。そして、制御は次の本ステップ S 506に進む。
[0078] ステップ S506において、ステップ S504で特定された文字画素 Pcに対して、文字 線幅認識処理を施す順番が決定されると共に、決定された順番に文字画素 Pcを 1つ ずつ選択される。好ましくは、設定された文字画素 Pc毎に、同一色判定処理が終了 するたびに、 xおよび yの値をラスタスキャンの順番にカウントアップして、検索対象が 選択される。そして、制御は次のステップ S508に進む。
[0079] ステップ S508において、ステップ S506で選択された文字画素 Pcに対して、水平 方向の連続値 Chをカウントする。そして、制御は次のステップ S510に進む。
[0080] ステップ S510において、ステップ S506で選択された文字画素 Pcに対して、垂直 方向の連続値 Cvがカウントされる。そして、制御は次のステップ S512に進む。
[0081] ステップ S512において、ステップ S504において、特定された全ての文字画素 Pc のうちで、連続値 Chおよび連続値 Cvがカウントされて!/、な!/、ものが残って!/、るか否 かが判断される。 Yesの場合、制御はステップ S506に戻って、次の文字画素 Pcが選 択される。以降、本ステップで Noと判断されるまで、上述の処理が繰り返される。そし て、 No、つまり全ての文字画素 Pcに関して、連続値 Chおよび連続値 Cvがカウントさ れた時点で、制御は次のステップ S 514に進む。
[0082] ステップ S514において、ステップ S508でカウントされた連続値 Chの平均をとつて 、文字サイズ幅 Cwlが求められる。そして、制御は次のステップ S516に進む。
[0083] ステップ S516において、ステップ S510でカウントされた連続値 Cvの平均をとつて 、文字サイズ幅 Cwが求められる。そして、制御は次のステップ S518に進む。
[0084] ステップ S518において、連続値 Chが文字線幅 Cwlより極端に大きいか否かが判 断される。なお、この極端の程度は、映像ストリーム SVcおよび文字情報 Icに基づい て、適宜決定される。 Yes,つまり文字画素 Pcは、文字サイズ幅 Cwlの観点力もみれ ば文字情報 Icに対応するものでは無 、と判断される場合、制御は次のステップ S52 0に進む。
[0085] ステップ S520において、文字画素 Pcが文字画素座標情報 Cpから登録削除される 。そして、制御はステップ S522に進む。
[0086] ステップ S522において、連続値 Cvが文字サイズ幅 Cwより極端に大きいか否かが 判断される。なお、この極端の程度は、映像ストリーム SVcおよび文字情報 Icに基づ いて、適宜決定される。 Yes,つまり文字画素 Pcは文字線幅 Cwlおよび文字サイズ 幅 Cwの両方の観点から、文字情報 Icに対応するものでは無いと判断される場合、制 御は次のステップ S 524に進む。 [0087] ステップ S524において、文字画素 Pcが文字画素座標情報 Cpから登録削除される 。なお、本ステップにおいて削除される前に、ステップ S520において、文字画素 Pc は既に文字画素座標情報 Cpから削除されているので、処理の重複を避ける為に本 ステップは省略しても良い。し力しながら、当該文字画素 Pcに対する文字線幅確認 の精度を確保する為には、本ステップを残すことにより、文字画素 Pcが文字線幅 Cwl および文字サイズ幅 Cwの両方の観点から文字情報 Icに対応するものでは無いとの 判定結果を文字画素座標情報 Cpに記録することによって、より高精度な文字情報 Ic の認識および力卩ェを可能にする。そして、制御はステップ S530に進む。
[0088] 上述のステップ S522において No、つまり文字画素 Pcは、文字線幅 Cwlの観点か らは文字情報 Icに対応するものと判断さ、文字サイズ幅 Cwの観点からも文字情報 Ic に対応するものであると判断される場合、制御はステップ S524をスキップして、ステツ プ S530に進む。
[0089] また、上述のステップ S518において No、つまり文字画素 Pcは文字サイズ幅 Cwlの 観点からみれば文字情報 Icに対応するものであると判断される場合、制御はステップ S526に進む。
[0090] ステップ S526において、ステップ S522におけるのと同様に、連続値 Cvが文字サイ ズ幅 Cwより極端に大きいか否かが判断される。 Yes,つまり文字画素 Pcは、文字線 幅 Cwlの観点力もみれば文字情報 Icと判断される力 文字サイズ幅 Cwの観点から は、文字情報 Icでは無いと判断される場合、制御は次のステップ S528に進む。
[0091] ステップ S528において、文字画素座標情報 Cpから文字画素 Pcが文字画素座標 情報 Cpから登録削除される。なお、本ステップにおいては、文字画素座標情報じ に は文字画素 Pcが、文字線幅 Cwlの観点からは文字情報 Icであると判断される力 文 字サイズ幅 Cwの観点からは文字情報 Icではないと判断されることも記録することによ つて、より高精度な文字情報 Icの認識および加工を可能にする。
[0092] ステップ S530【こお!ヽて、上述のステップ S520、 S524、および S530のぞれぞれ で補正された文字画素座標情報 Cpに基づいて、文字フレーム情報 Fcが補正される 。そして、文字線幅認識サブルーチン # 500の処理は終了する。なお、上述のステツ プ S502において Noの場合は、制御はステップ S502〜S530をスキップして、文字 線幅認識処理を行わな 、で、文字縁取り認識サブルーチン # 600に進む。
[0093] 次に、図 14および図 15を参照して、文字縁取り認識サブルーチン # 600における 処理について説明する。文字縁取り認識サブルーチン # 600は、文字の表示方法と して頻繁に用いられる一定色で、各文字が縁取られて表示される文字情報 Icを認識 するものである。図 14に、図 4に示した文字情報 Icの「C」を含む限定領域を拡大して 示す。同図に例示するように、一般的に文字を縁取りする際に、その縁取り画素 Po の色は同一である。即ち、縁取り部分に位置する画素 P (x, y)の輝度値 VY、色差 C bおよび色差 Crのそれぞれの値は同一である。いいかえれば、輝度値 VY、色差 Cb および色差 Crのそれぞれの値が同一の画素 P (x, y)は、縁取り画素 Poの可能性が 非常に高い。
[0094] よって、文字表示画素テーブル記憶メモリ 013に登録されている文字画素 Pcの周 辺に位置する画素 P (x, y)の輝度値 VY、色差値 VCb、および色差値 VCrの値がそ れぞれ同一であるかどうかを判定し、ある一定割合以上の周辺画素 P (x, y)が同一 の輝度値 VY、色差 Cb、色差 Crを持つ場合は、文字が縁取り表示されていると認識 する。なお、周辺に位置する画素 P (x, y)とは、文字画素 Pcの水平そして垂直方向 の正負方向に、それぞれ最も近接する文字画素 Pcではない 4つの画素 P (x, y)を言
[0095] そして、文字表示画素テーブル記憶メモリ 013に、文字の表示方法として縁取りが 用いられている事を記憶する。この場合、好ましくは、検出された縁取り画素 Poの座 標 (X, y)も文字画素座標情報 Cpの一部として記録される。抽出された縁取り画素 Po の縁取り色で周辺画素が描画されて ヽな 、文字画素 Pcの登録を削除することで文 字情報 Icの認識精度をさらに向上させる。文字画素の誤検出を低減させる。
[0096] 図 15を参照して、文字縁取り認識サブルーチン # 600における詳細な動作につい て説明する。文字縁取り認識サブルーチン # 600が開始すると、先ず、
ステップ S602において、文字の縁取認識を行うか否かが判断される。好ましくは、 ユーザに対して、モニタに「文字の縁取認識を行うか？」のメッセージを表示して、ュ 一ザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。し 力しながら、映像ストリームの種類と文字情報 Icの種類の組み合わせにおいて、予め 文字縁取確認を行うか否かを決めておいても良い。そして、制御は次のステップ S60 4に進む。
[0097] ステップ S604において、文字表示画素テーブル記憶メモリ 013から文字画素座標 情報 Cpが読み出され、同文字画素座標情報 Cpに基づいて、文字画素 Pcが特定さ れる。そして、制御は次の本ステップ S606に進む。
[0098] ステップ S606において、ステップ S604において特定された文字画素 Pcの周辺画 素 Ppの座標 (X, y)が特定される。さらに、特定された周辺画素 Ppの総数 Nppが算 出される共にカウンタ Ctがゼロにセットされる。なお、上述のように、本例においては 、文字画素 Pcの水平そして垂直方向の正負方向に、それぞれ最も近接する文字画 素 Pcではない 4つの画素 P (x, y)が周辺画素 Ppとして特定される。そして、制御は 次のステップ S608に進む。
[0099] ステップ S608において、ステップ S606で特定された周辺画素 Ppに対して、縁度 認識処理を施す順番が決定されると共に、決定された順番に周辺画素 Ppが 1つず つ選択される。好ましくは、設定された周辺画素 Pp毎に、縁取認識処理が終了する たびに、 Xおよび yの値をラスタスキャンの順番にカウントアップして、次の周辺画素 P Pが選択される。そして、制御は次のステップ S610に進む。
[0100] ステップ S610において、周辺画素 Ppの輝度値 VY、色差値 VCb、および色差値 V Crが検出さられる。そして、制御は次のステップ S612に進む。
[0101] ステップ S612において、ステップ S606において、特定された全ての周辺画素 Pp のうちで、輝度値 VY、色差値 VCb、および色差値 VCrが検出されていないものが残 つているか否かが判断される。 Yesの場合、制御はステップ S608に戻って、次の周 辺画素 Ppが選択される。以降、本ステップで Noと判断されるまで、上述の処理が繰 り返される。そして、 No、つまり全ての文字画素 Pcに関して、連続値 Chおよび連続 値 Cvがカウントされた時点で、制御は次のステップ S614に進む。
[0102] ステップ S614において、求められた全ての輝度値 VY、色差値 VCb、および色差 値 VCrそれぞれの平均をとつて、平均輝度値 VY (mean)、平均色差値 VCb (mean )、および平均色差値 VCr (mean)が求められる。そして、制御は次のステップ S615 に進む。 [0103] ステップ S615において、ステップ S608におけるのと同様に、但し、周辺画素 Ppが 同一色で表示されているカゝ否かを判断する順番が決定されると共に、決定された順 番に周辺画素 Ppが 1つずつ選択される。そして、制御は次のステップ S616に進む。
[0104] ステップ S616において、ステップ S615において選択された周辺画素 Ppに関して 、輝度値 VY、色差 Cb値信号、および色差値 VCrのそれぞれが、平均輝度値 VY(m ean)、平均色差値 VCb (mean)、および平均色差値 VCr (mean)と同程度の値を 有するか否かが判断される。なお、同程度の度合いは、映像ストリーム SVcおよび文 字情報 Ic、さらに縁取に応じて、適宜決められる。 Yes,つまり当該周辺画素 Ppは縁 取り画素 Poであると判断される場合、制御は次のステップ S618に進む。
[0105] ステップ S618において、カウンタ Ctが 1だけインクリメントされる。そして、制御は次 のステップ S620に進む。
[0106] ステップ S620において、ステップ S612におけるように、但し、ステップ S615にお いて選択された周辺画素 Ppのうちで、縁取り画素 Poであるかの判断が下されていな いものが残っているか否かが判断される。 Yesの場合、制御はステップ S615に戻つ て、次の周辺画素 Ppが選択される。以降、本ステップで Noと判断されるまで、上述の 処理が繰り返される。そして、 No、つまり全ての周辺画素 Ppが縁取り画素 Poである か否かの判断が成された時点で、制御は次のステップ S618に進む。
[0107] 一方、上述のステップ S616において No、つまり当該周辺画素 Ppは縁取り画素 Po でないと判断される場合、ステップ S618およびステップ S620をスキップして、制御は ステップ S615に戻る。
[0108] ステップ S622において、ステップ S618で求められたカウンタ Ctの値を、周辺画素 Ppの総数 Nppで除算して、同一色で表示されて!、る周辺画素 Ppの同一色割合 Dを 求める。そして、制御は次のステップ S624に進む。
[0109] ステップ S624において、ステップ S615におけると同様に、但し、周辺画素 Ppが縁 取画素であるか否かを判断する順番が決定されると共に、決定された順番に周辺画 素 Ppが 1つずつ選択される。そして、制御は次のステップ S626に進む。
[0110] ステップ S626において、ステップ S622で求められた同一色割合 D力 割合閾値 D thより小さいか否かが判断される。なお、割合閾値 Dthは、映像ストリーム SVc、文字 情報 Ic、および縁取りの状態に応じて、適宜決められる。そして、制御は次のステップ
S628に進む。 Yes、つまり周辺画素 Ppは縁取り画素 Poでは無いと判断される場合、 制御は次のステップ S 628に進む。
[0111] ステップ S628において、当該周辺画素 Ppに対応する周辺画素 Ppが、文字画素座 標情報 Cpから登録削除される。そして、制御は次のステップ S630に進む。
[0112] ステップ S630において、周辺画素 Ppが文字画素座標情報 Cpとして文字表示画 素テーブル記憶メモリ 013に登録される。そして、制御は次のステップ S632に進む。
[0113] ステップ S632において、文字画素座標情報 Cpに基づいて、文字フレーム情報 Fc が適宜補正される。そして、制御は次のステップ S634に進む。
[0114] ステップ S634において、ステップ S624において選択される、全ての周辺画素 Pp で縁取画素であるか否かが判断されて ヽな 、ものが残って 、る力否かが判断される
。 Noの場合制御は、ステップ S624にも戻る。
[0115] 上述のステップ S626で Noと判断される場合、制御はステップ S628、 S630、 S63
2、および S634をスキップして、ステップ S624に戻る。
[0116] ステップ S634において、 Noと判断されたときに文字縁取り認識サブルーチン # 60
0の処理は終了する。
[0117] 次に、図 16および図 17を参照して、点滅表示認識サブルーチン # 700における 処理について説明する。点滅表示認識サブルーチン # 700は 文字の表示方法とし て頻繁に用いられる、消去と表示を一定時間毎に繰り返して、各文字が点滅表示さ れる文字情報 Icを認識するものである。図 16に、左か右へと時間の経過と共に、 3つ の画面画像 Ibl、 Ib2、および Ib3が示されている。画面画像 lb 1には文字情報 Icが 表示されており、画面画像 Ib2には文字情報 Icが表示されておらず、画面画像 Ib3に は画面画像 Iblと同様に文字情報 Icが表示されている。点滅表示では時間軸方向に 対して、画面画像 Iblおよび画面画像 Ib2のように文字情報 Icが表示さる文字表示区 間 P1と文字消去区間 P2とが交互に出現し、且つ時間軸上のどこにおいても文字表 示区間 P1と文字消去区間 P2との時間的長さ、つまり期間はそれぞれ一定である。
[0118] 図 17に示すフローチャートを参照して、点滅表示認識サブルーチン # 700の動作 の詳細を説明する。点滅表示認識サブルーチン # 700が開始すると、先ず、 ステップ S702において、点滅表示認識を行うか否かが判断される。好ましくは、ュ 一ザに対して、モニタに「点滅表意認識を行うか？」のメッセージを表示して、ユーザ はリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかし ながら、映像ストリームの種類と文字情報 Icの種類の組み合わせにおいて、予め点 滅表意認識を行うか否かを決めておいても良い。そして、制御は、次のステップ S70 4に進む。
[0119] ステップ S704において、文字表示フレームテーブル記憶メモリ 014から文字フレー ム情報 Fcが読み出される。そして、制御は次のステップ S706に進む。
[0120] ステップ S706において、文字フレーム情報 Fcに基づいて、文字表示フレームテー ブル記憶メモリ 014に登録されたフレームの連続性から、文字表示区間 P1が検出さ れる。そして制御は、次のステップ S708に進む。
[0121] ステップ S708において、文字フレーム情報 Fcに基づいて、文字表示フレームテー ブル記憶メモリ 014に登録されたフレームの連続性が途切れている間の時間から文 字消去区間 P2が検出される。そして制御は、次のステップ S710に進む。
[0122] ステップ S710において、文字情報 Icは点滅表示である力否かが判断される。具体 的には、ステップ S706とステップ S708においてそれぞれ検出された文字表示区間 P1と文字消去区間 P2が所定値を持っている場合、点滅表示と判断される。そして、 制御は、次のステップ S712に進む。
[0123] ステップ S712において、文字情報 Icは点滅表示であることが文字フレーム情報 Fc に記憶される。そして制御は、点滅表示認識サブルーチン # 700の処理が終了する
[0124] なお、ステップ S710において、文字情報 Icは点滅表示ではないと判断される場合 、制御はステップ S 712をスキップして、点滅表示認識サブルーチン # 700の処理が 終了する。同様に、ステップ S702において Noの場合、制御はステップ S704〜S71 0をスキップして、点滅表示認識サブルーチン # 700の処理が終了する。
[0125] 次に、図 18および図 19を参照して、移動表示認識サブルーチン # 800について 説明する。移動表示認識サブルーチン # 800は、文字の表示方法として頻繁に用い られる、文字情報 Icが一定の速度で水平または垂直方向に移動する移動表示を認 識する処理である。図 18に、移動表示であるフレームで表示された文字画素が時間 軸の進行方向に対し水平に移動して表示される様子を示す。すなわち、ある時間に おけるフレーム N上の文字情報 Icは、フレーム N士 13 ( βは任意の正の整数）におけ る文字画素 Pcを水平または垂直方向に βフレーム分移動させたものに一致するは ずである。
[0126] すなわち、文字表示画素テーブル記憶メモリ 013に登録されているフレーム Νの文 字画素 Pcの分布と、文字表示画素テーブル記憶メモリ 013に登録されたフレーム Ν 士 βにおける文字画素 Pcの位置を水平または垂直方向に |8フレーム分ずらしたも のの分布が一致する場合、文字情報 Icは移動表示されていると認識すると共に、文 字情報 Icが βフレーム分移動表示されていることを文字表示画素テーブル記憶メモ リ 013に記憶する。
[0127] 次に、図 19を参照して、移動表示認識サブルーチン # 800の動作について詳細 に説明する。移動表示認識サブルーチン # 800の動作が開始すると、先ず、 ステップ S802において、移動表示認識を行うか否かが判断される。好ましくは、ュ 一ザに対して、モニタに「移動表示認識を行うか？」のメッセージを表示して、ユーザ はリモコンなどの入力手段を用いて、メッセージに応答するように構成される。しかし ながら、映像ストリームの種類と文字情報 Icの種類の組み合わせにおいて、予め移 動表示認識を行うか否かを決めておいても良い。 Yesの場合、制御は次のステップ S 804に進む。
[0128] ステップ S804において、文字画素座標情報 Cpおよび文字フレーム情報 Fcがそれ ぞれ文字表示画素テーブル記憶メモリ 013および文字表示フレームテーブル記憶メ モリ 014から読み出される。そして、制御は、次のステップ S806に進む。
[0129] ステップ S806において、文字画素座標情報 Cpおよび文字フレーム情報 Fcに基づ いて、フレーム N (Nは任意の正の整数）の、文字画素 Pcの画面画像 Iにおける画素 分布 Dnを求める。そして、制御は次のステップ S808に進む。
[0130] ステップ S808において、フレーム N士 13における文字画素 Pcの画面画像 Iにおけ る画素分布 D βを求める。正確に言えば、フレーム Νに対して 13フレーム分だけ前の 画素分布 D β—と、フレーム Νに対して 13フレーム分だけ後の画素分布 D β +の 2種 類が存在するが、紙面および説明の便宜上、画素分布 D |8—と画素分布 D |8 +とを 画素分布 D |8と総称する。そして、制御は次のステップ S810に進む。
[0131] ステップ S810において、次式（3)に基づいて、フレーム Nにおける画面画像 Inに おける文字情報 Icが最大動き得る量を表す移動係数 dが算出される。
d = - p + Δ ρ (3)
移動量 Ρは、画面画像 Inにおける画素解像度に対応する移動量、 Δ は、画面画 像 Inにおける画素解像度に対応する最小移動量。そして、制御は次のステップ S81 2に進む。
[0132] ステップ S812において、ステップ S804で求めた画素分布 Dnに基づいて、フレー ム Nに対して移動係数 dだけ移動した時の画素分布 Dn (d)が算出される。そして制 御は、次のステップ S814に進む。
[0133] ステップ S814において、ステップ S812で求めた画素分布 Dn (d)力 ^ステップ S808 で求められた画素分布 D |8と一致するか否かが判断される。具体的には、画素分布
D jS力 画素分布 Ddを減じた値力^になる力否かが判断される。 Yes,つまり一致す る（減算結果が 0の）場合、制御は次のステップ S816に進む。
[0134] ステップ S816において、文字情報 Icが移動表示であることを、文字フレーム情報 F cおよび文字画素座標情報 Cpに書き込む。そして、制御は次のステップ S818に進 む。
[0135] 一方、上述のステップ S814で No、つまり、画素分布 Dn(d)は画素分布 D j8と一致 しないと判断される場合、制御はステップ S816をスキップして、ステップ S818に進む
[0136] ステップ S818において、ステップ S810で Δ ずつインクリメントされた移動係数 d が移動量 P以上である力否かが判断される。 No、つまり、画面画像 Inにおける文字 情報 Icの最大移動可能範囲に対する画素分布 Dn (d)に関して、画素分布 D βと一 致の判断が終わっていないことを意味するので、制御は上述のステップ S810に戻る
[0137] Yesの場合、画面画像 Inにおける文字情報 Icの最大移動可能範囲に対する画素 分布 Dn (d)に関して、画素分布 D βと一致の判断が終わっていることを意味するの で、移動表示認識サブルーチン # 800を終了する。
[0138] なお、上述の同一色検索サブルーチン # 300、文字表示領域認識サブルーチン
# 400、文字認識サブルーチン # 500、文字縁取り認識サブルーチン # 600、点滅 表示認識サブルーチン # 700、および移動表示認識サブルーチン # 800は、事前 に文字画素座標情報 Cpおよび文字フレーム情報 Fcが生成されて 、れば良 、。よつ て、この意味において、本例においては、先行する高輝度値画素検索サブルーチン # 200の後であれば、同一色検索サブルーチン # 300、文字表示領域認識サブル 一チン # 400、文字認識サブルーチン # 500、文字縁取り認識サブルーチン # 600 、点滅表示認識サブルーチン # 700、および移動表示認識サブルーチン # 800の それぞれを実施する順番は、必要に応じて変更しても良い。さらに、認識対象である 文字情報 Icの種類に応じて、同一色検索サブルーチン # 300、文字表示領域認識 サブルーチン # 400、文字認識サブルーチン # 500、文字縁取り認識サブルーチン # 600、点滅表示認識サブルーチン # 700、および移動表示認識サブルーチン # 8 00の内で適当なものを選択して実施しても良!、。
[0139] 次に、図 20および図 21を参照して、文字力卩ェ器 012について説明する。文字加工 器 012は、文字認識器 011によって認識された文字情報 Icの文字画素 Pcに関する 情報に基づいて、映像ストリーム SVcから文字情報 Icに対して種々の処理を施す機 能を有する。文字加工器 012は、文字情報 Icを消去する文字情報消去機能、文字 情報 Icが点滅表示時に文字情報 Icを消去する文字情報消去機能、文字情報 Icが移 動表示時に文字情報 Icを削除する文字情報消去機能、文字情報 Icを移動させる文 字情報移動機能、文字情報 Icを拡大 Z縮小表示させる文字情報拡倍機能、および 文字情報 Icを特定の注目領域以外の領域に移動表示させる注目領域回避機能を 有する。
[0140] 図 20を参照して、文字力卩ェ器 012の文字力卩ェの主な動作について説明する。文 字認識器 011における上述の認識処理を経て、輝度信号 Y、色差 Cb信号、および 色差 Cr信号が文字加工器 012に入力された時点で、文字加工器 012の文字加ェ 処理が開始する。なお、文字表示画素テーブル記憶メモリ 013および文字表示フレ ームテーブル記憶メモリ 014には、上述の認識処理結果を反映した状態の文字フレ ーム情報 Fcおよ b文字画素 Pcが格納されて 、る。
[0141] 先ず、ステップ S1002において、映像ストリーム SVcに対して、文字情報 Icを消去 する文字消去処理を実施する力否かがユーザに対して問 、合わされる。好ましくは、 ユーザに対して、モニタに「文字情報消去処理を実施するか？」のメッセージを表示 して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答するように構成さ れる。しかしながら、文字画素 Pcおよび文字フレーム情報 Fcに基づいて、自動的に 判断されるようにしても良い。 Yesの場合、制御は次のステップ S 1004に進む。
[0142] ステップ S1004において、映像ストリーム SVcは、文字情報 Icが点滅表示されてい る力否かが判断される。具体的には、文字フレーム情報 Fcおよび文字画素座標情報 Cpに、文字情報 Icが点滅表示である旨の記録があるか否かに基づいて、判断される 。 Noと判断される場合、次のステップ S 1006に進む。一方、 Yesの場合、制御は次 の点滅表示時文字情報消去サブルーチン # 1100に進む。
[0143] 点滅表示時文字情報消去サブルーチン # 1100にお 、て、点滅表示されて!、る文 字情報 Icが映像ストリーム SVcから消去される。これについては、後ほど詳述する。 点滅表示時文字情報消去サブルーチン # 1100の処理の後、文字加工器 012によ る文字加工処理が終了する。
[0144] ステップ S1006において、映像ストリーム SVcは、文字情報 Icが移動表示されてい る力否かが判断される。具体的には、文字フレーム情報 Fcおよび文字画素座標情報 Cpに、文字情報 Icが移動表示である旨の記録があるか否かに基づいて、判断される 。 Noの場合、制御は文字消去サブルーチン # 1300に進む。一方、 Yesの場合、制 御は次の移動表示時文字情報消去サブルーチン # 1200に進む。
[0145] 移動表示時文字情報消去サブルーチン # 1200において、移動表示されている文 字情報 Icが映像ストリーム SVcから消去される。これについては、後ほど図？を参照 して詳述する。移動表示時文字情報消去サブルーチン # 1200の処理の後、文字加 工器 012による文字カ卩ェ処理が終了する。
[0146] 文字消去サブルーチン # 1300において、文字情報 Icが映像ストリーム SVcから消 去される。これについては、後ほど詳述する。文字消去サブルーチン # 1300の処理 の後、文字加工器 012による文字加工処理が終了する。 [0147] 上述のステップ S 1002において No、つまり文字消去処理は実施されない場合、逝 去はステップ S 1008に進む。
ステップ S1008において、映像ストリーム SVcに対して、文字情報 Icを移動する文 字移動処理を実施する力否かがユーザに対して問い合わされる。好ましくは、ユーザ に対して、モニタに「文字情報移動処理を実施するか？」のメッセージを表示して、ュ 一ザはリモコンなどの入力手段を用いて、メッセージに応答するように構成される。さ らに、好ましくは、ユーザが所望の移動量 Sを入力するように構成される。しかしなが ら、文字画素 Pcおよび文字フレーム情報 Fcに基づいて、自動的に判断されるように しても良い。 Yesの場合、文字情報拡倍サブルーチン # 1400に進む。しかしながら 、文字画素 Pcおよび文字フレーム情報 Fcに基づいて、自動的に判断されるようにし ても良い。 Yesの場合、制御は文字情報移動サブルーチン # 1400に進む。
[0148] 文字情報移動サブルーチン # 1400において、文字情報 Icが映像ストリーム SVc において、その表示場所が変更、つまり文字情報 Icが画面画像 Iにおいて移動させら れる。これについては、後ほど図 23を参照して詳述する。文字情報移動サブルーチ ン # 1400の処理の後、文字力卩ェ器 012による文字カ卩ェ処理が終了する。
[0149] 上述のステップ S 1008において No、つまり文字情報移動処理が行われない場合 に、制御はステップ S 1010に進む。
[0150] ステップ S1010において、映像ストリーム SVcに対して、文字情報 Icを拡大 Z縮小 表示させる文字情報拡倍処理を実施する力否かがユーザに対して問い合わされる。 好ましくは、ユーザに対して、モニタに「文字情報拡倍処理を実施するか？」のメッセ ージを表示して、ユーザはリモコンなどの入力手段を用いて、メッセージに応答する ように構成される。さらに、好ましくは、ユーザが所望の拡倍率 Mを入力するように構 成される。し力しながら、文字画素 Pcおよび文字フレーム情報 Fcに基づいて、自動 的に判断されるようにしても良い。 Yesの場合、制御は文字情報拡倍サブルーチン # 1500に進む。
[0151] 文字情報拡倍サブルーチン # 1500において、文字情報 Icが映像ストリーム SVc において、拡大表示される。これについては、後ほど図 24を参照して詳述する。文字 情報拡倍サブルーチン # 1500の処理の後、文字加工器 012による文字加工処理 が終了する。
[0152] 上述のステップ S1010において No、つまり、文字情報 Icの拡大表示処理が行われ ない場合、制御はステップ S 1012に進む。
ステップ S1012において、文字情報 Icにおける注目領域以外の領域に文字情報 I cを移動表示させる力否かが判断される。好ましくは、ユーザに対して、モニタに「注 目領域回避処理を実施するか？」のメッセージを表示して、ユーザはリモコンなどの 入力手段を用いて、メッセージに応答するように構成される。し力しながら、文字画素 Pcおよび文字フレーム情報 Fcに基づいて、自動的に判断されるようにしても良い。 Y esの場合、注目領域回避サブルーチン # 1600に進む。
[0153] 注目領域回避サブルーチン # 1600において、文字情報 Icが映像ストリーム SVc において、画面画像 Iの視聴者が注目し易い領域から、視聴者の気にならない領域 に移動させられる。これについては、後ほど図 25を参照して詳述する。注目領域回 避サブルーチン # 1600の処理の後、文字加工器 012による文字加工処理が終了 する
[0154] このように、文字消去を行う場合に、点滅表示認識サブルーチン # 700において点 滅表示と認識されている場合は、点滅表示時文字情報消去サブルーチン # 1100に お 、て文字情報 Icが消去される。移動表示認識サブルーチン # 800にお 、て移動 表示と認識されている場合は、移動表示時文字情報消去サブルーチン # 1200にお いて文字情報 Icが消去される。その他の場合は、文字情報消去サブルーチン # 130 0において文字情報 Icが消去される。
[0155] また、文字移動を行う場合には、文字情報移動サブルーチン # 1400において文 字情報 Icが移動される。また、文字拡倍を行う場合には、文字情報拡倍サブルーチ ン # 1500において文字情報 Icが拡倍される。また、注目領域回避を行う場合には、 注目領域回避サブルーチン # 1600にお 、て非注目領域に文字情報 Icが移動され て表示される。
[0156] 次に、図 21および図 22を参照して、文字情報消去サブルーチン # 1300の動作に ついて説明する。図 21に、画面画像 Iにおける文字画素 Pcを示す。同図において文 字画素 Pc (x, y)を消去する方法について述べる。文字画素 Pc (x, y)の水平または 垂直方向の正負方向に最も近傍する、文字画素 Pcおよび縁取り画素 Poの何れでも ない 4つの画素 Pに基づいて、文字画素 Pc (x, y)の輝度値 VY、色差値 VCb、およ び色差値 VCrを線形補間することで文字情報 Icを消去する。なお、文字画素 Pc (x, y)が縁取り画素 Poの場合であっても同様にして、近傍の画素 Pに基づいて消去する 縁取り画素 Poの輝度値 VY、色差値 VCb、および色差値 VCrを補間して消去する。 なお、この文字画素 Pc或いは縁取り画素 Poの補間処理は、文字表示画素テーブル 記憶メモリ 013に登録されて ヽる文字画素座標情報 Cpに基づ ヽて行われて、文字 情報 Icの補間値が算出される。
[0157] つまり、文字力卩工器 012は、 0011から入力される輝度信号 Y、色差 Cb信号、およ び色差 Cr信号のそれぞれに対して、求めた補間値を上書きして、被処理輝度信号 Y T、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTを生成して出力する。 被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTは、 それぞれ、出力用メモリ 004の被処理輝度フレームメモリ 008、被処理色差 Cbフレー ムメモリ 009、および被処理色差 Crフレームメモリ 010にー且保持された後、後処理 器 015で映像ストリーム SVtに合成される。なお、映像ストリーム SVtにおいては、映 像ストリーム SVcに組み込まれて ヽた文字情報 Icは、消去されて ヽる。
[0158] 図 22を参照して、文字消去サブルーチン # 1300の動作について詳述する。図 20 に示すフローチャートにおいて、ステップ S1006において Noと判断された時点で、 文字消去サブルーチン # 1300の動作が開始される。
先ず、ステップ S1302において、文字表示画素テーブル記憶メモリ 013および文 字表示フレームテーブル記憶メモリ 014から文字画素座標情報 Cpおよび文字フレー ム情報 Fcが読み出される。そして、制御は次のステップ S1304に進む。
[0159] ステップ S1304において、文字画素座標情報 Cpに基づいて、フレーム単位で補 間処理をする文字画素 Pc (x, y)が選択される。そして、制御は次のステップ S1306 に進む。
[0160] ステップ S 1306において、上述の方法にて、ステップ S 1304で選択された文字画 素 Pcに対する補間輝度値 VYt、補間色差値 VCbt、および補間色差値 VCrtが求め られる。そして、制御は次のステップ S 1308に進む。 [0161] ステップ S1308において、当該文字画素 Pc (x, y)の輝度値 VY、色差値 VCb、お よび色差値 VCrがそれぞれ、ステップ S 1306にお 、て求められた補間輝度値 VYt、 補間色差値 VCbt、および色差値 VCrtで上書きされる。そして、制御は次のステップ S1310に進む。
[0162] ステップ S1310において、ステップ S1302において読み出された文字画素座標情 報 Cpで規定される、補正対象の文字画素 Pc (x, y)の内で、補間輝度値 VYt、補間 色差値 VCbt、および補間色差値 VCrtが求められて!/、な!/、ものが残って!/、るか否か が判断される。 Yesの場合、制御は上述のステップ S1304に戻り、ステップ S1304〜 ステップ S1308における処理が繰り返されて、当該フレームのおける全ての文字画 素 Pc (x, y)が補間輝度値 VYt、色差値 VCrt、および補間色差値 VCbtによって上 書きされて、文字情報 Icが画面画像 Iから消去される。
[0163] このように、文字画素 Pc (X, y)が処理された輝度信号 Y、色差 Cb信号、および色 差 Cr信号を、それぞれ被処理輝度信号 YT、被処理色差 Cb信号 CbT、被処理色差 Cr信号 CrTと呼ぶ。本ステップにおいて Noと判断された時点で、制御は次のステツ プ S1312に進む。
[0164] ステップ S1312において、画素値が書き換えられた文字画素 Pc (x, y)に値王する 被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTが 出力用メモリ 004に出力される。なお、被処理輝度信号 YT、被処理色差 Cb信号 Cb T、および被処理色差 Cr信号 CrTは、後処理器 015によって、映像ストリーム SVtに 合成される。そして、映像ストリーム SVtには、映像ストリーム SVcにおいて組み込ま れていた文字情報 Icが消去されていることは上述の通りである。なお、ステップ S 130 6における補間輝度値 VYt、補間色差値 VCbt、および色差値 VCrtの算出の方法 を除けば、文字消去サブルーチン # 1300は基本的に、点滅表示時文字情報消去 サブルーチン # 1100および移動表示時文字情報消去サブルーチン # 1200にも適 用できる。これについては、以下に述べる。
[0165] 点滅表示時文字情報消去サブルーチン # 1100は、点滅表示認識サブルーチン
# 700によって文字情報 Icの表示方法が点滅表示であると認識されて 、る場合のみ に選択され得る処理である。文字消去の対象である文字画素 Pcまたは縁取り画素 P oの輝度値 VYと色差値 VCbと色差値 VCrのそれぞれの補間値として、時間的に最 も近接する文字消去区間 P2内のフレームにおいて対応する画素 P (x, y)の値が用 いられる。この処理を文字表示画素テーブル記憶メモリ 013に登録された文字画素 P cおよび Z或いは、縁取り画素 Poにた 、して施すことで文字情報 Icの補間値 (補間 輝度値 VYt、補間色差値 VCbt、色差値 VCrt)が算出される。
[0166] 補間値を求める対象が同一フレームではなぐ時間的近接フレームである点を除い て、点滅表示時文字情報消去サブルーチン # 1100の動作は、上述の文字情報消 去サブルーチン # 1300における動作と同様である。また、文字情報消去サブルー チン # 1300においても、ステップ S 1308において、文字情報消去サブルーチン # 1 300におけるのと同様に、同一フレームではなぐ時間的近接フレーム力も補間値を 求めても良い。
[0167] 文字加工器 012によって、文字認識器 011から出力された輝度信号 Y、色差 Cb信 号、および色差 Cr信号に対して、この算出された補間値 (補間輝度値 VYt、補間色 差値 VCbt、色差値 VCrt)を上書きして、被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTを生成して、出力用メモリ 004を介して後処理 器 015〖こ出力される。そして、後処理器 015は処理輝度信号 YT、被処理色差 Cb信 号 CbT、および被処理色差 Cr信号 CrTを合成して、映像ストリーム SVtを生成する。 この映像ストリーム SVtの画面画像 Iには、映像ストリーム SVcで点滅表示されていた 文字情報 Icが消去されて!ヽる。
[0168] 移動表示時文字情報消去サブルーチン # 1200は、移動表示認識サブルーチン
# 800によって文字情報 Icの表示方法が移動表示であると判定された場合のみに 選択され得る処理である。文字消去の対象となる文字画素 Pcまたは縁取り画素 Poの 輝度値 VY、色差値 VCb、および色差値 VCrそれぞれの補間値として、対象となる画 素が文字画素 Pcとして登録されていないフレームのうち、時間的に最も近接するフレ ームにおいて対応する画素 P (x, y)の値が用いられる。以降の動作は、上述の文字 消去サブルーチン # 1300および点滅表示時文字情報消去サブルーチン # 1100 におけるのと同様である。結果、後処理器 015から出力される映像ストリーム SVtの 画面画像 Iには、映像ストリーム SVcで移動表示されて ヽた文字情報 Icが消去されて いる。
[0169] 以下に、図 23を参照して、文字情報移動サブルーチン # 1400の動作の詳細につ いて説明する。文字情報移動サブルーチン # 1400は、文字情報 Icを映像ストリーム Svcにおける位置力も別の位置に移動させる文字力卩ェ器 012による処理である。つ まり、消去対象とする文字情報 Icが点滅表示であっても、移動表示であっても構わな い。
[0170] 先ずステップ S1402において、文字表示画素テーブル記憶メモリ 013および文字 表示フレームテーブル記憶メモリ 014から文字画素座標情報 Cpおよび文字フレーム 情報 Fcが読み出される。そして、制御は次のステップ S1404に進む。
[0171] ステップ S1404において、移動させる文字画素 Pc (x, y)が選択される。そして、制 御は次のステップ S 1406に進む。
[0172] ステップ S1406において、当該文字画素 Pc (x, y)の輝度値 VY、色差値 VCb、お よび色差値 VCrが注意出される。なお、説明の便宜上、本ステップで抽出されて文 字画素 Pc (x, y)の輝度値 VY、色差値 VCb、および色差値 VCrをそれぞれ、文字 輝度値 VY(c)、文字色差値 VCb (c)、および文字色差値 VCr (c)と識別する。すな わち、本ステップにおいては、文字輝度値 VY(c)、文字色差値 VCb (c)、および文 字色差値 VCr (c)が抽出される。そして、制御は次のステップ S1408に進む。
[0173] ステップ S1408において、移動対象である文字画素 Pc (x, y)の内で、文字輝度値 VY (c)、文字色差値 VCb (c)、および文字色差値 VCr (c)が抽出されて 、な 、もの が残っている力否かが判断される。 Yesの場合、制御は上述のステップ S1404に戻 り、ステップ S 1404〜ステップ S 1406における処理が繰り返されて、移動対象である 全ての文字画素 Pc (x, y)の文字輝度値 VY(c)、文字色差値 VCb (c)、および文字 色差値 VCr (c)が抽出された後に、本ステップで Noと判断される。そして、制御は次 の文字消去サブルーチン # 1000に進む。
[0174] 文字消去サブルーチン # 1000は、図 22に示した文字消去サブルーチン # 1300 から、文字画素座標情報 Cpおよび文字フレーム情報 Fcを読み出すステップ S 1302 を削除したものである。なお、文字消去サブルーチン # 1000においては、削除され たステップ S 1302の変わりに、上述のステップ S 1402で読み出された文字画素座標 情報 Cpおよび文字フレーム情報 Fcに基づいて、文字削除処理を行う。移動させる 文字画素 Pc (x, y)が消去された、被処理輝度信号 YT、被処理色差 Cb信号 CbT、 および被処理色差 Cr信号 CrTが生成される（S 1312)。そして、制御は次のステップ S1410に進む。
[0175] ステップ S1410において、文字情報 Icの移動先である画素 P (x, y)が選択される。
この移動先の画素 P (x, y)は、ステップ S 1404で選択されえた移動元の文字画素 P c (x, y)を所定距離分だけ移動させたものに対応する。そして、制御は次のステップ S1412に進む。
[0176] ステップ S1412において、ステップ S1410で選択された画素 P (x, y)の輝度値 VY 、色差値 VCb、および色差値 VCrがそれぞれ、ステップ S1406において求められた 文字輝度値 VY(c)、文字色差値 VCb (c)、および文字色差値 VCr (c)で上書きされ る。そして、制御は次のステップ S 1414に進む。
[0177] ステップ S1414において、移動先である画素 P (x, y)の内で、輝度値 VY、色差値 VCb、および色差値 VCrが文字輝度値 VY(c)、文字色差値 VCb (c)、および文字 色差値 VCr (c)に上書きされていないものが残っている力否かが判断される。 Yesの 場合、制御は上述のステップ S1410に戻り、ステップ S1410〜ステップ S1414にお ける処理が繰り返されて、全ての移動先画素 P (x, y)の輝度値 VY、色差値 VCb、お よび色差値 VCrがそれぞれ文字輝度値 VY(c)、文字色差値 VCb (c)、および文字 色差値 VCr (c)で上書きされた後に、本ステップで Noと判断される。そして、制御は 次のステップ S 1416に進む。
[0178] ステップ S1416において、上述のステップ S1312において生成されて、出力用メモ リ 004に格納されている被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処 理色差 Cr信号 CrT力 ステップ S 1412で書き換えられた輝度値 VY、色差値 VCb、 および色差値 VCrで更新される。そして、更新された被処理輝度信号 YT、被処理色 差 Cb信号 CbT、および被処理色差 Cr信号 CrTが後処理器 015によって合成されて 、文字情報 Icが移動した映像ストリーム SVtが生成される。
[0179] 次に、図 24を参照して、文字情報拡倍サブルーチン # 1500の動作について説明 する。文字情報拡倍サブルーチン # 1500は、文字加工器 012による文字加工処理 として文字情報 Icを映像ストリーム SVcに含まれていた状態力 拡大 Z縮小させて表 示する拡倍処理である。
[0180] 先ずステップ S1502において、文字表示画素テーブル記憶メモリ 013および文字 表示フレームテーブル記憶メモリ 014から文字画素座標情報 Cpおよび文字フレーム 情報 Fcが読み出される。そして、制御は次のステップ S1504に進む。
[0181] ステップ S1504において、拡倍させる文字画素 Pc (x, y)が選択される。そして、制 御は次のステップ S 1506に進む。
[0182] ステップ S1506において、当該文字画素 Pc (x, y)の文字輝度値 VY(c)、文字色 差値 VCb (c)、および文字色差値 VCr (c)が抽出される。そして、制御は次のステツ プ S 1508に進む。
[0183] ステップ S 1508において、拡倍対象である文字画素 Pc (x, y)の内で、文字輝度値 VY (c)、文字色差値 VCb (c)、および文字色差値 VCr (c)が抽出されて 、な 、もの が残っている力否かが判断される。 Yesの場合、制御は上述のステップ S1504に戻 り、ステップ S 1504〜ステップ S 1506における処理が繰り返されて、全ての拡倍対象 である文字画素 Pc (x, y)の文字輝度値 VY(c)、文字色差値 VCb (c)、および文字 色差値 VCr (c)が抽出された後に、本ステップで Noと判断される。そして、制御は次 の文字消去サブルーチン # 1000に進む。
[0184] 文字消去サブルーチン # 1000において、拡倍させる文字画素 Pc (X, y)が消去さ れた、被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処理色差 Cr信号 Cr Tが生成される（S1312)。そして、制御は次のステップ S1510に進む。
[0185] ステップ S1510において、拡倍された後の文字情報 Icに対応する文字画素 Pc (x, y)を求める。具体的には、文字情報 Icを構成する文字画素 Pc (x, y)の座標 (X, y) に拡倍量 Mを乗算して、拡倍後の文字画素 Pc (x X M、 yX M)を求める。なお、拡倍 量 Mは、 0より大きな任意の整数である。つまり、拡倍処理によって、拡倍後の文字情 報 Icの大きさかは、拡倍前より大きくても小さくても良い。そして、制御は次のステップ S1512に進む。
[0186] ステップ S 1512において、文字画素 Pc (x X M、 y X M)に相当する画素 P (x X M、 y X M)を特定する。そして、制御は次のステップ S 1514に進む。 [0187] ステップ S1514において、ステップ S1512において特定された画素 P (x X M、 yX M)の全てに対して、拡倍処理を施す順番を決定すると共に、その順番にしたがって 1つずつ選択する。そして、制御は次のステップ S 1516に進む。
[0188] ステップ S1516において、ステップ S1514において選択された画素 P (x X M、 yX M)の輝度値 VY、色差値 VCb、および色差値 VCrのそれぞれをステップ SI 506に お!、て抽出された文字画素 Pc (X, y)の文字輝度値 VY (c)、文字色差値 VCb (c)、 および文字色差値 VCr (c)で上書きする。このようにして、元の文字画素 Pc (x, y)と 同じ輝度および色差を有する画素 P (x X M、 yX M)によって、文字情報 Icが拡大さ れる。そして、制御は次のステップ S 1518に進む。
[0189] ステップ S1518において、ステップ S1512で特定された画素 P (xX M、 yX M)の 内で、その輝度値 VY、色差値 VCb、および色差値 VCrのそれぞれが、文字輝度値 VY(c)、文字色差値 VCb (c)、および文字色差値 VCr (c)で上書きされていないも のが残っていないかが判断される。全ての画素 P (xX M、 yX M)が上書きされて、文 字情報 Icが拡大された後に制御は次のステップ S1520に進む。
[0190] ステップ S1520において、上述のステップ S1312において生成されて、出力用メモ リ 004に格納されている被処理輝度信号 YT、被処理色差 Cb信号 CbT、および被処 理色差 Cr信号 CrT力 ステップ S 1516で書き換えられた輝度値 VY、色差値 VCb、 および色差値 VCrによって更新される。そして、更新された被処理輝度信号 YT、被 処理色差 Cb信号 CbT、および被処理色差 Cr信号 CrTが後処理器 015によって合 成されて、文字情報 Icが移動した映像ストリーム SVtが生成される。
[0191] なお、拡倍量 Mが 1より小さい場合には、拡倍処理によって、 1つ以上の文字画素 P c (x, y)が、 lっの画素P (χ X M、yX M)で表現される。よって、文字情報 Icのみなら ず、線幅も縮小される。一方、拡倍量 Mが 1より大きい場合には、隣接する複数の文 字画素 Pc (x, y)によって表現されていた線力 拡倍量 Mによっては、数個の画素 P ( X, y)分だけ離間した画素 P (x X M、 yX M)によって表現される。このような場合、本 来 1本として表される線が互いに離間した複数の細線或いは、互いに離間した点の 集まりとして表現されて、見難いものとになる。このような事態を避けるために、ステツ プ S 1518とステップ S 1520の間に、画素 P (x X M、 y X M)の間に位置する画素 P (x , y)の輝度値 VY、色差値 VCb、および色差値 VCrのそれぞれを文字輝度値 VY(c )、文字色差値 VCb (c)、および文字色差値 VCr(c)で上書きするステップを設けて れば良い。
[0192] 次に、図 25を参照して、注目領域回避サブルーチン # 1600の動作について説明 する。注目領域回避サブルーチン # 1600は、文字加工器 012による文字加工処理 として、画面画像 Iにおいて人間が注目する注目領域と、人間が注目しない背景など の動きの少な!、非注目領域を自動的に判別して、非注目領域に文字情報 Icを移動 させる処理である。なお、文字情報 Icの移動は、上述の文字情報移動サブルーチン # 1400を利用して行われる。すなわち映像ストリーム Svcにおけるそれぞれのフレー ム毎に、算出された非注目領域と現在の文字情報 Ic領域の距離を算出し、算出され た距離だけ文字情報 Icを移動させる。
[0193] 注目領域回避サブルーチン # 1600が開始すると、先ず、
ステップ S1602において、文字表示画素テーブル記憶メモリ 013および文字表示フ レームテーブル記憶メモリ 014から文字画素座標情報 Cpおよび文字フレーム情報 F cが読み出される。そして、制御は次のステップ S1604に進む。
[0194] ステップ S1604において、入力用メモリ 003から出力される輝度信号 Y、色差 Cb信 号、および色差 Cr信号に基づいて、映像ストリーム SVcのフレーム毎に非注目領域 が認識される。そして、制御は次のステップ S 1606に進む。
[0195] ステップ S1606において、ステップ S1604において認識された非注目領域の範囲 が算出される。好ましくは、非注目領域は、 4点で規定される矩形として認識される。 そして、この 4点に対応する画素 P (x, y)の座標と共に、非注目領域の中心に対応 する画素 P (x, y)が求められる。なお、説明の便宜上、この非注目領域の中心に対 応する画素 P (x, y)を非注目領域中心画素 Pnnと呼ぶ。そして、制御は次のステツ プ S 1608に進む。
[0196] ステップ S1608において、文字画素座標情報 Cpに登録されている全ての文字画 素 Pc (X, y)と非注目領域中心画素 Pnnとの水平方向距離および垂直方向距離のそ れぞれの平均値である非注目領域水平移動距離 Lhnおよび非注目領域垂直移動 距離 Lvnが算出される。なお、上述の移動量 Sは、非注目領域水平移動距離 Lhnお よび非注目領域垂直移動距離 Lvnで決定される量である。そして、制御は次の文字 情報移動サブルーチン # 1400Rに進む。
[0197] 文字情報移動サブルーチン # 1400R、図 23に示した文字情報移動サブルーチン
# 1400から、文字画素座標情報 Cpおよび文字フレーム情報 Fcを読み出すステツ プ S1402を削除したものである。なお、文字情報移動サブルーチン # 1400Rにお いては、削除されたステップ S 1402の変わりに、上述のステップ S 1602で読み出さ れた文字画素座標情報 Cpおよび文字フレーム情報 Fcと、移動量 S1608において 求められた移動量 Sに基づいて、文字情報 Icは非注目領域に移動される。
[0198] 図 26を参照して、本発明の実施の形態に係る映像処理装置における記録装置に ついて説明する。記録装置 Arは、上述の映像処理装置 Avpにより生成された映像ス トリーム Svtを、記録媒体 019に記録する機能を実現する為に、エンコーダ 016、記 録部 017、記録コントローラ 018を含む。エンコーダ 016は、上述の後処理器 015より 入力される映像ストリーム Svtを記録媒体 019への記録に適したデータ形式になるよ うにエンコードして、記録用映像ストリーム Svtrを生成する。記録部 017は記録用映 像ストリーム Svtrを記録媒体 019に記録する。なお、記録コントローラ 018は、記録装 置 Arの全体 (ェンコーダ 016および記録部 017)の動作を制御する。
[0199] この場合、記録コントローラ 018は、映像処理装置 Avpの後処理器 015から映像ス トリーム Svtを出力させるために、後処理器 015の動作を制御しても良い。また、記録 装置 Arは映像処理装置 Avpと一体的に構成することもできる。この場合、記録コント ローラ 018の機能はシステムコントローラ 030に兼任させても良い。
[0200] 次に、図 27を参照して、本発明の実施の形態に係る映像処理装置における再生 表示装置について説明する。再生表示装置 Apは、上述の映像処理装置 Avpにより 生成された映像ストリーム Svtを映音像として提示する為に、再生部 020、表示部 02 1、および再生コントローラ 022を含む。再生部 020は後処理器 015から入力される 映像ストリーム Svtに基づいて、表示部 021による画像表示および発声に適した形式 の映音像信号 Savを生成する。表示部 021は再生部 020から入力される映音像信号 Savによって、映像或いは音声を提示する。再生コントローラ 022は、再生装置 の 全体 (再生部 020および表示部 021)の動作を制御する。 [0201] この場合、再生コントローラ 022は、映像処理装置 Avpの後処理器 015から映像ス トリーム Svtを出力させるために、後処理器 015の動作を制御しても良い。また、再生 装置 Apは映像処理装置 Avpと一体的に構成することもできる。この場合、再生コント ローラ 022の機能はシステムコントローラ 030に兼任させても良い
産業上の利用可能性
[0202] 本発明に係る映像処理装置は、映像ストリームに組み込まれた緊急-ユースなどの 文字情報の消去、移動、及び拡倍などの加工に用いることができ、さらに DVDレコー ダなどの記録装置やモニタなどの表示装置にも適用できる。

Claims

請求の範囲
[1] 入力される映像ストリーム（Svc)に組み込まれた文字情報 (Ic)に選択的に処理を 施す映像処理方法であって、
前記映像ストリーム（Svc)をフレーム単位で輝度情報 (VY)を示す輝度フレーム (Y )と、色差情報 (VCb、 VCr)を示す複数の色差フレーム (Cb、 Cr)とに分離する映像 ストリーム分離ステップ (003)と、
前記輝度情報 (VY)および前記輝度情報 (VCb、 VCr)の少なくとも何れかに基づ Vヽて、前記組み込まれた文字情報 (Ic)を認識する文字認識ステップ (011； # 100〜 # 800)と、
前記認識された文字情報 (Ic)に対して、消去、移動、および拡倍の少なくとも何れ かの処理を施す文字加工ステップ (012 ; # 1100〜# 1600)とを備える映像処理方 法 (Avp)。
[2] 前記文字認識ステップ (011 ; 100〜 # 800)は、
前記輝度フレーム (Υ)における画素（Ρ)の輝度値 (VY)を閾値 (Vth)と比較する 輝度値判定ステップ（S208)と、
前記閾値 (Vth)より大きな輝度値 (VY)を有する画素 (P)を前記文字情報 (Ic)を 表す文字画素（Pc)として認識する文字画素認識ステップ (S208、 S210)と、
前記認識された文字画素（Pc)を文字表示画素テーブル (013； Cp)に登録する 文字画素登録ステップ（S216)と、
前記認識された文字画素 (Pc)がーつ以上存在するフレームを前記文字情報 (Ic )が含まれるフレームとして文字表示フレームテーブル (014 ;Fc)に登録する文字情 報フレーム登録ステップ（S212、 S216)とを備える、請求項 1に記載の映像処理方 法（# 200)。
[3] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の色差値 (Vcb、 Vcr)が所定範囲内（VcbKVcbく Vcb2、 ¥。1：1 < ¥01：< ¥ 2)でぁるかを 判定する色差値判定ステップ (S312)と、
前記色差値 (Vcb、 Vcr)が所定範囲内（VcbKVcbく Vcb2、 Vcr 1 < Vcr < Vcr 2)であると判定される場合には、前記文字情報 (Ic)は同一色であると認識する文字 同一色認識ステップ（S312、 Yes)とを備える、請求項 2に記載の映像処理方法（# 3 00)。
[4] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記輝度判定ステップ (S208)により、その輝度値 (VY)が閾値 (Vth)と比較され る画素（P)を選択する画素選択ステップ（ # 100、 S206)を備える、請求項 2に記載 の映像処理方法（# 100)。
[5] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の相互の 離間距離 (L)を算出する文字画素間距離算出ステップ (S408、 S410)と、
前記算出された離間距離 (L)を平均して平均離間距離 (L (mean) )を算出する平 均離間距離算出ステップ (S412)と、
隣接する文字画素 (Pc)との前記離間距離 (L)が前記平均離間距離 (L (mean) ) より所定距離 ( y )だけ大きな文字画素 (Pc)を前記文字表示画素テーブル (013)か ら削除する非文字画素認定ステップ (S416、 S418)とを備える、請求項 2に記載の 映像処理方法（# 400)。
[6] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の水平方 向への連続性 (Ch)を検出する水平方向文字画素連続性検出ステップ (S508)と、 前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の垂直方 向への連続性 (Cv)を検出する垂直方向文字画素連続性検出ステップ（S510)と、 前記水平方向への連続性 (Ch)および垂直方向への連続性 (Cv)に基づいて、文 字線幅を認識する文字線幅認識ステップ (S518、 S522、 S528)とを備える、請求項 2に記載の映像処理方法（ # 500)。
[7] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の周辺画 素（Pp)の色差値が均一（Y Y(mean)、 Cb^Cb (mean)、 Cr^Cr (mean) )であ るかを判定する周辺画素色差値判定ステップ (S610)と、 周辺画素（Pp)の色差値が均一（Y^Y(mean)、 Cb^Cb (mean) , Cr=Cr (mea n) )であると判定される場合には、前記文字情報 (Ic)は一定色で縁取りされているこ とを認識する縁取り認識ステップ (S628)とを備える、請求項 2に記載の映像処理方 法（# 600)。
[8] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示フレームテーブル (014； Fc)に登録されて 、る前記文字情報 (Ic； P c)の出現期間 (P1)を検出する文字情報出現期間検出ステップ (S704)と、
前記文字表示フレームテーブル (014； Fc)に登録されて 、る前記文字情報 (Ic； P c)の非出現期間 (P2)を検出する文字情報非出現期間検出ステップ (S708)と、 前記検出された出現期間 (P1)および非出現期間 (P2)に基づいて、前記文字情 報 (Ic)が一定の時間間隔で表示および消去を繰り返す点滅表示であることを認識す る文字情報点滅表示認識ステップ (S710)とを備える、請求項 2に記載の映像処理 方法（# 700)。
[9] 前記文字認識ステップ (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)および前記前記文字表示フレームテープ ル（014 ;Fc)に基づいて、時間軸上の任意の第 1のフレームにおける文字画素（Pc) の第 1の分布 (Dn)を検出する第 1画素分布検出ステップ (S806)と、
前記文字表示画素テーブル (013 ; Cp)および前記前記文字表示フレームテープ ル (014 ;Fc)に基づいて、前記第 1のフレームとは異なる時間軸上の任意の第 2のフ レームにおける文字画素（Pc)の第 2の分布 (D β )を検出する第 2画素分布検出ステ ップ（S808)と、
前記第 1の分布（Dn)に基づいて、前記第 1のフレームと第 2のフレームの間の任意 の時間軸上の文字画素（Pc)の第 3の分布 (Dd)を検出する第 3画素分布検出ステツ プ（S810、 S812)と、
前記第 2の分布 (D β )と前記第 3の分布 (Dd)との差分を検出する分布差分検出ス テツプ（S814)と、
前記差分に基づ 、て、前記文字情報 (Ic)が一定の速度で移動する移動表示であ ることを認識する移動表示認識ステップ (S814、 S816)とを備える、請求項 2に記載 の映像処理方法（# 800)。
[10] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr、 VCb)に基づ 、てそれぞれ線形補間する 画素値補間ステップ（S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステツ プ（S 1308、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb 、 Cr)からは前記文字情報 (Ic)は消去されていることを特徴とする、請求項 2に記載 の映像処理方法（# 1300)。
[11] さらに、前記文字表示フレームテーブル (014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb, VCr)で補間する画素値補間ステップ (S1 308)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、前記文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステップ (S 1 308、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb、 Cr) からは前記文字情報 (Ic)は消去されていることを特徴とする、請求項 2に記載の映像 処理方法（# 1100)。
[12] 前記文字表示フレームテーブル (014 ;Fp)に登録されているフレームにおける前 記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Cp)の輝度値 (V Yt)および色差値 (VCbt、 VCrt)を、前記文字表示画素テーブルに登録されて!、な い時間的に近接するフレームにおいて対応する画素（P)の輝度値 (VY)および色差 値 (VCb、 VCr)で補間する画素値補間ステップ（S1308)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、前記文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステップ (S 1 308、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb、 Cr) からは前記文字情報 (Ic)は消去されていることを特徴とする、請求項 9に記載の映像 処理方法（# 1200)。
[13] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr, VCb)に基づ 、てそれぞれ線形補間する 画素値補間ステップ（S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステツ プ（S1308、 S1312)と、
前記文字表示画素テーブル (014； Fp)に登録されて 、る文字画素（Pc)を所定距 離だけ移動させた時の位置を求める文字画素移動後位置決定ステップ (S 1410)と 前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定ス テツプ（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更ステップ (S1412)とを備え、前記文字情報 (Ic)は所定距離 だけ移動されることを特徴とする請求項 2に記載の映像処理方法（ # 1400)。
[14] さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb, VCr)で補間する画素値補間ステップ (S1 308)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステップ (S 1 308、 S1312)と、 前記文字表示画素テーブル (014； Fp)に登録されて 、る文字画素（Pc)を所定距 離だけ移動させた時の位置を求める文字画素移動後位置決定ステップ (S 1410)と 前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定ス テツプ（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb、 VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更ステップ (S1412)とを備え、前記文字情報 (Ic)は所定距離 だけ移動されることを特徴とする請求項 2に記載の映像処理方法（ # 1400)。
[15] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr, VCb)に基づ 、てそれぞれ線形補間する 画素値補間ステップ（S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステツ プ（S1308、 S1312)と、
前記文字画素 (P)の各座標値 (x、 y)を所定の拡倍量 (M)で拡倍する拡倍ステツ プ（S1510)と、
前記拡倍された位置に対応する画素 (P)を決定する移動後画素決定ステップ (S 1 512)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する拡倍先画素値変更ステップ (S1516)とを備え、前記文字情報 (Ic)は前記拡倍 量 (M)だけ拡倍されることを特徴とする請求項 2に記載の映像処理方法（ # 1500)。
[16] さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb、 VCr)で補間する画素値補間ステップ (S1 516)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステップ (S 1 308、 S1312)と、
前記文字画素 (P)の各座標値 (X, y)を所定の拡倍量 (M)で拡倍する拡倍ステツ プ（S1510)と、
前記拡倍された位置に対応する画素 (P)を決定する移動後画素決定ステップ (S 1 512)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb、 VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する拡倍先画素値変更ステップ (S1516)とを備え、前記文字情報 (Ic)は前記拡倍 量 (M)だけ拡倍されることを特徴とする請求項 2に記載の映像処理方法（ # 1500)。 さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr, VCb)に基づ 、てそれぞれ線形補間する 画素値補間ステップ（S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステツ プ（S1308、 S1312)と、
前記映像ストリーム（Svc)における非注目領域を認識する非注目領域認識ステツ プ（S 1604)と、
前記非注目領域と前記文字情報 (Ic)との離間距離 (S)を算出する離間距離検出 ステップ（S 1608)と、
前記文字画素 (Pc)を前記離間距離 (S)だけ移動させた時の位置を求める文字画 素移動後位置決定ステップ（S1410)と、
前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定ス テツプ（S1410)と、 前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更ステップ (S1412)とを備え、前記文字情報 (Ic)は所定距離 だけ移動されることを特徴とする請求項 2に記載の映像処理方法（ # 1400)。
[18] さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb, VCr)で補間する画素値補間ステップ（ # 1 400R)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正ステップ (S 1 308、 S1312)と、
前記映像ストリーム（Svc)における非注目領域を認識する非注目領域認識ステツ プ（S 1604)と、
前記非注目領域と前記文字情報 (Ic)との離間距離 (S)を算出する離間距離検出 ステップ（S 1608)と、
前記文字画素 (Pc)を前記離間距離 (S)だけ移動させた時の位置を求める文字画 素移動後位置決定ステップ（S1410)と、
前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定ス テツプ（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更ステップ (S1412)とを備え、前記文字情報 (Ic)は所定距離 だけ移動されることを特徴とする請求項 2に記載の映像処理方法（ # 1400)。
[19] 入力される映像ストリーム（Svc)に組み込まれた文字情報 (Ic)に選択的に処理を 施す映像処理装置 (Avp)であって、
前記映像ストリーム（Svc)をフレーム単位で輝度情報 (VY)を示す輝度フレーム (Y )と、色差情報 (VCb、 VCr)を示す複数の色差フレーム (Cb、 Cr)とに分離する映像 ストリーム分離手段 (003)と、
前記輝度情報 (VY)および前記輝度情報 (VCb、 VCr)の少なくとも何れかに基づ Vヽて、前記組み込まれた文字情報 (Ic)を認識する文字認識手段 (011； # 100〜 # 800)と、
前記認識された文字情報 (Ic)に対して、消去、移動、および拡倍の少なくとも何れ かの処理を施す文字カ卩工手段 (012 ; # 1100〜# 1600)とを備える映像処理装置（ Avp)。
[20] 前記文字認識手段 (011； # 100〜 # 800)は、
前記輝度フレーム (Υ)における画素（Ρ)の輝度値 (VY)を閾値 (Vth)と比較する 輝度値判定手段 (S208)と、
前記閾値 (Vth)より大きな輝度値 (VY)を有する画素 (P)を前記文字情報 (Ic)を 表す文字画素 (Pc)として認識する文字画素認識手段 (S208、 S210)と、
前記認識された文字画素（Pc)を文字表示画素テーブル (013； Cp)に登録する 文字画素登録手段 (S216)と、
前記認識された文字画素 (Pc)がーつ以上存在するフレームを前記文字情報 (Ic )が含まれるフレームとして文字表示フレームテーブル (014 ;Fc)に登録する文字情 報フレーム登録手段（S212、 S216)とを備える、請求項 19に記載の映像処理装置（ Avp)。
[21] 前記文字認識手段 (011； # 100〜 # 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の色差値 (Vcb、 Vcr)が所定範囲内（VcbKVcbく Vcb2、 VcrKVcrく Vcr2)であるかを 判定する色差値判定手段 (S312)と、
前記色差値 (Vcb、 Vcr)が所定範囲内（VcbKVcbく Vcb2、 Vcr 1 < Vcr < Vcr 2)であると判定される場合には、前記文字情報 (Ic)は同一色であると認識する文字 同一色認識手段（S312、 Yes)とを備える、請求項 20に記載の映像処理装置 (Avp ; # 300)。
[22] 前記文字認識手段 (011 ; # 100〜# 800)は、さらに、 前記輝度判定手段 (S208)により、その輝度値 (VY)が閾値 (Vth)と比較される 画素（P)を選択する画素選択手段（ # 100、 S206)を備える、請求項 20に記載の映 像処理装置 (Avp:#100)。
[23] 前記文字認識手段 (011;#100〜#800)は、さらに、
前記文字表示画素テーブル (013; Cp)に登録されて 、る文字画素（Pc)の相互の 離間距離 (L)を算出する文字画素間距離算出手段 (S408、 S410)と、
前記算出された離間距離 (L)を平均して平均離間距離 (L (mean) )を算出する平 均離間距離算出手段 (S412)と、
隣接する文字画素 (Pc)との前記離間距離 (L)が前記平均離間距離 (L (mean) ) より所定距離 ( y )だけ大きな文字画素 (Pc)を前記文字表示画素テーブル (013)か ら削除する非文字画素認定手段（S416、 S418)とを備える、請求項 20に記載の映 像処理装置 (Avp:#400)。
[24] 前記文字認識手段 (011;#100〜#800)は、さらに、
前記文字表示画素テーブル (013; Cp)に登録されて 、る文字画素（Pc)の水平方 向への連続性 (Ch)を検出する水平方向文字画素連続性検出手段（S508)と、 前記文字表示画素テーブル (013; Cp)に登録されて 、る文字画素（Pc)の垂直方 向への連続性 (Cv)を検出する垂直方向文字画素連続性検出手段（S510)と、 前記水平方向への連続性 (Ch)および垂直方向への連続性 (Cv)に基づいて、文 字線幅を認識する文字線幅認識手段（S518、 S522、 S528)とを備える、請求項 20 に記載の映像処理装置 (Avp； # 500)。
[25] 前記文字認識手段 (011;#100〜#800)は、さらに、
前記文字表示画素テーブル (013; Cp)に登録されて 、る文字画素（Pc)の周辺画 素（Pp)の色差値が均一（Y Y(mean)、 Cb^Cb (mean)、 Cr^Cr (mean))であ るかを判定する周辺画素色差値判定手段 (S610)と、
周辺画素（Pp)の色差値が均一（Y^Y(mean)、 Cb^Cb (mean) , Cr=Cr (mea n))であると判定される場合には、前記文字情報 (Ic)は一定色で縁取りされているこ とを認識する縁取り認識手段（S628)とを備える、請求項 20に記載の映像処理装置 (Avp; #600)。 [26] 前記文字認識手段 (011 ; # 100〜# 800)は、さらに、
前記文字表示フレームテーブル (014； Fc)に登録されて 、る前記文字情報 (Ic； P c)の出現期間 (P1)を検出する文字情報出現期間検出手段 (S704)と、
前記文字表示フレームテーブル (014； Fc)に登録されて 、る前記文字情報 (Ic； P c)の非出現期間 (P2)を検出する文字情報非出現期間検出手段 (S708)と、 前記検出された出現期間 (P1)および非出現期間 (P2)に基づいて、前記文字情 報 (Ic)が一定の時間間隔で表示および消去を繰り返す点滅表示であることを認識す る文字情報点滅表示認識手段 (S710)とを備える、請求項 20に記載の映像処理装 置 (Avp ; # 700)。
[27] 前記文字認識手段 (011 ; # 100〜# 800)は、さらに、
前記文字表示画素テーブル (013 ; Cp)および前記前記文字表示フレームテープ ル（014 ;Fc)に基づいて、時間軸上の任意の第 1のフレームにおける文字画素（Pc) の第 1の分布 (Dn)を検出する第 1画素分布検出手段 (S806)と、
前記文字表示画素テーブル (013 ; Cp)および前記前記文字表示フレームテープ ル (014 ;Fc)に基づいて、前記第 1のフレームとは異なる時間軸上の任意の第 2のフ レームにおける文字画素（Pc)の第 2の分布 (D β )を検出する第 2画素分布検出手 段（S808)と、
前記第 1の分布（Dn)に基づいて、前記第 1のフレームと第 2のフレームの間の任意 の時間軸上の文字画素 (Pc)の第 3の分布 (Dd)を検出する第 3画素分布検出手段（ S810、 S812)と、
前記第 2の分布 (D β )と前記第 3の分布 (Dd)との差分を検出する分布差分検出 手段（S814)と、
前記差分に基づ 、て、前記文字情報 (Ic)が一定の速度で移動する移動表示であ ることを認識する移動表示認識手段（S814、 S816)とを備える、請求項 20に記載の 映像処理装置 (Avp； # 800)。
[28] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr、 VCb)に基づ 、てそれぞれ線形補間する 画素値補間手段 (S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCr、 VCb)で、当該文字画素 の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 1 308、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb、 Cr) からは前記文字情報 (Ic)は消去されていることを特徴とする、請求項 20に記載の映 像処理装置 (Avp； # 1300)。
[29] さらに、前記文字表示フレームテーブル (014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb, VCr)で補間する画素値補間手段 (S 130 8)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、前記文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 130 8、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb、 Cr)から は前記文字情報 (Ic)は消去されていることを特徴とする、請求項 20に記載の映像処 理装置 (Avp ; # 1100)。
[30] 前記文字表示フレームテーブル (014 ;Fp)に登録されているフレームにおける前 記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Cp)の輝度値 (V Yt)および色差値 (VCbt、 VCrt)を、前記文字表示画素テーブルに登録されて!、な い時間的に近接するフレームにおいて対応する画素（P)の輝度値 (VY)および色差 値 (VCb、 VCr)で補間する画素値補間手段（S1308)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、前記文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 130 8、 S1312)とを備え、前記上書きされた輝度信号 (Y)および色差信号 (Cb、 Cr)から は前記文字情報 (Ic)は消去されていることを特徴とする、請求項 27に記載の映像処 理装置 (Avp ; # 1200)。
[31] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr、 VCb)に基づ 、てそれぞれ線形補間する 画素値補間手段 (S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 1308、 S1312)と、
前記文字表示画素テーブル (014； Fp)に登録されて 、る文字画素（Pc)を所定距 離だけ移動させた時の位置を求める文字画素移動後位置決定手段 (S1410)と、 前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定手 段（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更手段 (S1412)とを備え、前記文字情報 (Ic)は所定距離だけ 移動されることを特徴とする請求項 20記載の映像処理装置 (Avp : # 1400)。
さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VYt)および色差値 (VCb, VCr)で補間する画素値補間手段 (S130 8)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 130 8、 S1312)と、
前記文字表示画素テーブル (014； Fp)に登録されて 、る文字画素（Pc)を所定距 離だけ移動させた時の位置を求める文字画素移動後位置決定手段 (S1410)と、 前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定手 段（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更手段 (S1412)とを備え、前記文字情報 (Ic)は所定距離だけ 移動されることを特徴とする請求項 20に記載の映像処理装置 (Avp ; # 1400)。
[33] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr, VCb)に基づ 、てそれぞれ線形補間する 画素値補間手段 (S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 1308、 S1312)と、
前記文字画素 (P)の各座標値 (X, y)を所定の拡倍量 (M)で拡倍する拡倍手段 (S 1510)と、
前記拡倍された位置に対応する画素 (P)を決定する移動後画素決定手段 (S151 2)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する拡倍先画素値変更手段 (S1516)とを備え、前記文字情報 (Ic)は前記拡倍量（ M)だけ拡倍されることを特徴とする請求項 20に記載の映像処理装置 (Avp ; # 150 0)。
[34] さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb, VCr)で補間する画素値補間手段 (S151 6)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 130 8、 S1312)と、 前記文字画素の各座標値 (X, y)を所定の拡倍量 (M)で拡倍する拡倍手段 (S 15 10)と、
前記拡倍された位置に対応する画素 (P)を決定する移動後画素決定手段 (S151 2)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb、 VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する拡倍先画素値変更手段 (S1516)とを備え、前記文字情報 (Ic)は前記拡倍量（ M)だけ拡倍されることを特徴とする請求項 20に記載の映像処理装置 (Avp ; # 150 0)。
[35] さらに、前記文字表示画素テーブル (013 ; Cp)に登録されている文字画素 の 輝度値 (VYt)および色差値 (VCbt、 VCrt)を、当該文字画素 (Pc)に隣接する画素 (P)の輝度値 (VY)および色差値 (VCr, VCb)に基づ 、てそれぞれ線形補間する 画素値補間手段 (S1306)と、
前記線形補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画 素の輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 1308、 S1312)と、
前記映像ストリーム (Svc)における非注目領域を認識する非注目領域認識手段 (S 1604)と、
前記非注目領域と前記文字情報 (Ic)との離間距離 (S)を算出する離間距離検出 手段（S1608)と、
前記文字画素 (Pc)を前記離間距離 (S)だけ移動させた時の位置を求める文字画 素移動後位置決定手段 (S1410)と、
前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定手 段（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb, VCr)のそれぞれを 前記文字画素 (Pc)の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書き する移動先画素値変更手段 (S1412)とを備え、前記文字情報 (Ic)は所定距離だけ 移動されることを特徴とする請求項 20に記載の映像処理装置 (Avp ; # 1400)。 [36] さらに、前記文字表示フレームテーブル（014 ;Fp)に登録されているフレームにお ける前記文字表示画素テーブル (013 ; Cp)に登録されて 、る文字画素（Pc)の輝度 値 (VYt)および色差値 (VCbt、 VCrt)のそれぞれを当該文字表示フレームテープ ル (014； Fp)に登録されて 、な 、時間的に近接したフレームにおける対応する画素 (P)の輝度値 (VY)および色差値 (VCb、 VCr)で補間する画素値補間手段（ # 140 OR)と、
前記補間された輝度値 (VYt)および色差値 (VCbt、 VCrt)で、当該文字画素の 輝度信号 (Y)および色差信号 (Cb、 Cr)を上書きするフレーム信号補正手段 (S 130 8、 S1312)と、
前記映像ストリーム (Svc)における非注目領域を認識する非注目領域認識手段 (S 1604)と、
前記非注目領域と前記文字情報 (Ic)との離間距離 (S)を算出する離間距離検出 手段（S1608)と、
前記文字画素 (Pc)を前記離間距離 (S)だけ移動させた時の位置を求める文字画 素移動後位置決定手段 (S1410)と、
前記決定された移動後の位置に対応する画素 (P)を決定する移動後画素決定手 段（S1410)と、
前記決定された画素（P)の輝度値 (VY)および色差値 (VCb、 VCr)のそれぞれを 前記文字画素の輝度値 (VY (c) )および色差値 (VCb (c)、 VCr (c) )で上書きする 移動先画素値変更手段 (S1412)とを備え、前記文字情報 (Ic)は所定距離だけ移 動されることを特徴とする請求項 20に記載の映像処理装置 (Avp ; # 1400)。
[37] 請求項 20に記載の映像処理装置 (Avp)によって処理が施された映像ストリーム（S vt)を再生する再生手段 (020)を備える映像再生装置 (Ap)。
[38] 前記再生された映像ストリーム (Svts)に基づ 、て映音像を提示する提示手段 (02 1)をさらに備える、請求項 37に記載の映像再生表示装置 (Ap)。
[39] 請求項 20に記載の映像処理装置 (Avp)によって処理を施された映像ストリーム（S vt)を記録する記録手段 (016、 017、 019)を備える映像記録装置 (Ar)。
PCT/JP2005/013143 2004-07-20 2005-07-15 映像処理装置およびその方法 WO2006009105A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/632,967 US7817856B2 (en) 2004-07-20 2005-07-15 Video processing device and its method
JP2006529179A JP4667381B2 (ja) 2004-07-20 2005-07-15 映像処理装置およびその方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-211952 2004-07-20
JP2004211952 2004-07-20

Publications (1)

Publication Number Publication Date
WO2006009105A1 true WO2006009105A1 (ja) 2006-01-26

Family

ID=35785216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/013143 WO2006009105A1 (ja) 2004-07-20 2005-07-15 映像処理装置およびその方法

Country Status (4)

Country Link
US (1) US7817856B2 (ja)
JP (1) JP4667381B2 (ja)
CN (1) CN100542239C (ja)
WO (1) WO2006009105A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8499212B2 (en) 2007-10-23 2013-07-30 Thomson Licensing Method and apparatus for adaptive forward error correction with merged automatic repeat request for reliable multicast in wireless local area networks
CN104023167A (zh) * 2014-04-03 2014-09-03 江苏省广播电视集团有限公司 应急备播系统及其备播方法
US11528387B2 (en) 2020-07-22 2022-12-13 Ricoh Company, Ltd. Information processing apparatus, method and non-transitory recording medium storing program codes for replacing color of character pixel based on selection of first and second processing methods

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080199098A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Information processing method, information processing apparatus, and storage medium having program stored thereon
US8929461B2 (en) * 2007-04-17 2015-01-06 Intel Corporation Method and apparatus for caption detection
JP2009278373A (ja) * 2008-05-14 2009-11-26 Sharp Corp 画像処理装置、画像形成装置及びコンピュータプログラム
WO2010055560A1 (ja) * 2008-11-12 2010-05-20 富士通株式会社 テロップ移動処理装置、方法及びプログラム
US11080513B2 (en) 2011-01-12 2021-08-03 Gary S. Shuster Video and still image data alteration to enhance privacy
US8744119B2 (en) 2011-01-12 2014-06-03 Gary S. Shuster Graphic data alteration to enhance online privacy
US20120207386A1 (en) * 2011-02-11 2012-08-16 Microsoft Corporation Updating A Low Frame Rate Image Using A High Frame Rate Image Stream
WO2012148238A2 (ko) * 2011-04-28 2012-11-01 삼성전자 주식회사 무선 통신 시스템에서의 데이터 전송률 조절 방법 및 장치
JP5349649B1 (ja) * 2012-05-25 2013-11-20 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
US9628865B2 (en) * 2012-09-10 2017-04-18 Apple Inc. Enhanced closed caption feature
US8750675B2 (en) * 2012-09-21 2014-06-10 International Business Machines Corporation Accessing and storing original broadcast content
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
US9569679B1 (en) * 2012-12-04 2017-02-14 A9.Com, Inc. Adaptive image sampling for text detection
US10311318B2 (en) * 2015-07-17 2019-06-04 Rakuten, Inc. Reference line setting device, reference line setting method and reference line setting program
US10424055B2 (en) * 2016-05-27 2019-09-24 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62178666U (ja) * 1986-05-06 1987-11-13
JP2000350095A (ja) * 1999-06-08 2000-12-15 Yamaha Corp 映像処理装置
JP2001136450A (ja) * 1999-11-02 2001-05-18 Funai Electric Co Ltd 映像表示装置
JP2004023492A (ja) * 2002-06-17 2004-01-22 Sharp Corp 表示装置、映像表示方法、映像表示プログラム、および記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262860A (en) * 1992-04-23 1993-11-16 International Business Machines Corporation Method and system communication establishment utilizing captured and processed visually perceptible data within a broadcast video signal
GB9312690D0 (en) * 1993-06-18 1993-08-04 Philips Electronics Uk Ltd Television receiver
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
JPH09200684A (ja) 1996-01-12 1997-07-31 Sony Corp 映像／音声信号記録装置
MY119560A (en) * 1996-05-27 2005-06-30 Nippon Telegraph & Telephone Scheme for detecting captions in coded video data without decoding coded video data
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6937766B1 (en) * 1999-04-15 2005-08-30 MATE—Media Access Technologies Ltd. Method of indexing and searching images of text in video
US6587153B1 (en) * 1999-10-08 2003-07-01 Matsushita Electric Industrial Co., Ltd. Display apparatus
US6823084B2 (en) * 2000-09-22 2004-11-23 Sri International Method and apparatus for portably recognizing text in an image sequence of scene imagery
JP3953886B2 (ja) * 2002-05-16 2007-08-08 セイコーエプソン株式会社 字幕抽出装置
KR100477656B1 (ko) * 2002-07-27 2005-03-22 삼성전자주식회사 디지털 화질 개선 방법 및 장치
EP1561343A4 (en) * 2002-11-15 2007-03-21 Thomson Licensing METHODS FOR CONTROLLING DEVICES HAVING EMERGENCY ALERT FUNCTION
KR20060116819A (ko) * 2003-11-17 2006-11-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 영상 처리 방법
KR100537520B1 (ko) * 2004-02-18 2005-12-19 삼성전자주식회사 동영상의 자막 검출 방법 및 장치
KR20060084599A (ko) * 2005-01-20 2006-07-25 엘지전자 주식회사 영상표시기기의 문자 표시장치 및 방법
KR20080031555A (ko) * 2006-10-04 2008-04-10 삼성전자주식회사 데이터 송수신 장치 및 방법
JP4861845B2 (ja) * 2007-02-05 2012-01-25 富士通株式会社 テロップ文字抽出プログラム、記録媒体、方法及び装置
JP4536790B2 (ja) * 2008-04-30 2010-09-01 シャープ株式会社 情報出力装置、情報出力方法、制御プログラム、コンピュータ読み取り可能な記録媒体、および電子会議システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62178666U (ja) * 1986-05-06 1987-11-13
JP2000350095A (ja) * 1999-06-08 2000-12-15 Yamaha Corp 映像処理装置
JP2001136450A (ja) * 1999-11-02 2001-05-18 Funai Electric Co Ltd 映像表示装置
JP2004023492A (ja) * 2002-06-17 2004-01-22 Sharp Corp 表示装置、映像表示方法、映像表示プログラム、および記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8499212B2 (en) 2007-10-23 2013-07-30 Thomson Licensing Method and apparatus for adaptive forward error correction with merged automatic repeat request for reliable multicast in wireless local area networks
CN104023167A (zh) * 2014-04-03 2014-09-03 江苏省广播电视集团有限公司 应急备播系统及其备播方法
US11528387B2 (en) 2020-07-22 2022-12-13 Ricoh Company, Ltd. Information processing apparatus, method and non-transitory recording medium storing program codes for replacing color of character pixel based on selection of first and second processing methods

Also Published As

Publication number Publication date
JP4667381B2 (ja) 2011-04-13
CN1989765A (zh) 2007-06-27
JPWO2006009105A1 (ja) 2008-05-01
CN100542239C (zh) 2009-09-16
US20080085051A1 (en) 2008-04-10
US7817856B2 (en) 2010-10-19

Similar Documents

Publication Publication Date Title
JP4667381B2 (ja) 映像処理装置およびその方法
JP3773670B2 (ja) 情報呈示方法および情報呈示装置および記録媒体
EP1986128B1 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
KR100636910B1 (ko) 동영상검색시스템
US20110286720A1 (en) Electronic apparatus, video processing method, and program
EP1600973A1 (en) Moving image processing apparatus and method
US20040240005A1 (en) Editing apparatus and method using thumbnail image
CN104272753A (zh) 显示装置、服务器及其控制方法
JP3312105B2 (ja) 動画像インデックス生成方法および生成装置
CN110502117B (zh) 电子终端中的截图方法以及电子终端
US7944506B2 (en) Caption presentation method and apparatus using same
JP3372096B2 (ja) 画像情報アクセス装置
JP2010109852A (ja) 映像インデクシング方法、映像録画再生装置、及び映像再生装置
JP2007515864A (ja) ビデオ画像処理方法
JPWO2007114241A1 (ja) 映像処理装置
JP3176037B2 (ja) ナビゲーション装置および同装置における映像データ表示方法
JP3468404B2 (ja) 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体
US20090310931A1 (en) Information recording and reproducing apparatus and method of recording information
JP4540358B2 (ja) ポインタ位置特定プログラムおよびポインタ位置特定方法
US7319468B2 (en) Image display apparatus
JPH06169458A (ja) 移動体の自動追尾装置
JP2000125243A (ja) 映像記録再生装置及び記録媒体
US6243086B1 (en) Reproduction apparatus
JP2008289088A (ja) データ表示制御装置、データ表示制御方法及びプログラム
WO2006046321A1 (en) Apparatus, method, and program product for reproducing or recording moving image

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006529179

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11632967

Country of ref document: US

Ref document number: 200580024389.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 11632967

Country of ref document: US