WO2009110751A2 - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2009110751A2
WO2009110751A2 PCT/KR2009/001081 KR2009001081W WO2009110751A2 WO 2009110751 A2 WO2009110751 A2 WO 2009110751A2 KR 2009001081 W KR2009001081 W KR 2009001081W WO 2009110751 A2 WO2009110751 A2 WO 2009110751A2
Authority
WO
WIPO (PCT)
Prior art keywords
signal
audio signal
coding type
type
coding
Prior art date
Application number
PCT/KR2009/001081
Other languages
English (en)
French (fr)
Other versions
WO2009110751A3 (ko
Inventor
이현국
윤성용
김동수
임재현
Original Assignee
Lg Electronics Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Electronics Inc. filed Critical Lg Electronics Inc.
Priority to CN2009801136190A priority Critical patent/CN102007534B/zh
Priority to ES09717694.5T priority patent/ES2464722T3/es
Priority to CA2717584A priority patent/CA2717584C/en
Priority to EP09717694.5A priority patent/EP2259254B1/en
Priority to JP2010549573A priority patent/JP5108960B2/ja
Priority to AU2009220341A priority patent/AU2009220341B2/en
Priority to US12/497,119 priority patent/US8135585B2/en
Publication of WO2009110751A2 publication Critical patent/WO2009110751A2/ko
Publication of WO2009110751A3 publication Critical patent/WO2009110751A3/ko

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal

Definitions

  • the present invention relates to an audio signal processing method and apparatus capable of efficiently encoding and decoding all kinds of various types of audio signals.
  • perceptual audio coder optimized for music is a method of reducing the amount of information in the encoding process by using a masking principle, which is a human listening psychoacoustic theory on the frequency axis.
  • a linear prediction based coder optimized for speech is a method of reducing the amount of information by modeling speech utterance on the time axis.
  • An object of the present invention is to provide an audio signal processing method and apparatus capable of compressing and restoring various kinds of audio signals with higher efficiency.
  • An embodiment of an audio signal processing method of the present invention may include identifying whether a coding type of an audio signal is a music signal coding type by using first type information, and when the coding type of the audio signal is not a music signal coding type, Identifying whether a coding type of the audio signal is a voice signal coding type or a mixed signal coding type using second type information, and when the coding type of the audio signal is a mixed signal coding type, spectral from the audio signal Extracting data and linear prediction coefficients, generating reverse signals by inverse frequency transforming the spectral data, and performing linear prediction coding on the linear prediction coefficients and the residual signals to restore an audio signal And using the extension base signal and the band extension information which are partial regions of the reconstructed audio signal. And a step of restoring the high frequency region signal.
  • an embodiment of an audio processing apparatus of the present invention includes a demultiplexer for extracting first type information, second type information, and band extension information from a bitstream, and a coding type of an audio signal using the first type information. If the coding type of the audio signal is not a music signal coding type, identifying whether the coding type of the audio signal is a voice signal coding type or a mixed signal coding type using second type information. Next, a decoder determiner for determining a decoding method, an information extractor for extracting spectral data and linear prediction coefficients from the audio signal, and the spectral data when the coding type of the audio signal is a mixed signal coding type.
  • a frequency converter for generating a residual signal for linear prediction by frequency conversion, the linear prediction coefficient and the register And a linear prediction unit for linearly predicting and coding the dual signal to restore the audio signal, and a bandwidth extension decoding unit for reconstructing the high frequency region signal by using the extension base signal and the band extension information which are partial regions of the reconstructed audio signal.
  • the audio signal may include a plurality of subframes, and the second type information may exist in units of the subframes.
  • the bandwidth of the high frequency region signal may be generated not equal to the bandwidth of the extension base signal, wherein the band extension information is a filter range applied to the reconstructed audio signal, a start frequency of the extension base signal, and the It may include information of any one or more of the end frequency.
  • the audio signal is a frequency domain signal. If the coding type of the audio signal is a voice signal coding type, the audio signal is a time domain signal, and the coding type of the audio signal. If the mixed signal coding type, the audio signal may be an MDCT domain signal.
  • the linear prediction coefficient modes may be extracted, and the linear prediction coefficients having a variable bit size corresponding to the extracted modes may be extracted.
  • an audio coding scheme suitable for each audio signal characteristic provides a more efficient compression and reconstruction of an audio signal.
  • FIG. 1 is a block diagram illustrating an audio encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an audio encoding apparatus according to another embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of the bandwidth preprocessor 150 according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of encoding an audio signal using audio type information according to an embodiment of the present invention.
  • FIG 5 shows an example of an audio bitstream structure encoded by the present invention.
  • FIG. 6 is a block diagram illustrating an audio decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating an audio decoding apparatus according to another embodiment of the present invention.
  • FIG. 8 is a block diagram showing a detailed configuration of the bandwidth expansion unit 250 according to an embodiment of the present invention.
  • FIG. 9 illustrates the configuration of a product in which an audio decoding apparatus according to an embodiment of the present invention is implemented.
  • FIG. 10 illustrates an example of a relationship between products in which an audio decoding apparatus according to an embodiment of the present invention is implemented.
  • FIG. 11 is a flowchart illustrating an audio decoding method according to an embodiment of the present invention.
  • 'Coding' may be interpreted as encoding or decoding in some cases, and information is a term including all values, parameters, coefficients, elements, and the like. .
  • the term 'audio signal' in the present invention refers to all signals that can be visually identified during reproduction as a concept that is distinguished from a video signal.
  • the audio signal may be, for example, a speech signal or a similar signal centered on human pronunciation (hereinafter, referred to as a 'speech signal'), a machine sound and a music centered sound. (music) signal or a similar signal (hereinafter referred to as a 'music signal'), and a 'mixed signal' in which the voice signal and the music signal are mixed.
  • An object of the present invention is to provide a method and apparatus for encoding and decoding audio signals classified into three types according to characteristics of each signal.
  • the classification of the audio signal is only a criterion classified for explanation of the present invention, and even if the audio signal is classified by another method, it is obvious that the technical idea of the present invention is equally applicable. .
  • FIG. 1 is a block diagram illustrating an audio encoding apparatus according to an embodiment of the present invention.
  • FIG. 1 illustrates a process of classifying an input audio signal according to a predetermined criterion and selecting and encoding an audio encoding method suitable for each classified audio signal.
  • a signal classification unit (Sound Activity Detector) 100 for analyzing a characteristic of an input audio signal and classifying it into any one type of a voice signal, a music signal, or a mixed signal of voice and music, and the signal
  • the linear prediction modeling unit 110 for encoding a speech signal among the signal types determined by the classification unit 100, the psychoacoustic modeling unit 120 for encoding a music signal, and a mixed signal for encoding a mixed signal of speech and music
  • the modeling unit 130 is included.
  • the switching unit 101 may select a coding scheme suitable for this.
  • the switching unit 101 will be described later in detail with reference to audio signal coding type information generated by the signal classification unit 100 (for example, first type information and second type information, and FIGS. 2 and 3). Is operated as a control signal.
  • the mixed signal modeling unit 130 may include a linear prediction unit 131, a residual signal extraction unit 132, and a frequency converter 133.
  • a linear prediction unit 131 for example, a linear prediction unit 131
  • a residual signal extraction unit 132 for example, first type information and second type information, and FIGS. 2 and 3
  • a frequency converter 133 for example, a frequency converter 133.
  • the signal classification unit 100 generates a control signal for classifying an input audio signal type and selecting an audio encoding scheme suitable for the input audio signal. For example, the signal classifying unit 100 classifies whether an input audio signal is a music signal, a voice signal, or a mixed signal in which both voice and music signals are mixed. That is, the reason for classifying the type of the audio signal input as described above is to select an optimal coding method among audio coding methods to be described later for each audio signal type. As a result, the signal classification unit 100 may correspond to a process of analyzing an input audio signal and selecting an optimal audio coding scheme.
  • the signal classification unit 100 analyzes an input audio signal to generate audio coding type information, and the generated audio coding type information is used as a criterion for selecting a coding scheme, as well as the final audio signal. It is included in the form of a bitstream and transmitted to the decoding apparatus or the receiving apparatus. A decoding method and apparatus using the audio coding type information will be described later in detail with reference to FIGS. 6 to 8 and 11.
  • the audio coding type information generated by the signal classification unit 100 may include, for example, first type information and second type information. This will be described later in FIGS. 4 and 5.
  • the signal classification unit 100 determines the audio signal type according to the characteristics of the input audio signal. For example, if the input audio signal is a signal that is better modeled with a specific coefficient and a residual signal, it is determined as a voice signal, whereas the signal is a signal that cannot be well modeled with a specific coefficient and a residual signal. In this case, it is determined as a music signal. In addition, when it is difficult to determine any one of the voice signal and the music signal, it may be determined as a mixed signal. Specifically, for example, when the signal is modeled as a specific coefficient and a residual signal, when the energy level ratio of the residual signal to the energy level of the signal is smaller than a predetermined reference value, the signal may be modeled.
  • the signal may be determined as a signal well modeled by linear prediction that predicts the current signal from the past signal, and thus, may be determined as a music signal.
  • the input signal may be encoded using a speech encoder optimized for the speech signal.
  • the linear prediction modeling is performed using a coding scheme suitable for the speech signal.
  • the unit 110 is used.
  • the linear prediction modeling unit 110 has various methods, for example, an Algebraic Code Excited Linear Prediction (ACELP) coding method or an Adaptive Multi-Rate (AMR) coding and an Adaptive Multi-Rate Wideband (AMR-WB) coding. The method can be applied.
  • ACELP Algebraic Code Excited Linear Prediction
  • AMR Adaptive Multi-Rate
  • AMR-WB Adaptive Multi-Rate Wideband
  • the linear prediction modeling unit 110 may linearly predict and encode an input audio signal in units of frames, and extract and quantize prediction coefficients for each frame.
  • a method of extracting prediction coefficients using a 'Levinson-Durbin algorithm' is widely used.
  • linear prediction is performed for each frame.
  • the modeling method can be applied.
  • the input audio signal when the input audio signal is classified as a music signal by the signal classification unit 100, the input signal may be encoded using a music encoder optimized for the music signal.
  • the psychoacoustic modeling unit 120 is used as a suitable coding scheme.
  • the psychoacoustic modeling unit 120 is configured based on a perceptual audio coder.
  • the signal classification unit 100 classifies an input audio signal into a mixed signal in which voice and music are mixed
  • the input signal may be encoded using an encoder optimized for the mixed signal.
  • the mixed signal modeling unit 130 is used as an encoding method suitable for the mixed signal.
  • the mixed signal modeling unit 130 may code the mixed prediction method by modifying the aforementioned linear prediction modeling method and the psychoacoustic modeling method. That is, the mixed signal modeling unit 130 performs linear predictive coding on an input signal and then obtains a residual signal that is a difference between the linearly predicted result signal and the original signal, and the residual signal is frequency transform coded. The way you do it.
  • FIG. 1 illustrates an example in which the mixed signal modeling unit 130 includes a linear predictor 131, a residual signal extractor 132, and a frequency converter 133.
  • the linear prediction unit 131 performs linear prediction analysis on the input signal to extract linear prediction coefficients representing the characteristics of the signal, and uses the linear prediction coefficients extracted by the residual signal extracting unit 132.
  • a residual signal from which duplicate components are removed from the input signal is extracted.
  • the residual signal may have a shape such as white noise since redundancy is removed.
  • the linear predictor 131 may linearly encode an input audio signal in units of frames, and extract and quantize prediction coefficients for each frame. That is, for example, when the input audio signal is composed of a plurality of frames or a plurality of super frames having a plurality of frames as one unit, linear prediction is performed for each frame.
  • the modeling method can be applied.
  • the residual signal extractor 132 receives a residual signal coded through the linear predictor 131 and an original audio signal that has passed through the signal classifier 100, and is a residual signal that is a difference signal between the two signals. Extract the signal.
  • the frequency converter 133 calculates a masking threshold value or a signal-to-mask ratio (SMR) of the residual signal by frequency domain converting the input residual signal using a method such as MDCT. Code dual signals.
  • the frequency converter 133 may code a signal of residual audio tendency using TCX.
  • the linear prediction modeling unit 110 and the linear prediction unit 131 linearly analyze the input audio signal to extract a linear prediction coefficient (LPC) reflecting audio characteristics.
  • LPC linear prediction coefficient
  • a method using a variable bit may be considered.
  • the signal classification unit 100 generates and generates coding type information of an audio signal into two types of information, and includes the same in a bitstream to transmit to the decoding apparatus.
  • audio coding type information according to the present invention will be described in detail with reference to FIGS. 4 and 5.
  • FIG. 4 is a flowchart illustrating a method of encoding an audio signal using coding type information of the audio signal according to an embodiment of the present invention.
  • the present invention proposes a method of expressing a type of an audio signal by dividing it into first type information and second type information. That is, for example, when the input audio signal is determined to be a music signal (S100), the signal classification unit 100 may switch the switching unit (eg, to select an appropriate coding scheme (for example, the psychoacoustic modeling method of FIG. 2). By controlling 101, encoding is performed according to the selected encoding scheme (S110). Subsequently, the control information is configured as first type information and included in the encoded audio bitstream for transmission. In relation to this, the first type information eventually serves as coding identification information indicating that the coding type of the audio signal is a music signal coding time, which is utilized in decoding the audio signal in the decoding method and apparatus.
  • S100 music signal
  • the signal classification unit 100 may switch the switching unit (eg, to select an appropriate coding scheme (for example, the psychoacoustic modeling method of FIG. 2).
  • the control information is configured as first type information and included in the
  • the signal classifying unit 100 may select the coding scheme (for example, the linear prediction modeling method of FIG. 1) suitable for the switching unit 101 (S120). By controlling, the encoding is performed according to the selected encoding scheme (S130). In addition, if it is determined that the input audio signal is a mixed signal (S120), the signal classifying unit 100 sets the switching unit 101 to select an appropriate coding scheme (for example, the mixed signal modeling method of FIG. 1). By controlling, encoding is performed according to the selected encoding scheme (S140).
  • the coding scheme for example, the linear prediction modeling method of FIG. 1
  • control information indicating either the speech signal coding type or the mixed signal coding type is configured as second type information, and is included in the encoded audio bitstream together with the first type information for transmission.
  • the second type information eventually serves as a coding identification information indicating that a coding type of an audio signal is either a voice signal coding type or a mixed signal coding type, which is the first type described above in the decoding method and apparatus. It is used to decode the audio signal along with the information.
  • the first type information and the second type information may be transmitted either only the first type information or both of the first type information and the second type information according to characteristics of the input audio signal.
  • the input audio signal coding type is a music signal coding type
  • only the first type information may be included in the bitstream and transmitted, and the second type information may not be included in the bitstream (Fig. 5 (a)). That is, since the second type information is included in the bitstream only when the input audio signal coding type is the voice signal coding type or the mixed signal coding type, the second type information prevents unnecessary bits to represent the coding type of the audio signal. It works.
  • the first type information is a music signal coding type.
  • the first type information is used as a voice signal coding type or a mixed signal coding type. It is obvious that it can be used as information to indicate. That is, according to the coding environment to which the present invention is applied, by using the audio coding type that is frequently generated as the first type information, the number of bits of the overall bitstream is reduced.
  • FIG 5 shows an example of an audio bitstream structure encoded by the present invention.
  • FIG. 5A illustrates a case where an input audio signal corresponds to a music signal, and includes only the first type information 301 in the bitstream and does not include the second type information.
  • the bitstream includes audio data coded with a coding type corresponding to the first type information 301 (for example, the AAC bitstream 302).
  • FIG. 5B illustrates a case where the input audio signal corresponds to a voice signal, and includes both the first type information 311 and the second type information 312 in the bitstream.
  • the bitstream includes audio data coded with a coding type corresponding to the second type information 312 (for example, the AMR bitstream 313).
  • FIG. 5C illustrates a case where an input audio signal corresponds to a mixed signal, and includes both first type information 321 and second type information 322 in the bitstream.
  • the bitstream includes audio data coded with a coding type corresponding to the second type information 322 (for example, the AAC bitstream 313 to which TXC is applied).
  • 5 (a) to 5 (c) show only information included in an audio bitstream encoded by the present invention as an example, and it will be apparent that various applications are possible within the scope of the present invention.
  • the present invention adds information for identifying AMR and AAC as examples of coding schemes, but various coding schemes are applicable, and coding identification information for identifying them may also be used in various ways.
  • 5 (a) to (c) of the present invention are applicable to one super frame, unit frame, or subframe. That is, it is possible to provide audio signal coding type information for each preset frame unit.
  • a frequency bandwidth expansion process and a channel number change process are performed. It may be done.
  • the bandwidth preprocessor may generate high frequency components using low frequency components, and as an example of the bandwidth preprocessor 150, the modified and improved SBR (Spectral Band Replication) and HBE (High Band Extension) are available.
  • SBR Spectral Band Replication
  • HBE High Band Extension
  • the channel number changing process reduces the bit allocation by encoding channel information of the audio signal into additional information.
  • An example of the channel number changing process may include a downmix channel generator (FIGS. 2 and 140).
  • the downmix channel generator 140 may be, for example, applied to a parametric stereo (PS) scheme.
  • PS is a technique of coding a stereo signal and downmixes the stereo signal to a mono signal.
  • the downmix channel generator 140 downmixes the input multi-channel audio signal to generate spatial information related to the downmix signal and the restoration of the downmixed signal.
  • the signal when a 48 kHz stereo signal is transmitted using the SBR (Spectral Band Replication) and the PS (Parametric Stereo), the signal is passed through the SBR / PS, and a 24 kHz, mono signal signal is left, which may be encoded through an encoder.
  • the reason why the input signal of the encoder is 24 kHz is because the high frequency component is coded through the SBR and downsampled to half of the existing frequency while passing through the SBR, and the reason for the mono signal is that stereo audio is extracted as a parameter through the mono This is because it changes to the sum of signal and additional audio.
  • FIG. 2 illustrates an encoding apparatus including the above-described downmix channel generator 140 and the bandwidth preprocessor 150 as an encoding preprocessing process.
  • the operations of the linear prediction modeling unit 110, the psychoacoustic modeling unit 120, the mixed signal modeling unit 130, and the switching unit 101 are the same.
  • the signal classification unit 100 has the same content of generating the second type information under the first type information, but additionally, controls to control the operations of the downmix channel generator 140 and the bandwidth preprocessor 150. Will generate a signal.
  • the downmix channel generator 140 and the bandwidth preprocessor 150 are analyzed as an encoding preprocessing process by analyzing an input audio signal to determine an audio signal type and analyzing the number of channels and a frequency bandwidth in the audio signal. ) Generates control signals 100b and 100c for controlling the operation and the operation range.
  • FIG. 3 is a block diagram showing a detailed configuration of the bandwidth preprocessor 150 according to an embodiment of the present invention.
  • the bandwidth preprocessor 150 for band extension includes a high frequency region remover 151, an extension information generator 152, and a spatial information inserter 153.
  • the high frequency region remover 151 receives a downmix signal and spatial information from the downmix channel generator 140.
  • the high frequency region removing unit 151 generates reconstruction information including the start frequency and the end frequency of the low frequency downmix signal and the extended basic signal (to be described later) from which the high frequency signal corresponding to the high frequency region of the downmix signal is removed. do.
  • the reconstruction information may be determined based on characteristics of the input signal.
  • the start frequency of the high frequency signal is half of the total bandwidth of the input signal.
  • the reconstruction information may determine the start frequency as a frequency corresponding to less than or equal to half of the entire bandwidth according to the characteristics of the input signal.
  • the reconstruction information is the start frequency at the end of the bandwidth. It may represent a frequency located in.
  • the reconstruction information may be determined using at least one of a signal size, a length of a segment used in coding, and a type of a source, but is not limited thereto.
  • the extension information generator 152 uses the downmix signal and the spatial information generated by the downmix channel generator 14 to generate extension information for determining an extension base signal to be used for decoding.
  • the extended base signal is a frequency signal of the downmix signal used to restore the high frequency signal of the downmix signal removed by the high frequency region remover 151 during decoding, and may be a signal of a low frequency signal or a low frequency signal.
  • the downmix signal may be bandpass filtered to separate the low frequency signal into a low frequency band region and a middle frequency band region. In this case, only the low frequency band region may be used.
  • Extension information can be generated.
  • a boundary frequency for dividing the low frequency band region and the day frequency frequency band region may be set to a fixed value.
  • the signal classification unit 100 analyzes the ratio of voice and music to the mixed signal. The information may be variably determined for each frame.
  • the extension information may correspond to information about a downmix signal that is not removed by the high frequency region removing unit 151, but is not limited thereto.
  • the extension information may be information about some signals of the downmix signal.
  • the extension information when the extension information is information on some signals of the downmix signal, the extension information may include a start frequency and an end frequency of the extension base signal, and further include a range of a filter applied to the frequency signal of the downmix signal. It may include.
  • the spatial information insertion unit 153 inserts the restoration information generated by the high frequency region removing unit 121 and the extension information generated by the extension information generation unit 122 into the spatial information generated by the downmix channel generator 140. The generated new spatial information.
  • FIG. 6 is a diagram illustrating a decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus may restore a signal from an input bitstream by performing an inverse process of an encoding process performed in the encoding apparatus described with reference to FIG. 1.
  • the decoding apparatus may include a demultiplexer 210, a decoder determiner 220, a decoder 230, and a synthesizer 240.
  • the decoder 230 may include a plurality of decoders 231, 232, and 233 which perform decoding by different methods, which are operated under the control of the decoder determiner 220.
  • the decoder 230 may include a linear prediction decoder 231, a psychoacoustic decoder 232, and a mixed signal decoder 233.
  • the mixed signal decoder 233 may include an information extractor 234, a frequency converter 235, and a linear predictor 236.
  • the demultiplexer 210 extracts a plurality of encoded signals and additional information for decoding the signals from an input bitstream. For example, the first type information and the second type information (included only when necessary) included in the aforementioned bitstream are extracted and transmitted to the decoder determiner 220.
  • the decoder determiner 220 determines one of decoding methods in the decoders 231, 232, and 233 from the first type information and the second type information (which are included only when necessary). However, the decoder determiner 220 may determine the decoding method using the additional information extracted from the bitstream. However, when there is no additional information in the bitstream, the decoder determining unit 220 may determine the decoding method by an independent determination method. have. The determination method may utilize the features of the signal classification unit (FIGS. 1 and 100) described above.
  • the linear prediction decoder 231 in the decoder 230 is capable of decoding an audio signal of a voice signal type.
  • the psychoacoustic decoder 232 decodes an audio signal of a music signal type.
  • the mixed signal decoder 233 decodes an audio signal of a mixed type of voice and music.
  • the mixed signal decoder 233 extracts spectral data and linear predictive coefficients from an audio signal, and inverse-frequency transforms the spectral data to generate a residual signal for linear prediction.
  • a linear predictor 236 for linearly predicting and coding the linear predictive coefficient and the residual signal to generate an output signal.
  • the decoded signals are synthesized by the combiner 240 and restored to an audio signal before being encoded.
  • the post-processing process is performed to increase bandwidth and change the number of channels for the decoded audio signal using any one of the linear prediction decoder 231, the psychoacoustic decoder 232, and the mixed signal decoder 233. It means the process.
  • the post-processing process may include a bandwidth extension decoding unit 250 and a plurality of channel generators 260 corresponding to the downmix channel generator 140 and the bandwidth preprocessor 150 of FIG. 2.
  • the extension information generated in the aforementioned bandwidth preprocessor 150 is extracted from the bitstream by the demultiplexer 210 and used.
  • Spectral data of another band (for example, a high frequency band) is generated from some or all of the spectral data from the extension information included in the audio signal bitstream.
  • a block may be generated by grouping into units having similar characteristics in extending the frequency band. This is like creating an envelope region by grouping type slots (or samples) with a common envelope (or envelope characteristic).
  • the bandwidth extension decoding unit 250 includes an extension base region determiner 251, a high frequency region reconstructor 252, and a bandwidth expander 253.
  • the extended base area determiner 251 determines an extended base area among the received downmix signals based on the received extended information, and generates an extended base signal as a result.
  • the downmix signal may be a signal represented in a frequency domain, and the extension base signal refers to a part of a frequency domain of the downmix signal in a frequency domain.
  • the extension information may be used to determine the extension base signal, and may be a range of a filter for filtering a start frequency and an end frequency of the extension base signal, or a portion of the downmix signal.
  • the high frequency region recovery unit 252 receives a downmix signal and extension information, and receives the extension base signal. Thereafter, the high frequency region signal of the downmix signal removed by the encoding end may be restored using the extension base signal and the extension information. In this case, reconstruction information received from the encoding apparatus may be further used.
  • the high frequency region signal may not be included in the downmix signal but may be a high frequency region signal included in the original signal.
  • the high frequency region signal may not be an integer multiple of the downmix signal, and the bandwidth of the high frequency region signal may not be the same as the bandwidth of the extension base signal.
  • the apparatus and method for extending bandwidth according to an embodiment of the present invention does not use all of the downmix signals from which a high frequency region has been removed from an encoding terminal as the extension base signal, and a signal corresponding to some frequency regions of the downmix signals. By using this, it is possible to use a bandwidth extension technique even when the high frequency region to be restored is not an integer multiple of the downmix signal.
  • the high frequency region recovery unit 252 may further include a time extension downmix signal generator (not shown) and a frequency signal extension unit (not shown).
  • the time extension downmix signal generator may extend the downmix signal to the time domain by applying the extension information to the extension base signal.
  • the frequency signal extension unit may expand the signal in the frequency domain of the downmix signal by reducing the number of samples of the time extension downmix signal.
  • the bandwidth extension unit 253 combines the downmix signal and the high frequency region signal when the high frequency region restoration unit 252 includes only the restored high frequency region signal and does not include the low frequency region signal. Generate this extended extended downmix signal.
  • the high frequency region signal may not be an integer multiple of the downmix signal. Accordingly, the bandwidth extension technique according to an embodiment of the present invention may be used for upsampling into a signal that is not a multiple relationship.
  • the extended downmix signal finally generated by the bandwidth extension 253 is input to the multiple channel generator 260 and converted into multiple channels.
  • the demultiplexer 210 extracts first type information and second type information (if necessary) from the input bitstream. In addition, the demultiplexer 210 extracts information (eg, band extension information, reconstruction information, etc.) for post-processing.
  • the decoder determiner 220 first determines a coding type of the received audio signal by using first type information among the extracted information (S1000). If the coding type of the received audio signal is a music signal coding type, the psychoacoustic decoder 232 in the decoder 230 may be utilized, and determined by each frame or subframe, determined by the first type information. The coding scheme to be applied is determined, and then decoding is performed by applying a coding scheme suitable for this (S1100).
  • the decoder determiner 220 first uses the second type information. It is determined whether the coding type of the received audio signal is a voice signal coding type or a mixed signal coding type (S1200).
  • the linear prediction decoder 231 in the decoder 230 may be used, and each frame or subframe may be utilized by using coding identification information extracted from the bitstream. A coding scheme applied to each star is determined, and then decoding is performed by applying a suitable coding scheme (S1300).
  • the mixed signal decoder 233 in the decoder 230 may be utilized, and each frame or subframe may be determined by the second type information.
  • the coding scheme to be applied is determined, and then decoding is performed by applying a coding scheme suitable for this (S1400).
  • the bandwidth extension decoding unit 250 is a post-processing step of decoding an audio signal using any one of the linear prediction decoder 231, the psychoacoustic decoder 232, and the mixed signal decoder 233.
  • a frequency band extension process may be performed at step S1500.
  • the bandwidth extension decoding unit 250 decodes the band extension information extracted from the audio signal bitstream to obtain spectral data of another band (eg, a high frequency band) from some or all of the spectral data. Will be created.
  • a process of generating a plurality of channels in the multi-channel generator 260 may be performed with respect to the audio signal in which the bandwidth is generated after the band extension process (S1600).
  • FIG. 9 is a diagram illustrating a configuration of a product on which a decoding apparatus according to an embodiment of the present invention is implemented.
  • FIG. 10 is a diagram illustrating a relationship between products in which a decoding apparatus according to an embodiment of the present invention is implemented.
  • the wired / wireless communication unit 910 receives a bitstream through a wired / wireless communication scheme.
  • the wired / wireless communication unit 910 may include at least one of a wired communication unit 910A, an infrared communication unit 910B, a Bluetooth unit 910C, and a wireless LAN communication unit 910D.
  • the user authentication unit 920 performs user authentication by inputting user information, and includes one or more of a fingerprint recognition unit 920A, an iris recognition unit 920B, a face recognition unit 920C, and a voice recognition unit 920D.
  • the fingerprint, iris information, facial contour information, and voice information may be input, converted into user information, and the user authentication may be performed by determining whether the user information matches the existing registered user data. .
  • the input unit 930 is an input device for a user to input various types of commands, and may include one or more of a keypad unit 930A, a touch pad unit 930B, and a remote controller unit 930C. It is not limited.
  • the signal decoding unit 950 analyzes signal characteristics using the received bitstream and frame type information, and decodes the signal using a decoding unit corresponding to the corresponding signal characteristics to generate an output signal.
  • the controller 950 receives input signals from the input apparatuses and controls all processes of the signal decoding unit 940 and the output unit 960.
  • the output unit 960 is a component in which an output signal generated by the signal decoding unit 940 is output, and may include a speaker unit 960A and a display unit 960B. When the output signal is an audio signal, the output signal is output to the speaker, and when the output signal is a video signal, the output signal is output through the display.
  • FIG. 10 illustrates a relationship between a terminal and a server corresponding to the product illustrated in FIG. 9.
  • the first terminal 1001 and the second terminal 1002 are each terminals. It can be seen that they can communicate the data to the bitstream in both directions through the wired or wireless communication unit.
  • the server 1003 and the first terminal 1001 may also perform wired or wireless communication with each other.
  • the audio signal processing method according to the present invention can be stored in a computer-readable recording medium which is produced as a program for execution in a computer, and multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • the computer readable recording medium includes all kinds of storage devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted using a wired / wireless communication network.

Abstract

본 발명은 오디오 신호를 보다 높은 효율로 압축 및 복원할 수 있는 인코딩 신호 처리 방법 및 장치를 제공하는 것을 목적으로 한다. 이를 위한 본 발명의 오디오 신호 처리 방법의 실시예는, 제1 타입정보를 이용하여 오디오 신호의 코딩타입이 음악신호 코딩타입인지를 식별하는 단계, 상기 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 경우, 제 2 타입정보를 이용하여 상기 오디오 신호의 코딩타입이 음성신호 코딩타입인지, 혼합신호 코딩타입인지를 식별하는 단계, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 단계, 상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 단계, 상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 오디오 신호를 복원하는 단계 및 상기 복원된 오디오 신호의 일부 영역인 확장 기초 신호 및 대역 확장 정보를 이용하여 고주파 영역 신호를 복원하는 단계를 포함한다. 이를 통하여, 보다 높은 효율로 다양한 종류의 오디오 신호를 부호 및 복호할 수 있게 된다.

Description

오디오 신호 처리 방법 및 장치
본 발명은 다양한 종류의 오디오 신호를 모두 효과적으로 부호화 및 복호화할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다.
종래 오디오 코딩 기술은 크게 지각적 오디오 코더(Perceptual audio coder)와 선형예측 기반 코더(Linear Prediction based coder) 두 부류로 나뉠 수 있다. 예를 들어, 음악(music)에 최적화된 지각적 오디오 코더(Perceptual audio coder)는 주파수축에서 인간의 청취 심리음향이론인 마스킹(masking) 원리를 이용해 부호화 과정에서 정보량을 줄이는 방식이다. 반면, 예를 들어, 음성(speech)에 최적화된 선형예측 기반 코더(Linear Prediction based coder) 는 시간축에서 음성 발성을 모델링하여 정보량을 줄이는 방식이다.
하지만 상기 기술들은 각각 최적화된 오디오 신호(예를 들어, 음성 또는 음악 신호)에 대해서는 좋은 성능을 보이나, 다른 종류의 오디오 신호 혹은 음성과 음악 신호가 복잡하게 혼합된 오디오 신호에 대해서는 일관적인 성능을 보여주지 못하는 문제점이 있다.
본 발명은 다양한 종류의 오디오 신호를 보다 높은 효율로 압축 및 복원할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명은, 오디오 신호의 특성에 적합한 오디오 코딩 방법을 제공하고자 한다. 본 발명의 오디오 신호 처리 방법의 실시예는, 제1 타입정보를 이용하여 오디오 신호의 코딩타입이 음악신호 코딩타입인지를 식별하는 단계, 상기 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 경우, 제 2 타입정보를 이용하여 상기 오디오 신호의 코딩타입이 음성신호 코딩타입인지, 혼합신호 코딩타입인지를 식별하는 단계, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 단계, 상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 단계, 상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 오디오 신호를 복원하는 단계 및 상기 복원된 오디오 신호의 일부 영역인 확장 기초 신호 및 대역 확장 정보를 이용하여 고주파 영역 신호를 복원하는 단계를 포함한다.
또한, 본 발명의 오디오 처리 장치의 실시예는, 비트스트림으로부터 제1 타입정보, 제2 타입정보, 대역 확장 정보를 추출하는 디멀티플렉서, 상기 제1 타입정보를 이용하여 오디오 신호의 코딩타입이 음악신호 코딩타입인지를 식별하고, 상기 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 경우, 제 2 타입정보를 이용하여 상기 오디오 신호의 코딩타입이 음성신호 코딩타입인지 또는 혼합신호 코딩타입인지를 식별한 후, 복호화 방식을 결정하는 복호화기 결정부, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 정보추출부, 상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 주파수 변환부, 상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 오디오 신호를 복원하는 선형 예측부, 및 상기 복원된 오디오 신호의 일부 영역인 확장 기초 신호 및 대역 확장 정보를 이용하여 고주파 영역 신호를 복원하는 대역폭 확장 디코딩부를 포함한다.
또한, 상기 오디오 신호는 복수의 서브 프레임으로 구성되며, 상기 제 2 타입 정보는 상기 서브 프레임 단위로 존재할 수 있다.
또한, 상기 고주파 영역 신호의 대역폭은 상기 확장 기초 신호의 대역폭과 동일하지 아니하게 생성될 수 있으며, 상기 대역 확장 정보는 상기 복원된 오디오 신호에 적용되는 필터 범위, 상기 확장 기초 신호의 시작 주파수 및 상기 종료 주파수 중 어느 하나 이상의 정보를 포함할 수 있다.
또한, 상기 오디오 신호의 코딩타입이 음악신호 코딩타입이면 상기 오디오 신호는 주파수 도메인 신호이고, 상기 오디오 신호의 코딩타입이 음성신호 코딩타입이면 상기 오디오 신호는 타임 도메인 신호이며, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입이면 상기오디오 신호는 MDCT 도메인 신호일 수 있다.
또한, 상기 선형 예측 계수를 추출시에는,선형 예측 계수 모드를 추출하고, 상기 추출된 모드에 해당하는 가변비트수 크기의 선형 예측 계수를 추출할 수 있다.
본 발명은 다양한 종류의 오디오 신호를 분류하고, 각 오디오 신호 특성별로 이에 적합한 오디오 코딩 방식을 제공함에 의해, 보다 효율적인 오디오 신호의 압축 및 복원이 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 오디오 부호화 장치를 도시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 오디오 부호화 장치를 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 대역폭 전처리부(150)의 상세구성을 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 오디오 타입정보를 이용한 오디오 신호의 부호화 방법을 도시한 흐름도이다.
도 5는 본 발명에 의해 부호화된 오디오 비트스트림 구조의 일예를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 오디오 복호화 장치를 도시한 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 오디오 복호화 장치를 도시한 블록도이다.
도 8은 본 발명의 실시예에 따른 대역폭 확장부(250)의 상세구성을 도시한 블록도이다.
도 9는 본 발명의 실시예에 따른 오디오 복호화 장치가 구현된 제품의 구성을 예를 들어 도시한 것이다.
도 10은 본 발명의 실시예에 따른 오디오 복호화 장치가 구현된 제품들의 관계를 예를 들어 도시한 것이다.
도 11은 본 발명의 실시예에 따른 오디오 복호화 방법을 도시한 흐름도이다.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있다. '코딩(coding)'은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어이다.
관련하여, 본 발명에서 '오디오 신호(audio signal)'란, 비디오 신호(video signal)와 구분되는 개념으로서, 재생시 청각으로 식별할 수 있는 모든 신호를 지칭한다. 따라서, 상기 오디오 신호는, 예를 들어, 인간의 발음을 중심으로 하는 음성(speech) 신호 또는 이와 유사한 신호 (이하 '음성(speech) 신호'로 명명한다)와, 기계음 및 소리를 중심으로 하는 음악(music) 신호 또는 이와 유사한 신호(이하 '음악(music) 신호'로 명명한다), 및 상기 음성 신호 및 음악 신호가 혼합된 '혼합(mixed) 신호'로 분류할 수 있다. 본 발명은 예를 들어 상기 3가지로 분류되는 오디오 신호를 각 신호의 특성에 맞게 부호화 및 복호화하는 방법 및 장치를 제공하고자 한다. 단, 상기 오디오 신호의 분류는 본 발명의 설명을 위해 분류한 기준일뿐, 상기 오디오 신호를 또 다른 방법에 의해 분류하는 경우에도, 본 발명의 기술적 사상은 동일하게 적용할 수 있음은 자명하다 할 것이다.
도 1은 본 발명의 바람직한 일 실시예에 따른 오디오 부호화 장치를 도시한 블록도이다. 상세하게는, 도 1은 입력되는 오디오 신호를 기설정된 기준에 따라 분류하고, 상기 분류된 각 오디오 신호에 적합한 오디오 부호화 방식을 선택하여 부호화 하는 과정을 도시한 것이다.
도 1을 참조하면, 입력되는 오디오 신호의 특성을 분석하여 음성 신호, 음악 신호, 또는 음성과 음악의 혼합신호 중 어느 하나의 유형으로 분류하는 신호분류부(Sound Activity Detector;100)와, 상기 신호분류부(100)를 통하여 결정된 신호 유형 중 음성 신호를 부호화 하는 선형예측모델링부(110)와, 음악 신호를 부호화하는 심리음향모델링부(120)와, 음성과 음악의 혼합 신호를 부호화하는 혼합신호모델링부(130)를 포함한다. 또한, 상기 신호분류부(100)에 의해 오디오 신호가 분류되면 이에 적합한 부호화 방식을 선택가능한 스위칭부(101)를 더 포함할 수 있다. 상기 스위칭부(101)는 신호분류부(100)에 의해 생성되는 오디오 신호 코딩타입 정보(예를들어, 제1 타입정보 및 제2 타입정보, 이에 대해서는 도2 및 도3을 통해 상세히 후술할 예정이다)를 제어신호로 하여 동작되어 진다. 또한, 상기 혼합신호모델링부(130)는 선형예측부(131), 레지듀얼 신호추출부(132), 주파수 변환부(133)를 포함할 수 있다. 이하, 상기 도 1의 각 부분을 상세히 설명하면 다음과 같다.
우선, 상기 신호분류부(100)는 입력 오디오 신호의 타입을 분류하고 이에 적합한 오디오 부호화 방식을 선택하기 위한 제어 신호를 생성한다. 예를 들어, 상기 신호분류부(100)는 입력 오디오 신호가, 음악 신호인지, 음성 신호인지, 또는 음성 및 음악 두 가지 신호가 혼합된 혼합 신호(mixed)인지를 분류한다. 즉, 상기와 같이 입력되는 오디오 신호의 타입을 분류하는 이유는, 오디오 신호 타입별 후술할 오디오 부호화 방식 중 최적의 코딩 방식을 선택하는 것에 있다. 결국 상기 신호분류부(100)는 입력 오디오 신호를 분석하여 이에 적합한 최적의 오디오 코딩 방식을 선택하는 과정에 해당된다 할 것이다. 예를 들어, 상기 신호분류부(100)는 입력 오디오 신호를 분석하여 오디오 코딩타입 정보를 생성하고, 상기 생성된 오디오 코딩타입 정보는 부호화 방식을 선택하는 기준으로 활용됨은 물론, 최종 부호화되는 오디오 신호내에 비트스트림 형태로 포함되어 복호화 장치 또는 수신 장치로 전송되어 진다. 상기 오디오 코딩타입 정보를 이용한 복호화 방법 및 장치는 도 6 ~ 8 및 도 11에서 상세히 후술할 예정이다. 또한, 상기 신호분류부(100)에 의해 생성되는 오디오 코딩타입 정보는, 예를 들어, 제1 타입정보 및 제2 타입정보를 포함할 수 있으며. 이에 대해서는 도 4 및 도 5 설명 부분에서 후술할 예정이다.
상기 신호분류부(100)는 입력 오디오 신호의 특성에 따라 오디오 신호 타입을 결정하게 된다. 예를 들어, 상기 입력 오디오 신호가 특정 계수와 레지듀얼 신호로 모델링이 더욱 잘 되는 신호인 경우 이를 음성 신호로 판단하고, 반면, 상기 신호가 특정 계수와 레지듀얼 신호로 모델링이 잘 되지 않는 신호인 경우에는 음악 신호로 판단하게 된다. 또한, 상기 음성 신호 및 음악 신호중 어느 하나로 판단하기 어려운 경우에는 혼합 신호로 판단할 수 있다. 구체적인 판단 기준은, 예를 들어, 상기 신호를 특정 계수와 레지듀얼 신호로 모델링했을 때, 상기 신호의 에너지 레벨에 대한 상기 레지듀얼 신호의 에너지 레벨 비가 기설정된 기준값보다 작은 경우, 상기 신호는 모델링이 잘 되는 신호라고 판단할 수 있고, 따라서 음성 신호로 판단 할 수 있다. 또는, 상기 신호가 시간축 상에서 높은 중복성을 가지는 경우, 상기 신호는 과거 신호로부터 현재 신호를 예측하는 선형 예측에 의해 모델링이 잘되는 신호로 판단할 수 있으며, 따라서, 음악 신호로 판단 할 수 있다.
이와 같은 기준을 통해 입력되는, 신호가 음성 신호로 분류되었을 경우, 음성 신호에 최적화되어 있는 음성 부호화기를 이용하여 입력 신호를 부호화할 수 있으며, 본 실시예에서는 음성 신호에 적합한 부호화 방식으로 선형예측모델링부(110)를 사용한다. 상기 선형예측 모델링부(110)는 다양한 방식이 존재하며, 예를들어, ACELP(Algebraic Code Excited Linear Prediction) 코딩 방식 또는 AMR(Adaptive Multi-Rate) 코딩 및 AMR-WB(Adaptive Multi-Rate Wideband)코딩 방식을 적용할 수 있다.
관련하여, 상기 선형예측모델링부(110)는 입력 오디오 신호를 프레임 단위로 선형 예측 부호화할 수 있으며, 하나의 프레임마다 예측(prediction) 계수를 각각 추출하여 양자화 할 수 있다. 예를 들어, 일반적으로 'Levinson-Durbin 알고리즘'을 이용하여 예측 계수를 추출하는 방식이 널리 활용되고 있다.
즉, 예를 들어, 입력 오디오 신호가, 복수의 프레임(frame)으로 구성되어 있거나 또는 복수의 프레임을 하나의 단위로 하는 수퍼 프레임(super frame)이 복수로 존재하는 경우, 각각의 프레임별로 선형예측 모델링 방식의 적용여부를 결정할 수 있다. 또한, 하나의 수퍼 프레임내에 존재하는 단위 프레임 마다 또는 단위 프레임의 서브 프레임 마다 상이한 선형예측 모델링 방식을 적용하는 것도 가능하며, 이는 오디오 신호의 코딩 효율을 높이는 효과가 된다.
한편, 상기 신호분류부(100)에 의해, 입력 오디오 신호가 음악 신호로 분류되는 경우에는, 음악 신호에 최적화되어 있는 음악 부호화기를 이용하여 입력 신호를 부호화할 수 있으며, 본 실시예에서는 음악 신호에 적합한 부호화 방식으로 심리음향모델링부(120)를 사용한다. 상기 심리음향모델링부(120)는 지각적 오디오 코더(Perceptual audio coder)를 기반으로 구성되어 진다.
한편, 상기 신호분류부(100)에 의해, 입력 오디오 신호가 음성과 음악이 혼합되어 있는 혼합 신호로 분류되는 경우에는, 상기 혼합 신호에 최적화되어 있는 부호화기를 이용하여 입력 신호를 부호화할 수 있으며, 본 실시예에서는 혼합 신호에 적합한 부호화 방식으로 혼합신호 모델링부(130)를 사용한다.
상기 혼합신호 모델링부(130)는, 전술한 선형예측 모델링 방식과 심리음향 모델링 방식을 변형한 혼합 방식으로 코딩하는 것이 가능하다. 즉, 상기 혼합신호 모델링부(130)는, 입력 신호를 선형 예측 코딩한 후, 선형 예측된 결과 신호와 원본 신호와의 차인 레지듀얼 신호(Residual)를 획득하고, 상기 레지듀얼 신호는 주파수 변환 코딩 방식을 통해 코딩하게 된다.
예를 들어, 도 1은 상기 혼합신호 모델링부(130)가, 선형예측부(131), 레지듀얼 신호추출부(132) 및 주파수 변환부(133)를 포함하여 구성되는 일예를 도시한 것이다.
관련하여, 상기 선형예측부(131)는 입력되는 신호를 선형 예측 분석하여 상기 신호의 특성을 나타내는 선형 예측 계수를 추출하고, 레지듀얼 신호추출부(132)에서 상기 추출된 선형 예측 계수를 이용하여 입력신호로부터 중복 성분이 제거된 레지듀얼 신호를 추출한다. 상기 레지듀얼 신호는 중복성이 제거되었기 때문에 백색 잡음과 같은 형태를 가질 수 있다. 또한, 상기 선형예측부(131)는 입력 오디오 신호를 프레임 단위로 선형 예측 부호화할 수 있으며, 하나의 프레임마다 예측(prediction) 계수를 각각 추출하여 양자화 할 수 있다. 즉, 예를 들어, 입력 오디오 신호가, 복수의 프레임(frame)으로 구성되어 있거나 또는 복수의 프레임을 하나의 단위로 하는 수퍼 프레임(super frame)이 복수로 존재하는 경우, 각각의 프레임별로 선형예측 모델링 방식의 적용여부를 결정할 수 있다. 또한, 하나의 수퍼 프레임내에 존재하는 단위 프레임 마다 또는 단위 프레임의 서브 프레임 마다 상이한 선형예측 모델링 방식을 적용하는 것도 가능하며, 이는 오디오 신호의 코딩 효율을 높이는 효과가 된다.
상기 레지듀얼 신호추출부(132)는 상기 선형예측부(131)를 통하여 코딩된 잔여 신호와 신호분류부(100)를 통과한 원 오디오 신호를 입력받아 양 신호의 차이 신호인 레지듀얼(Residual) 신호를 추출한다.
상기 주파수 변환부(133)는 입력되는 레지듀얼 신호를 MDCT와 같은 방법으로 주파수 도메인 변환하여 레지듀얼 신호의 마스킹 임계치 또는 신호 대 마스크 비(SMR, Signal-to-Mask Ratio)를 계산하여, 상기 레지듀얼 신호를 코딩한다. 상기 주파수 변환부(133)는 심리음향 모델링 방법 외에 TCX를 이용하여 잔여 오디오 성향의 신호를 코딩하는 것도 가능하다.
관련하여, 상기 선형예측 모델링부(110) 및 선형예측부(131)에서 입력 오디오 신호를 선형 예측 분석하여 오디오 특성이 반영된 선형 예측 계수(LPC: linear prediction coefficient)를 추출하게 되는 바, 상기 LPC 데이터를 전송하는 방법에 있어서 가변적인 비트를 이용하는 방식을 고려할 수 있다.
예를 들어, 각 프레임별 코딩 방식을 고려하여 LPC 데이터 모드를 결정하고, 상기 결정된 LPC 데이터 모드별로 가변적인 비트수를 가지는 선형 예측 계수를 할당하는 것이 가능하다. 이를 통해 전체적인 오디오 비트수를 줄임으로서 더욱 효율적인 오디오 부호화 및 복호화가 가능하게 된다.
한편, 상기 신호분류부(100)는 전술한 바와 같이, 오디오 신호의 코딩타입 정보를 2가지 타입정보로 구분하여 생성하고, 이를 비트스트림내에 포함하여 복호화 장치로 전송하게 된다. 이하 본 발명에 의한 오디오 코딩타입 정보에 대해 도4 및 도5를 참조하여 상세히 설명하면 다음과 같다.
도 4는 본 발명의 일 실시예에 따른 오디오 신호의 코딩타입 정보를 이용한 오디오 신호의 부호화 방법을 도시한 흐름도이다.
본 발명은 오디오 신호의 타입을 표현하는 방법으로서, 제1 타입정보와 제2 타입정보로 구분하는 것을 제안한다. 즉, 예를 들어, 신호분류부(100)는, 입력 오디오 신호가 음악 신호로 판단되면(S100), 이에 적합한 부호화 방식(예를 들어, 도2의 심리음향 모델링 방식)을 선택하도록 스위칭부(101)를 제어함에 의해, 상기 선택된 부호화 방식에 따라 부호화가 수행되도록 한다(S110). 이후, 해당 제어정보를 제1 타입정보로 구성하여 부호화된 오디오 비트스트림내에 포함하여 전송하게 된다. 관련하여, 결국 상기 제1 타입정보는 오디오 신호의 코딩타입이 음악신호 코딩타임임을 나타내는 코딩 식별정보로서의 기능을 겸하게 되며, 이는 복호화 방법 및 장치에서 오디오 신호를 복호화시에 활용되어 진다.
또한, 신호분류부(100)는, 만약 입력 오디오 신호가 음성신호로 판단되면, (S120), 이에 적합한 부호화 방식(예를 들어, 도1의 선형예측 모델링 방식)을 선택하도록 스위칭부(101)를 제어함에 의해, 상기 선택된 부호화 방식에 따라 부호화가 수행되도록 한다(S130). 또한, 신호분류부(100)는, 만약 입력 오디오 신호가 혼합신호로 판단되면(S120), 이에 적합한 부호화 방식(예를 들어, 도1의 혼합신호 모델링 방식)을 선택하도록 스위칭부(101)를 제어함에 의해, 상기 선택된 부호화 방식에 따라 부호화가 수행되도록 한다(S140). 이후, 상기 음성신호 코딩타입 또는 혼합신호 코딩타입중 어느 하나를 나타내는 제어정보를 제2 타입정보로 구성하여, 상기 제1 타입정보와 함께 부호화된 오디오 비트스트림내에 포함하여 전송하게 된다. 관련하여, 결국 상기 제2 타입정보는 오디오 신호의 코딩타입이 음성신호 코딩타입 또는 혼합신호 코딩타입중 어느 하나를 나타내는 코딩 식별정보로서의 기능을 겸하게 되며, 이는 복호화 방법 및 장치에서 전술한 제1 타입정보와 함께 오디오 신호를 복호화시에 활용되어 진다.
관련하여, 상기 제1 타입정보와 제2 타입정보는 입력 오디오 신호의 특성에 따라, 이중 제1 타입정보만이 전송되거나, 또는 제1 타입정보 및 제2 타입정보를 모두 전송해야 되는 두가지 경우로 구분되어 진다. 즉, 예를 들어, 입력 오디오 신호 코딩타입이 음악신호 코딩타입이면 제1 타입정보만을 비트스트림에 포함하여 전송하고, 제2 타입정보는 비트스트림에 포함하지 않아도 된다 (도5(a)). 즉, 제2 타입정보는 입력 오디오 신호 코딩타입이 음성신호 코딩타입이거가 또는 혼합신호 코딩타입에 해당하는 경우에만 비트스트림에 포함되므로, 오디오 신호의 코딩타입을 표현하기 위해 불필요한 비트수를 방지하는 효과가 있다.
관련하여, 본 발명에서는 일예로, 제1 타입정보가 음악신호 코딩타입인지 여부를 지시하는 것으로 설명하였으나, 이는 하나의 예에 불과하며, 제1 타입정보를 음성신호 코딩타입 또는 혼합신호 코딩타입을 지시하는 정보로 사용할 수 있음은 자명하다. 즉, 이는 본 발명이 적용되는 코딩 환경에 따라, 확율적으로 발생되는 빈도가 높은 오디오 코딩타입을 제1 타입정보로 활용함으로서, 전체적인 비트스트림의 비트수를 줄이는 효과를 가져오게 된다.
도 5는 본 발명에 의해 부호화된 오디오 비트스트림 구조의 일예를 도시한 것이다.
예를들어, 도 5(a)는 입력 오디오 신호가 음악신호에 해당하는 경우를 도시한 것으로, 비트스트림내에는 제1 타입정보(301)만을 포함하고, 제2 타입정보는 포함되지 않는다. 또한, 비트스트림내에는 상기 제1 타입정보(301)에 해당하는 코딩타입으로 코딩된 오디오 데이터를 포함한다(예를 들어, AAC 비트스트림(302)).
또한, 도 5(b)는 입력 오디오 신호가 음성신호에 해당하는 경우를 도시한 것으로, 비트스트림내에는 제1 타입정보(311) 및 제2 타입정보(312)를 모두 포함하게 된다. 또한, 비트스트림내에는 상기 제2 타입정보(312)에 해당하는 코딩타입으로 코딩된 오디오 데이터를 포함한다(예를 들어, AMR 비트스트림(313)).
또한, 도 5(c)는 입력 오디오 신호가 혼합신호에 해당하는 경우를 도시한 것으로, 비트스트림내에는 제1 타입정보(321) 및 제2 타입정보(322)를 모두 포함하게 된다. 또한, 비트스트림내에는 상기 제2 타입정보(322)에 해당하는 코딩타입으로 코딩된 오디오 데이터를 포함한다(예를 들어, TXC가 적용된 AAC 비트스트림(313)).
관련하여, 상기 도 5(a)~(c) 는 본 발명에 의해 부호화되는 오디오 비트스트림내에 포함되는 정보를 일예로 표시한 것일 뿐, 본 발명의 범위내에서 다양한 응용이 가능함은 자명하다 할 것이다. 예를 들어, 본 발명에서는 AMR 및 AAC를 코딩 방식의 예로서 이를 식별하는 정보를 추가하였으나, 다양한 코딩 방식이 적용가능함은 물론, 이를 식별하는 코딩 식별정보도 다양하게 사용되어 질수도 있다. 또한, 본 발명 도 5(a)~(c)는 하나의 수퍼 프레임 또는 단위 프레임 또는 서브 프레임 모두에 적용가능한 방식이다. 즉, 기설정된 프레임 단위별로 오디오 신호 코딩타입 정보를 제공하는 것이 가능하다.
이하, 도 2 및 도 3을 참조하여, 본 발명의 다른 실시예로서 부호화 전처리 과정이 포함된 오디오 부호화 방법 및 장치에 대해 설명한다.
상기 도1 내의, 선형예측모델링부(110), 심리음향모델링부(120), 혼합신호모델링부(130)를 이용한 입력 신호의 부호화 과정의 전처리 과정으로서, 주파수 대역폭 확장 과정 및 채널수 변경 과정이 이루어질 수도 있다.
예를 들어, 주파수 대역 확장 과정의 일 실시예로 대역폭 전처리부(도2, 150)에서 저주파 성분을 이용해 고주파 성분을 생성할 수 있으며, 대역폭 전처리부(150)의 일예로는 변형 개선된 SBR(Spectral Band Replication)과 HBE(High Band Extension)를 이용할 수 있다.
또한, 상기 채널수 변경 과정은 오디오 신호의 채널 정보를 부가 정보로 부호화하여 비트 할당량을 감소시킨다. 상기 채널수 변경 과정의 일 실시예로 다운믹스 채널 생성부(도2, 140)를 들 수 있다. 상기 다운믹스 채널 생성부(140)는 예를 들어, PS(Parametric Stereo) 방식이 적용될 수 있으며, PS는 스테레오 신호를 코딩하는 기술로, 스테레오 신호를 모노 신호로 다운믹스시킨다. 상기 다운믹스 채널 생성부(140)는 입력되는 복수 채널 오디오 신호를 다운믹스(downmix)하여 다운믹스 신호 및 다운믹스된 신호의 복원에 관련된 공간정보(spatial information)를 생성하게 된다.
일 실시예로 48kHz 스테레오 신호를 상기 SBR(Spectral Band Replication)과 PS(Parametric Stereo)를 사용하여 전송하면 SBR/PS 를 통과한 뒤 24kHz, 모노신호 신호가 남으며 이는 다시 부호화기를 통해 인코딩될 수 있다. 상기 부호화기의 입력신호가 24kHz가 되는 이유는 SBR을 통과하면서 고주파 성분은 SBR을 통해 코딩되고 기존 주파수의 절반으로 다운샘플링되기 때문이며, 모노신호가 되는 이유는 PS를 통해 스테레오 오디오가 파라미터로 추출되어 모노신호와 부가오디오의 합 형태로 바뀌기 때문이다.
도 2는 부호화 전처리 과정으로, 전술한 다운믹스 채널 생성부(140) 및 대역폭 전처리부(150)가 포함된 부호화 장치를 도시한 것이다.
도 1에서 전술한, 선형예측모델링부(110), 심리음향모델링부(120), 혼합신호모델링부(130) 및 스위칭부(101)의 동작은 동일하다. 또한, 신호분류부(100)는 제1 타입정보 밑 제2 타입정보를 생성하는 내용은 동일하나, 추가적으로, 상기 다운믹스 채널 생성부(140) 및 대역폭 전처리부(150)의 동작을 제어하는 제어신호를 생성하게 된다.
즉, 입력되는 오디오 신호를 분석하여 오디오 신호 타입을 결정함과 아울러, 오디오 신호내의 채널수 및 주파수 대역폭을 분석하여, 부호화 전처리 과정으로서, 상기 다운믹스 채널 생성부(140) 및 대역폭 전처리부(150)의 동작 여부 및 동작범위를 제어하는 제어신호(100b, 100c)를 각각 생성하게 된다.
도 3은 본 발명의 실시예 따른 대역폭 전처리부(150)의 상세구성을 도시한 블록도이다.
도 3를 참조하면, 대역 확장을 위한 대역폭 전처리부(150)는 고주파 영역 제거부(151), 확장 정보 생성부(152), 및 공간 정보 삽입부(153)를 포함한다. 고주파 영역 제거부(151)는 상기 다운믹스 채널 생성부(140)로부터 다운믹스 신호 및 공간정보(spatial information)를 입력받는다. 고주파 영역 제거부(151)는 상기 다운믹스 신호의 주파수 신호 중 고주파 영역에 해당하는 고주파 신호를 제거한 저주파 다운믹스 신호 및 확장 기초 신호(후술함)의 시작 주파수 및 종료 주파수를 포함하는 복원정보를 생성한다.
관련하여, 상기 복원정보는 입력 신호의 특성에 기초하여 결정될 수 있다. 일반적으로 고주파 신호의 시작 주파수는 입력신호의 전체 대역폭의 절반에 해당하는 주파수이다. 반면, 상기 복원정보는 입력 신호의 특성에 따라 시작 주파수를 전체 대역폭의 절반 이하 또는 이상에 해당하는 주파수로 결정할 수 있다. 예를 들어, 상기 다운믹스 신호에 대하여 대역폭 확장 기술을 이용하여 고주파 영역을 제거하여 인코딩하는 것보다, 상기 다운믹스 신호의 전체 대역폭 신호를 이용하는 것이 효율적인 경우, 상기 복원정보는 시작 주파수로 대역폭의 끝단에 위치하는 주파수를 나타낼 수 있다. 상기 복원정보는 신호의 크기, 코딩시 이용되는 세그먼트의 길이, 및 소스의 종류 중 하나 이상을 이용하여 결정될 수 있으나, 이에 한정되지 아니한다.
확장 정보 생성부(152)는 상기 다운믹스 채널 생성부(14)로부터 생성된 다운믹스 신호 및 공간정보를 이용하여, 디코딩시 이용될 확장 기초 신호를 결정하는 확장 정보를 생성한다. 상기 확장 기초 신호는 디코딩시 고주파 영역 제거부(151)에서 제거된 다운믹스 신호의 고주파 신호를 복원하기 위하여 이용되는 다운믹스 신호의 주파수 신호로서, 저주파 신호 또는 저주파 신호 중 일부 신호일 수 있다. 예를 들어, 상기 다운믹스 신호를 밴드패스 필터링하여 저주파 신호를 다시 저주파수 밴드 영역(low frequency band)과 중간주파수 밴드 영역(middle frequency band) 영역으로 구분할 수 있으며, 이 때, 저주파수 밴드 영역만을 이용하여 확장 정보를 생성할 수 있다. 상기 저주파수 밴드 영역과 주간주파수 밴드 영역을 구분하는 경계 주파수(boundary frequency)는 임의의 고정값으로 정해질 수 있으며, 다르게는 상기 신호분류부(100)에서 혼합 신호에 대하여 음성과 음악의 비율을 분석한 정보에 의해 프레임마다 가변적으로 결정될 수도 있다.
상기 확장 정보는 고주파 영역 제거부(151)에서 제거되지 아니한 다운믹스 신호에 관한 정보와 일치할 수 있으나, 이에 한정되지 아니하며, 상기 확장 정보는 상기 다운믹스 신호 중 일부 신호에 관한 정보일 수 있다. 또한, 상기 확장 정보는 상기 다운믹스 신호 중 일부 신호에 관한 정보인 경우, 상기 확장 기초 신호의 시작 주파수 및 종료 주파수를 포함할 수 있으며, 상기 다운믹스 신호의 주파수 신호에 적용되는 필터의 범위를 더 포함할 수 있다.
공간정보 삽입부(153)는 상기 다운믹스 채널 생성부(140)에서 생성된 공간 정보에 고주파 영역 제거부(121)에서 생성된 복원정보 및 확장 정보 생성부(122)에서 생성된 확장 정보가 삽입된 새로운 공간 정보를 생성한다.
도 6은 본 발명의 일 실시예에 따른 복호화 장치를 도시한 도면이다.
도 6을 참조하면, 복호화 장치는 상기 도 1을 참조하여 설명한 부호화 장치에서 이루어지는 부호화 과정의 역 과정을 수행함으로써 입력되는 비트스트림으로부터 신호를 복원할 수 있다. 보다 상세히, 상기 복호화 장치는 디멀티플렉서(210), 복호화기 결정부(220), 복호화부(230), 합성부(240)를 포함할 수 있다. 상기 복호화부(230)는 서로 다른 방법에 의해 복호화를 수행하는 복수의 복호화부(231, 232, 233)를 포함할 수 있으며, 이는 복화화기 결정부(220)의 제어에 따라, 동작되어 진다. 보다 상세히, 복호화부(230)는 선형예측 복호화부(231), 심리음향 복호화부(232), 혼합신호 복호화부(233)를 포함할 수 있다. 상기 혼합신호 복호화부(233)는 정보추출부(234), 주파수 변환부(235), 선형예측부(236)를 포함할 수 있다.
상기 디멀티플렉서(210)는 입력되는 비트스트림으로부터 부호화된 복수의 신호들 및 상기 신호들을 복호화하기 위한 부가 정보를 추출한다. 전술한 비트스트림내에 포함된 부가 정보 예를들어, 제1 타입정보 및 제2 타입정보(필요시에만 포함됨)를 추출하고 이를 복호화기 결정부(220)로 전송하게 된다.
상기 복호화기 결정부(220)는, 수신되는 제1 타입정보 및 제2 타입정보(필요시에만 포함됨)로부터, 복호화부(231, 232, 233)내의 복호화 방식중 어느 하나를 결정한다. 단, 복호화기 결정부(220)는 비트스트림으로부터 추출된 부가 정보를 이용하여 복호화 방식을 결정할 수도 있으나, 비트스트림내에 부가 정보가 존재하지 않는 경우에는, 독립적인 판단 방법에 의해 복호화 방식을 결정할 수도 있다. 상기 판단 방법은 전술한 신호분류부(도1, 100)의 특징을 활용하는 것이 가능하다.
복호화부(230)내의, 선형예측 복호화기(231)는 음성 신호 타입의 오디오 신호를 복호화 가능하다. 심리음향 복호화기(232)는 음악 신호 타입의 오디오 신호를 복호화한다. 혼합신호 복호화기(233)는 음성과 음악의 혼합 타입의 오디오 신호를 복호화한다. 보다 상세히, 상기 혼합신호 복호화기(233)는 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 정보추출부(234)와, 상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 주파수 변환부(235), 및 상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 출력 신호를 생성하는 선형 예측부(236)를 포함하여 구성된다. 상기 복호화된 신호들은 합성부(240)에 의해 합성되어 부호화 되기 이전의 오디오 신호로 복원된다.
도 7은 본 발명의 일실시예에 따른 복호화 장치를 도시한 것으로, 특히 부호화된 오디오 신호의 후처리 과정을 도시한 것이다. 상기 후처리 과정은 상기 선형예측복호화부(231), 심리음향복호화부(232), 혼합신호복호화부(233) 중 어느 하나를 이용하여 복호화된 오디오 신호에 대해 대역폭 확대 및 채널수 변경을 수행하는 과정을 의미한다. 상기 후처리 과정은, 전술한 도 2의 다운믹스 채널 생성부(140) 및 대역폭 전처리부(150)에 대응하여 대역폭 확장 디코딩부(250) 및 복수 채널 생성부(260)로 구성될 수 있다.
도 8은 상기 대역폭 확장 디코딩부(250)의 상세구성을 도시한 것이다.
관련하여, 주파수 대역 확장 과정은 전술한 대역폭 전처리부(150)에 생성된 확장 정보를, 전술한 디멀티플렉서(210)에서 비트스트림으로부터 추출하여 활용하게 된다. 상기 오디오 신호 비트스트림에 포함된 확장 정보로부터 스펙트럴 데이터 중 일부 또는 전부로부터 다른 대역(예를 들어, 고주파대역)의 스펙트럴 데이터를 생성하게 된다. 이때 주파수 대역을 확장하는 데 있어서 유사한 특성을 갖는 유닛들로 그룹핑하여 블록을 생성할 수 있다. 이는 공통의 인벨롭(또는 인벨롭 특성)을 갖는 타입 슬롯(또는 샘플)들을 그룹핑하여 인벨롭 영역을 생성하는 것과 같다.
도 8을 참조하면, 대역폭 확장 디코딩부(250)는 확장기초 영역 결정부(251), 고주파수 영역 복원부(252), 및 대역폭 확장부(253)를 포함한다.
상기 확장 기초영역 결정부(251)는 수신한 확장 정보에 기초하여, 수신된 다운믹스 신호 중 확장 기초 영역을 결정하고, 그 결과로서 확장 기초 신호를 생성한다. 상기 다운믹스 신호는 주파수 도메인으로 나타난 신호일 수 있고, 상기 확장 기초 신호는 주파수 도메인의 상기 다운믹스 신호 중 일부 주파수 영역을 의미한다. 결국, 상기 확장 정보는 상기 확장 기초 신호를 결정하기 위하여 이용되고, 상기 확장 기초 신호의 시작 주파수 및 종료 주파수, 또는 상기 다운믹스 신호의 일부를 필터링하는 필터의 범위일 수 있다.
상기 고주파수 영역 복원부(252)는 다운믹스 신호 및 확장 정보를 입력받고, 또한, 상기 확장 기초 신호를 입력받는다. 이후 상기 확장 기초 신호 및 상기 확장 정보를 이용하여 부호화단에서 제거된 상기 다운믹스 신호의 고주파 영역 신호를 복원할 수 있다. 이 때, 부호화장치로부터 전송받은 복원정보를 더 이용할 수 있다. 또한, 상기 고주파 영역 신호는 상기 다운믹스 신호에는 포함되지 아니하며, 원 신호에는 포함된 고주파 영역 신호일 수 있다. 상기 고주파 영역 신호는 상기 다운믹스 신호의 정수배가 아닐 수 있고, 상기 고주파 영역 신호의 대역폭은 상기 확장 기초 신호의 대역폭과 동일하지 아니할 수 있다.
본 발명의 일실시예에 따른 대역폭 확장 장치 및 방법은, 상기 확장 기초 신호로 부호화단에서 고주파 영역을 제거된 다운믹스 신호 전부를 이용하지 아니하고, 상기 다운믹스 신호 중 일부 주파수 영역에 해당하는 신호를 이용함으로써, 복원되는 고주파 영역이 상기 다운믹스 신호의 정수배가 아닌 경우에도 대역폭 확장 기술을 이용할 수 있게 한다.
또한, 고주파수 영역 복원부(252)는 시간 확장 다운믹스 신호 생성부(미도시) 및 주파수 신호 확장부(미도시)를 더 포함할 수 있다. 시간 확장 다운믹스 신호 생성부는, 상기 확장 기초 신호에 상기 확장 정보를 적용하여 상기 다운믹스 신호를 시간영역으로 확장할 수 있다. 주파수 신호 확장부는, 상기 시간 확장 다운믹스 신호의 샘플 수를 감소함으로써(decomation) 상기 다운믹스 신호의 주파수 영역에서의 신호를 확장할 수 있다.
또한, 상기 대역폭 확장부(253)는, 고주파수 영역 복원부(252)가 복원된 고주파 영역 신호만을 포함하고 저주파 영역 신호를 포함하지 않는 경우에, 상기 다운믹스 신호 및 상기 고주파 영역 신호를 결합하여 대역폭이 확장된 확장 다운믹스 신호를 생성한다. 상기 고주파 영역 신호는 상기 다운믹스 신호의 정수배가 아닐 수 있다. 따라서, 본 발명의 일실시예에 따른 대역폭 확장 기술은 배수 관계가 아닌 신호로의 업샘플링(upsampling)에 이용될 수 있다
상기 대역폭 확장부(253)에서 최종 생성된 확장 다운믹스 신호는 복수 채널 생성부(260)에 입력되어, 복수 채널로 변환되어 진다.
이하, 본 발명의 복호화 방법을 도 11의 흐름도를 참조하여 상세히 설명하면 다음과 같다.
디멀티플렉서(210)는 입력되는 비트스트림으로부터 제1 타입정보 및 제2 타입정보(필요시)를 추출한다. 또한, 디멀티플렉서(210)는 후처리 과정을 위한 정보들(예를들어, 대역 확장 정보, 복원정보 등)을 추출한다. 상기 복호화기 결정부(220)는 상기 추출된 정보중, 우선 제1 타입정보를 이용하여 수신된 오디오 신호의 코딩 타입을 판별한다(S1000). 만약, 수신된 오디오 신호의 코딩 타입이 음악신호코딩 타입이라면, 복호화부(230)내의 심리음향 복호화부(232)를 활용하되, 상기 제1 타입정보에 의해 결정되는, 각 프레임별 또는 서브 프레임별 적용되는 코딩 방식을 결정하고, 이후 이에 적합한 코딩 방식을 적용하여 복호화를 수행하게 된다(S1100).
또한, 복호화기 결정부(220)는 상기 추출된 정보중, 우선 제1 타입정보를 이용하여 수신된 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 것으로 판별되면, 이후 제2 타입정보를 활용하여 수신된 오디오 신호의 코딩타입이 음성신호 코딩타입 인지 또는 혼합신호 코딩타입 인지 여부를 판별한다(S1200).
만약, 제2 타입정보가 음성신호 코딩타입을 의미하는 경우, 복호화부(230)내의 선형예측 복호화부(231)를 활용하되, 비트스트림으로부터 추출된 코딩 식별정보를 활용하여 각 프레임별 또는 서브 프레임별 적용되는 코딩 방식을 결정하고, 이후 이에 적합한 코딩 방식을 적용하여 복호화를 수행하게 된다(S1300).
또한, 만약, 제2 타입정보가 혼합신호를 의미하는 경우, 복호화부(230)내의 혼합신호 복호화부(233)를 활용하되, 상기 제2 타입정보에 의해 결정되는, 각 프레임별 또는 서브 프레임별 적용되는 코딩 방식을 결정하고, 이후 이에 적합한 코딩 방식을 적용하여 복호화를 수행하게 된다(S1400).
한편, 상기 선형예측 복호화부(231), 심리음향 복호화부(232), 혼합신호 복호화부(233) 중 어느 하나를 이용한 오디오 신호의 복호화 과정의, 후처리 과정으로서, 대역폭 확장 디코딩부(250)에서 주파수 대역 확장 과정이 이루어질 수 있다(S1500). 주파수 대역 확장 과정은 대역폭 확장 디코딩부(250)에서, 오디오 신호 비트스트림으로부터 추출된 대역 확장 정보를 디코딩하여 스펙트럴 데이터 중 일부 또는 전부로부터 다른 대역(예를 들어, 고주파대역)의 스펙트럴 데이터를 생성하게 된다.
이후, 대역 확장 과정 이후 생성된 대역폭이 확장된 오디오 신호에 대해, 복수 채널 생성부(260)에서 복수 채널을 생성하는 과정이 수행될 수 있다(S1600).
도 9는 본 발명의 실시예에 따른 복호화 장치가 구현된 제품의 구성을 보여주는 도면이다. 또한, 도 10은 본 발명의 실시예에 따른 복호화 장치가 구현된 제품들의 관계를 보여주는 도면이다.
도 9을 참조하면, 유무선 통신부(910)는 유무선 통신 방식을 통해서 비트스트림을 수신한다. 구체적으로 유무선 통신부(910)는 유선통신부(910A), 적외선통신부(910B), 블루투스부(910C), 무선랜통신부(910D) 중 하나 이상을 포함할 수 있다.
사용자 인증부는(920)는 사용자 정보를 입력 받아서 사용자 인증을 수행하는 것으로서 지문인식부(920A), 홍채인식부(920B), 얼굴인식부(920C), 및 음성인식부(920D) 중 하나 이상을 포함할 수 있는데, 각각 지문, 홍채정보, 얼굴 윤곽 정보, 음성 정보를 입력받아서, 사용자 정보로 변환하고, 사용자 정보 및 기존 등록되어 있는 사용자 데이터와의 일치여부를 판단하여 사용자 인증을 수행할 수 있다.
입력부(930)는 사용자가 여러 종류의 명령을 입력하기 위한 입력장치로서, 키패드부(930A), 터치패드부(930B), 리모컨부(930C) 중 하나 이상을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다. 신호 디코딩부(950)는 수신된 비트스트림 및 프레임 타입정보를 이용하여 신호 특성을 분석하고, 해당 신호 특성에 대응하는 디코딩부를 이용하여 신호를 디코딩하여 출력신호를 생성한다.
제어부(950)는 입력장치들로부터 입력 신호를 수신하고, 신호 디코딩부(940)와 출력부(960)의 모든 프로세스를 제어한다. 출력부(960)는 신호 디코딩부(940)에 의해 생성된 출력 신호 등이 출력되는 구성요소로서, 스피커부(960A) 및 디스플레이부(960B)를 포함할 수 있다. 출력 신호가 오디오 신호일 때 출력 신호는 스피커로 출력되고, 비디오 신호일 때 출력 신호는 디스플레이를 통해 출력된다.
도 10은, 도 9에서 도시된 제품에 해당하는 단말 및 서버와의 관계를 도시한 것으로서, 도 10의 (A)를 참조하면, 제1 단말(1001) 및 제2 단말(1002)이 각 단말들은 유무선 통신부를 통해서 데이터 내지 비트스트림을 양방향으로 통신할 수 있음을 알 수 있다. 도 10의 (B)를 참조하면, 서버(1003) 및 제1 단말(1001) 또한 서로 유무선 통신을 수행할 수 있음을 알 수 있다.
본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (15)

  1. 오디오 복호화기를 포함하는 오디오 신호 처리 장치내에서,
    제1 타입정보를 이용하여 오디오 신호의 코딩타입이 음악신호 코딩타입인지 를 식별하는 단계;
    상기 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 경우, 제 2 타입정보를 이용하여 상기 오디오 신호의 코딩타입이 음성신호 코딩타입인지, 혼합신호 코딩타입인지를 식별하는 단계;
    상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 단계;
    상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 단계;
    상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 오디오 신호를 복원하는 단계; 및
    상기 복원된 오디오 신호의 일부 영역인 확장 기초 신호 및 대역 확장 정보를 이용하여 고주파 영역 신호를 복원하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  2. 제 1항에 있어서,
    상기 오디오 신호는 복수의 서브 프레임으로 구성되며, 상기 제 2 타입 정보는 상기 서브 프레임 단위로 존재하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제 1항에 있어서,
    상기 고주파 영역 신호의 대역폭은 상기 확장 기초 신호의 대역폭과 동일하지 아니한 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제 1항에 있어서,
    상기 대역 확장 정보는 상기 복원된 오디오 신호에 적용되는 필터 범위, 상기 확장 기초 신호의 시작 주파수 및 종료 주파수 중 어느 하나 이상의 정보를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제 1항에 있어서,
    상기 오디오 신호의 코딩타입이 음악신호 코딩타입이면 상기 오디오 신호는 주파수 도메인 신호이고, 상기 오디오 신호의 코딩타입이 음성신호 코딩타입이면 상기 오디오 신호는 타임 도메인 신호이며, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입이면 상기오디오 신호는 MDCT 도메인 신호인 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제 1항에 있어서,
    상기 선형 예측 계수를 추출하는 단계는,선형 예측 계수 모드를 추출하고, 상기 추출된 모드에 해당하는 가변비트수 크기의 선형 예측 계수를 추출하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 비트스트림으로부터 제1 타입정보, 제2 타입정보, 대역 확장 정보를 추출하는 디멀티플렉서;
    상기 제1 타입정보를 이용하여 오디오 신호의 코딩타입이 음악신호 코딩타입인지를 식별하고, 상기 오디오 신호의 코딩타입이 음악신호 코딩타입이 아닌 경우, 제 2 타입정보를 이용하여 상기 오디오 신호의 코딩타입이 음성신호 코딩타입인지 또는 혼합신호 코딩타입인지를 식별한 후, 복호화 방식을 결정하는 복호화기 결정부;
    상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호로부터 스펙트럴 데이터와 선형예측 계수를 추출하는 정보추출부;
    상기 스펙트럴 데이터를 역 주파수 변환하여 선형 예측에 대한 레지듀얼 신호를 생성하는 주파수 변환부;
    상기 선형예측 계수 및 상기 레지듀얼 신호를 선형 예측 코딩하여, 오디오 신호를 복원하는 선형 예측부; 및
    상기 복원된 오디오 신호의 일부 영역인 확장 기초 신호 및 대역 확장 정보를 이용하여 고주파 영역 신호를 복원하는 대역폭 확장 디코딩부를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  8. 제 7항에 있어서,
    상기 오디오 신호는 복수의 서브 프레임으로 구성되며, 상기 제 2 타입 정보는 상기 서브 프레임 단위로 존재하는 것을 특징으로 하는 오디오 신호 처리 장치.
  9. 제 7항에 있어서,
    상기 고주파 영역 신호의 대역폭은 상기 확장 기초 신호의 대역폭과 동일하지 아니한 것을 특징으로 하는 오디오 신호 처리 장치.
  10. 제 7항에 있어서,
    상기 대역 확장 정보는 상기 복원된 오디오 신호에 적용되는 필터 범위, 상기 확장 기초 신호의 시작 주파수 및 상기 종료 주파수 중 어느 하나 이상의 정보를 포함하는 것을 특징으로 하는 오디오 신호 처리 장치.
  11. 제 7항에 있어서,
    상기 오디오 신호의 코딩타입이 음악신호 코딩타입이면 상기 오디오 신호는 주파수 도메인 신호이고, 상기 오디오 신호의 코딩타입이 음성신호 코딩타입이면 상기 오디오 신호는 타임 도메인 신호이며, 상기 오디오 신호의 코딩타입이 혼합신호 코딩타입이면 상기오디오 신호는 MDCT 도메인 신호인 것을 특징으로 하는 오디오 신호 처리 장치.
  12. 제 1항에 있어서,
    상기 선형 예측 계수를 추출하는 단계는,선형 예측 계수 모드를 추출하고, 상기 추출된 모드에 해당하는 가변비트수 크기의 선형 예측 계수를 추출하는 것을 특징으로 하는 오디오 신호 처리 장치.
  13. 오디오 신호를 처리하는 오디오 부호화기를 포함하는 오디오 신호 처리 장치 내에서,
    오디오 신호의 고주파 대역 신호를 제거하고, 상기 고주파 대역 신호를 복원하기 위한 대역 확장 정보를 생성하는 단계;
    상기 오디오 신호의 코딩타입을 결정하는 단계;
    상기 오디오 신호가 음악신호이면, 음악신호 코딩타입으로 코딩됨을 나타내는 제1 타입정보를 생성하는 단계;상기 오디오 신호가 음악신호가 아니면, 음성신호 코딩타입과 혼합신호 코딩 타입 중 어느 하나로 코딩됨을 나타내는 제2 타입정보를 생성하는 단계;
    상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호를 선형 예측 코딩하여 선형예측 계수를 생성하는 단계;
    상기 선형 예측 코딩에 대한 레지듀얼 신호를 생성하는 단계;
    상기 레지듀얼 신호를 주파수 변환하여 스펙트럴 계수를 생성하는 단계; 및
    상기 제 1 타입정보, 상기 제 2 타입정보, 상기 선형예측 계수 및 레지듀얼 신호를 포함하는 오디오 비트스트림을 생성하는 단계를 포함하는 오디오 신호 처리 방법.
  14. 오디오 신호의 고주파 대역 신호를 제거하고, 상기 고주파 대역 신호를 복원하기 위한 대역 확장 정보를 생성하는 대역폭 전처리부;
    입력 오디오 신호의 코딩타입을 결정하되, 상기 오디오 신호가 음악신호이면, 음악신호 코딩타입으로 코딩됨을 나타내는 제1 타입정보를 생성하고, 상기 오디오 신호가 음악신호가 아니면, 음성신호 코딩타입과 혼합신호 코딩 타입 중 어느 하나로 코딩됨을 나타내는 제2 타입정보를 생성하는 신호분류부;
    상기 오디오 신호의 코딩타입이 혼합신호 코딩타입인 경우, 상기 오디오 신호를 선형 예측 코딩하여 선형예측 계수를 생성하는 선형예측 모델링부;
    상기 선형 예측에 대한 레지듀얼 신호를 생성하는 레지듀얼 신호추출부; 및
    상기 레지듀얼 신호를 주파수 변환하여 스펙트럴 계수를 생성하는 주파수 변환부를 포함하는 오디오 신호 처리 장치.
  15. 제 11항에 있어서,
    상기 오디오 신호는 복수의 서브 프레임으로 구성되며, 상기 제2 타입정보는 상기 서브 프레임별로 생성되는 것을 특징으로 하는 오디오 신호 처리 장치.
PCT/KR2009/001081 2008-03-04 2009-03-04 오디오 신호 처리 방법 및 장치 WO2009110751A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN2009801136190A CN102007534B (zh) 2008-03-04 2009-03-04 用于处理音频信号的方法和装置
ES09717694.5T ES2464722T3 (es) 2008-03-04 2009-03-04 Método y aparato para procesar una señal de audio
CA2717584A CA2717584C (en) 2008-03-04 2009-03-04 Method and apparatus for processing an audio signal
EP09717694.5A EP2259254B1 (en) 2008-03-04 2009-03-04 Method and apparatus for processing an audio signal
JP2010549573A JP5108960B2 (ja) 2008-03-04 2009-03-04 オーディオ信号処理方法及び装置
AU2009220341A AU2009220341B2 (en) 2008-03-04 2009-03-04 Method and apparatus for processing an audio signal
US12/497,119 US8135585B2 (en) 2008-03-04 2009-07-02 Method and an apparatus for processing a signal

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US3371508P 2008-03-04 2008-03-04
US61/033,715 2008-03-04
US7876208P 2008-07-07 2008-07-07
US61/078,762 2008-07-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/497,119 Continuation US8135585B2 (en) 2008-03-04 2009-07-02 Method and an apparatus for processing a signal

Publications (2)

Publication Number Publication Date
WO2009110751A2 true WO2009110751A2 (ko) 2009-09-11
WO2009110751A3 WO2009110751A3 (ko) 2009-10-29

Family

ID=41056476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/001081 WO2009110751A2 (ko) 2008-03-04 2009-03-04 오디오 신호 처리 방법 및 장치

Country Status (10)

Country Link
US (1) US8135585B2 (ko)
EP (1) EP2259254B1 (ko)
JP (1) JP5108960B2 (ko)
KR (1) KR20100134623A (ko)
CN (1) CN102007534B (ko)
AU (1) AU2009220341B2 (ko)
CA (1) CA2717584C (ko)
ES (1) ES2464722T3 (ko)
RU (1) RU2452042C1 (ko)
WO (1) WO2009110751A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081033A (ja) * 2009-10-02 2011-04-21 Toshiba Corp 信号処理装置、及び携帯端末装置
JP2013515287A (ja) * 2009-12-21 2013-05-02 マインドスピード テクノロジーズ インコーポレイテッド 音声帯域拡張方法及び音声帯域拡張システム
WO2015126228A1 (ko) * 2014-02-24 2015-08-27 삼성전자 주식회사 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101889306A (zh) * 2007-10-15 2010-11-17 Lg电子株式会社 用于处理信号的方法和装置
MX2011000370A (es) * 2008-07-11 2011-03-15 Fraunhofer Ges Forschung Un aparato y un metodo para decodificar una señal de audio codificada.
KR101826331B1 (ko) 2010-09-15 2018-03-22 삼성전자주식회사 고주파수 대역폭 확장을 위한 부호화/복호화 장치 및 방법
BR122021007425B1 (pt) 2010-12-29 2022-12-20 Samsung Electronics Co., Ltd Aparelho de decodificação, e método de codificação de um sinal de banda superior
CN102610231B (zh) * 2011-01-24 2013-10-09 华为技术有限公司 一种带宽扩展方法及装置
CN103918247B (zh) 2011-09-23 2016-08-24 数字标记公司 基于背景环境的智能手机传感器逻辑
CN103035248B (zh) 2011-10-08 2015-01-21 华为技术有限公司 音频信号编码方法和装置
ES2805308T3 (es) * 2011-11-03 2021-02-11 Voiceage Evs Llc Mejora del contenido insonoro para decodificador CELP de tasa baja
CN102446509B (zh) * 2011-11-22 2014-04-09 中兴通讯股份有限公司 增强抗丢包的音频编解码方法及系统
CN104221082B (zh) * 2012-03-29 2017-03-08 瑞典爱立信有限公司 谐波音频信号的带宽扩展
KR101775084B1 (ko) * 2013-01-29 2017-09-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 주파수 향상 오디오 신호를 생성하는 디코더, 디코딩 방법, 인코딩된 신호를 생성하는 인코더, 및 컴팩트 선택 사이드 정보를 이용한 인코딩 방법
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
CN103413553B (zh) * 2013-08-20 2016-03-09 腾讯科技(深圳)有限公司 音频编码方法、音频解码方法、编码端、解码端和系统
CN103500580B (zh) * 2013-09-23 2017-04-12 广东威创视讯科技股份有限公司 混音处理方法及系统
EP2863386A1 (en) 2013-10-18 2015-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
CN107424621B (zh) * 2014-06-24 2021-10-26 华为技术有限公司 音频编码方法和装置
CN104269173B (zh) * 2014-09-30 2018-03-13 武汉大学深圳研究院 切换模式的音频带宽扩展装置与方法
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备
CN106075728B (zh) * 2016-08-22 2018-09-28 卢超 应用于电子针灸仪的音乐调制脉冲获取方法
US10074378B2 (en) * 2016-12-09 2018-09-11 Cirrus Logic, Inc. Data encoding detection
CN115334349B (zh) * 2022-07-15 2024-01-02 北京达佳互联信息技术有限公司 音频处理方法、装置、电子设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742735A (en) * 1987-10-06 1998-04-21 Fraunhofer Gesellschaft Zur Forderung Der Angewanten Forschung E.V. Digital adaptive transformation coding method
NL9000338A (nl) * 1989-06-02 1991-01-02 Koninkl Philips Electronics Nv Digitaal transmissiesysteem, zender en ontvanger te gebruiken in het transmissiesysteem en registratiedrager verkregen met de zender in de vorm van een optekeninrichting.
JPH04150522A (ja) * 1990-10-15 1992-05-25 Sony Corp ディジタル信号処理装置
US5680508A (en) * 1991-05-03 1997-10-21 Itt Corporation Enhancement of speech coding in background noise for low-rate speech coder
US5371853A (en) * 1991-10-28 1994-12-06 University Of Maryland At College Park Method and system for CELP speech coding and codebook for use therewith
DE4202140A1 (de) * 1992-01-27 1993-07-29 Thomson Brandt Gmbh Verfahren zur uebertragung digitaler audio-signale
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
IT1257065B (it) * 1992-07-31 1996-01-05 Sip Codificatore a basso ritardo per segnali audio, utilizzante tecniche di analisi per sintesi.
US5579404A (en) * 1993-02-16 1996-11-26 Dolby Laboratories Licensing Corporation Digital audio limiter
DE4405659C1 (de) * 1994-02-22 1995-04-06 Fraunhofer Ges Forschung Verfahren zum kaskadierten Codieren und Decodieren von Audiodaten
US5537510A (en) * 1994-12-30 1996-07-16 Daewoo Electronics Co., Ltd. Adaptive digital audio encoding apparatus and a bit allocation method thereof
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5778335A (en) * 1996-02-26 1998-07-07 The Regents Of The University Of California Method and apparatus for efficient multiband celp wideband speech and music coding and decoding
US6061793A (en) * 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
KR100261254B1 (ko) * 1997-04-02 2000-07-01 윤종용 비트율 조절이 가능한 오디오 데이터 부호화/복호화방법 및 장치
JP3185748B2 (ja) * 1997-04-09 2001-07-11 日本電気株式会社 信号符号化装置
US6208962B1 (en) * 1997-04-09 2001-03-27 Nec Corporation Signal coding system
DE69926821T2 (de) * 1998-01-22 2007-12-06 Deutsche Telekom Ag Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
JP3199020B2 (ja) * 1998-02-27 2001-08-13 日本電気株式会社 音声音楽信号の符号化装置および復号装置
US6424938B1 (en) * 1998-11-23 2002-07-23 Telefonaktiebolaget L M Ericsson Complex signal activity detection for improved speech/noise classification of an audio signal
SG98418A1 (en) * 2000-07-10 2003-09-19 Cyberinc Pte Ltd A method, a device and a system for compressing a musical and voice signal
US6658383B2 (en) * 2001-06-26 2003-12-02 Microsoft Corporation Method for coding speech and music signals
SE521600C2 (sv) * 2001-12-04 2003-11-18 Global Ip Sound Ab Lågbittaktskodek
JP2003257125A (ja) * 2002-03-05 2003-09-12 Seiko Epson Corp 音再生方法および音再生装置
WO2003089892A1 (en) * 2002-04-22 2003-10-30 Nokia Corporation Generating lsf vectors
US8359197B2 (en) * 2003-04-01 2013-01-22 Digital Voice Systems, Inc. Half-rate vocoder
KR20060131793A (ko) * 2003-12-26 2006-12-20 마츠시타 덴끼 산교 가부시키가이샤 음성ㆍ악음 부호화 장치 및 음성ㆍ악음 부호화 방법
US7596486B2 (en) * 2004-05-19 2009-09-29 Nokia Corporation Encoding an audio signal using different audio coder modes
KR100854534B1 (ko) 2004-05-19 2008-08-26 노키아 코포레이션 오디오 코더 모드들 간의 스위칭 지원
KR101171098B1 (ko) 2005-07-22 2012-08-20 삼성전자주식회사 혼합 구조의 스케일러블 음성 부호화 방법 및 장치
CN101512639B (zh) * 2006-09-13 2012-03-14 艾利森电话股份有限公司 用于语音/音频发送器和接收器的方法和设备
JP5266341B2 (ja) * 2008-03-03 2013-08-21 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2259254A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081033A (ja) * 2009-10-02 2011-04-21 Toshiba Corp 信号処理装置、及び携帯端末装置
JP2013515287A (ja) * 2009-12-21 2013-05-02 マインドスピード テクノロジーズ インコーポレイテッド 音声帯域拡張方法及び音声帯域拡張システム
WO2015126228A1 (ko) * 2014-02-24 2015-08-27 삼성전자 주식회사 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
US10090004B2 (en) 2014-02-24 2018-10-02 Samsung Electronics Co., Ltd. Signal classifying method and device, and audio encoding method and device using same
US10504540B2 (en) 2014-02-24 2019-12-10 Samsung Electronics Co., Ltd. Signal classifying method and device, and audio encoding method and device using same

Also Published As

Publication number Publication date
CA2717584A1 (en) 2009-09-11
WO2009110751A3 (ko) 2009-10-29
KR20100134623A (ko) 2010-12-23
CN102007534A (zh) 2011-04-06
EP2259254A2 (en) 2010-12-08
ES2464722T3 (es) 2014-06-03
RU2010140365A (ru) 2012-04-10
EP2259254B1 (en) 2014-04-30
RU2452042C1 (ru) 2012-05-27
JP2011514558A (ja) 2011-05-06
CN102007534B (zh) 2012-11-21
EP2259254A4 (en) 2013-02-20
AU2009220341B2 (en) 2011-09-22
US20100070272A1 (en) 2010-03-18
US8135585B2 (en) 2012-03-13
JP5108960B2 (ja) 2012-12-26
CA2717584C (en) 2015-05-12
AU2009220341A1 (en) 2009-09-11

Similar Documents

Publication Publication Date Title
WO2009110751A2 (ko) 오디오 신호 처리 방법 및 장치
WO2009110738A2 (ko) 오디오 신호 처리 방법 및 장치
EP2224433B1 (en) An apparatus for processing an audio signal and method thereof
WO2010008176A1 (ko) 음성/음악 통합 신호의 부호화/복호화 장치
JP4925671B2 (ja) デジタル信号の符号化/復号化方法及びその装置並びに記録媒体
JP2006048043A (ja) オーディオデータの高周波数の復元方法及びその装置
US20100070285A1 (en) method and an apparatus for processing an audio signal
JP2023500632A (ja) 没入的音声およびオーディオ・サービスにおけるビットレート配分
KR20080071971A (ko) 미디어 신호 처리 방법 및 장치
WO2009088257A2 (ko) 프레임 타입 식별 방법 및 장치
KR101108955B1 (ko) 오디오 신호 처리 방법 및 장치
WO2012177067A2 (ko) 오디오 신호 처리방법 및 장치와 이를 채용하는 단말기
JP2000151414A (ja) ディジタルオーディオ符号化装置、同符号化方法、及び同符号化プログラムを記録した記録媒体
WO2010058931A2 (en) A method and an apparatus for processing a signal
KR20080030848A (ko) 오디오 신호 인코딩 및 디코딩 방법 및 장치
KR20100054749A (ko) 신호의 처리 방법 및 이의 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980113619.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09717694

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2717584

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2010549573

Country of ref document: JP

Ref document number: 3270/KOLNP/2010

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2009717694

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20107021775

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009220341

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2010140365

Country of ref document: RU

ENP Entry into the national phase

Ref document number: 2009220341

Country of ref document: AU

Date of ref document: 20090304

Kind code of ref document: A