CN1198275A - 在音频信号中传送辅助数据的方法及装置 - Google Patents

在音频信号中传送辅助数据的方法及装置 Download PDF

Info

Publication number
CN1198275A
CN1198275A CN96197308A CN96197308A CN1198275A CN 1198275 A CN1198275 A CN 1198275A CN 96197308 A CN96197308 A CN 96197308A CN 96197308 A CN96197308 A CN 96197308A CN 1198275 A CN1198275 A CN 1198275A
Authority
CN
China
Prior art keywords
audio signal
signal
frequency spectrum
carrier wave
spectrum shaping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN96197308A
Other languages
English (en)
Inventor
宗·U·李
卡姆兰·穆阿莱密
罗伯特·L·沃伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solana Technology Development Corp
Original Assignee
Solana Technology Development Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solana Technology Development Corp filed Critical Solana Technology Development Corp
Publication of CN1198275A publication Critical patent/CN1198275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B15/00Suppression or limitation of noise or interference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • H04H20/30Arrangements for simultaneous broadcast of plural pieces of information by a single channel
    • H04H20/31Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/69Spread spectrum techniques
    • H04B1/707Spread spectrum techniques using direct sequence modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J13/00Code division multiplex systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J7/00Multiplex systems in which the amplitudes or durations of the signals in individual channels are characteristic of those channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J9/00Multiplex systems in which each channel is represented by a different type of modulation of the carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J99/00Subject matter not provided for in other groups of this subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B15/00Suppression or limitation of noise or interference
    • H04B15/02Reducing interference from electric apparatus by means located at or near the interfering apparatus
    • H04B15/04Reducing interference from electric apparatus by means located at or near the interfering apparatus the interference being caused by substantially sinusoidal oscillations, e.g. in a receiver or in a tape-recorder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J13/00Code division multiplex systems
    • H04J13/0077Multicode, e.g. multiple codes assigned to one user

Abstract

通过以彩色噪音的形式隐藏数据,在传统音频信号中传送辅助数据。彩色噪音具有模仿原始音频信号频谱的频谱。待被传送的数据首先被转换成扩展频谱信号。对原始音频信号进行分析以确定它的频谱形状。将同样的频谱形状赋予扩展频谱信号,然后它与原始音频信号相组合以便传输。可使用时域模拟及合成。如线性预测编码或使用子带编码技术、如快速傅里叶变换来执行频谱整形。多个不同的辅助信息流可在音频信号上传送。通过调节单个扩展频谱信号载波的增益及彩色噪音的功率,可使辅助信息流在原始音频信号中表现为不能被听到,或处于低于或高于可听阈值的任何所需电平上。

Description

在音频信号中传送辅助数据的方法及装置
本发明涉及用于在音频信号中隐藏数据的方法及装置,更具体地,涉及将一个或多个辅助数据信号插在原始音频信号中并通过现有音频信道通信的方案。并且也公开了从音频信号中恢复隐藏数据的方法和装置。
携载信息的传输信道的容易受到信道带宽的限制。因为无线电通信信道的带宽受到电磁波频谱的实际条件的限制,因此开发用于能在给定带宽的信道内增加携载信息量的技术变为非常需要。例如,已经公知了用于压缩数字数据以便将更多的数据压缩在给定带宽或数据存储空间中的技术。
在给定带宽内传输附加数据的另一方案是识别附加信息能与原始信息一起传送的,并对原始信号本身的传送无副作用。这种技术可与公知的压缩方法相结合。一种这样的技术是与音频信号一起传送数据。在这种技术中,音频信道的带宽保留原样,而附加信息与音频信息装载在一起,以致使附加信息能被检索出来,并实质上不会使原始音频信号的质量下降。
由于在音频系统中重播声音的方法,在传统的音频信号中具有固有的冗余。通过作为音频信号的幅值或电压将瞬时的声压记录下来,在实际重播及人的听觉感受之间将出现失配。尽管人耳在许多方面有些非线性,它表现为象一组低通滤波器或频谱分析器。在每个频率上,听觉近似为对数特性,即能被承受的噪音量正比于信号。换言之,一旦“信噪比”(SNR)超过一定阈值,噪音不再能被听到。该SNR阈值通常小于40dB并维持在大多数可听频率范围上。这个相对低的SNR要求能使载有信号的信息通过现有的音频信号通道(例如,从音频信号源到重播声音的换能器),不被人耳所觉察到,只要该SNR维持在所有的频率上。
在音频信号中隐埋数字信息的一种方法公开在题为“隐埋式信号通信”的美国专利US,5,319,375中。该专利公开了代表待隐埋的码符号序列的码信号发生,码信号具有的频率分量实际上被限定在音频信号带宽内并小于该带宽的预选信号发送带上。在围绕该信号发送带的频带上对音频信号连续地作频率分析。作为分析的函数,码信号被动态地滤波,以对修改的码信号提供频率分量级,后者在每个时刻上在信号发送带的外部实际上小到可以忽略。在信号发送带的每个频率上,修改码信号的频率分量级实际上预选择为正比于在相应频率范围中的音频信号频率分量级。修改码信号与音频信号相结合以提供复合音频信号。频率分析及动态滤波是使用大量带通波器的组来实现的。这种结构导致相当复杂及高成本的实施,这将限制其实用价值。
最好是提供一种在传统音频信号中隐藏数据的更健全的方案。这种方案应能使多个不同的数据流与音频信号一起传送,而实际上不会改变音频信号的质量。这些不同的数据流应能以不同数据速率提供,并能在被加到音频信号上以前能以任何数目的路径相组合。不同的数据流及其组合也应能在另外数据流已加到音频信号上以后以“级联”的方式加到音频信号上。组合数据流应能在音频信号中以不同的等级(即具有不同的增益)来提供,及组合数据流的功率应可被调节以保持在所需等级上在音频音号内相组合。
此外,由音频信号携载的信息类型实际上应是无限制的。例如,最好使与音频信号完全无关的数据被携载。类似地,使辅助于音频数据的数据被携载也是有利的,这种辅助数据例如为预防音频信号未被合法授权地复制所执行的复制保护方案的数据或其它控制与音频信号有关的音频节目的使用或另外信息(例如视频或多媒体)的使用的数据。识别音频信号内容的信息,例如音频节目的名称和/或演员,及关于市场研究或商业验证的调查信息也可使用该方案来隐藏。另外,用于在音频信号中隐藏数据的方案应能隐藏调制的载波、未调制的载波(例如引导信息)或这两者的组合。
本发明涉及具有上述及另外优点的对隐藏在音频信号中的信息进行传送及恢复的方法和装置。
根据本发明,提供了一种在音频信号中隐藏辅助信息以便与接收机通信的方法。伪随机噪音载波(具有平的频谱)被辅助信息调制,以提供携载信息的扩展频谱信号。对音频信号进行估算以确定其频谱形状。扩展频谱信号的载波部分被频谱整形(即,“变为彩色”)以模仿音频信号的频谱形状。具有频谱整形载波部分的扩展频谱信号与音频信号相结合以产生携载作为音频信号中随机噪音的辅助信息的输出信号。
在图示的实施例中,输出信号包括扩展频谱信号及音频信号的和。辅助信息可使用正向误差校正(FEC)码在调制步骤前被编码。以此方式,辅助信息调制FEC数据形式的载波。
提供了一种从输出信号恢复辅助信息的方法,其中确定出输出信号的频谱形状。然后基于确定的频谱形状处理输出信号,使包含在输出信号中的扩展频谱信号的载波部分变平(即“白化”)。在载波部分变白以后,调制扩散频谱信号。解调部分使扩展频谱信号去扩散,以恢复FEC数据。然后对FEC数据解码以恢复辅助信息。在辅助信息不是FEC编码的实施例中,辅助信息直接地从去扩散的扩展频谱信号来恢复。
估算音频信号来确定它的频谱形状的步骤可使用时域模拟,例如线性预测编码(LPC)技术,以确定音频信号的频谱形状。LPC是特别有利的,因为它能提供预测的增益,该增益例如可降低音频信号的功率。在这样一种实施例中,提供LPC系数用于对扩展频谱信号载波进行频谱整形。为了确定用于在解码器中恢复辅助信息的输出信号的频谱整形可从输出信号的频谱形状中独立地获得相应的LPC系数。该相应的LPC系数是供处理输出信号使载波部分变白用的。
在扩展频谱信号与音频信号组合前可对扩展频谱信号的功率进行调整。例如,可使用该调整来使扩展频谱信号低于音频信号中的可听阈值(即,使得它实际不能被听见)。也可以使用该调整以附加方式使扩展频谱信号被听到,以致使被记录的音频信号的持续复制、如数字录音带复制的质量随着每次新复制而变差。
也可以在音频信号上隐藏多个辅助信息信号。为了实现它,通过辅助信息信号来调制多个伪随机噪音载波,以提供多个扩展频谱信号。载波被频谱整形,以模仿音频信号的频谱形状。频谱整形的载波与视频信号相组合以产生输出信号。在一个实施例中,每个载波在其与音频信号组合前被个别地频谱整形。在另一实施例中,各载波在它们被频谱整形前相组合,及组合的载波在它们与音频信号组合前作为一组地被频谱整形。在一个混合实施例中,一些载波在它们与音频信号组合前可以个别地被频谱整形,而另一些载波在被频谱整形及与音频信号组合前作为一组地相组合。
为了从在其中隐藏了多个辅助信息信号的输出信号恢复辅助信息,将确定出输出信号的频谱形状。基于其频谱形状对输出信号处理,使包含在其中的扩展频谱信号的载波部分变白。在载波部分变白后,解调所需的频谱信号。在解调期间使扩展频谱信号去扩散,以恢复被其所载的辅助信息。
伪随机噪音载波可加密地产生,以提供辅助信息对接收机的可靠通信。在这个实施例中,可在发射机及接收机两者上设置保安加密钥。根据公知的加密算法、例如数据加密标准(DES),使用该钥来产生伪随机噪音载波。在发射机及接收机两者上不具有相同的密钥,将不可能在发射机及接收机上产生相同的伪随机噪音载波。因此,没有适合的密钥,将不可能在接收机上获得恢复辅助信息所需的具体伪随机噪音载波。该事实可防止来经授权使用适合密钥的一方恢复出辅助信息。另外的公知加密算法、包括公用及私用的密钥方案,可被用来加密伪随机噪音载波。
提供了一种在音频信号中隐藏辅助信息以便与接收机通信的装置。该装置包括用于将辅助信息数据流转换成携载信息的扩展频谱信号的装置。设置了用于估算音频信号以确定其频谱形状的装置。响应于估算装置的装置将对扩展频谱信号的载波部分进行频谱整形,以模仿音频信号的频谱形状。具有频谱整形载波部分的扩展频谱信号与音频信号相组合,以产生载有作为音频信号中实际随机噪音的辅助信息的输出信号。可选择地,设置用于在组合装置前面调节扩展频谱信号功率的装置,以使扩展频谱信号在音频信号中具有所需的功率等级(例如,低于可听阈值)。并且可选择地设置,在将辅助信息转换为扩展频谱信号以前使用正向误差校正码来编码辅助信息的装置。
在一个图示实施例中,估算装置包括连接来接收音频信号及由它产生LPC系数的线性预测编码(LPC)处理器。用于对载波部分频谱整形的装置包括响应LPC系数的LPC滤波器。在一个用于在音频信号中携载多个辅助信息流的替换实施例中,估算装置包括连接来接收及预测音频信号频谱的子带分析器。用于对载波部分频谱整形的装置包括响应子带分析器的子带滤波器,以便处理载波部分。在一个图示实施例中,子带分析器包括第一快速傅里叶变换(FFT)处理器。子带滤波器包括:处理载波部分用的第二FFT处理器;及加权装置,用于对由第一和第二FFT处理器的FFT输出进行频率加权;以及第三反向FFT处理器,用于处理加权装置的输出以提供频谱整形的载波部分。
提供了用于从包含组合的音频信号及扩展频谱信号的输出信号恢复辅助信息的装置。该装置包括用于确定输出信号频谱形状的装置。设置了基于由确定装置确定的频谱形状对输出信号进行处理的装置,以使包含在输出信号中的扩展频谱信号的载波部分变白。设置了在载波部分变白后解调扩展频谱信号的装置,以获得去扩散的扩展频谱信号及恢复了数据流。
在编码器中使用线性预测编码执行频谱整形的实施例中,解调器可包括连接来接收输出信号并由它产生LPC系数的LPC处理器。有利的是,LPC系数将在解码器上与编码器无关地被获得,以使得无需将系数从编码器传送到解码器。为了使扩展频谱信号的载波部分变白,解码器可包括响应本地获得的LPC系数的LPC滤波器。使用了这种LPC滤波器提供了上述有利的预测增益。
如果编码器使用FEC编码辅助信息时,解码器将包括FEC解码器。该FEC解码器对由解调装置恢复的数据流解码,以便提供辅助信息。
在编码器使用子带分析器及子带滤波器来提供频谱整形的实施例中,解码器将包括相应的单元。具体地,将连接子带分析器来接收及预测输出信号的频谱。将设置子带滤波器来处理输出信号,以响应于由子带分析器预测的频谱使载波部分变白。在一个更专门的实施例中,在解码器中使用的子带分析器可包括FFT处理器。解码器中的子带滤波器可包括一个FFT处理器,它具有的输出与子带分析器的输出相乘形成一个积;以及包括一个反向FFT处理器,它接收另外FFT处理器输出的积。
设置了一种解码器来恢复由作为彩色噪音隐藏在音频信号中的扩展频谱信号所携载的辅助信息。该扩展频谱信号包括一个载波,该载波具有模仿包括在音频信号中的音频信息的频谱形状的频谱形状。还设置了确定音频信息频谱形状的装置。基于由该确定装置确定的频谱形状来处理音频信号,以使载波变白。还设置了对白色载波进行解调的装置以恢复扩展频谱信号。使恢复的扩展频谱信号去扩散,然后解调以恢复辅助信息。可使用线性预测编码(LPC)技术来实现载波的白化。
解码器可设计来恢复载于扩展频谱信号的各个载波上的多个辅助信息信号中的一个所需的辅助信息。所有的载波将分开整形以模仿音频信息的频谱形状。解码器中的解调装置包括用于选择解调所需的一个载波的装置,以便能恢复相应的一个辅助信息信号。对于每个信息信号设有单独的解调器(及FFC编码器-如果需要的话)。用于去除频谱整形的单元(即“白化电路”)可被解码器中的所有辅助信息信号共享。
本发明还提供了一种使用梳状接收器实施的解码器。这种编码器尤其有利于对从基本白色噪音扩展频谱编码器接收的信号进行编码,这种编码器即为在音频信号中提供作为白色(非彩色)噪音的辅助信息的编码器。解码器中的白化装置产生扩展频谱信号中符号间的干扰。梳状接收器从白化装置接收音频信号。梳状接收器对接收的音频信号解调,以恢复具有降低了符号间干扰的扩展频谱信号。对恢复的扩展频谱信号去扩散来恢复出辅助信息。
梳状接收器实施例中的白化装置可包括连接来接收音频信号及由它产生LPC系数的LPC处理器。为了接收音频信号设置了一个N阶的LPC滤波器。该LPC滤波器响应于LPC系数来使音频信号的频谱变白。该梳状接收器包括N个支路或“梳指”,其中N近似等于LPC滤波器的阶。当解调接收的音频信号时,每个梳指处理扩展频谱信号的各个不同的多通路,由此恢复出具有降低了符号间干拢的扩展频谱信号,以便由它获得辅助信息。在该实施例中,梳状接收器还包括响应LPC系数以便动态地改变梳状接收器支路权重的装置。
图1是本发明的隐数据传送系统的总体框图;
图2是表示典型传输信道的模型;
图3是基本白色噪音隐数据传送编码器的框图;
图4是基本白色噪音隐数据传送解码器的框图;
图5是对待隐藏在音频信号中的辅助信息提供频谱整形及功率调节的隐数据传送编码器的LPC实施例的框图;
图6是用于恢复由图5的编码器输出的隐信息的解码器的框图;
图7是使用梳状接收器的隐数据传送解码器的框图;
图8是使用子带编码,尤其是快速傅里叶变换技术对待隐藏在音频信号上的信息进行频谱整形的隐数据传送编码器的框图;
图9是用于恢复由图8的编码器隐藏的信息的解码器实施例;
图10是用于在音频信号上隐藏多个辅助信息的串联实施例;
图11是用于在音频信号上隐藏多个辅助信息的并联实施例;及
图12是用于同时地对隐藏在音频信号中多个不同辅助信息信号解码的解码器的框图。
本发明利用人类听觉感官的极限来创建在设计用于载波音频信号的实际信道内的隐信道。用于发送的音频信号的后继调制是相对无关的。公知的AM、FM及多级调制技术,例如二进制相移键控(BPSK)、正交相移键控(QPSK)、正交幅度调制(QAM)及另外公知的调制技术可用来在根据本发明处理后发送音频信号以携带隐藏的辅助信息。该辅助信息可包括与音频数据有关或无关的任何所需数据。例如,在音频信号中可载有图文数据、控制数据及另外的无关数据。此外,或换一种方式,使用本发明的技术可携带识别音频信号和/或其内容的数据、市场研究及商业验证数据及复制保护数据。因此,应当理解,在能被隐藏在音频信号中(例如无声携带)的数据类型方面本发明无任何限制。
用于携带待隐藏的辅助信号的载波的最佳信号类型是随机似噪音信号。随机噪音比其它相关噪音更易于使人感觉到。
伪随机噪音通常用于传播频谱通信系统中。根据本发明使用系统,以便以理想的载波一噪音比(CNR)、例如-20dB来可靠地发送数据。为了克服低CNR,需要高处理增益,即高的信号发送速率与信号带宽之比。因此,在典型的扩展频谱系统中,信息速率非常低,通常在20KHZ带宽的音频信道上低于每秒100位(bps)。用于扩展频谱系统的伪随机(PN)载波具有平的(白色)频谱。因此,在频谱谷区很难维持所需的SNR,除非处理增益非常高。为了克服该问题,本发明自适应地对PN频谱整形,以匹配音频频谱的形状。该技术能使辅助信息以合理的高数据速率隐藏在音频信号中。
根据本发明的用于产生“彩色噪音”载波信号的PN频谱自适应整形、例如可通过使白色PN噪音经过线性预测编码(LPC)滤波器来获得,也就是,由其中待隐藏数据的音频信号来获得的。该PN噪音序列用作被LPC滤波器整形的载波信号,以匹配音频信号的频谱。有利的是,接近完善的反相LPC滤波器可考虑用在接收机上,因为插入的噪音信号本身将具有与音频信号相似的频谱形状。
使用LPC滤波器的好处是干扰信号的整平或“变白”作用,在此情况下干扰信号为音频信号。线性预测处理去掉了信号的可预测部分,并使得预测的剩余部分具有相对平坦的频谱。该类型的噪音明显地改善了正向误差校正(FFC)编码的性能,这种编码通常提供辅助信息,以便减少接收机上的误差概率。
LPC实施方式的另一好处是传输信道失真可被LPC滤波器通过白化处理来补偿。实际上,在接收机上的反相LPC滤波器对于由发送LPC滤波器及信道滤波器的组合滤波起到自动均衡器的作用。LPC的另一好处是提供有用的、例如对减少音频信号功率有利的预测增益。
还公开了替换的实施例,其中使用了子带编码来代替由LPC提供的时域模拟及合成。为了使用子带编码来实施本发明,可应用快速傅里叶变换(FFT)技术。
图1以简化形式表示了本发明的隐数据传输(HDT)系统。原始音频信号经由端子10输入到编码器14中,该编码器包括一个HDT编码器16及一个加法电路18。HDT编码器16通过端子12接收将要被隐藏到音频信号中的辅助数据。
HDT编码器16对原始音频信号S(t)进行分析,以确定频谱整形要求。通过端子12输入的辅助数据X(m)被调制以产生彩色噪音信号d(t),然后在发送前它在加法器18中被加到原始音频信号s(t)上。该组合信号y(t)=S(t)+d(t)通过发射机22被发射到总标号为20的信道上。虽然在图1中是表示无线电信道,但应理解,有线信道(例如导电电缆或光导纤维缆)也可被使用。本发明也可应用于记录在磁或光介质或类似物上的音频信号,例如记录在音频重播技术中公知的磁带及小型盘上的音频信号。
接收器24产生发送信号的复制信号,表示为y′(t)=S’(t)+d’(t)。由于原始音频信号S’(t)遮掩了辅助数据,辅助数据d’(t)隐藏着且是不能被听到的。收听信号的用户将听到常规的音频信号S’(t),但不能感觉到d’(t)的存在。HDT解码器26将从接收的信号y’(t)中恢复以x’(m)表示的辅助数据信号x(m)。
发射机22、接收机24及它们间用以通信的传播媒界统称为信道20。该信道实际上可以是使用任何的模拟或数字传送方式的、能携载音频信号的任何媒体。此外,发送可使用压缩或非压缩的方式。作为例子,可以是AM或FM广播、卫星传输、有线电视、盒式磁带、小型盘及类似媒体。
图2是传输信道20的一个模型。该信道简单地用一个线性信道滤波器30(H(Z))及一个称谓“信道噪音”的附加噪音g(t)来模仿。在图2所示的实施例中,信道噪音经过加法器32附加在线性信道滤波器30的输出上。
线性信道滤波器H(Z)被要求具有标定的低通特性及足够宽的带宽,以便通过高质量的音频信号。传输信道的输出为y′(t)=S’(t)+d’(t)+g’(t)。分量S’(t)及d’(t)分别为信道对输入S(t)及d(t)的响应。
图3表示一个基本的白色噪音HDT编码器,它允许辅助信息被载在作为无彩色噪音的音频信号(即,无频谱整形的扩展频谱载波)上。使用无彩色噪音来携载辅助信息,就提供了比使用彩色噪音能获得的性能低一些的性能,正如下面结合附图5及6更详细描述的。但是,如图3所示的基本编码器能够简单及直接地被实施。
图3的编码器16通过端子40接收音频输入S(t)。通过加法电路52对该输入加上辅助信息,后者具有扩展频谱信号的形式。应当理解,可以使用任何公知的信号组合电路使音频输入信号与携载辅助信息的扩展频谱信号相组合。
待与音频信号一起传送的辅助信息通过端子42输入到正向误差校正(FEC)编码器44。这种FEC编码器是本技术领域中公知的。然后,通过乘法器46使FEC编码数据与由传统伪随机噪音(PN)序列发生器48输出的随机噪音序列相乘。该PN发生器48可以基于例如反馈移位寄存器电路或另外公知的键控和发生器电路来形成。该发生器的输出PN(n)例如可以具有值+1或-1。PN(n)的长期功率频谱是平的(或“白色”的)。
乘法器46的输出是调制的PN序列P(n)。通常,PN(n)的采样速率高得多。因此,G>>1,这里G=n/l,是处理增益(“传播比”)。图3中所示的从X(m)到P(n)的信号处理包括传统的直接序列扩展频谱调制。
调制的PN序列P(n)被输入到数模转换器50,该数模转换器将信号转换成模拟方式d(t),以便和音频信号组合。然后,该音频信号通过信道与图4中的解码器通信。
在图4所示的解码器中,载有辅助信息的音频信号通过端子60输入到模数转换器62。音频信号也直接地通过导线72输出到传统的音频处理电路,该电路通常包括放大器及扬声器(或另外的换能器),用以重播声音。包含辅助信息的噪音处于音频输出信号的电平上,它足够地低,以致实际不为人耳听到。于是,辅助信息被“隐藏在音频信号中;虽然它存在,但是不能被听到。
模数转换器62将输入信号转换成数字域信号,以便在乘法器64中与和用于编码器中相同的伪随机序列相组合。由PN序列发生器6提供伪随机序列,该序列发生器66和编码器中的PN序列发生器48是一样的。被电路64执行的乘法使扩展频谱信号解调,然后以传统方式由积分及清除电路68对该信号去扩散。去扩散输出Z’(1)知FEC编码辅助信息。该信息被FEC解码器70解码,以输出被恢复的辅助信息X’(m)。
附加于原始音频信号的、不能被听到的噪音音量,通过使用取代由图3编码器提供的白色噪音信号的彩色噪音信号提高约10至20dB。根据本发明的彩色噪音HDT编码器的例子被表示在图5中。该图中所示的实施例对数字域中的音频信息进行分析,以确定其频谱、以相同的频谱对辅助数据“上色”、及在组合信号转换回模拟域以前使音频数据与彩色辅助数据数字地相组合。但是,应当理解,该实施例仅是优选实施例的一个例子。该处理可在数字域或模拟域中实现,及其信号可作为数字或模拟信号传送,这取决于使用本发明的系统的具体需要。因此,在图5及6中设置模数转换器及数模转换器并不意味着:建议根据本发明的处理必须如图示地实施。
音频信号通过端子80被输入到图5的编码器中。A/D转换器84使模拟音频信号转换成数字形式S(n)。待与音频信号X(m)一起传送的辅助数据X(m)经由端子82被输入到FEC编码器86。使用FEC编码来保证数据的完整性及产生编码的符号Z(1)。信息位数与符号数目之比为R=m/l。项m代表对于X(m)的采样速率。
PN序列发生器92提供PN载波PN(n),它例如可具有值+1或-1。这就提供了白色长期功率频谱。在乘法器90中PN(n)与Z(1)相乘,以产生调制的PN序列P(n)。
在LPC合成滤波器94中,PN调制信号P(n)的平频谱接受频谱整形。借助使PN调制信号通过具有响应1/A(Z)的滤波器94来施加频谱整形,其中,
A(Z)=1-(a1Z-1+Z2Z-2+...+aNZ-N)及ai为第N阶LPC滤波器的系数。
该用于频谱整形的LPC滤波器的系数与由LPC分析电路88从音频信号中获得的系数相一致。LPC的分析可使用任何公知的分析信号频谱的方法,例如由L.Rabiner和R.Schafer所讨论的Durbin递推法,见“语音信号的数字处理”,Prentice-Hall出版社,1978年第411-413页,第8.3.2节。
用于LPC分析的阶N必须取得大,以精确地模仿原始音频信号的频谱。例如,约5至50之间的阶将适于LPC分析。正如本技术领域的熟练技术人员可理解的,阶N将取决于信号带宽。因此,例如对于典型电话带宽,N可在从约5至20的范围中选择。LPC滤波器的系数必须经常更新,以跟踪原始音频信号中出现的音乐或语音的变化。
LPC合成滤波器94的输出是调制的彩色噪音序列Pc(n)。噪音功率通过功率估算及控制电路96和乘法器98调节到所需的等级。例如,如果需要在音频信号上携载作为不能听到的辅助信息时,噪音功率将被调节到可听阈值以下。在另外的应用中,可能需要将噪音功率调到高于可听阈值。例如,在数字音频磁带(DAT)的复制保护方案中,每当作出复制时需将噪音信号加到数字音频信号上。在给定数目的复制后,累积的噪音将会使录音质量在音质上降级。另一种方式是,可能需要对音频信号导入预定的干扰量。在此情况下,将调节功率估算及控制电路96,以便对音频信号导入所需的噪音量(它可能高于可听阈值)。
对于滤波器94的每个伪随机帧输出,由功率估算及控制电路96测量原始音频信号S(n)及Pc(n)中的平均功率。通过乘法器98对Pc(n)施加合适的定标量f(1),以将输出信号功率d(t)维持在所需功率等级上,例如低于可听阈值。为了使辅助信息不能被听见,辅助信息与音频信息的比例通常在幅度上为100∶1或功率上为10,000∶1(40kB)。功率受调节的彩色PN噪音信号d(n)通过加法器100加在原始音频信号S(n)上,以产生组合输出信号Y(n)。输出信号Y(n)可通过数模转换器102转换成模拟信号Y(t),以替代原始音频信号S(t)被发送。
作为一个实现图5编码器的假设的、但为实际设计的例子,对于通过端子82输入的辅助信息可使用每秒30位(m=30Hz)的数据输入速率。FEC编码器速率可为R=l/2(l=60Hz)。该例设计的处理增益(扩散比)为G=500(27dB)。伪随机采样速率(芯片频率)为n=30KHz。LPC预测阶为为N=10。并假定,该信道至少具有15KHz的带宽及较小的频率失真。
在该设计例中,编码器使用二进制相移键控(BPSK)。在该实施例中,X(m)、Z(1)、PN(n)及P(n)为二进制信号,X(m)={0,1},Z(1)={-1,+1},PN(n)={-1,+1}及P(n)={-1,+1}。该FEC编码器对于每个X(m)的输入采样产生两个Z(1)的采样。一个PN帧被确定为PN(n)的500PN电路片(采样)的组。对于每个Z(1)的采样,PN帧中的500个PN(n)采样被乘以Z(1)。换言之,如果Z(1)=-1,仅是PN帧中500个采样的符号改变。所产生的BPSK调制PN信号P(n)具有白色噪音频谱。借助使P(n)经过1/A(Z)来获得所需的频谱整形,以产生Pc(n)。
虽然在以上设计例中的原始音频信号(干扰信号)比噪音信号强(例如强20dB),但处理增益非常高。具有R=1/2及G=500,有效处理增益为1000(30kB)。可获得的位能与噪音强度比(Eb/No)为30-20=10kB,这非常适合于BPSK信号传输。
应当理解,在上例中指出的具体参数仅是为了说明的目的。在专门的实施中可使用另外的参数,正如本技术领域的熟练技术人员所了解的。
图6表示用于图5中编码器输出信号的解码器。该解码器通过端子110接收y’(t)。为了在编码器上取消由LPC合成滤波器94施加的频谱整形并恢复P(n),该解码器必须具有LPC滤波系数。但是,这些系数不是由编码器发送的,即使LPC的阶N是固定的并被解码器所了解。而是,解码器将基于接收信号使用LPC分析器116执行独自的LPC分析,以估价LPC滤波器。从估价获得的系数被输入到LPC预测滤波器114,它是编码器中LPC合成滤波器94的反相滤波器。因为S’(t)是接收信号中的主要分量,它是S(t)的良好复制信号,并由于插在LPC分析中的平均处理(提供宽处理窗),估价出的LPC系数a1’、a2’、...、aN’可以非常接近在编码器中使用的LPC系数a1、a2、...、aN
一旦用于LPC预测滤波器的系数A’(Z)=[1-(a1’Z-1+a2’Z-2+...+aN’Z-N)]被获得,就使采样的接收信号y’(n)滤波,以产生y”(n)=s”(n)+p’(n)+g’(n)。P’(n)是P(n)的准确复制信号,因为LPC合成滤波器1/A(Z)及信道响应H(Z)的组合影响已被LPC预测滤波器A’(Z)消除。S”(n)及g’(n)分别是当S’(n)和g(n)被A’(Z)滤波时的预测剩余。由于高的处理增益,g’(n)的作用可以大大地忽略。A’(Z)去掉了S’(n)中的许多冗余,因此S”(n)将具有平的白色频谱。S”(n)中的功率也通过LPC滤波器A’(Z)的典型的大预测增益而被降低。因此,S”(n)+g’(n)变为对P’(n)的白色噪音干扰,后者本身具有白色噪音频谱。
用于从P’(n)恢复辅助数据的其余步骤类似于被图4的序列扩展频谱解调器所使用的步骤。与在编码器中使用的PN序列相同的PN同步序列使用PN发生器118及乘法器120与y”(n)相乘。包括加法器122及开关124的积分及清除电路进行去扩散及主要从S”(n)+g’(n)中的功率恢复Z’(1)及积分。在图示的实施例中,PN序列的相关特性允许p(n)中所有500个采样累加并产生Z’(1)。在该例中,开关124以60Hz的速率进行开关,及Z’(1)具有约14dB(5∶1)的SNR,它足够地大,用于使具有R=1/2的简单FEC解码器在30bps速率上可靠地解码X’(m)。通过处理增益G=n/l使信噪比(信号是Z’(1))得到改善。最后,FEC解码器12b执行对产生辅助数据X’(m)的可靠估算所必需的误差校正。
图7表示使用梳状接收器的解码器的实施例。该解码器从由图3所示类型的白色噪音编码器产生的原始音频信号中解码辅助信息是有利的。虽然无彩色的白色噪音信号在给定功率等级上要比具有适当频谱整形的彩色噪音信号更易听到,但白色噪音信号传输性能可通过LPC滤波器及梳状接收器的结合得以显著改善。这是通过使用比彩色噪音情况下低得多的噪音功率来获得的,并依靠接收机上的LPC预测增益来减小初始音频信号的干扰功率。但是,LPC预测滤波器A(Z)在白化原始音频信号频谱时将整形噪音信号。这种由A(Z)导入的符号间干扰是用图7中总标号为142的梳状接收器来克服的,它将每个A(Z)系数作为多通路分量来处理。
图7表示这样一种使用LPC预测滤波器的解码器,该LPC滤波器包括LPC分析器136和LPC滤波器138以及梳状接收器142。梳状接收器的分支数或“梳指”数必须近似地与LPC滤波器的阶N相匹配。每个梳指包括:乘法器146,它从PN发生器140接收PN(n)序列;及由乘法器147形成的分支加权器,它使得各个乘法器146的输出乘以相应的分支权重。
图示的解码器使用了简单的组合策略,它直接地在一个组合器150中使来自每梳指的所有能量相加。这是通过将分支权重设成1、例如a1”=1,a2”=1,...,aN”=1来实现的。可以实现更佳的组合策略,这将根据LPC系数动态地改变每个梳指中的权重。例如,a1”可设成等于LPC系数a1’,a2”可设成等于LPC系数a2’,等等,其中LPC系数a1’,a2’,...,aN’是由LPC分析器136逻辑计算出的系数。
在组合器150的前面,每梳指加权的输出使用电路148进行积分及清除,该电路148相应于图6中的部件122及124。组合器150的输出在FEC解码器152中被解码,一假定原始辅助信息数据是用FEC编码的。在端子130上接收的音频信号包括作为白色噪音的辅助信息,它通过导线134输出,用于传统音频处理。
在一个替换的彩色噪音实施例中,频谱整形是由子带编码技术而非线性预测编码来提供的。这里所使用的词“子带编码”意在包括转换编码。对于频谱整形使用子带编码的编码器例表示在图8中。相应的解码器表示在图9中。
在图8的编码器中,LPC滤波器被快速傅里叶变换(FFT)操作所取代。不是用LPC分析。而是用FFT166来计算原始音频信号的FFT。这就提供了原始音频信号的频谱形状信息,它能用于整形PN噪音信号,以匹配原始音频信号的频谱形状信息。图5的LPC合成滤波器被FFT174取代,其后跟随有反FFT处理器178执行的反向FFT操作。如同图5的实施例,音频输入通过输入端子160被D/A变换器164接收,其输出在加法器180中与由反向FFT处理器178输出的彩色噪音相加。辅助信息数据通过端子162输入到FEC编码器168中。FEC编码器的输出在乘法器170中与来自PN发生器172的伪随机序列相结合。与彩色噪音相组合的音频信号被D/A变换器182变换成用以在通信信道上传输的模拟信号。如结合上述实施例所指出的,FEC编码器是一种选择,也可需要或不需要A/D和D/A变换器,这取决于音频信号接收的具体方式及它希望被输出的形式。
图9的解码器通过端子190接收来自图8编码器的输出。如果需要,A/D变换器192将模拟输入变换成数字信号,以便由整形FFT196(“FFTs”)及分析FFT198(“FFTa”)进行处理。这两个FFT的输出由乘法器200组合并输入到反向FFT处理器202中。所产生的白色扩展频谱信号使用PN发生器206和乘法器204以及积分和清除电路208进行解调。如果需要,FFC解码器210提供正向误差校正解码。包括音频信号及以噪音方式载于其上的接收信号通过导线194输出到传统的音频处理电路。
应当指出,分析FFT198的长度应足够地长,以便可靠地估算原始音频信号的频谱。但是,噪音整形FFT196的长度不一定要与分析FFT的长度相同。如果需要较短的长度,可用有限脉冲响应(FIR)滤波器取代噪音整形操作,而无过多的计算负担。该FIR滤波器必需使用任何公知的滤波器设计技术、如在“数字信号处理”第5、6节(Oppenh eim及Schafer著)中所公开的技术根据分析FFT的结果来动态地设计。
本发明的技术可用于在相同音频信号上的多个不同的辅助信息信号的通信。在图10中表示出实现它的一个编码器的实施例。在该“级联式”实施例中,音频信号通过端子220输入。第一编码器222包括一个HDT编码器226,它使从端子224输入的第一辅助信息信号通过组合器228加到音频信号上。编码器222的输出通过信道230被传送到另一编码器232。该编码器可以和编码器222相同,并将通过端子234输入的第二辅助信息信号加到已包括第一辅助信息信号的音频信号上。编码器232的输出通过信道240被传送到后继编码器242上,该编码器也可和编码器222及232相同。该编码器242通过端子244接收第三辅助信息信号,并将它加到已包括第一及第二辅助信息信号的音频信号上。编码器242的输出经过信道250传送。
任何数目的辅助信息信号可使用图10中所示的级联式编码器进行组合。每个HDT编码器226可包括一个功率控制部分(例如图5中所示的单元96)以便个别地控制每个辅助信息信号加到音频信号上时的功率等级。
在图11所示的实施例中,对各单独的辅助信息信号进行处理以提供相应的扩展频谱信号,它们组合成一组用于频谱整形。具体地,原始音频信号通过端子260输入到A/D转换器262(取决于实施方式,也可能不使用它),及其频谱被LPC分析器264分析。第一辅助信息信号(或信号组)通过端子280输入到选择的FEC编码器282。由端子280输入的信号可以是单独的信号流或单个信号流的组合,并可包括数据和/或同步信息。应指出,当每个信号流被调制在扩展频谱载波上时,未调制的载波也能被发送,例如作为引导信号。这种引导信号在解码器上用于各种同步目的是有用的,它包括搜索及跟踪、同步及解调、PN序列同步和/或FEC同步。
由端子280输入的信号使用PN发生器284及乘法器286被转换成扩展频谱格式。也可能包括不同数据流的第二辅助信息信号经由端子290被输入到选择的FEC编码器292。该信号被PN发生器294及乘法器296转换成扩展频谱格式。“第N”辅助信息信号(它可包括不同数据流的组合)通过端子300输入到选择的FEC编码器302,并由PN发生器304及乘法器306转换成扩展频谱信号。第二及第N扩展频谱信号在组合器298中组合,及它们在组合器288中与第一扩展频谱信号组合。
PN发生器284、294及304均可工作在相同或不同的数据速率上。例如,如果输入到端子280、290及300的数据被设在不同速率上,各PN发生器可设在不同速率上,作为在解码器中区别各辅助信息信号的装置。如果所有的PN发生器工作在相同数据速率上,则它们的PN序列将最好均彼此相正交,以便于能根据公知的扩展频谱解调技术区别不同的输入数据流。
在任何或所有乘法器286、296及306后面可设置可变增益级以调整每通路中相应的扩展频谱信号的增益。这些增益级287、297和307被表示在图11中。任何通路的增益可基于任何另外通路的增益来调整,以便提供具有所需音频信号电平的不同辅助信息信号。在每通道中辅助信息信号内的总组合信号增益的配置由一个增益分析和控制处理器309来提供,后者调整及维持多个数据流中的相对信号强度,并能独立地调节各个级287、297和/或307的适当增益,以调节每通路的增益。并设置了一控制输入端子310,以便能手动或动态地调节各数据流之中的相对信号强度。例如,可在安装该装置时实现手动调节。另一方式是可以在系统工作期间,或是附加于手动调节、设置动态控制。
由组合器288输出的组合增益受调扩展频谱信号将在LPC合成滤波器266中被频谱整形,以模拟原始音频信号的频谱形状。所产生的彩色噪音输出在组合器268中与原始音频信号相组合,以便在转换器270中进行D/A转换(如果需要的话)。应当理解,可以使用任何合适的频谱整形技术、例如子带编码或带通滤波来代替图11中所示的LPC分析及滤波。
可在图11的编码器中使用一种功率控制电路(未示出)、例如图5中的功率估算及控制电路96,以便在LPC合成滤波器266的输出端作为一组来控制所有辅助信息信号的功率。这种功率控制电路将能使组合辅助信息信号以所需电平、例如在低于或高于可听阈值的特定电平加到音频信号上。
可以使用图6中所示类型的解码器来恢复由图10及11中所示任一编码器提供的组合信号。图6的编码器包括选择控制部分128,它向PN发生器118提供所需PN序列以恢复所需的一个辅助信息信号。例如,如果希望恢复输入到图11中端子290的辅助信息,图6的选择控制部分118将提供给PN发生器118一个产生伪随机序列PN2所需的信息,它是在图11的编码器中由PN发生器294输出的序列。
图6的解码器可以如图12所示地改型,以便同时地对由原始音频信号携载的多个辅助信息信号解码。更具体地,图12的解码器通过端子320接收具有作为彩色噪音隐藏其中的辅助信息信号的原始音频信号。如果需要,用A/D变换器322将输入信号y’(t)转换成数字域信号。所产生的信号y’(n)可使用任何现有的技术、如图6中单元114及116所示的LPC分析及预测部分、通过如图9的FFT处理器196、198及202所示的子带编码、通过设置用于音频信号带宽内频率滤波的带通滤波器组、或通过任何另外合适的频谱整形或滤波方案进行白化。
图12的解码器包括多个级332、342、352,每个接收白色输入信号y”(n)。每个级包括PN发生器(326、336、346),用于恢复多个辅助信息信号中的一个。PN发生器可使用各种任何技术在各信号间进行区分。例如,可对每个辅助信息信号使用不同的PN序列,或对不同的信号使用不同的PN速率(例如1bps、10bps、20bps...等)。如果对不同的辅助信息信号使用相同的PN速率,则所使用的各PN序列最好均彼此相正交,以便于信号的区分和恢复。
由每个PN发生器输出的PN序列被输入到各自的乘法器328、338、348中,它们也接收白色音频信号y”(n)。由每个乘法器产生的输出被输入到各自的扩展频谱解调器330、340及350中,后者各输出相应的辅助信息信号。更具体地,级332输出使用PN序列PN(A)恢复的辅助信息信号“A”,级342输出使用序列PN(B)恢复的辅助信息信号“B”,及级352输出使用序列PN(N)恢复的辅助信息信号“N”。解调器330、340及350可包括任何合适的扩展频谱解调器,例如图6中所示的“积分及清除”单元122和124的等同物。由解调器输出信号的任何所需的进一步处理,如FEC解码将以传统的方式来提供。
附图中所示的各种另外的编码器可作类似的修改,以处理插在一个音频信号中的多个数据流。例如,图3中的编码器可设有多个级,每个级包括单独的PN发生器48、乘法器66,如果需要还可包括A/D变换器50,以便对组合器52输出不同的辅助信息流。在组合器后面可替代地设置任何所需A/D转换器。图4的解码器可设有多个相应的级,每级具有PN发生器66、乘法器64及集成和清除级68,以便恢复被原始音频信号所载的各个辅助信息信号。在各个编码器级中也可包括任何所需的增益及功率调节单元,以提供原始音频信号内具有(各)所需电平的辅助信息信号。
现在可以理解,本发明提供了用于传送音频信号中辅助信息的方法和装置。辅助信息作为彩色噪音传送,它被频谱整形以模仿原始音频信号的频谱形状。频谱整形可由任何数目的装置来提供,其中包括LPC滤波及子带编码技术。PN发生器可用来以扩展频谱信号的形式提供辅助信息,它们随后被频谱整形。为了提供辅助信息的可靠传输,可对PN发生器加密地键控,以使得如没有相应的加密键钥将不能产生对应的PN序列。
虽然本发明是结合各个具体实施例公开的,但对于本领域的熟练技术人员将理解,在不偏离如权利要求书所提出的本发明精神和范围的情况下可作出各种修正和改型。

Claims (64)

1、一种传送音频信号中辅助信息的方法,包括以下步骤:
通过所述辅助信调制伪随机噪音载波,以提供在其载波部分上携载所述信息的扩展频谱信号;
使用时域模拟估算所述音频信号,以获得其频谱形状的近似量;及
响应所述时域模拟使用时域合成,以便对所述扩展频谱信号的载波部分进行频谱整形,以模仿所述音频信号的频谱形状,由此产生包含被载在所述音频信号中的所述辅助信息的彩色噪音。
2、根据权利要求1的方法,包括进一步的步骤:
调节所述彩色噪音信号的功率,以在所述音频信号中以所需电平设置该信号;及
将所述功率调节的彩色噪音信号与所述音频信号相组合,以产生携载作为所述音频信号中噪音的所述辅助信息的输出信号。
3、从携载权利要求1的彩色噪音信号的接收音频信号中恢复所述辅助信息的方法,包括下列步骤:
使用时域模拟估算所述接收音频信号以近似其频谱形状;
基于确定的近似频谱形状处理接收的音频信号,由此使其中包含的彩色噪音信号白化;及
解调白化噪音信号以恢复所述辅助信息。
4、根据权利要求3的方法,其中:
所述接收的音频信号包括所述彩色噪音信号及所述音频信号之和。
5、根据权利要求3的方法,其中:
所述时域模拟包括线性预测编码(LPC),以便提供在所述频谱整形及白化步骤期间所用的LPC系数。
6、根据权利要求5的方法,其中:
在所述白化步骤期间使用的LPC系数是与所述频谱整形期间所用的LPC系数的获得无关地从所述接收的音频信号中获得的。
7、根据权利要求1的方法,其中多个辅助信息信号在所述音频上传送,所述方法包括以下另外的步骤:
通过所述辅助信息信号模仿多个伪随机噪音载波,以提供多个扩展频谱信号;
对所述载波进行频谱整形,以模拟所述音频信号的频谱形状;及
将频谱整形的载波与所述音频信号相组合,以产生载有作为所述音频信号中彩色噪音的辅助信息信号的输出信号。
8、根据权利要求7的方法,其中每个所述载波在它与所述音频信号组合以前被单独地频谱整形。
9、根据权利要求7的方法,其中所述载波在所述频谱整形步骤以前相组合,及所述组合的载波在它们与所述音频信号组合前作为一组被频谱整形。
10、根据权利要求7的方法,其中:
至少一个所述载波在它与所述音频信号组合前被单独地频谱整形,及
至少二个另外的所述载波在所述频谱整形步骤前被组合,并在它们与所述音频信号组合前作为一组被频谱整形。
11、根据权利要求7的方法,其中:
频谱整形载波与所述音频信号相组合,以使得至少一个所述频谱整形载波在所述音频信号已与至少另一所述频谱整形载波组合后与所述音频信号相组合。
12、根据权利要求7的方法,还包括一步骤:提供至少一个调制的或非调制的伪随机噪音载波作为同步接收机功能所用的引导信号。
13、根据权利要求7的方法,包括以下另外的步骤:
在至少一个所述频谱整形载波与所述音频信号相组合前调节该频谱整形载波的增益。
14、根据权利要求13的方法,包括另一步骤:
调节作为一组的这些频谱整形载波的功率,以在所述音频信号中以所需电平提供该组。
15、根据权利要求7的方法,包括以下另外的步骤:
确定至少第一频谱整形载波的增益;及
响应于确定的第一频谱整形载波增益,调节至少第二频谱整形载波的增益。
16、根据权利要求15的方法,包括另一步骤:
作为一组调节至少所述第一及第二频谱整形载波的功率,以在所述音频信号中以所需电平提供该组。
17、根据权利要求7的方法,其中至少两个所述频谱整形载波以不同的数据速率被提供。
18、一种从权利要求7的输出信号恢复所述辅助信息的方法,包括下列步骤:
估算所述输出信号,以近似其频谱形状;
基于确定的近似频谱形状处理输出信号,由此白化所述彩色噪音;及
在所述彩色噪音已被白化后,解调一所需的扩展频谱信号,以恢复被它携载的辅助信息。
19、根据权利要求18的方法,其中多个所述扩展频谱信号同时地从所述输出信号中解调出来。
20、根据权利要求1的方法,其中所述伪随机噪音载波是加密地产生的,以提供所述辅助信息到所述接收机的可靠通信。
21、一种在音频信号中传送多个辅助信息信号的方法,包括下列步骤:
通过至少一个不同的所述辅助信息信号调制多个伪随机噪音载波中的每个,以提供多个在其载波部分上携载辅助信息的扩展频谱信号;
使用子带分析估算所述音频信号以预测它的频谱形状;
响应所述子带分析对所述多个扩展频谱信号进行子带滤波,以便对所述扩展频谱信号的载波部分进行频谱整形来模仿所述音频信号的频谱形状;及
将频谱整形载波与所述音频信号相组合,以产生载有作为所述音频信号中彩色噪音的所述辅助信息信号的输出信号。
22、根据权利要求21的方法,其中所述估算及子带滤波步骤分别包括快速傅里叶变换(FFT)分析及滤波。
23、根据权利要求21的方法,其中每个所述载波在其与所述音频信号组合前被单独地频谱整形。
24、根据权利要求21的方法,其中所述载波在所述频谱整形步骤以前相组合,及所述组合的载波在它们与所述音频信号组合前作为一组被频谱整形。
25、根据权利要求21的方法,其中:
至少一个所述载波在它与所述音频信号组合前被单独地频谱整形,及
至少二个另外的所述载波在所述频谱整形步骤前被组合,并在它们与所述音频信号组合前作为一组被频谱整形。
26、根据权利要求21的方法,其中:
至少一个所述频谱整形载波在所述音频信号已与至少另一所述频谱整形载波组合后与所述音频信号相组合。
27、根据权利要求21的方法,包括另一步骤:提供至少一个调制的或非调制的伪随机噪音载波作为一同步接收机功能中所用的引导信号。
28、根据权利要求21的方法,包括另一步骤:
在至少一个所述频谱整形载波与所述音频信号相组合前调节该频谱整形载波的增益。
29、根据权利要求28的方法,包括以下另外的步骤:
调节作为一组的这些频谱整形载波的功率,以在所述音频信号中以所需电平提供该组。
30、根据权利要求21的方法,包括以下另外的步骤:
确定至少第一频谱整形载波的增益;及
响应于确定的第一频谱整形载波增益,调节至少第二频谱整形载波的增益。
31、根据权利要求30的方法,包括另一步骤:
调节作为一组的至少所述第一及第二频谱整形载波的功率,以在所述音频信号中以所需电平提供该组。
32、根据权利要求21的方法,其中至少两个所述频谱整形载波以不同的数据速率被提供。
33、一种从权利要求21的输出信号恢复所述辅助信息的方法,包括下列步骤:
估算所述输出信号,以近似其频谱形状;
基于确定的近似频谱形状处理输出信号,由此白化所述彩色噪音;及
在所述彩色噪音已被白化后,解调所需扩展频谱信号,以恢复被它携载的辅助信息。
34、根据权利要求33的方法,其中多个所述扩展频谱信号同时地从所述输出信号中解调出来。
35、用于在音频信号中传送辅助信息以与接收机通信的装置,包括:
用于将所述辅助信息的数据流转换成携载所述信息的扩展频谱信号的装置;
用于使用时域模仿来估算所述音频信号以获得其频谱形状的近似值的装置;及
时域合成器,它响应于所述估算装置,用于对所述扩展频谱信号的载波部分进行频谱整形来模仿所述音频信号的频谱形状,由此产生包含待载于所述音频信号中的辅助信息的彩色噪音信号。
36、根据权利要求35的装置,还包括:
用于将所述彩色噪音信号与所述音频信号相组合以产生携载作为所述音频信号中噪音的所述辅助信息的输出信号。
37、根据权利要求36的装置,还包括:
用于在所述组合装置前面调节所述彩色噪音信号的功率以在所述音频信号中以所需电平提供其的装置。
38、根据权利要求35的装置,其中:
所述估算装置包括被连接以接收所述音频信号并由它产生LPC系数的线性预测编码(LPC)处理器;及
所述时域合成器包括一个响应所述LPC系数的LPC滤波器。
39、用于从携载由权利要求35的装置提供的彩色噪音信号的接收的音频信号恢复所述辅助信息的装置,包括:
使用时域模拟来估算所述接收的音频信号以近似其频谱形状的装置;
时域处理器,用于基于确定的频谱形状处理接收的音频信号,以白化包括在其中的彩色噪音信号;及
用于解调白化噪音信号以恢复所述数据流的装置。
40、根据权利要求39的装置,其中:
所述用于估算所述音频信号的装置包括被连接以接收所述音频信号并由它产生第一LPC系数的第一线性预测编码(LPC)处理器;
所述时域合成器包括响应于所述第一LPC系数的第一LPC滤波器;
所述用于估算所述接收的音频信号的装置包括第二LPC处理器,用于从接收的音频信号产生第二LPC系数;及
所述时域处理器包括响应于所述第二LPC系数的第二LPC滤波器。
41、根据权利要求40的装置还包括:
调节所述彩色噪音信号的功率,以使它在所述音频信号中具有所需电平的装置。
42、用于在音频信号中传送多个辅助信息流的装置,包括:
用于将所述多个辅助信息流转换成扩展频谱信号的装置;
用于估算所述音频信号以获得它的频谱形状的近似值的装置;及
响应于所述估算装置,用于对所述扩展频谱信号的载波部分进行频谱整形来模仿所述音频信号的频谱形状的装置;
其中所述扩展频谱信号的组合被使用来提供模仿所述音频信号的频谱形状的彩色噪音,以便在所述音频信号中携载所述辅助信息。
43、根据权利要求42的装置,还包括:
在至少一个所述频谱整形载波与所述音频信号相组合前调节该频谱整形载波增益的装置。
44、根据权利要求43的方法,还包括:
调节作为一组的这些频谱整形载波的功率,以在所述音频信号中提供具有所需功率等级的组。
45、根据权利要求42的装置,还包括:
确定待载于所述音频信号中的至少第一频谱整形载波的增益的装置;及
响应确定的所述至少第一频谱整形载波增益,调节待载于所述音频信号中的至少第二频谱整形载波增益的装置。
46、根据权利要求45的装置,还包括:
调节作为一组的至少所述第一及第二频谱整形载波的功率,以在所述音频信号中提供具有所需电平的该组的装置。
47、根据权利要求42的装置,其中:
用于估算所述音频信号的所述装置使用时间域模拟,以获得音频信号频谱形状的近似值;及
响应所述估算装置的所述装置包括一个时域合成器。
48、根据权利要求42的装置,其中:
用于估算所述音频信号的所述装置使用子带分析来获得音频信号频谱形状的所述近似值;及
响应于所述估算装置的所述装置至少包括一个子带滤波器。
49、根据权利要求48的装置,其中所述子带分析器及子带滤波器分别包括快速傅里叶变换(FFT)分析器及滤波器。
50、根据权利要求42的装置,还包括:
调节所述彩色噪音信号的功率,以使它在所述音频信号中具有所需电平的装置。
51、根据权利要求42的装置,其中:
所述多个辅助信息流具有不同的数据速率;及
所述用于将所述辅助信息流转换成扩展频谱信号的装置包括对不同信息流提供不同输出速率的伪随机序列发生器。
52、根据权利要求42的装置,其中:
所述用于将所述辅助信息流转换成扩展频谱信号的装置包括对不同信息流提供正交伪随机序列的伪随机序列发生器。
53、用于恢复由作为音频信号中噪音被传送的扩展频谱信号携载的辅助信息的解码器,所述扩展频谱信号包括一个被着色的载波,以模仿包括在所述音频信号中的音频信息的频谱形状,所述解码器包括:
用于使用时域模仿来估算所述音频信号以近似其频谱形状的装置;
时域处理器,用于基于确定的频谱形状处理音频信号,以使其中包含的彩色扩展频谱载波白化;及
用于解调白化的载波以恢复所述辅助信息的装置。
54、根据权利要求53的解码器,其中:
所述估算装置包括被连接以接收所述音频信号并由它产生LPC系数的线性预测编码(LPC)处理器;及
所述时域处理器包括响应所述LPC系数的LPC滤波器。
55、根据权利要求53的解码器,其中:
多个辅助信息信号被载于所述扩展频谱信号的各个载波上,所述所有载波被频谱整形,以模仿所述音频信息的频谱形状;及
所述解调装置包括用于选择至少一个用来解调以使至少一个相应的辅助信息信号能恢复的所需载波的装置。
56、根据权利要求53的解码器,其中:
多个辅助信息信号被载于所述扩展频谱信号的各个载波上,所述所有载波被频谱整形,以模仿所述音频信息的频谱形状;及
所述解调装置包括用于同时地解调多个所述载波,以能使所述各辅助信息信号同时恢复的装置。
57、用于恢复由作为音频信号中噪音被传送的扩展频谱信号携载的多个辅助信息流的解码器,所述扩展频谱信号包括多个被着色色的载波,以模仿包括在所述音频信号中的音频信息的频谱形状,所述解码器包括:
用于估算所述音频信号以确定其近似频谱形状的装置;
用于基于确定的频谱形状处理音频信号,以使其中包含的彩色扩展频谱载波白化的装置;及
用于解调白色载波以恢复所述辅助信息流的装置。
58、根据权利要求57的的解码器,其中:
所述估算装置包括被连接以接收所述音频信号并由它产生LPC系数的线性预测编码(LPC)处理器;及
所述处理装置包括响应所述LPC系数的LPC滤波器。
59、用于恢复由作为音频信号中噪音被传送的扩展频谱信号携载的辅助信息的解码器,包括:
用于使所述音频信号的频谱白化的装置,所述白化装置产生所述扩展频谱信号中的符号间的干扰;及
梳状接收器,用于从所述白化装置接收及解调所述音频信号;
所述梳状接收器具有多个梳指,用于当解调接收的音频信号时处理不同的所述扩展频谱信号的多个路径,由此减小符号间干扰地恢复所述扩展频谱信号,以便从其中获得所述辅助信息。
60、根据权利要求59的解码器,其中所述白化装置包括:
被连接以接收所述音频信号并由它产生LPC系数的线性预测编码(LPC)处理器,及
N阶的LPC滤波器,用于接收所述音频信号并响应所述LPC系数,以便使所述音频信号的所述频谱白化。
所述梳状接收器包括N个梳指,其中N近似等于所述LPC滤波器的阶。
61、根据权利要求59的解码器,其中所述白化装置包括:被连接以接收及估算所述音频信号的频谱的子带分析器;及响应由所述子带分析器估算的频谱的子带滤波器。
62、根据权利要求59的解码器,其中所述每个梳指具有相关的权重,所述梳状接收器还包括:
用于个别地调节所述梳状接收器梳指权重的装置。
63、根据权利要求62的解码器,其中所述梳状接收器梳指的权重是可动态地调节的。
64、根据权利要求63的解码器,其中所述权重是响应于由所述白化装置产生的系数而可动态地调节的。
CN96197308A 1995-09-06 1996-08-20 在音频信号中传送辅助数据的方法及装置 Pending CN1198275A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/524,132 US5822360A (en) 1995-09-06 1995-09-06 Method and apparatus for transporting auxiliary data in audio signals
US08/524,132 1995-09-06

Publications (1)

Publication Number Publication Date
CN1198275A true CN1198275A (zh) 1998-11-04

Family

ID=24087899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96197308A Pending CN1198275A (zh) 1995-09-06 1996-08-20 在音频信号中传送辅助数据的方法及装置

Country Status (9)

Country Link
US (1) US5822360A (zh)
EP (1) EP0852086A1 (zh)
JP (1) JP2001507875A (zh)
KR (1) KR19990044450A (zh)
CN (1) CN1198275A (zh)
AU (1) AU707270B2 (zh)
BR (1) BR9610469A (zh)
CA (1) CA2231239A1 (zh)
WO (1) WO1997009797A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100380493C (zh) * 2001-09-05 2008-04-09 皇家飞利浦电子股份有限公司 用于直接流数字信号的坚韧水印
CN101577605A (zh) * 2008-05-08 2009-11-11 吴志军 基于滤波器相似度的语音lpc隐藏和提取算法
CN1863039B (zh) * 2005-05-11 2012-03-21 北京大学 基于音频的隐藏通信系统和通信方法
CN1977480B (zh) * 2004-06-30 2012-09-05 诺基亚公司 用于传送和接收模拟信号中的数字数据的方法与装置
CN102163429B (zh) * 2005-04-15 2013-04-10 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
CN110474717A (zh) * 2019-08-26 2019-11-19 江西省计量测试研究院 一种用于泛在电力物联网通信的物理层安全技术

Families Citing this family (221)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5114180A (en) * 1988-08-03 1992-05-19 Asahi Kasei Kogyo Kabushiki Kaisha Air bag
US6424725B1 (en) 1996-05-16 2002-07-23 Digimarc Corporation Determining transformations of media signals with embedded code signals
US5822436A (en) * 1996-04-25 1998-10-13 Digimarc Corporation Photographic products and methods employing embedded information
US7171016B1 (en) 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
US6944298B1 (en) 1993-11-18 2005-09-13 Digimare Corporation Steganographic encoding and decoding of auxiliary codes in media signals
US7313251B2 (en) * 1993-11-18 2007-12-25 Digimarc Corporation Method and system for managing and controlling electronic media
US5768426A (en) 1993-11-18 1998-06-16 Digimarc Corporation Graphics processing system employing embedded code signals
US6611607B1 (en) 1993-11-18 2003-08-26 Digimarc Corporation Integrating digital watermarks in multimedia content
US6516079B1 (en) 2000-02-14 2003-02-04 Digimarc Corporation Digital watermark screening and detecting strategies
US6614914B1 (en) 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US6122403A (en) 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
US6408082B1 (en) 1996-04-25 2002-06-18 Digimarc Corporation Watermark detection using a fourier mellin transform
US6983051B1 (en) * 1993-11-18 2006-01-03 Digimarc Corporation Methods for audio watermarking and decoding
US5748763A (en) 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
US6560349B1 (en) 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US7724919B2 (en) 1994-10-21 2010-05-25 Digimarc Corporation Methods and systems for steganographic processing
US6760463B2 (en) 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US7555139B2 (en) * 1995-05-08 2009-06-30 Digimarc Corporation Secure documents with hidden signals, and related methods and systems
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US20030133592A1 (en) * 1996-05-07 2003-07-17 Rhoads Geoffrey B. Content objects with computer instructions steganographically encoded therein, and associated methods
US6590996B1 (en) 2000-02-14 2003-07-08 Digimarc Corporation Color adaptive watermarking
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6965682B1 (en) 1999-05-19 2005-11-15 Digimarc Corp Data transmission by watermark proxy
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
FI98776C (fi) * 1995-11-02 1997-08-11 Nokia Telecommunications Oy Uuden puhekoodausmenetelmän lisääminen olemassaolevaan tietoliikennejärjestelmään
US6512796B1 (en) * 1996-03-04 2003-01-28 Douglas Sherwood Method and system for inserting and retrieving data in an audio signal
EP0875107B1 (de) 1996-03-07 1999-09-01 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung E.V. Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer und decodierer
DE19640825C2 (de) * 1996-03-07 1998-07-23 Fraunhofer Ges Forschung Codierer zur Einbringung eines nicht hörbaren Datensignals in ein Audiosignal und Decodierer zum decodieren eines nicht hörbar in einem Audiosignal enthaltenen Datensignals
US7505605B2 (en) 1996-04-25 2009-03-17 Digimarc Corporation Portable devices and methods employing digital watermarking
US7715446B2 (en) * 1996-04-25 2010-05-11 Digimarc Corporation Wireless methods and devices employing plural-bit data derived from audio information
US6381341B1 (en) 1996-05-16 2002-04-30 Digimarc Corporation Watermark encoding method exploiting biases inherent in original signal
US6678311B2 (en) 1996-05-28 2004-01-13 Qualcomm Incorporated High data CDMA wireless communication system using variable sized channel codes
US6009118A (en) * 1996-07-12 1999-12-28 General Electric Company Parallel correlator for a spread spectrum receiver
US7366908B2 (en) 1996-08-30 2008-04-29 Digimarc Corporation Digital watermarking with content dependent keys and autocorrelation properties for synchronization
JP3736588B2 (ja) * 1996-11-18 2006-01-18 ソニー株式会社 情報出力装置、情報出力方法、記録装置および情報複製防止制御方法
GB9700854D0 (en) 1997-01-16 1997-03-05 Scient Generics Ltd Sub-audible acoustic data transmission mechanism
JP3690043B2 (ja) * 1997-03-03 2005-08-31 ソニー株式会社 音声情報伝送装置及び方法並びに音声情報記録装置
US6427012B1 (en) 1997-05-19 2002-07-30 Verance Corporation Apparatus and method for embedding and extracting information in analog signals using replica modulation
US7689532B1 (en) 2000-07-20 2010-03-30 Digimarc Corporation Using embedded data with file sharing
US6773547B2 (en) * 1998-05-08 2004-08-10 American Air Liquide, Inc. Process for the bleaching of low consistency pulp using high partial pressure ozone
US6792542B1 (en) 1998-05-12 2004-09-14 Verance Corporation Digital system for embedding a pseudo-randomly modulated auxiliary data sequence in digital samples
MXPA00011095A (es) * 1998-05-12 2002-07-02 Verance Corp Transporte de datos digitales ocultos (dhdt).
US6275509B1 (en) * 1998-05-14 2001-08-14 The United States Of America As Represented By The Secretary Of The Navy Masked signal transceiver
US6957341B2 (en) * 1998-05-14 2005-10-18 Purdue Research Foundation Method and system for secure computational outsourcing and disguise
US6941463B1 (en) 1998-05-14 2005-09-06 Purdue Research Foundation Secure computational outsourcing techniques
AU4090999A (en) * 1998-05-20 1999-12-06 Recording Industry Association Of America Method for minimizing pirating or unauthorized copying of data
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6912315B1 (en) 1998-05-28 2005-06-28 Verance Corporation Pre-processed information embedding system
AUPP392498A0 (en) 1998-06-04 1998-07-02 Innes Corporation Pty Ltd Traffic verification system
US6272176B1 (en) 1998-07-16 2001-08-07 Nielsen Media Research, Inc. Broadcast encoding system and method
US7006555B1 (en) 1998-07-16 2006-02-28 Nielsen Media Research, Inc. Spectral audio encoding
US7055034B1 (en) 1998-09-25 2006-05-30 Digimarc Corporation Method and apparatus for robust embedded data
US7197156B1 (en) 1998-09-25 2007-03-27 Digimarc Corporation Method and apparatus for embedding auxiliary information within original data
US8290202B2 (en) 1998-11-03 2012-10-16 Digimarc Corporation Methods utilizing steganography
US6442283B1 (en) * 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
US6470044B1 (en) * 1999-01-15 2002-10-22 Sharp Laboratories Of America, Inc. Computationally parsimonious forward link receiver for DS-CDMA systems and method for same
US6765950B1 (en) 1999-04-01 2004-07-20 Custom One Design, Inc. Method for spread spectrum communication of supplemental information
GB2348736B (en) * 1999-04-09 2003-09-24 Rakvere Ltd System for protection against copying on magnetic tape recorders
US6952774B1 (en) 1999-05-22 2005-10-04 Microsoft Corporation Audio watermarking with dual watermarks
US7020285B1 (en) * 1999-07-13 2006-03-28 Microsoft Corporation Stealthy audio watermarking
US7543148B1 (en) 1999-07-13 2009-06-02 Microsoft Corporation Audio watermarking with covert channel and permutations
GB9917985D0 (en) 1999-07-30 1999-09-29 Scient Generics Ltd Acoustic communication system
US7757097B2 (en) * 1999-09-03 2010-07-13 Purdue Research Foundation Method and system for tamperproofing software
US7287166B1 (en) 1999-09-03 2007-10-23 Purdue Research Foundation Guards for application in software tamperproofing
CA2310769C (en) * 1999-10-27 2013-05-28 Nielsen Media Research, Inc. Audio signature extraction and correlation
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7046808B1 (en) * 2000-03-24 2006-05-16 Verance Corporation Method and apparatus for detecting processing stages applied to a signal
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
US6449302B2 (en) * 2000-04-19 2002-09-10 Powerwave Technologies, Inc. System and method for peak power reduction in spread spectrum communications systems
US7466742B1 (en) 2000-04-21 2008-12-16 Nielsen Media Research, Inc. Detection of entropy in connection with audio signals
US20010055391A1 (en) * 2000-04-27 2001-12-27 Jacobs Paul E. System and method for extracting, decoding, and utilizing hidden data embedded in audio signals
FR2808391B1 (fr) * 2000-04-28 2002-06-07 France Telecom Systeme de reception pour antenne multicapteur
US6633654B2 (en) * 2000-06-19 2003-10-14 Digimarc Corporation Perceptual modeling of media signals based on local contrast and directional edges
US6879652B1 (en) 2000-07-14 2005-04-12 Nielsen Media Research, Inc. Method for encoding an input signal
US6674876B1 (en) 2000-09-14 2004-01-06 Digimarc Corporation Watermarking in the time-frequency domain
US6377635B1 (en) * 2000-10-26 2002-04-23 International Business Machines Corporation Method and apparatus for viterbi detection of generalized partial response signals using partial matched filter and matched filter metrics
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
AU2211102A (en) * 2000-11-30 2002-06-11 Scient Generics Ltd Acoustic communication system
EP1928109B1 (en) * 2000-11-30 2012-05-23 Intrasonics S.A.R.L. Cellular telephone for collecting audience survey data
US8374218B2 (en) * 2000-12-05 2013-02-12 Google Inc. Combining signals with a shuffled-hadamard function
US7545849B1 (en) 2003-03-28 2009-06-09 Google Inc. Signal spectrum spreading and combining system and method
US8385470B2 (en) * 2000-12-05 2013-02-26 Google Inc. Coding a signal with a shuffled-Hadamard function
US6829289B1 (en) * 2000-12-05 2004-12-07 Gossett And Gunter, Inc. Application of a pseudo-randomly shuffled hadamard function in a wireless CDMA system
US6738744B2 (en) 2000-12-08 2004-05-18 Microsoft Corporation Watermark detection via cardinality-scaled correlation
KR100375822B1 (ko) * 2000-12-18 2003-03-15 한국전자통신연구원 디지털 오디오의 워터마크 삽입/추출 장치 및 방법
US8948059B2 (en) 2000-12-26 2015-02-03 Polycom, Inc. Conference endpoint controlling audio volume of a remote device
US8964604B2 (en) 2000-12-26 2015-02-24 Polycom, Inc. Conference endpoint instructing conference bridge to dial phone number
US9001702B2 (en) 2000-12-26 2015-04-07 Polycom, Inc. Speakerphone using a secure audio connection to initiate a second secure connection
US8977683B2 (en) * 2000-12-26 2015-03-10 Polycom, Inc. Speakerphone transmitting password information to a remote device
US7339605B2 (en) 2004-04-16 2008-03-04 Polycom, Inc. Conference link between a speakerphone and a video conference unit
US20020114299A1 (en) * 2000-12-27 2002-08-22 Daozheng Lu Apparatus and method for measuring tuning of a digital broadcast receiver
US6982945B1 (en) 2001-01-26 2006-01-03 Google, Inc. Baseband direct sequence spread spectrum transceiver
US7653710B2 (en) 2002-06-25 2010-01-26 Qst Holdings, Llc. Hardware task manager
US7376242B2 (en) * 2001-03-22 2008-05-20 Digimarc Corporation Quantization-based data embedding in mapped data
US7249242B2 (en) 2002-10-28 2007-07-24 Nvidia Corporation Input pipeline registers for a node in an adaptive computing engine
US7962716B2 (en) 2001-03-22 2011-06-14 Qst Holdings, Inc. Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements
US7752419B1 (en) 2001-03-22 2010-07-06 Qst Holdings, Llc Method and system for managing hardware resources to implement system functions using an adaptive computing architecture
US8050452B2 (en) * 2001-03-22 2011-11-01 Digimarc Corporation Quantization-based data embedding in mapped data
US6836839B2 (en) 2001-03-22 2004-12-28 Quicksilver Technology, Inc. Adaptive integrated circuitry with heterogeneous and reconfigurable matrices of diverse and adaptive computational units having fixed, application specific computational elements
US7159118B2 (en) * 2001-04-06 2007-01-02 Verance Corporation Methods and apparatus for embedding and recovering watermarking information based on host-matching codes
EP1247589B1 (fr) * 2001-04-06 2003-12-17 Swatch Ag Procédé et système permettant d'accéder à des informations et/ou données disponibles sur un réseau informatique étendu
US8457346B2 (en) 2001-04-24 2013-06-04 Digimarc Corporation Digital watermarking image signals on-chip
GB0110132D0 (en) * 2001-04-25 2001-06-20 Central Research Lab Ltd System to detect compression of audio signals
US6577678B2 (en) 2001-05-08 2003-06-10 Quicksilver Technology Method and system for reconfigurable channel coding
US8976712B2 (en) 2001-05-10 2015-03-10 Polycom, Inc. Speakerphone and conference bridge which request and perform polling operations
US8934382B2 (en) 2001-05-10 2015-01-13 Polycom, Inc. Conference endpoint controlling functions of a remote device
US7024018B2 (en) * 2001-05-11 2006-04-04 Verance Corporation Watermark position modulation
DE10129239C1 (de) * 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
US8572640B2 (en) * 2001-06-29 2013-10-29 Arbitron Inc. Media data use measurement with remote decoding/pattern matching
US7170952B2 (en) 2001-07-02 2007-01-30 Powerwave Technologies, Inc. System and method for post filtering peak power reduction in communications systems
US7095798B2 (en) 2001-08-02 2006-08-22 Powerwave Technologies, Inc. System and method for post filtering peak power reduction in multi-carrier communications systems
EP1306991A1 (en) * 2001-10-23 2003-05-02 Hewlett-Packard Company Conveying information to a communication device using sonic representations
US7215965B2 (en) * 2001-11-01 2007-05-08 Airbiquity Inc. Facility and method for wireless transmission of location data in a voice channel of a digital wireless telecommunications network
US7046635B2 (en) 2001-11-28 2006-05-16 Quicksilver Technology, Inc. System for authorizing functionality in adaptable hardware devices
US8412915B2 (en) 2001-11-30 2013-04-02 Altera Corporation Apparatus, system and method for configuration of adaptive integrated circuitry having heterogeneous computational elements
US6986021B2 (en) 2001-11-30 2006-01-10 Quick Silver Technology, Inc. Apparatus, method, system and executable module for configuration and operation of adaptive integrated circuitry having fixed, application specific computational elements
US20040005055A1 (en) * 2001-12-06 2004-01-08 Master Paul L. Method and system for digital watermarking
US7453921B1 (en) * 2001-12-11 2008-11-18 Google Inc. LPC filter for removing periodic and quasi-periodic interference from spread spectrum signals
US7215701B2 (en) 2001-12-12 2007-05-08 Sharad Sambhwani Low I/O bandwidth method and system for implementing detection and identification of scrambling codes
US7006662B2 (en) * 2001-12-13 2006-02-28 Digimarc Corporation Reversible watermarking using expansion, rate control and iterative embedding
WO2003061285A2 (en) * 2001-12-24 2003-07-24 Scientific Generics Limited Captioning system
US8144854B2 (en) 2001-12-31 2012-03-27 Polycom Inc. Conference bridge which detects control information embedded in audio information to prioritize operations
US8885523B2 (en) 2001-12-31 2014-11-11 Polycom, Inc. Speakerphone transmitting control information embedded in audio information through a conference bridge
US8947487B2 (en) 2001-12-31 2015-02-03 Polycom, Inc. Method and apparatus for combining speakerphone and video conference unit operations
US8223942B2 (en) * 2001-12-31 2012-07-17 Polycom, Inc. Conference endpoint requesting and receiving billing information from a conference bridge
US8102984B2 (en) * 2001-12-31 2012-01-24 Polycom Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US7978838B2 (en) * 2001-12-31 2011-07-12 Polycom, Inc. Conference endpoint instructing conference bridge to mute participants
US8934381B2 (en) * 2001-12-31 2015-01-13 Polycom, Inc. Conference endpoint instructing a remote device to establish a new connection
US8705719B2 (en) 2001-12-31 2014-04-22 Polycom, Inc. Speakerphone and conference bridge which receive and provide participant monitoring information
US7403981B2 (en) 2002-01-04 2008-07-22 Quicksilver Technology, Inc. Apparatus and method for adaptive multimedia reception and transmission in communication environments
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
US7088823B2 (en) * 2002-01-09 2006-08-08 International Business Machines Corporation System and method for secure distribution and evaluation of compressed digital information
AU2002308114A1 (en) * 2002-03-29 2003-10-13 Innogenetics N.V. Hbv drug resistance drug resistance detection methods
US7606364B1 (en) 2002-04-23 2009-10-20 Seagate Technology Llc Disk drive with flexible data stream encryption
JP4296752B2 (ja) * 2002-05-07 2009-07-15 ソニー株式会社 符号化方法及び装置、復号方法及び装置、並びにプログラム
US7328414B1 (en) 2003-05-13 2008-02-05 Qst Holdings, Llc Method and system for creating and programming an adaptive computing engine
US7660984B1 (en) 2003-05-13 2010-02-09 Quicksilver Technology Method and system for achieving individualized protected space in an operating system
US20060031111A9 (en) * 2002-05-30 2006-02-09 Whymark Thomas J Multi-market broadcast tracking, management and reporting method and system
US7039931B2 (en) * 2002-05-30 2006-05-02 Nielsen Media Research, Inc. Multi-market broadcast tracking, management and reporting method and system
US7624409B2 (en) * 2002-05-30 2009-11-24 The Nielsen Company (Us), Llc Multi-market broadcast tracking, management and reporting method and system
KR20050005531A (ko) * 2002-06-03 2005-01-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 독립 채널들에서의 워터마크들의 엔코딩 및 디코딩
GB2390247B (en) 2002-06-28 2006-04-12 Dwight Cavendish Systems Ltd An improved method and apparatus for providing an anti-copy video signal
US8108656B2 (en) 2002-08-29 2012-01-31 Qst Holdings, Llc Task definition for specifying resource requirements
EP2442566A3 (en) 2002-10-15 2012-08-08 Verance Corporation Media Monitoring, Management and Information System
KR101014309B1 (ko) 2002-10-23 2011-02-16 닐슨 미디어 리서치 인코퍼레이티드 압축된 오디오/비디오 데이터와 함께 사용하기 위한 디지털데이터 삽입장치 및 방법
US7937591B1 (en) 2002-10-25 2011-05-03 Qst Holdings, Llc Method and system for providing a device which can be adapted on an ongoing basis
US8276135B2 (en) 2002-11-07 2012-09-25 Qst Holdings Llc Profiling of software and circuit designs utilizing data operation analyses
US7352833B2 (en) * 2002-11-18 2008-04-01 Google Inc. Method and system for temporal autocorrelation filtering
US7225301B2 (en) 2002-11-22 2007-05-29 Quicksilver Technologies External memory controller node
US7450539B1 (en) 2003-02-11 2008-11-11 Analog Devices, Inc. Power regulation for a multi-carrier communication system
US8510571B1 (en) 2003-03-24 2013-08-13 Hoi Chang System and method for inserting security mechanisms into a software program
WO2004107317A1 (en) * 2003-05-28 2004-12-09 Koninklijke Philips Electronics N.V. Apparatus and method for embedding a watermark using sub-band filtering
GB0312985D0 (en) 2003-06-05 2003-07-09 Dwight Cavendish Systems Ltd Digital processing disruption systems
US6934370B1 (en) * 2003-06-16 2005-08-23 Microsoft Corporation System and method for communicating audio data signals via an audio communications medium
US7206649B2 (en) * 2003-07-15 2007-04-17 Microsoft Corporation Audio watermarking with dual watermarks
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US8181884B2 (en) * 2003-11-17 2012-05-22 Digimarc Corporation Machine-readable features for objects
CA2562137C (en) 2004-04-07 2012-11-27 Nielsen Media Research, Inc. Data insertion apparatus and methods for use with compressed audio/video data
US7254535B2 (en) * 2004-06-30 2007-08-07 Motorola, Inc. Method and apparatus for equalizing a speech signal generated within a pressurized air delivery system
US8140848B2 (en) 2004-07-01 2012-03-20 Digimarc Corporation Digital watermark key generation
US8867676B2 (en) * 2004-09-17 2014-10-21 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for controlling interference suppressing receivers
GB2419220B (en) * 2004-10-13 2009-06-03 Dwight Cavendish Systems Ltd Audio copy protection system
US8126029B2 (en) * 2005-06-08 2012-02-28 Polycom, Inc. Voice interference correction for mixed voice and spread spectrum data signaling
US8199791B2 (en) * 2005-06-08 2012-06-12 Polycom, Inc. Mixed voice and spread spectrum data signaling with enhanced concealment of data
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
GB0516794D0 (en) * 2005-08-16 2005-09-21 Vodafone Plc Data transmission
US8223819B2 (en) * 2005-10-27 2012-07-17 Realtek Semiconductor Corp. Spectrally shaped pseudo-random noise sequence generator and method thereof
CA2678942C (en) 2007-02-20 2018-03-06 Nielsen Media Research, Inc. Methods and apparatus for characterizing media
US8458737B2 (en) 2007-05-02 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
US20090094631A1 (en) * 2007-10-01 2009-04-09 Whymark Thomas J Systems, apparatus and methods to associate related market broadcast detections with a multi-market media broadcast
EP2210252B1 (en) * 2007-11-12 2017-05-24 The Nielsen Company (US), LLC Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8701136B2 (en) 2008-01-07 2014-04-15 Nielsen Company (Us), Llc Methods and apparatus to monitor, verify, and rate the performance of airings of commercials
US8457951B2 (en) * 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
WO2009110932A1 (en) 2008-03-05 2009-09-11 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
KR101294023B1 (ko) * 2008-05-29 2013-08-08 한국전자통신연구원 방송/통신 데이터 송수신 방법 및 장치
EP2299704B1 (en) 2008-05-29 2019-11-27 Electronics and Telecommunications Research Institute Method and apparatus for transmitting broadcasting-communication data
GB2460306B (en) 2008-05-29 2013-02-13 Intrasonics Sarl Data embedding system
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
US8942388B2 (en) * 2008-08-08 2015-01-27 Yamaha Corporation Modulation device and demodulation device
US8515239B2 (en) * 2008-12-03 2013-08-20 D-Box Technologies Inc. Method and device for encoding vibro-kinetic data onto an LPCM audio stream over an HDMI link
US8878041B2 (en) * 2009-05-27 2014-11-04 Microsoft Corporation Detecting beat information using a diverse set of correlations
JP5990466B2 (ja) 2010-01-21 2016-09-14 スビラル・インコーポレーテッド ストリームに基づく演算を実装するための汎用複数コアシステムのための方法および装置
US20110176060A1 (en) * 2010-01-21 2011-07-21 Qualcomm Incorporated Data feedback for broadcast applications
US20110228873A1 (en) * 2010-03-19 2011-09-22 Electronics And Telecommunications Research Institute Apparatus for transmitting digital broadcast and method for transmitting data using the same in digital broadcasting system
US8355910B2 (en) 2010-03-30 2013-01-15 The Nielsen Company (Us), Llc Methods and apparatus for audio watermarking a substantially silent media content presentation
EP2375622A1 (en) * 2010-04-08 2011-10-12 Nagravision S.A. A device and a method for performing a cryptographic function
EP2567346B1 (en) 2010-05-05 2017-06-14 Digimarc Corporation Hidden image signaling
US8380334B2 (en) * 2010-09-07 2013-02-19 Linear Acoustic, Inc. Carrying auxiliary data within audio signals
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
KR101432099B1 (ko) * 2010-10-29 2014-08-21 에스케이텔레콤 주식회사 가청주파수 대역 음파 통신에서의 데이터 송수신 시스템 및 방법, 그리고 이에 적용되는 장치
JP5501986B2 (ja) * 2011-01-14 2014-05-28 日本電信電話株式会社 無線通信システム、送信装置および受信装置
EP2563027A1 (de) * 2011-08-22 2013-02-27 Siemens AG Österreich Verfahren zum Schützen von Dateninhalten
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8848831B2 (en) * 2012-09-20 2014-09-30 Lsi Corporation Direct digital synthesis of quadrature modulated signals
US20140111701A1 (en) * 2012-10-23 2014-04-24 Dolby Laboratories Licensing Corporation Audio Data Spread Spectrum Embedding and Detection
US9183849B2 (en) * 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
US9195649B2 (en) 2012-12-21 2015-11-24 The Nielsen Company (Us), Llc Audio processing techniques for semantic audio recognition and report generation
US9742554B2 (en) 2013-02-04 2017-08-22 Dolby Laboratories Licensing Corporation Systems and methods for detecting a synchronization code word
US9317872B2 (en) 2013-02-06 2016-04-19 Muzak Llc Encoding and decoding an audio watermark using key sequences comprising of more than two frequency components
US9262793B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9721271B2 (en) 2013-03-15 2017-08-01 The Nielsen Company (Us), Llc Methods and apparatus to incorporate saturation effects into marketing mix models
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
EP2905775A1 (en) * 2014-02-06 2015-08-12 Thomson Licensing Method and Apparatus for watermarking successive sections of an audio signal
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
EP3117626A4 (en) 2014-03-13 2017-10-25 Verance Corporation Interactive content acquisition using embedded codes
TWI631835B (zh) 2014-11-12 2018-08-01 弗勞恩霍夫爾協會 用以解碼媒體信號之解碼器、及用以編碼包含用於主要媒體資料之元資料或控制資料的次要媒體資料之編碼器
US11665538B2 (en) * 2019-09-16 2023-05-30 International Business Machines Corporation System for embedding an identification code in a phone call via an inaudible signal

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3845391A (en) * 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
DE2454227C3 (de) * 1974-11-15 1979-05-03 Blaupunkt-Werke Gmbh, 3200 Hildesheim Fernsehempfänger zum Empfang u. Auswerten von zusätzlichen Informationen in einem Fernsehsignal
US4313197A (en) * 1980-04-09 1982-01-26 Bell Telephone Laboratories, Incorporated Spread spectrum arrangement for (de)multiplexing speech signals and nonspeech signals
US4534054A (en) * 1980-11-28 1985-08-06 Maisel Douglas A Signaling system for FM transmission systems
US4425661A (en) * 1981-09-03 1984-01-10 Applied Spectrum Technologies, Inc. Data under voice communications system
JP2815579B2 (ja) * 1987-03-10 1998-10-27 富士通株式会社 音声認識における単語候補削減装置
GB8824969D0 (en) * 1988-10-25 1988-11-30 Emi Plc Thorn Identification codes
US5138661A (en) * 1990-11-13 1992-08-11 General Electric Company Linear predictive codeword excited speech synthesizer
US5319735A (en) * 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
US5379345A (en) * 1993-01-29 1995-01-03 Radio Audit Systems, Inc. Method and apparatus for the processing of encoded data in conjunction with an audio broadcast
US5450490A (en) * 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
US5404377A (en) * 1994-04-08 1995-04-04 Moses; Donald W. Simultaneous transmission of data and audio signals by means of perceptual coding

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100380493C (zh) * 2001-09-05 2008-04-09 皇家飞利浦电子股份有限公司 用于直接流数字信号的坚韧水印
CN1977480B (zh) * 2004-06-30 2012-09-05 诺基亚公司 用于传送和接收模拟信号中的数字数据的方法与装置
CN102163429B (zh) * 2005-04-15 2013-04-10 杜比国际公司 用于处理去相干信号或组合信号的设备和方法
CN1863039B (zh) * 2005-05-11 2012-03-21 北京大学 基于音频的隐藏通信系统和通信方法
CN101577605A (zh) * 2008-05-08 2009-11-11 吴志军 基于滤波器相似度的语音lpc隐藏和提取算法
CN110474717A (zh) * 2019-08-26 2019-11-19 江西省计量测试研究院 一种用于泛在电力物联网通信的物理层安全技术

Also Published As

Publication number Publication date
CA2231239A1 (en) 1997-03-13
BR9610469A (pt) 1999-03-30
JP2001507875A (ja) 2001-06-12
EP0852086A1 (en) 1998-07-08
KR19990044450A (ko) 1999-06-25
AU707270B2 (en) 1999-07-08
AU6899596A (en) 1997-03-27
US5822360A (en) 1998-10-13
WO1997009797A1 (en) 1997-03-13

Similar Documents

Publication Publication Date Title
CN1198275A (zh) 在音频信号中传送辅助数据的方法及装置
US5937000A (en) Method and apparatus for embedding auxiliary data in a primary data signal
US10964333B2 (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
US6154484A (en) Method and apparatus for embedding auxiliary data in a primary data signal using frequency and time domain processing
US5940429A (en) Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal
CN1973319A (zh) 编码和解码多通道音频信号的方法和设备
AU2011304463A1 (en) Watermark generator, watermark decoder, method for providing a watermarked signal based on discrete valued data and method for providing discrete valued data in dependence on a watermarked signal
Cvejic et al. Increasing robustness of an audio watermark using turbo codes
CN1424713A (zh) 高频耦合的伪小波5声道音频编/解码方法
AU2012241085B2 (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
Prandoni et al. R/D optimal data hiding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication