CN1672414A - W m信号生成装置、 w m信号生成方法、用于执行 w m信号生成方法的计算机可执行程序及记录该程序的计算可读机录媒体、电子水印嵌入装置以及包含该电子水印嵌入装置的数子电视装置 - Google Patents

Abstract

提供生成强健性、质量被改善的WM信号，用于电子水印嵌入的装置、程序、存储媒体及包含电子水印嵌入功能的数字电视装置。包含用来生成对实时内容作为电子水印嵌入WM信号的装置(10)；输入实时内容的输入单元(12)；保持实时内容的输入缓冲器(14)；用来由分割的实时内容生成与实时内容的预测强度相对应的WM信号的生成单元；用来保持生成的WM信号的输出缓冲器(18)。生成单元的构成包括：用来预测进行上述WM信号的强度预测的预测单元(16)；使用作为电子水印嵌入到上述实时内容中的消息控制嵌入的控制单元(20)；以及用来生成输出WM信号的单元(22)。

Description

WM信号生成装置、WM信号生成方法、用于 执行WM信号生成方法的计算机可执行程序 及记录该程序的计算机可读记录媒体、 电子水印嵌入装置以及包含 该电子水印嵌入装置的数字电视装置

技术领域

本发明涉及用于对内容增加著作权等权利信息的电子水印，更详细言之，本发明可对实时提供的内容因电子水印计算产生的时间延迟所产生的缺点进行改善，在提供更良好质量的内容的同时，可改善电子水印的检测性的WM信号生成装置、WM信号生成方法及执行该方法的计算机可执行程序、记录该程序的计算机可读记录媒体、电子水印嵌入装置以及包含该电子水印嵌入装置的数字电视装置。

背景技术

迄今“水印”技术，在纸币等之中用于进行真伪判断。另外，近年来，由于计算机技术的发达，音乐、图像、动画等根据著作权，作为内容提供的场合增多。因此，为了判断内容的非法复制，必须使用上述的“水印”技术防止内容的非法复制。对于内容嵌入“水印”，原则上是以数字方式在原始内容中嵌入“水印信号”(以下称其为WM信号)进行。

迄今为止已经提出多种电子水印嵌入方法。比如，在同一申请人提出的“用于在频域中嵌入数据的系统及方法”中，在对包含音乐等音频信号的内容嵌入电子水印时，通过计算在频域中心理听觉模型，研讨电子水印嵌入。此方法，在检测音频信号的频率之际，必须正确发现DFT(离散傅利叶变换)的帧，因此计算时间增加，具有不符合对实时提供的音频信号无时间延迟嵌入WM信号的目的的缺点。

因此，在同一申请人提出的“不需要帧同步的水印嵌入系统及方法”中，也研讨了不需要进行帧同步的对音频信号的WM信号嵌入技术。不需要帧同步的嵌入技术，具有对原始信号的伸缩及位置偏离的强健性大，时间延迟也不大，并且电子水印的检测判断可很好进行的优点。然而，上述的不需要帧同步的嵌入方法，因为WM信号和原始信号的相位必须同步，对只有WM信号发生时间延迟的实时提供的内容嵌入WM信号的目的不适合，并且在只有WM信号发生时间延迟的场合，具有WM信号的检测性显著降低的强健性差的缺点。

另外，在Boney等的“Digital Watermark for Audio Signals”，(IEEE International Conference on Multimedia Computing andSystems，June 17-23th，Hiroshima，Japan，pp.473-480)中，通过预先设置模拟心理听觉模型的滤波器，在时域中进行伪随机序列滤波而改善由于WM信号的时间延迟引起的上述强健性的劣化的缺点。然而，因为滤波系数必须对每一帧确定，与上述相同，不适合对实时提供的音频信号嵌入WM信号。

此外，在Swanson等的“Robust Audio Watermaking UsingPerceptual masking”(Signal Processing vol.66，1999，337-355)中提出了用来计算频率屏蔽的心理听觉模型和用来计算时间屏蔽的心理听觉模型两者使用的方法。在时间屏蔽中，是通过音频信号的包络计算和屏蔽量预测进行WM信号的嵌入，预测是使用时间屏蔽的输出的屏蔽量预测，不是进行直接使用原始内容的实时WM信号的嵌入。

与此不同，提出了一种也对所谓的视频信号的图像数据嵌入电子水印的技术。比如，在Deguillaume等的“Robust 3D DFT VideoWatermarking”，Proc.SPIE vol.3657，pp.113-1224中提出了将DFT作为纵、横和时间方向3维信息使用的WM信号嵌入方法。在此方法中，也因为以进行DFT的时间宽度的程度发生时间延迟，可以说对于实时嵌入电子水印不适用。

另外，在日本专利特开平11-55638号公报中揭示了一种将图像的一部分区域设定为信息附加区域，通过对此部分进行扩大或缩小，将信息嵌入到图像中的方法。这种嵌入方法，由于不是将WM信号添加到视频中，而是对视频本身一部分进行加工，所以会产生在嵌入前、嵌入后信号的差别很大的质量问题。此外，在Hartun等的“Watermarking of Uncompressed and Compressed Video”中揭示了一种将视频看作是静止画面的连续，将以伪随机序列调制的消息加到各帧的方法。另外，关于压缩的视频序列，提出了不经过译码根据嵌入消息随时置换DFT计数的方法。然而，在Hartung等的方法中，也不是通过预测进行控制，在这一点上，实时地对内容进行WM信号嵌入不能令人满意。

上述电子水印的主要目的是在通过因特网散发多媒体数据时的著作权的保护及DVD-Video、DVD-Audio所谓的媒体流通的著作权保护。这些数字内容，已经保持在存储媒体中。上述技术，是对这些已经保持的数字内容进行WM信号嵌入处理，不是对实时提供的内容进行WM信号嵌入。

然而，随着数字信息的应用范围的扩大，对在古典音乐厅中演奏的音乐利用未授权带入的带式录音机对演奏的音乐进行录音，之后记录到CD上出售或通过因特网公开的这种行为也可认为是不合法。另外，对于影片，使用未授权带入的录像机对屏幕进行录像，之后记录到DVD或Video CD出售或通过因特网公开也可认为是不合法。此外，在通过电视或广播电台直播音乐或体育节目时，将接收到的广播记录，记录到DVD Video等记录媒体上出售或通过因特网公开也可认为是不合法。此外，除了著作权主张之外，在进行复制控制的场合，也产生确定录音者或录像者或录音录像位置的场合。

在图22中示出使用现有的WM嵌入处理技术用来对实时提供的内容进行电子水印嵌入的装置。图22所示的电子水印嵌入装置200，可以对实时提供的现场演奏及直播(以下称其为实时内容)进行电子水印嵌入。图22所示的电子水印嵌入装置200的构成包括用来以数字方式采集实时内容的采集单元202和用来使用采集的实时内容生成电子水印的生成单元204。嵌入电子水印的内容，经网络206向用户提供。因为在内容中嵌入电子水印，所以即使用户进行录音或录像，提供者的著作权也受到保护。

此处，在对图22所示的现有的电子水印嵌入装置进行说明时，在现有的电子水印嵌入装置的构成包含：生成单元204；输入缓冲器208；电子水印计算单元210；以及输出缓冲器212。输入缓冲器208利用采集单元202将以数字方式采集的数据进行缓存。电子水印计算单元210，使用采集的实时内容，根据心理听觉模式，进行合适大小的电子水印信号。另外，输出缓冲器212，在将嵌入电子水印的内容通过网络206提供之前，临时保存嵌入电子水印的内容。

因此，从实时内容的采集起到将嵌入电子水印的内容向网络206送出为止，通常产生数百ms的时间延迟。另外，实时内容，一定要通过生成单元204。因此，就存在在利用图22所示的系统借助电子水印嵌入提供内容的场合，构成电子水印嵌入装置200的要素之中即使有有一个发生故障，也不可能提供内容的缺点。另外，即使是内容提供未达到不能提供的程度，也会存在在内容提供之际添加异常音、异常图像，使内容提供的质量下降的缺点。

另外，在图22中示出的现有的电子水印生成装置还有一个缺点，就是如古典音乐厅，从演奏起一直到到达观众为止之间，一次也不能对未进行录音录像的内容进行电子水印嵌入的缺点。此外，由于包含从实际演奏的模拟信号到数字信号变换的ADC，存在必然产生噪声使实时内容的质量降低的缺点。

图23示出改善利用图22所示的电子水印嵌入装置产生的缺点的代替装置。图23所示的电子水印嵌入装置214，将用来以数字方式采集实时内容的采集单元202的输出并列输入到生成单元216及时间延迟单元218。生成单元216，只输出利用电子水印计算单元210算出的WM信号。时间延迟单元218的输出和输出缓冲器212的输出，输入到称为混频器的嵌入单元222，使对实时内容嵌入WM信号变成可能。图23所示的装置214，也如上所述，对于在到达用户之前一次也未进行录音录像的内容不能对应。另外，虽然对计算出的WM信号的内容可以改善时间延迟，但在内容本身会产生时间延迟，并且由于时间延迟单元218的故障，会使内容的提供中断的缺点仍然存在。

为解决上述的缺点，考虑不提供图23所示的时间延迟单元，而使将生成的WM信号和内容的信息相加的电子水印嵌入装置。但是，在不使用时间延迟单元的场合，虽然在实时内容中不产生时间延迟，但在实时内容和WM信号之间由于计算WM信号需要时间会产生时间差，结果会产生另外的问题。在图24中，示出图23所示的电子水印嵌入装置的上述新生成的问题。

图24为以使用图23所示的系统214的场合为例示出以横轴作为时间轴的实时内容在时间上的变化和算出的WM信号的嵌入定时。如图24所示，比如，在时刻t₁实时内容是由生成单元采集的内容。实时内容，根据演奏等的状况，其振幅在时间上变动，在图24时的实施方式中，在超过时间t₄时振幅减小。另一方面，因为WM信号，在进行输入缓存和输出缓存的处理之外，进行使用心理听觉模型的不可听量或不可视量的计算等而生成，从在计算中使用的实时内容的采样帧(t₁-t₂)在时间上偏离用于计算WM信号的时间延迟(t₄-t₂)而嵌入。

此时，就存在在采用利用实时内容生成WM信号的方法时，由于时间延迟后的实时内容的强度电子水印不可能检测出，即使是未达到不可能的程度，也会很困难的缺点。下面，在本发明中，将把上述的缺点看作是电子水印的检测的可能性与强健性的关系。另外，在使用实时内容的振幅，调整WM信号的振幅进行嵌入的场合，在如图24所示的现有例的场合也会产生可以听到WM信号的缺点。下面，在本发明中，在上述WM信号和实时内容之间的振幅的偏离将作为质量的参考。

发明内容

本发明系为提高上述现有技术的强健性及质量，通过将使强健性降低的主要原因和质量降低的主要原因分开处理，在认识到可以解决现有的系统的缺点的情况下完成的发明。就是说，在本发明中，是在认识到实时内容和WM信号的嵌入定时之间的时间延迟是不可避免时，在WM信号嵌入之际，通过将实时内容分割，使用分割后的实时内容在时间上预测相位及音量、辉度的知觉刺激值的变化，算出WM信号的强度，在可以改善强健性和质量的情况下完成的发明。另外，在预测处理中不使用的实时内容，与WM信号生成独立地对用户提供。

就是说，对于实时内容的音量及辉度这样的知觉的刺激值，无论是音乐，还是动画，在用于生成WM信号所需要的时间范围内，在某种程度可预测的关系中改变。本发明，是通过认识到在注目于作为嵌入WM信号的对象的实时内容的过去的时间上的变化，在使用过去的时间变化时，时间延迟程度之后的实时内容的强度的将来预测，可以很好地进行而完成的。

另外，本发明强健性，是通过在使用密钥嵌入WM信号之际，使用一定的规则由密钥生成嵌入值，使用所生成的嵌入值对WM信号的信号强度进行控制，可以很好地提高强健性。WM信号的嵌入，是根据嵌入值的符号进行的，比如，在嵌入值为负时，WM信号的强度为0，只在嵌入值为正时，进行非零的WM信号的嵌入。另外，因为WM信号的嵌入的相位是以发生时间延迟为前提的，可以不依赖实时内容信号的相位随机进行增加。根据本发明，通过进行WM信号的嵌入，使用密钥、消息的位和伪随机数这样的信息，可以独立于时间延迟的生成提高强健性。

就是说，根据本发明，可提供WM信号生成装置，作为用来生成嵌入到实时内容作为电子水印的WM信号的装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

在本发明中，上述知觉刺激值是音响或辉度，上述预测单元，可以使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视量的WM信号。本发明的上述控制单元，可以包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的单元。此外，本发明的上述WM信号生成装置，可以还包含经过嵌入上述生成的WM信号的时间后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的输出控制单元。本发明的上述输入单元，包含将上述实时内容分割进行输入的单元，上述生成单元可使用该分割的实时内容生成WM信号。

根据本发明，可提供WM信号生成方法，作为用来生成嵌入到实时内容作为电子水印的WM信号的方法，其构成包括：输入上述实时内容的输入步骤；保持实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；保持上述生成的输出WM信号的步骤；上述生成步骤包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

根据本发明，可提供用来执行WM信号生成方法的程序，作为用来由计算机执行的用来生成嵌入到实时内容作为电子水印的WM信号的方法的计算机可执行程序，其构成包括：使计算机执行，保持输入的上述实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；用来保持上述生成的输出WM信号的步骤；保持上述生成的输出WM信号的步骤；上述生成步骤的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

根据本发明，可提供存储用来执行WM信号生成方法的程序的计算机可读记录媒体，作为用来记录由计算机执行的用来生成嵌入到实时内容作为电子水印的WM信号的方法的计算机可执行程序的计算机可读记录媒体，该程序的构成包括：使计算机执行，保持输入的上述实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；用来保持上述生成的输出WM信号的步骤；保持上述生成的输出WM信号的步骤；上述生成步骤的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

根据本发明，可提供电子水印嵌入装置，作为用来生成嵌入到实时内容作为电子水印的装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；用来接收上述生成的WM信号，嵌入到上述实时内容中的嵌入单元；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

根据本发明，可提供数字电视装置，作为包含用来对实时内容嵌入电子水印的装置的数字电视装置，其构成包括：用来接收数字广播，译码并生成实时内容的单元；用来显示生成的实时内容的显示单元；用来对上述经过译码的实时内容嵌入电子水印的电子水印嵌入装置；上述电子水印嵌入装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；用来接收上述生成的WM信号，嵌入到上述实时内容中的嵌入单元；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

在本发明的数字电视装置中，优选是上述电子水印嵌入装置是数字电视装置的外挂装置或包含于上述数字电视的内部。本发明的上述输入单元，优选是包含将上述实时内容分割进行输入的单元，并且优选是上述控制单元使用上述消息和上述密钥控制嵌入。

附图说明

图1为示出本发明的WM信号生成装置的示图。

图2为示出本发明的WM生成处理的流程图。

图3为本发明的预测单元的详细功能的框图。

图4为示出本发明的时间延迟后的强度预测的实施方式的示图。

图5为在本发明中预测视频信号的时间延迟后的辉度的预测部的功能框图。

图6为示出本发明的条块(tile)分割的实施方式的示图。

图7为示出本发明的辉度预测的实施方式的示图。

图8为本发明的用来处理视频信号的判断单元的功能框图。

图9为示出本发明的对音频信号的输出WM信号生成的处理的流程图。

图10为示出本发明的输出WM信号生成的另一实施方式的示图。

图11为示出本发明的输出WM信号生成的再一个实施方式的示图。

图12为示出本发明的对视频信号的输出WM信号生成的处理的流程图。

图13为示出本发明的WM信号生成装置的另一实施方式的示图。

图14为示出图13所示的WM信号生成装置的处理的流程图。

图15为示出本发明的电子水印嵌入装置的实施例的示图。

图16为示出本发明的电子水印嵌入装置的另一实施例的示图。

图17为示出本发明的电子水印嵌入装置的再一个实施例的示图。

图18为示出本发明的电子水印嵌入装置的再一个实施例的示图。

图19为示出本发明的电子水印嵌入装置的再一个实施例的示图。

图20为示出本发明的电子水印嵌入装置的再一个实施例的示图。

图21为示出本发明的包含电子水印嵌入装置的数字电视装置的

实施方式的示图。

图22为现有的电子水印嵌入装置的概略框图。

图23为现有的电子水印嵌入装置的概略框图。

图24为示出WM信号生成引起的时间延迟的关系的示图。

具体实施方式

下面根据附图所示的本发明的实施方式对本发明予以详细说明，但并不限定于后述的实施方式。

在图1中示出本发明的WM信号生成装置的功能框图。图1所示的本发明的WM信号生成装置10的构成包括：用来输入实时内容的输入单元12；用来将由输入单元12得到的实时内容进行无缝处理的输入缓冲器14；用来利用积累于输入缓冲器14中的数据预测时间延迟后的WM信号的预测单元16；用来在输出前积累所生成的强度的WM信号的输出缓冲器18；生成嵌入值控制WM信号的值的控制单元20；以及使用嵌入值生成输出WM信号的WM信号生成单元22。预测单元16、控制单元20和WM信号生成单元22构成在本发明中具有用来生成最终嵌入的输出WM信号的功能的生成单元。

在输入单元12中输入现场演奏、实况节目等数据作为实时内容。此输入单元12，用作实时内容的分割单元，对实时内容使用所谓的ADC方式进行数字化和分割后输入到输入缓冲器14。输入缓冲器14，将接收到的数据按每合适处理帧进行存储，传送到预测单元16。输入缓冲器14的构成为在对实时内容给予无缝WM信号的同时，可以保持至少大于等于一帧的实时内容，以便对实时内容进行强度的时间上的预测。

预测单元16，在数据是音频数据时，使用心理听觉模型等，预测规定的时间延迟后的WM信号的强度。另外，预测单元，在实时内容是图像数据时，比如，通过将图像数据分割为条块状的矩形区域，对每个条块预测辉度，生成与辉度相应的信号而预测WM信号。利用控制单元20生成的嵌入值，或者是将WM信号的预测值原样不变相加到实时内容，或者是通过控制使强度为0，在WM信号生成单元22中生成作为输出WM信号。输出WM信号，暂时保持于输出缓冲器18中，之后，利用像混频器、话筒、投影机这些嵌入单元24对实时内容进行嵌入。

在本发明中，对实时内容的WM信号的嵌入，对于现场演奏等音频内容，可以利用放大器及扬声器这样的音响装置生成与WM信号相对应的音频信号。另外，在实况节目、影片等场合，可以使用用于视频信号的混频器等。另外，对于音频信号和视频信号两者也可以分别嵌入WM信号。

下面对输入的实时内容采集到输入缓冲器14到从输出缓冲器18作为WM信号输出所需要的时间延迟予以详细说明。在本发明中，以音频数据为例进行说明。在以CD音质进行再生时，使用44.1kHz的频率，比如，1帧由1024取样构成时，在输入缓冲器14中，为了积累音频数据，至少需要23.2ms的时间。另外，使用后述的心理听觉模型执行DFT及屏蔽量的计算而生成WM信号所必需的时间，在典型情况下使用1024取样的数据，需要大约3.7ms。对于输出缓冲器18，与输入缓冲器一样，考虑到以CD音质再生，产生的时间延迟与输入缓冲器一样约为23.2ms。

因此，可以预料，WM信号，一直到嵌入到实时内容，至少有约50ms的时间延迟，并且在存在其他ADC等时间延迟的场合，为约100ms的时间延迟。所以，特别是考虑质量时，必须预测约100ms后的信号强度。另外，在提供DVD音质的内容的场合，需要96kHz的输入和输出，此时预测约50ms～100ms之间的实时数据也足够了。

本发明的预测单元16，预测实时内容在时间上的发展，算出强度调整的WM信号。对实时内容的时间上的发展预测，对为生成WM信号而使用的实时内容的帧在时间上的变化，比如，可通过在帧的时间间隔中使用恰当的函数进行外插等而执行，算出输出WM信号被嵌入时间的权重。将此权重与使用心理听觉模型得到的WM信号相乘，可在WM信号的强度上反映出原始内容在时间上的发展。

在本发明中，预测，可使用指数函数、线性函数、三角函数等，并且这些以外的任何函数都可以使用。

另外，本发明的控制单元20，保持要嵌入作为密钥及电子水印用的消息，使用用来生成密钥及WM信号的消息的位，生成嵌入值。生成的嵌入值，用于对预测单元16所生成的信号的嵌入判断。WM信号生成单元22，根据嵌入值生成输出WM信号。输出WM信号，在输出缓冲器18中积累之后，发送到嵌入单元24。对嵌入单元24，输入实时内容，进行生成的输出WM信号的嵌入。嵌入WM信号的嵌入完成后的内容，可通过适当的媒体提供给用户，假如用户通过非法复制或通过CD及因特网以营业为目的提供时，也可以证明共非法复制。

图2为示出本发明的WM生成处理的流程图。

本发明的WM信号生成处理，在步骤S10中，从输入装置对实时内容进行取样，保持于输入缓冲器中。在步骤S12中，使用预测单元预测知觉刺激值的时间延迟后的强度。在步骤S14中，使用控制单元生成用来使用密钥及消息控制WM信号的嵌入的嵌入值。嵌入值S，在本发明中，取+1或-1正负两个值。此嵌入值送往输出WM信号生成单元，用于控制WM信号的输出。具体言之，在步骤S16中，判断由控制单元生成的嵌入值S是否大于0，在嵌入值S是大于0时(是)，在步骤S18中，使用预测值，生成输出WM信号。另外，在嵌入值S是小于0时(否)，在步骤S20中，不使用预测值，生成0信号强度的输出WM信号。之后将频域的输出WM信号变换为时域的输出WM信号，比如，在输出缓冲器中保持，在步骤S22中向嵌入单元输出使其进行嵌入。

下面对本发明特别在预测单元16、控制单元20、WM信号生成单元22中执行的处理进行说明。

A.预测单元的详细构成和处理

(A-1)对音频信号的WM信号的预测及其处理

在预测单元16中，使用保持于输入缓冲器14中的实时内容的数据，执行用来提高质量的处理，包含(1)使用心理听觉模型的WM信号生成；(2)预测原始内容在时间上的发展的WM信号的权重计算。图3为示出在本发明中为了对音频信号生成WM信号可以使用的预测单元16的详细构成的示图。图3所示的预测单元16的构成包含：频率分析单元30；能量分析单元32；强度和频率预测单元34及不可听量计算单元36。

频率分析单元30，从输入缓冲器14采集处理帧大小的数据，使用傅利叶变换、余弦变换、小波变换等执行频率分析。本发明的处理帧，与输入缓冲器14的1帧的取样数相等，比如，为1024取样。另外，处理帧的取样数，根据处理能力，可使用512取样或2048取样。

另外，能量分析单元32，使用由频率分析单元30得到的频率分析的结果，将处理帧作为一个单位计算各频率分量ω的振幅X_f，ω的平方和，将其作为该频率分量的ω的能量。其中，f是处理帧的序号，ω是频率分量。如果将得到的帧f的频带b的能量表示为E_f，b，E_f，b可以表示如下式：

$E_{f,b}=\underset{\mathrm{\ω}\∈\mathrm{Band}\left(b\right)}{\mathrm{\Σ}}{x}_{f,\mathrm{\ω}}^2---\left(1\right)$

在上述式(1)中，Band(b)是包含在频带b中的频率分量的集合。在本发明中，每个频带的能量，不仅可以以上述的平方和计算，而且也可以只利用振幅的和算出。另外，利用此外的任何方法也可以得到能量。

强度和频率预测单元34的构成，比如，包含缓冲存储器，可使用现在正在处理的帧f，执行下一帧(f+1)的强度和频率预测。在图4中示出强度和频率预测单元的帧间的关系。图4中横轴表示时间，纵轴表示音压，示出处理帧和实时内容的振幅的关系。图4中，现在正在处理的帧是f帧，应该预测的帧是(f+1)帧。如图4所示，在本发明中，使用指数函数、线性函数或三角函数预测各个频率的时间发展，可算出权重。在图4中，从各个频带的能量可以得出的使用指数函数的拟合曲线以FC表示。另外，在本发明中，特别是，不从一个处理帧进行预测，而是从两个连续的处理帧以更高的精度的时间展开，也可以进行预测。

在使用指数函数进行预测的场合，权重因子可由下式(2)给出，在使用线性函数进行预测的场合，权重因子可由下式(3)给出。

${\hat{E}}_{f+1,b}=\frac{E_{f,b}^2}{E_{f-1,b}}---\left(2\right)$

${\hat{E}}_{f+1,b}=2E_{f,b}^2-E_{f-1,b}---\left(3\right)$

在上述式(3)中，在预测值是负时，使用零。另外，频率分量的预测，可使用所得到的能量的预测值，利用下述式(4)，或更简单些，利用下述式(5)给出。

${\hat{x}}_{f+1,\mathrm{\ω}}=x_{f,\mathrm{\ω}}\frac{{\hat{E}}_{f+1}}{E_f}---\left(4\right)$

${\hat{x}}_{f+1,\mathrm{\ω}}=\sqrt{\frac{{\hat{E}}_{f+1}}{\left|\mathrm{Band}\left(b\right)\right|}}---\left(5\right)$

在上述式中，ω是构成频带Band(b)的频率分量。另外，|Band(b)|是集合A的大小。

之后，使用生成的频率分量的预测值，不可听量计算单元36，对各频率分量计算人耳不可听程度的WM信号的大小a_ω。在本发明中，心理听觉模型本身，因为不是本发明说明的对象，其详细说明予以省略，作为用于心理听觉模型的方法，比如，可以参照上述的现有技术。另外，在本发明的其他实施方式中，不仅振幅可以预测，相位也同样可以预测。

(A-2)对视频信号的WM信号预测及其处理

在视频的场合大概而言可以使用同样的处理。在图5中示出本发明中的对视频信号的预测单元的详细构成。以下对在本发明中根据强度预测对视频信号生成WM信号的处理进行说明。从输入缓冲器14输入的视频帧，像素纵横配置，对各个像素，辉度作为对应的3维数据输入到条块分割单元40。在图6中，示出在本发明中进行的条块分割的实施方式的示图。条块分割单元40，如图6所示，将视频帧分割成为给定的尺寸的条块，选择包含在条块中的像素，确定像素的坐标及辉度(x，y，c)。

在确定包含于各个条块中的像素之后，由辉度分析单元42，通过算出每个条块内的辉度平均值，生成各条块的平均辉度Tav而执行条块内的辉度分布的分析。

在辉度保持单元44中，保持已经处理过的帧的同一条块的平均辉度Tavf，使用恰当的函数对各帧的预定的条块T的平均辉度的变化进行外插或拟合，可预测WM信号嵌入的时间延迟后的实时内容的平均辉度的权重。对利用线形预测进行的实施方式的该处理示于图7。与音频信号的场合一样，在预测小于零的值的场合，使用零。

在不可视量计算单元46中，使用预测的权重值，算出不可视量a_t，进行输出。另外，对帧f及过去的帧的辉度的分步进行分析，可以判定图像是处于变焦拍摄中、处于全景拍摄中、还是处于静止中。因此，在本发明中，可以使用运动矢量检测方法。此时，在处于变焦拍摄中时，在该时点对于应该处理的帧的调制量与变焦相对应地增加或减小。另外，在全景拍摄中时，对调制量也进行全景拍摄处理，而在静止的场合，对调制量不特别进行改变。此外，在本发明中，为了检测出变焦或全景，不是利用每个条块的辉度，而是利用每个像素的辉度时，虽然精度可以提高，但因为计算量也增加，考虑到用于WM信号的嵌入的时间延迟，可以根据系统能力进行适当地调整。

B.控制单元的详细构成及其处理

(B-1)音频信号的WM信号生成的处理

图8为在本发明中采用的控制单元20的详细的功能框图。如图8所示，在本发明中生成用来对音频信号嵌入WM信号的嵌入值的控制单元20的构成包含：保持要嵌入的消息的消息保持单元50；密钥保持单元52；以及嵌入值生成单元54。使用这些信息和伪随机数(+1，-1)生成进行嵌入的每个位的嵌入值S。生成的嵌入值S，发送到WM信号生成单元22，用于生成输出WM信号。另外，在本发明中，在电子水印的秘密性不那么重要时，也可以不使用密钥生成WM信号。此时后续的过程可同样使用。

图9为示出用于本发明的WM信号生成的处理的流程图。如图9所示，WM信号的生成，在步骤S30中，对各频带，读出嵌入消息的符号(1或0)和与其相对应的伪随机数(-1或1)。在步骤S32中，使用读出的嵌入位mb和伪随机数pr，利用下式生成各个频带不同的嵌入值实时内容。

s＝(2mb-1)pr               (6)

在上述式(6)中给出的嵌入值S的取值为+1或-1。

之后，在步骤S34中，使用生成的嵌入值S，进行WM信号的控制。在步骤S34中的S为正的场合(是)，如下述式(7)所示，在步骤36中，生成具有预测的强度a_ω的随机相位的WM信号，在S为负的场合(否)，在步骤S38中生成0的WM信号。

$z_{\mathrm{\ω}}=\left\{\begin{array}{cc}{a}_{\mathrm{\ω}}\exp {\mathrm{\θ}}_{\mathrm{\ω}}& (s>0)\\ 0& (s\≤0)\end{array}\right.---\left(7\right)$

在上述式(7)中，θ_ω是0～2π之中的随机值。

在本发明中，使用嵌入消息的位和伪随机数作为密钥和电子水印，生成以S给出的各频带的嵌入规则，并且在生成的嵌入值为负时，WM信号(不嵌入WM信号)的大小置为0，即使是在WM信号和实时内容之间产生时间延迟时，可以将WM信号的0的频率分量用作标记，可以提高强健性。

之后，WM信号生成单元22，使作为按照上述式(7)生成的集合(a_ωexpθ_ω、0)构成的输出WM信号经过逆傅利叶变换，使频域的WM信号变换为时域的WM信号。之后，在步骤S40中，比如，向输出缓冲器发送所生成的输出WM信号，对实时提供的内容进行嵌入。上述的方法，虽然可以对各频率分量进行质量调整，但因为必须进行逆傅利叶变换，也有增加时间延迟的场合。因此，在本发明的其他实施方式中，如下所述，可以采用预先对频域准备WM信号的方法。

图10为示出预先准备本发明的频域的WM信号的另一实施方式的嵌入方法的流程图。如图10所示，在步骤50中，预先生成频域的WM信号，使保持于恰当的存储器中的不可视量得到保持的WM信号，在频域中，可由下式(8)给出。

n_ω＝Aexpθ_ω                   (8)

在上述式中，θ_ω是0～2π之中的随机值。之后，在步骤S52中，计算嵌入值，在步骤S54中，读出保持于恰当的存储器等之中的WM信号的大小a_ω，在步骤S56中，使用下述式(9)生成频域的WM信号。

$z_{\mathrm{\ω}}=\left\{\begin{array}{cc}\frac{a_{\mathrm{\ω}}}{\mathrm{\Λ}}{n}_{\mathrm{\ω}}& (s>0)\\ 0& (s\≤0)\end{array}\right.---\left(9\right)$

之后，在步骤S58中，将频域的WM信号变换为时域的输出WM信号，进行对实时内容的嵌入。如上述式(9)所示，在本发明的另一实施方式中，因为对在任何帧中都使用共通的n_ω，可以达到高速化。另外，通过使用同一个n_ω，在WM信号中可产生规律的图形时，可能产生质量问题。在这种场合，在准备下不同的n_ω时，可以对各帧使用不同的WM信号。

此外，在本发明的另一实施方式中，为了达到更高速化，预先生成时域的WM信号，可不执行逆傅利叶变换作为WM信号进行嵌入。在图11中示出再一个实施方式的流程图。如图11所示，在步骤S60中，通过逆傅利叶变换预先生成时域的WM信号。之后，在步骤S62中，使用密钥、消息的位及伪随机数算出嵌入值sb。之后，在步骤S64中，读出WM信号的振幅a_ω，使用算出的sb，在步骤S66中按照下述式(10)生成时域的输出WM信号zt，进行嵌入。

$z_t=\underset{b=1}{\overset{B}{\mathrm{\Σ}}}\left(\frac{s_b+1}{2}\sqrt{\frac{E_{a,b}}{E_{n,b}}{n}_{b,t}}\right)---\left(10\right)$

在上述式中，E_a，b是频带b的非可听能量，E_n，b是准备的频带b的不可听量的能量，由下述式(11)、(12)给出。

$E_{a,b}=\underset{\mathrm{\ω}\∈\mathrm{Band}\left(b\right)}{\mathrm{\Σ}}{a}_{\mathrm{\ω}}^2---\left(11\right)$

$E_{n,b}=\underset{t=1}{\overset{N}{\mathrm{\Σ}}}{n}_{b,t}^2---\left(12\right)$

根据图11所示的方法，不需要从频域的逆傅利叶变换，可以达到高速化。

(B-2)视频信号的WM信号生成及其处理

在对视频信号应用本发明时也可以使用与图9所示的同样的功能的WM信号生成处理。作为视频信号，在本发明中，可以使用MPEG-2及更高级的格式的视频信号，在对视频信号应用本发明时，比如，可以确定对每个条块赋予的符号及伪随机数，使用密钥对每个条块算出嵌入值S，通过对不可视量进行加减嵌入电子水印。在图12中示出将本发明应用于视频信号时的流程图。

图12示出的将本发明应用于视频信号的处理，在步骤S70中读出密钥及消息的嵌入位。在步骤S72中，对每个条块使用伪随机数、密钥、消息的位以及位，算出嵌入数S，在步骤S74中判断嵌入数是否大于0，在步骤S76及步骤S78中，与S相关联生成包含0的WM信号，在步骤S80中将这些信号作为输出WM信号生成。

图13为示出本发明的WM信号生成装置10的另一实施方式的示图。图10所示的WM信号生成装置10的构成包含：用来将实时内容分割输入的输入单元12；用来对利用输入单元12得到的实时内容进行无缝切分处理的输入缓冲器14；使用积累于输入缓冲器14中的数据预测WM信号的将来的预测单元16；以及用来在输出前积累生成的WM信号的输出缓冲器18。控制单元20，包含密钥及消息，与在图1中所说明的一样，算出嵌入值S，并向WM信号生成单元22发送嵌入值实时内容。

利用WM信号生成单元22生成的WM信号，临时发送到输出缓冲器18保持。另外，图13所示的WM信号生成装置10的构成包含输出控制单元26。此输出控制单元26，根据从实时内容在时间上的发展生成的预测值和在该时点的实时内容，生成预测值和实时内容的强度的差分。

由输出控制单元26生成的差分，与预先考虑不可听量和不可视量设定的阈值进行比较，输入WM信号和在该时点的实时内容，判断预测值作为不可听量和不可视量是否妥当，在妥当时，就将保持于输出缓冲器18中的WM信号输出，对实时内容进行嵌入作为电子水印。另外，其构成是，在WM信号过大时，通过使向嵌入单元24的输出中止，使WM信号的嵌入不进行。另外，在本发明中，在乘以恰当的衰减因子成为恰当的不可听量之后，进行输出。

在图14中，在本发明的图13中示出的实施方式的处理中示出添加处理的流程图。如图14所示，在步骤S90中，取得在该时点的实时内容。在步骤S92中，算出预测值和在该时点的内容的强度的差分。在步骤S94中，判断差分是否在容许范围内，是在容许范围内时(yes)，在步骤S96中，是WM信号的嵌入进行。另外，差分不在容许范围内时(no)，因为使WM信号的嵌入和实时内容的质量降低，不进行输出WM信号的嵌入。

通过使用在本发明的图13及图14中示出的实施方式，可消除大小不恰当的WM信号的嵌入，可以使实时提供的内容的质量进一步提高。另外，判断图14所示的预测值的妥当性的处理，也可应用于对视频信号嵌入WM信号的场合。

下面，利用附图所示的具体实施例对本发明的WM信号生成装置、电子水印嵌入装置及数字电视装置进行说明。

(实施例1)

在图15中，示出用来显示通过电视及广播进行实况广播的内容的著作权所使用的电子水印嵌入装置的实施例。在图15所示的实施例中，在体育馆等之中使用话筒70进行实时内容的录音。使用作为对录音内容进行分割的手段而使用的混频器72进行二分割，将一个话筒的输出输入到混频器74。另一个话筒的输出输入到WM信号生成装置76，生成输出WM信号78。输出WM信号78，在接受利用输出控制单元26进行大小的检查之后，输入到混频器74。输入的输出WM信号，对在该时点的实时内容进行嵌入，生成嵌入完成的内容80。嵌入完成的内容80，经过恰当的通信网络提供给用户。作为图15所示的实施方式的网络，可以使用地上波通信、卫星通信、有线网络或因特网等。

在本发明的图15所示的实施例中，在混频器74可以调整WM信号的大小的场合，在WM信号生成装置76中不需要采用在图13及图14中说明的判断WM信号的大小的构成。然而，在图15所示的实施例中，作为WM信号生成装置76，也可以采用图13所示的构成。根据图15所示的实施例，可以对体育馆等处的实况演奏、实况中继附加电子水印向用户提供。

图16示出在音乐会会场应用本发明的电子水印生成装置的场合的实施例。在图16所示的实施例中，如在音乐厅中演奏的古典音乐那样，不经过话筒等录音设备直接对用户提供。因此，在图16所示的实施例中，电子水印嵌入装置80的构成包括话筒一类的输入设备14、放大器、扬声器一类音频信号生成装置82，对内容直接进行电子水印的嵌入。

另外，在本发明的再一个实施例中，音频信号生成装置82，也可能不是只配置一台，而是对每个演奏者各配置一台。在将多个音频信号生成装置靠近演奏者配置的实施例中，可以更可靠地保证实时内容和输出WM信号的整合性，可以进一步提高质量。此时，因为在将多个输出WM信号在时间上错开混合时，对强健性造成很坏的影响，所以优选是多个音频信号生成装置82在定时上同步。

图17是示出在本发明中可以确定进行非法录音者的实施方式的示图。假设在图17示出的实施例中，是提供古典音乐作为实时内容。此处，假设在座位S₀就座的听众是非法录音者。可以是各座位S₀～S₃带有音乐厅固有的识别编号，比如，与识别编号相对应的输出WM信号，可作为音频信号由小型话筒等靠近听众提供的这样一种构成。在本发明图17所示的实施例中，利用与各个听众邻接配置的电子水印嵌入装置84生成输出WM信号。

然而，在本发明的图17所示的实施例的另一变更例中，如图17所示，分开另外设置电子水印生成服务器86，与识别编号相对应的WM信号，电子水印生成服务器86，可以利用分配给各个座位的密钥或消息，对每个座位生成输出WM信号。对每个座位生成的输出WM信号，通过向配置于座位等处的小型话筒发送，可向听众提供不同的输出WM信号。

图17示出的实施例，通过在各座位嵌入不同的电子水印，即使是在进行了非法录音的人员记录到CD及DVD并且进行非法销售的场合，也可达到易于追踪非法录音者的效果。

本发明的电子水印嵌入装置，为了主张在电影院等之中放映的视频之类的实时内容的著作权，也可以为嵌入电子水印而使用。在以下的实施例中，对实时提供的图像内容嵌入电子水印的场合予以说明。与音频信号一样，可以以放映会场、主办者、协办者、放映内容、放映时日、复制条件等等作为嵌入的消息。

在图18中示出在本发明中在视频中嵌入电子水印的场合的实施例。在图18中示出的本发明的特定的实施例中，对从投影机88发出的原始图像内容进行再生。同时，投影机88的视频输出，输入到输出WM信号生成装置90中而生成输出WM信号。生成的输出WM信号，输出到投影机88。嵌入了WM信号的视频，从投影机88投影到屏幕92，可以将输出WM信号实时地嵌入到图像内容中。

在图19中示出虽然可以提取原始的图像内容的视频输出，但不能使用混频器的场合的实施例。在图19所示的实施例中，将原始的图像内容从投影机94投影到屏幕92，进行对用户的内容提供。视频输出，输入到本发明的WM信号生成装置90，生成输出WM信号。生成的输出WM信号，发送到投影机100，通过从投影机100投影到屏幕92，可以将电子水印嵌入屏幕92上。

另外，在图20中示出既不能提取原始的图像内容的视频输出，也不能使用混频器的场合的实施例。在图20所示的实施例中，将原始的图像内容从投影机94投影到屏幕92，进行对用户的内容提供。投影到屏幕92的内容，比如，利用摄像机102取得，输入到本发明的WM信号生成装置90。之后，生成利用本发明的方法延迟的输出WM信号，通过将输出WM信号从投影机100投影到屏幕92，可以在屏幕上进行电子水印嵌入。如上所述，本发明的图18～图20所示的实施例，是对客座非法带入摄像机进行录像视频图像也可以进行电子水印嵌入。

图21为示出利用数字电视装置对用户提供的内容被用户为了不正当的目的进行录像的场合的实施方式的示图。在图21所示的实施例中，本发明的电子水印生成装置是与数字电视装置邻接配置外挂装置104的形式。经数字通信网络从天线接收的数据在调谐译码部106中进行调谐及译码，纠错及分用输出到电视监视器的内容108。内容108，在混频器中进行二分割，输入到本发明的WM信号生成装置112。图18所示的本发明的WM信号生成装置112，利用迄今为止所说明的方法，针对音频信号及图像信号生成输出WM信号114，将生成的输出WM信号114送往混频器116，可对内容108进行电子水印嵌入。在图21所示的实施例中，是一种通过对在数字电视广播中发送的内容进行电子水印嵌入，可以对用户的不当录像及录音进行识别的构成。

另外，在本发明再另一个实施例中，特别是不仅是时间上变动大的实时内容，而且也可以通过对美术馆展览的美术品使用投影机投影电子水印而用于防止对美术品的视频图像的非法取得。此外，本发明也可应用于因特网散发的流实时地嵌入电子水印的场合。

在本发明中说明的各设备，可以是在包含中央处理装置(CPU)；RAM、ROM等存储器；硬盘一类的存储设备的计算机或信息处理装置中，以软件形式构成的软件模块构成的。另外，上述软件模块，只要具有在本发明中说明的功能，不单包含与附图所示的功能块相对应的构成，也可以由作为不同的功能块的构成而构成。此外，用来执行本发明的电子水印生成方法的程序，可以使用各种编程语言，比如汇编语言、C语言、C++语言、Java(注册商标)等描述，描述本发明的程序的代码，可以使其作为RAM、ROM、闪存等固件包含，也可保持于磁带、软盘、硬盘、CD、磁光盘、DVD等这一类计算机可读记录媒体上。

以上是以附图记述的具体实施方式对本发明进行说明，但本发明并不限定于上述特定的实施方式，即使是各种变更例及其他实施方式，只要是在本发明的效果的范围内，哪怕是迄今已知的任何构成要素，都可以使用。

Claims (29)

1.一种WM信号生成装置，是用来生成作为电子水印嵌入到实时内容的WM信号的装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

2.如权利要求1所述的WM信号生成装置，其中上述知觉刺激值是音响或辉度，上述预测单元，使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视量的WM信号。

3.如权利要求1或2所述的WM信号生成装置，其中的上述控制单元，包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的单元。

4.如权利要求1～3中任何一项所述的WM信号生成装置，其中还包含将嵌入上述生成的WM信号的时间经过后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的输出控制单元。

5.如权利要求1～4中任何一项所述的WM信号生成装置，其中上述输入单元，包含将上述实时内容分割进行输入的单元，上述生成单元使用该分割后的实时内容生成WM信号。

6.一种WM信号生成方法，是用来生成作为电子水印嵌入到实时内容的WM信号的方法，其构成包括：输入上述实时内容的输入步骤；保持实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；保持上述生成的输出WM信号的步骤；上述生成步骤包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

7.如权利要求6所述的WM信号生成方法，其中上述知觉刺激值是音响或辉度，上述预测步骤，包含使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视的WM信号的步骤。

8.如权利要求6或7所述的WM信号生成方法，其中的上述控制步骤，包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的步骤。

9.如权利要求6～8中任何一项所述的WM信号生成方法，其中还包含将嵌入上述生成的WM信号的时间经过后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的步骤。

10.如权利要求6～9中任何一项所述的WM信号生成方法，其中上述输入步骤，包含将上述实时内容进行分割的步骤，上述生成步骤使用该分割后的实时内容生成WM信号。

11.一种用来执行WM信号生成方法的程序，作为用来由计算机执行的用来生成作为电子水印嵌入到实时内容的WM信号的方法的计算机可执行程序，其构成包括：使计算机执行如下步骤，保持输入的上述实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；用来保持上述生成的输出WM信号的步骤；执行保持上述生成的输出WM信号的步骤；上述生成步骤的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

12.如权利要求11所述的程序，其中上述知觉刺激值是音响或辉度，上述预测步骤，包含使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视量的WM信号的步骤。

13.如权利要求11或12所述的程序，其中在上述生成步骤中，使用分割输入的实时内容；上述控制步骤，包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的步骤。

14.如权利要求11～13中任何一项所述的程序，其中还包含将嵌入上述生成的WM信号的时间经过后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的步骤。

15.一种存储用来执行WM信号生成方法的程序的计算机可读记录媒体，作为用来记录由计算机执行的用来生成作为电子水印嵌入到实时内容的WM信号的方法的计算机可执行程序的计算机可读记录媒体，该程序的构成包括：使计算机执行，保持输入的上述实时内容的步骤；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的步骤；用来保持上述生成的输出WM信号的步骤；保持上述生成的输出WM信号的步骤；上述生成步骤的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测步骤；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的步骤；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的步骤。

16.如权利要求15所述的记录媒体，其中上述知觉刺激值是音响或辉度，上述预测步骤，包含使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视量的WM信号的步骤。

17.如权利要求15或16所述的记录媒体，其中在上述生成步骤中，使用分割输入的实时内容；上述控制步骤，包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的步骤。

18.如权利要求15～17中任何一项所述的记录媒体，其中还包含将嵌入上述生成的WM信号的时间经过后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的步骤。

19.一种电子水印嵌入装置，是用来生成嵌入到实时内容作为电子水印的装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；用来接收上述生成的WM信号，嵌入到上述实时内容中的嵌入单元；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

20.如权利要求19所述的电子水印嵌入装置，其中上述知觉刺激值是音响或辉度，上述预测单元，使用保持于上述输入缓冲器中的数据生成与上述规定时间后的实时内容的强度相对应的预测不可听量或预测不可视量的WM信号。

21.如权利要求19或20所述的电子水印嵌入装置，其中的上述控制单元，包含使用密钥、上述消息和伪随机数生成正负的二值化后的嵌入值的单元。

22.如权利要求19～21中任何一项所述的电子水印嵌入装置，其中还包含将嵌入上述生成的WM信号的时间经过后的实时内容与上述生成的WM信号进行比较，控制上述输出缓冲器的输出的输出控制单元。

23.如权利要求19～22中任何一项所述的电子水印嵌入装置，其中上述输入单元，包含将上述实时内容分割进行输入的单元，上述生成单元使用该分割后的实时内容生成WM信号。

24.如权利要求19～23中任何一项所述的电子水印嵌入装置，其中上述实时内容，是现场演奏的音乐。

25.如权利要求19～24中任何一项所述的电子水印嵌入装置，其中上述实时内容，是现场直播的广播内容。

26.如权利要求19～25中任何一项所述的电子水印嵌入装置，其中上述电子水印嵌入装置，是数字电视装置的外挂装置或包含于上述数字电视的内部。

27.一种数字电视装置，是包含用来对实时内容嵌入电子水印的装置的数字电视装置，其构成包括：用来接收数字广播，译码并生成实时内容的单元；用来显示生成的实时内容的显示单元；用来对上述经过译码的实时内容嵌入电子水印的电子水印嵌入装置；上述电子水印嵌入装置，其构成包括：输入上述实时内容的输入单元；保持上述实时内容的输入缓冲器；用来由上述实时内容生成与上述实时内容的预测强度相对应的输出WM信号的生成单元；用来保持上述生成的输出WM信号的输出缓冲器；用来接收上述生成的WM信号，将其嵌入到上述实时内容中的嵌入单元；上述生成单元的构成包括：用来从上述实时内容的规定时间后的知觉刺激值的预测进行上述WM信号的强度预测的预测单元；使用作为电子水印嵌入到上述实时内容中的消息来控制嵌入的控制单元；以及使用上述预测单元的输出和上述控制单元的输出来生成输出WM信号的单元。

28.如权利要求27所述的数字电视之中，其中上述电子水印嵌入装置，是数字电视装置的外挂装置或包含于上述数字电视的内部。

29.如权利要求27或28所述的数字电视装置，其中的上述输入单元，包含分割单元；上述控制单元，包含使用上述消息和密钥控制嵌入。

Images