WO2005062251A1 - Reduction in visual impact of a modification in a video sequence as a function of a watermarking code - Google Patents

Reduction in visual impact of a modification in a video sequence as a function of a watermarking code Download PDF

Info

Publication number
WO2005062251A1
WO2005062251A1 PCT/FR2004/002916 FR2004002916W WO2005062251A1 WO 2005062251 A1 WO2005062251 A1 WO 2005062251A1 FR 2004002916 W FR2004002916 W FR 2004002916W WO 2005062251 A1 WO2005062251 A1 WO 2005062251A1
Authority
WO
WIPO (PCT)
Prior art keywords
marked
motion vectors
images
optimal
marking key
Prior art date
Application number
PCT/FR2004/002916
Other languages
French (fr)
Inventor
Yann Bodo
Nathalie Laurent
Original Assignee
France Telecom
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom filed Critical France Telecom
Publication of WO2005062251A1 publication Critical patent/WO2005062251A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0085—Time domain based watermarking, e.g. watermarks spread over several images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0053—Embedding of the watermark in the coding stream, possibly without decoding; Embedding of the watermark in the compressed domain

Definitions

  • the present invention relates to a method and a system for modifying a sequence of video images as a function of a marking key, based on marking of motion vectors of the sequence, as well as to a method for verifying a key. marking in a video sequence. More particularly, the invention controls the visual impact of the modification by marking key in the video sequence after a selection of marked motion vectors in order to reduce the visual impact of the marking also called watermarking.
  • Video tagging consists in hiding information called "tag" in a video sequence by modifying motion vectors of the video clip according to bits of a tagging key so that the tag is robust and invisible.
  • This information constitutes, for example, a signature used for authentication of the video sequence for the purpose of protecting the copyright of the sequence and therefore of dissuading reproduction of the sequence, whatever the medium or the mode of broadcasting of the sequence.
  • the robustness of a brand is determined by the brand's resistance to malicious attacks such as compression or changing the format of the video sequence. According to French patent application 0213660 filed October 31, 2002 and not yet published and the article "Video tattoo by hierarchical marking of motion vectors" by BODO Y.
  • the coordinates of a vector are identified in a space with a reference partition called reference grid. Parts of this grid constitute a first zone, and other parts of the grid a second zone complementary to the first. Binary values "1" and "0" are assigned to the areas respectively.
  • the identified coordinates of the motion vector are only modified if the end of the motion vector is located in the zone whose binary value corresponds to the complement of the bit of the marking key with which the motion vector is associated.
  • the coordinates of the motion vector are modified by achieving symmetry central or axial weighted with respect to the boundaries between the zones, so as to produce a modified motion vector, called the marked motion vector.
  • the invention of this patent application has contributed to improving the robustness of the brand without satisfactorily reducing the visibility of the brand in the video sequence.
  • the coordinates of the marked motion vector are no longer determined by achieving symmetry but by performing an extended search for the optimal position of the marked motion vector.
  • the optimal position is defined according to a criterion depending on a signal to noise ratio PSNR ("Peak Signal to Noise Ratio") for two images depending on the video sequence.
  • PSNR Signal to Noise Ratio
  • the PSNR report assesses the degree of fidelity of an image compared to a reference image, for example between a marked image and its image original unmarked.
  • Vector labeled optimal movement the PSNR highest among the PSNR reports labeled candidate motion vectors whose ends are located in a window of the advanced search. Thanks to the optimization of the PSNR report, the invisibility of the inserted brand has relatively increased while maintaining good robustness.
  • the present invention improves the subject of the two aforementioned French patent applications relating to the invisibility of the mark generated in the video sequence. Its objective is to refine the selection of motion vectors to be marked in order to reduce the visual impact of the mark on the video sequence compared to the prior art.
  • a method of modifying a sequence of video images as a function of an initial marking key with P bits comprises an estimation of movement between at least two images of the sequence in order to obtain vectors of original movements of one of the images having ends respectively in blocks of a reference grid broken down into two complementary zones associated with complementary binary values, a selection of P original motion vectors to associate them respectively with the bits of the key marking, a modification of the coordinates of the P motion vectors selected as a function respectively of the P bits of the marking key in order to replace with an optimal motion vector marked each motion vector selected whose end is located in one of the two zones associated with the binary value complementary to the respective bit of the marking key, and a motion compensation of at least one of the images to which have been applied optimal marked motion vectors in order to constitute a video sequence comprising at least the marked compensated image.
  • the modification method is characterized in that it comprises an initial marking key composed of M successive sets each having P / M identical bits, after the modification, only motion vectors selected by the optimal marked motion vectors which satisfy a predetermined replacement criteria based on a comparison of the blocks associated with the optimal motion vectors marked to reduce the visual impact of the modification by the marking key.
  • the modification method can comprise the following steps: an estimation of movement between the marked image and another image of the sequence; a determination of the signal to noise ratios between blocks associated with the marked motion vectors of the marked image and corresponding blocks in the other image; a conservation only of the blocks associated with the marked motion vectors of the marked image for which the determined signal-to-noise ratio is greater than the threshold; and - a comparison between a first set of vectors initially constituted by said motion vectors marked optimal replacing said selected motion vectors and a second set of vectors consisting of vectors movement marked associated with previously preserved blocks. If the first and second sets are different, the method may include an iteration of the previous steps of motion estimation, determination, conservation and comparison.
  • the steps of the method for modifying a video sequence can be executed by a computer program comprising program code instructions.
  • the replacement criterion may include a comparison between a predetermined threshold and a determined signal-to-noise ratio between the block containing the end of the selected motion vector and the block containing the end of the associated optimal marked motion vector, in order to replace the motion vector selected by the associated optimal marked motion vector only when the determined signal-to-noise ratio value exceeds the predetermined threshold.
  • an optimal marked motion vector results from a selection from among several potential marked motion vectors determined according to French patent application 0213660, or preferably 0304590.
  • the present invention also relates to a method for verifying '' an initial P-bit marking key in a marked video sequence.
  • the verification method comprises an estimation of movement between at least two images of the marked video sequence in order to obtain original motion vectors of one of the images having ends respectively in blocks of a reference grid broken down into two. complementary zones associated with complementary binary values, a selection of P motion vectors, a placement of the P motion vectors selected on the reference grid in order to associate with each of the selected vectors, according to the position of the end thereof relative to the two zones, the binary value associated with the zone containing the end of the vector and a production of a marking key in the form of a series of P binary values associated with the selected motion vectors.
  • the verification method is characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the method comprises an evaluation of a correlation index between the initial and produced marking keys in order to report a modification (or marking) of the video sequence as a function of the initial marking key when the correlation index exceeds a confidence threshold.
  • the steps of the verification method can be executed by a computer program comprising program code instructions.
  • the present invention also relates to a system for modifying a sequence of video images as a function of an initial P-bit marking key.
  • the modification system comprises a means for estimating a movement between at least two images of the sequence in order to obtain original motion vectors of one of the images having ends respectively in blocks of a reference grid broken down into two complementary zones associated with complementary binary values, means for selecting P motion vectors to associate them respectively with the bits of the marking key, means for modifying coordinates of the P motion vectors selected as a function respectively of the P bits of the marking key in order to replace with an optimal marked motion vector each selected motion vector whose end is located in one of the two zones associated with the binary value complementary to the respective bit of the key marking, and a motion compensation means of at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, and is characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the system comprises means for replacing only selected motion vectors by the optimal marked motion vectors which satisfy a predetermined replacement criterion based on a comparison of the blocks associated with the motion vectors marked
  • the invention relates to a medium for recording a sequence of video images which is modified as a function of an initial marking key at P bits according to the method for modifying the sequence of video images of the invention.
  • FIG. 1 is a schematic representation of the video sequence modification system according to a preferred embodiment of the invention
  • - Figure 2 is a schematic algorithm of the video sequence modification method according to the preferred embodiment of the invention
  • - Figure 3 is a schematic representation of a hierarchical decomposition of an image into blocks
  • - Figure 4 shows an example of a reference grid, cut into zones associated with complementary binary values, in which is placed a motion vector to be marked according to the invention
  • FIG. 5 represents the path of all the pixels of a search area to determine an optimal marked motion vector;
  • FIG. 6 represents a selected motion vector and its associated block, as well as potential marked motion vectors placed on the reference grid and their associated constructed blocks;
  • Figure 7 is a schematic algorithm of the video sequence modification method according to a more complete embodiment of the invention;
  • FIG. 8 is a schematic algorithm of the method for verifying a marking key in a marked video sequence according to the modification method according to the preferred embodiment of the invention.
  • the system for modifying a video sequence as a function of a marking key implementing the modification method mainly comprises an RE repeater for repeating bits of a mark, an estimator of motion EM, a pseudo-random generator GP, a compensator CO and a processing unit UT shown in FIG. 1.
  • the modification system is installed in a terminal T of the personal computer type. The system receives as input a video source signal containing sequences of digital images forming a sequence of video images.
  • the general principle of the invention consists in controlling the visual impact of a mark in the video sequence after a determination of marked movement vectors in order to reduce the visual impact of the mark by comparing a marked image given in the video sequence and an original image different from the original image of the marked image given.
  • a marked image results from a modification of an original image according to which a mark depending on a processing of the original image according to the marking key is inserted in the original image.
  • the algorithm of the method for modifying the video sequence mainly comprises steps E1 to E8 shown in FIG. 2 according to the preferred embodiment of the invention.
  • M successive bits entering into the composition of a binary marking key of given length P are generated by the processing unit UT.
  • the successive M bits are a coded representation of copyright information of the video sequence.
  • the repeater RE repeats R times each of the M bits so as to constitute an initial marking key intended to modify vectors of movement which will be selected from among those of a matrix associated with any given digital image It of the video sequence.
  • An original image is an unmodified or unmarked image.
  • the motion vector matrix makes it possible to generate a predicted image of the original given image from, for example, the previous image ⁇ t-1 original in the video sequence, by moving blocks of pixels thereof, as a function of the motion vectors calculated.
  • Step E2 is necessary to remedy an absence of modification of motion vector which can occur at the subsequent step E7 in correspondence with one of the M initial bits of the marking key if it was not repeated.
  • R and M are predetermined whole numbers.
  • the marking key intervenes in the modification of several images in the video sequence in order to increase the robustness of the mark, that is to say several motion vectors belonging to different images of the video sequence are associated with the same bit of the marking key.
  • the motion estimator EM performs a block matching of two “block” type images matching ", by an estimate of movement between the previous image It-l original and the image given It original in the video sequence, or between the image given I original and the image following If + 1 original, depending on whether l the motion estimation is forward or backward, in step E3.
  • the motion estimation is carried out on any two images of the sequence.
  • the block matching corresponds, for each original block of pixels of the original given image It, to evaluate the best motion vector allowing the block to be reconstructed from a block of pixels of the same size from the previous original image It-1 or next It + 1 moved using motion vector
  • the motion estimator EM searches around the block of the image It for the original block in the previous image It-l or next It + l ⁇ for which the motion vector minimizes a function conventional cost known as DFD (Di splaced Frame Difference) representing the difference between the original block moved from the previous image It-l or following ⁇ t + 1 and the corresponding original block in the given image It, i.e. maximizes the similarity between the original block of image It and the original blocks sought in image It-l or
  • DFD Di splaced Frame Difference
  • the EM motion estimator performs a hierarchical motion estimation at L levels, with L> 1.
  • the marking key increasingly influences the modification of the image, and the resulting mark is advantageously the more spread out in the modified image, the higher the number of levels.
  • the image It is broken down hierarchically into blocks
  • a breakdown at L 4 hierarchical levels of the image It into blocks is shown diagrammatically in FIG. 3.
  • the motion estimation is performed on the lower level blocks of the image I, for example the blocks BN of size N x N, and produces a matrix of motion vectors associated with each of these blocks.
  • the outline of the blocks can be rectangular instead of being square.
  • the motion vector associated with a block of a higher hierarchical level is determined by the motion estimator EM by averaging the motion vectors of the blocks of the immediately lower level framed by the block of higher level in step E4.
  • Each component of the motion vector for the higher level block is equal to the average of the components of the same direction of the vectors for the lower level blocks.
  • the motion vectors of a B2N block are equal to the average of the vectors of the BN blocks belonging to the B2N block and so on up to the highest hierarchical level.
  • the motion vectors associated with the higher hierarchical levels are estimated on the basis of a lower first hierarchical level.
  • the selection of motion vectors depends on a deterministic rule.
  • the ends of the potential marked motion vectors are located in a predetermined ZR search area of the given image.
  • a reference grid is considered, as shown in FIG. 4.
  • the reference grid is rectangular and is generated in a Cartesian domain.
  • the grid is made up of rectangular blocks B of size H x K pixels.
  • Each grid block includes two complementary zones Z1 and Z2.
  • the zone Z1 is rectangular, of size hxk pixels with h ⁇ H and 1 ⁇ K, and centered within the block B.
  • the zone Z2 is rectangular, of size H x K, and frames the zone Zl; it extends to the periphery of the zone Zl between the limits of the zone Z2 and of the block B.
  • the integers h and k of the zone Zl are preferably determined so that the zones Zl and Z2 have an identical area.
  • the zone Zl is associated with the binary value "1" and zone Z2 to binary value "0" complementary to the previous one.
  • the processing unit UT locates the end of each selected motion vector V on the reference grid and associates with the end PR of each selected motion vector a block B of the previous image It-l or following It + 1 has the container, with Zl and Z2 zones of that block.
  • the processing unit UT When the PR end of the selected motion vector is in the zone Z1 associated with the binary value 1, as shown in FIG. 4, and the bit of the marking key associated with this selected motion vector is in the " 1 ", the processing unit UT does not modify the coordinates of the selected motion vector. On the other hand, when the bit associated with the selected motion vector is in the state "0", the processing unit UT modifies the coordinates of the selected motion vector in order to replace the latter with a potential marked motion vector whose end is located in zone Z2 of the reference grid.
  • the processing unit UT does not modify the vector; on the other hand when the bit of the associated marking key is in the state "1", the processing unit modifies the coordinates of the motion vector into those of at least one potential marked motion vector whose end is located in zone Zl of the reference grid.
  • a multitude of vectors correspond to the potential motion vectors marked.
  • the present invention is based on the method of French patent application 0304590 filed on April 11, 2003 to determine the coordinates of P optimal marked motion vectors among all the potential marked vectors in step E6 as described in the following description.
  • the processing unit UT searches for the optimal marked motion vector for each of the P motion vectors selected which will reduce the visibility of the mark in the modified image.
  • the processing unit searches in the extended predetermined search area ZR for an optimal position of marked motion vector, not only near the end of the selected motion vector constituting a reference point, but also in a more or less vicinity wide from this benchmark.
  • the search area ZR represented in FIG. 5 is a set, for example, of 9 blocks B of the previous image It-1 or next It + 1 in the reference grid, one of which contains the reference point PR of the selected motion vector V and which is called the initial block BI.
  • the processing unit UT searches for the potential marked motion vectors VTP whose EX ends are located in the search area. square of width three blocks and comprising all the blocks B directly adjacent to the initial block BI, as shown for two potential vectors VTP in FIG. 6.
  • the motion vectors marked potential have their ends EX located in a zone Zl (respectively Z2) of blocks B of It-l complementary to the zone where the reference point PR is located and which is associated with a binary value "1" or "0" which is different from the bit "0" or "1", of the marking key associated with the selected vector V.
  • the size of the search area ZR is configurable; according to another example, the width of the search area ZR is 5 blocks.
  • the processing unit UT determines the optimal marked motion vector of a selected motion vector by traversing the set of determined potential marked motion vectors of the selected motion vector, which consists in positioning the reference point PR of the vector motion selected on many pixels of the ZR search area without varying its origin.
  • the processing unit UT associates at each of the ends EX of the potential marked vectors a constructed block BP of the image It having the size of the blocks B of the reference grid.
  • the top of the BP block located at the bottom left is merged with the EX end of the potential labeled vector VTP, as shown in FIG. 6.
  • the different BP blocks thus constructed are not disjoint and can overlap.
  • the different blocks constructed BP in the image It and the initial block BI of the image It-1 or If + 1 are used to determine the PSNR ratio between the initial block BI and each of the constructed blocks BP, in order to determine the vector of optimal marked movement corresponding to the highest PSNR ratio.
  • the variation ⁇ d associated with the selected motion vector and the motion vector marked optima l is then applied to the motion vectors of the four child blocks of the initial block, as shown in FIG. 3.
  • the four child blocks of the initial block are the blocks of level lower than the level of the initial block.
  • the processing unit UT then performs a descent into the lower levels of the hierarchy, in order to pass on the coordinates of the P selected motion vectors which have been modified in higher levels, on the motion vectors in lower levels up to at the lowest level corresponding to the selected motion vectors, so as to spread the mark.
  • the processing unit UT makes a selection from among the motion vectors marked according to a predetermined replacement criterion.
  • the replacement criterion consists in that the processing unit UT determines the PSNR ratios between the blocks of the previous image It- l or following It + 1 of the lowest level associated with the selected motion vectors and the blocks of l image It of the lowest level associated with the corresponding optimal marked motion vectors and compares the determined PSNR ratios to a predetermined threshold.
  • the modification of the coordinates of the P motion vectors selected is thus carried out on a hierarchical level of the blocks in the images, higher than a hierarchical level on which the replacement criterion is applied.
  • the processing unit only replaces the blocks relating to the P motion vectors selected by the blocks relating to the marked motion vectors for which the PSNR ratios are greater than the threshold.
  • the predetermined threshold is set at 36 decibels.
  • the marked motion vectors relative to the replaced blocks are called "first marked motion vectors preserved".
  • the threshold of the PSNR ratio is high, that is to say of the order of 50 decibels, few blocks associated with the marked motion vectors are preserved and the given image I marked resulting from the image modification according to the invention is close to the original image It-
  • the selection of block E7 could cause a loss of information on the marking key relative to a block associated with a vector of movement marked but not preserved.
  • each of the M bits of the marking key is repeated R times in step E2, with R greater than 1, in order to be able to subsequently verify the presence or absence of the mark in the video sequence despite possible loss of information.
  • the initial M bits are "0011” and the number of repetitions R is 4 and assuming that the marking key produced by the verification of the marked image is "00 * 0000 * 11111 * 11", where the sign "*" indicates a bit location associated with an initial motion vector not replaced, so despite the loss of 3 bits the processing unit UT signals by a correlation between the initial marking key and the marking key produced if the sequence video was truly tagged with the initial tag key, as described later in the verification process.
  • the marking key modifies several images and some several times in the video sequence, that is to say several pairs of images of the sequence bear the mark one or more times, which improves a subsequent verification of the marking key.
  • the motion vectors of the original modified image It resulting from the control and the reduction of the visual impact in the previous step are used to generate a marked video sequence, by performing motion compensation in the step E8.
  • This step constructs a marked video sequence, in the form of a succession of compensated images, obtained from the previous or following original images to which the Motion vectors marked optimal and conserved were applied.
  • the CO compensator compensates for the movement only on the blocks of the previous or next image associated with marked motion vectors, and completes the image thus compensated with the original blocks remaining of the original image, in order to obtain a better quality image.
  • the compensator CO compensates for the movement over all of the blocks of the preceding or following image, whether these blocks are associated with marked or unmarked motion vectors.
  • the modification method according to the more complete embodiment shown in FIG. 7 comprises the steps E1 to E8 described previously and the steps E9 to E13.
  • the motion estimator EM estimates in step E9 the movement between the image It marked and the previous image It-1 or next It + 1 original in the same way as in step E3.
  • the motion estimation is carried out between the marked image and the previous or next marked image.
  • the processing unit UT determines in step E10 the PSNR ratios between the blocks associated with the motion vectors marked with the marked image It and the corresponding blocks associated with the motion vectors with the preceding image It-1 or following I f +1 original. In the same way as step E7, the processing unit keeps only the blocks associated with the marked motion vectors of the marked image for which the PSNR ratio is greater than the threshold in step Eli.
  • a first set of vectors PI initially formed by the first conservation marked motion vectors is compared in step E12 to a second set of vectors P2 consisting of the motion vectors marked with the marked image associated with the previously stored blocks. If the first and second sets are different, the preceding steps E9 to E12 of motion estimation, determination, conservation and comparison are iterated.
  • the results of the motion estimation between the two images may be different.
  • the iterative processing is interrupted, and the marked motion vectors retained at the end of the processing define after compensation in step E13 the final marked image.
  • the modified image sequence incorporating the final marked images is stored in a recording medium such as the terminal T.
  • the verification of the presence of a mark in a sequence of video images as a function of the mark generated in at least one modified image of the video sequence according to the modification method according to the invention implements a method dual to the method of modification, followed by a determination of a correlation index characterizing the presence or absence of the mark in the video sequence.
  • the binary representation of the marking key is assumed to be known, as well as the number of repetitions R.
  • the verification comprises the following steps A1 to A6 shown in FIG.
  • the processing unit UT evaluates a statistical correlation index between the marking key produced and the initial marking key and compares the resulting correlation index with a confidence threshold in order to signal the presence or the absence of a mark. When the correlation index exceeds the confidence threshold, the UT unit signals that the video sequence has been modified as a function of the initial marking key.
  • a first correlation rule to estimate whether or not this mark is present in an image depends on the following correlation index: where W is the initial marking key; W is the mean of W; W is the marking key produced; W is the mean of W.
  • the correlation index is equal to the sum of the correlation indices C for the marks in the image or the video sequence.
  • the invention described here relates to a method and a system for modifying a sequence of video images as a function of a marking key.
  • the steps of the method are determined by the instructions of a program for modifying a sequence of video images incorporated in a computer device such as a personal computer.
  • the program includes program instructions which, when said program is loaded and executed in the computer device, the operation of which is then controlled by the execution of the program, carry out the steps of the method according to the invention. Consequently, the invention also applies to a computer program, in particular a computer program on or in an information medium, suitable for implementing the invention.
  • the information medium can be any entity or device capable of storing the program.
  • the support may include a storage means or recording medium, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a floppy disk (floppy say) or a hard drive.
  • the information medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can in particular be downloaded on a network of the type Internet .
  • the information medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method according to the invention.

Abstract

A sequence of video images is modified as a function of an initial watermarking code of P bits, comprising M successive units, each having P/M identical bits. After an estimation of hierarchical movement (E3, E4) between at least two images, in order to obtain original movement vectors for one of the images, a pseudo-random selection (E5) of P movement vectors is made for association with bits of the watermarking code. The coordinates (E6) for the selected P movement vectors are modified as a function of the P bits of the watermarking code. Only the selected movement vectors are replaced (E7) by movement vectors marked as optimal which satisfy a criterion for replacement, based on a comparison of blocks associated with the movement vectors marked as optimal.

Description

Diminution de l'impact visuel d'une modification dans une séquence vidéo en fonction d' une clé de marquageReduction of the visual impact of a modification in a video sequence according to a marking key
La présente invention concerne un procédé et un système de modification d'une séquence d'images vidéo en fonction d'une clé de marquage, basés sur un marquage de vecteurs de mouvement de la séquence ainsi qu'un procédé de vérification d'une clé de marquage dans une séquence vidéo. Plus particulièrement, l'invention contrôle l'impact visuel de la modification par clé de marquage dans la séquence vidéo après une sélection de vecteurs de mouvement marqués afin de diminuer l'impact visuel du marquage appelé également tatouage (watermarking) .The present invention relates to a method and a system for modifying a sequence of video images as a function of a marking key, based on marking of motion vectors of the sequence, as well as to a method for verifying a key. marking in a video sequence. More particularly, the invention controls the visual impact of the modification by marking key in the video sequence after a selection of marked motion vectors in order to reduce the visual impact of the marking also called watermarking.
Le marquage vidéo consiste à dissimuler une information appelée "marque" dans une séquence vidéo en modifiant des vecteurs de mouvement de la séquence vidéo selon des bits d'une clé de marquage afin que la marque soit robuste et invisible. Cette information constitue par exemple une signature servant à une authentification de la séquence vidéo à des fins de protection des droits d'auteur de la séquence et donc de dissuasion de reproduction de la séquence, quels que soient le support ou le mode de diffusion de la séquence. La robustesse d'une marque est déterminée par la résistance de la marque à des attaques malveillantes telles que la compression ou le changement de format de la séquence vidéo. Selon la demande de brevet français 0213660 déposée le 31 Octobre 2002 et non encore publiée et l'article "Tatouage vidéo par marquage hiérarchique des vecteurs mouvements" de BODO Y. et al, C0RESA3, du 16 Janvier 2003, des coordonnées d'un vecteur de mouvement sont repérées dans un espace comportant une partition de référence appelée grille de référence. Des parties de cette grille constituent une première zone, et d'autres parties de la grille une seconde zone complémentaire de la première. Des valeurs binaires "1" et "0" sont affectées aux zones respectivement. Les coordonnées repérées du vecteur de mouvement ne sont modifiées que si l'extrémité du vecteur de mouvement est située dans la zone dont la valeur binaire correspond au complémentaire du bit de la clé de marquage auquel est associé le vecteur de mouvement. Lorsque l'extrémité d'un vecteur de mouvement est située dans une zone associée à la valeur binaire "1" et la valeur du bit de la clé de marquage est "0", les coordonnées du vecteur de mouvement sont modifiées en réalisant une symétrie centrale ou axiale pondérée par rapport aux frontières entre les zones, de manière à produire un vecteur de mouvement modifié, appelé vecteur de mouvement marqué . L'invention de cette demande de brevet a contribué à améliorer la robustesse de la marque sans pour autant réduire de façon satisfaisante la visibilité de la marque dans la séquence vidéo. Selon la demande de brevet français 0304590 déposée le 11 Avril 2003 et non encore publiée, les coordonnées du vecteur de mouvement marqué sont déterminées non plus en réalisant une symétrie mais en effectuant une recherche étendue de la position optimale du vecteur de mouvement marqué. La position optimale est définie selon un critère dépendant d'un rapport signal à bruit PSNR ("Peak Signal to Noise Ratio") pour deux images dépendant de la séquence vidéo. Le rapport PSNR évalue le degré de fidélité d'une image par rapport à une image de référence, par exemple entre une image marquée et son image originale non marquée. Le vecteur de 'mouvement marqué optimal a le rapport PSNR le plus élevé parmi les rapports PSNR pour des vecteurs de mouvement marqués potentiels dont les extrémités sont situées dans une fenêtre de la recherche étendue. Grâce à l'optimisation du rapport PSNR, l'invisibilité de la marque insérée a relativement augmenté en conservant une bonne robustesse.Video tagging consists in hiding information called "tag" in a video sequence by modifying motion vectors of the video clip according to bits of a tagging key so that the tag is robust and invisible. This information constitutes, for example, a signature used for authentication of the video sequence for the purpose of protecting the copyright of the sequence and therefore of dissuading reproduction of the sequence, whatever the medium or the mode of broadcasting of the sequence. The robustness of a brand is determined by the brand's resistance to malicious attacks such as compression or changing the format of the video sequence. According to French patent application 0213660 filed October 31, 2002 and not yet published and the article "Video tattoo by hierarchical marking of motion vectors" by BODO Y. et al, C0RESA3, of January 16, 2003, the coordinates of a vector are identified in a space with a reference partition called reference grid. Parts of this grid constitute a first zone, and other parts of the grid a second zone complementary to the first. Binary values "1" and "0" are assigned to the areas respectively. The identified coordinates of the motion vector are only modified if the end of the motion vector is located in the zone whose binary value corresponds to the complement of the bit of the marking key with which the motion vector is associated. When the end of a motion vector is located in an area associated with the binary value "1" and the value of the bit of the marking key is "0", the coordinates of the motion vector are modified by achieving symmetry central or axial weighted with respect to the boundaries between the zones, so as to produce a modified motion vector, called the marked motion vector. The invention of this patent application has contributed to improving the robustness of the brand without satisfactorily reducing the visibility of the brand in the video sequence. According to French patent application 0304590 filed April 11, 2003 and not yet published, the coordinates of the marked motion vector are no longer determined by achieving symmetry but by performing an extended search for the optimal position of the marked motion vector. The optimal position is defined according to a criterion depending on a signal to noise ratio PSNR ("Peak Signal to Noise Ratio") for two images depending on the video sequence. The PSNR report assesses the degree of fidelity of an image compared to a reference image, for example between a marked image and its image original unmarked. Vector labeled optimal movement the PSNR highest among the PSNR reports labeled candidate motion vectors whose ends are located in a window of the advanced search. Thanks to the optimization of the PSNR report, the invisibility of the inserted brand has relatively increased while maintaining good robustness.
La présente invention améliore l'objet des deux demandes de brevet français précitées relativement à l'invisibilité de la marque générée dans la séquence vidéo . Elle a pour objectif d'affiner la sélection de vecteurs de mouvement à marquer afin de diminuer 1 ' impact visuel de la marque sur la séquence vidéo comparativement à la technique antérieure.The present invention improves the subject of the two aforementioned French patent applications relating to the invisibility of the mark generated in the video sequence. Its objective is to refine the selection of motion vectors to be marked in order to reduce the visual impact of the mark on the video sequence compared to the prior art.
Pour atteindre cet objectif, un procédé de modification d'une séquence d'images vidéo en fonction d'une clé de marquage initiale à P bits, comprend une estimation de mouvement entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, une sélection de P vecteurs de mouvement originaux pour les associer respectivement aux bits de la clé de marquage, une modification des coordonnées des P vecteurs de mouvement sélectionnés en fonction respectivement des P bits de la clé de marquage afin de remplacer par un vecteur de mouvement marqué optimal chaque vecteur de mouvement sélectionné dont l'extrémité est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et une compensation de mouvement d'au moins l'une des images à laquelle ont été appliqués des vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée. Le procédé de modification est caractérisé en ce qu'il comprend une clé de marquage initiale composée de M ensembles successifs ayant chacun P/M bits identiques, après la modification, seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer l'impact visuel de la modification par la clé de marquage. Après la compensation, le procédé de modification peut comprendre les étapes suivantes : une estimation de mouvement entre l'image marquée et une autre image de la séquence ; - une détermination des rapports signal à bruit entre des blocs associés aux vecteurs de mouvement marqués de l'image marquée et des blocs correspondants dans l'autre image ; - une conservation seulement des blocs associés aux vecteurs de mouvement marqués de l'image marquée pour laquelle le rapport signal à bruit déterminé est supérieur au seuil ; et - une comparaison entre un premier ensemble de vecteurs initialement constitués par lesdits vecteurs de mouvement marqués optimaux remplaçant lesdits vecteurs de mouvement sélectionnés et un deuxième ensemble de vecteurs constitués des vecteurs de mouvement marqués associés aux blocs précédemment conservés . Si les premier et deuxième ensembles sont différents, le procédé peut comprendre une itération des étapes précédentes d'estimation de mouvement, de détermination, de conservation et de comparaison. Les étapes du procédé de modification d'une séquence vidéo peuvent être exécutées par un programme d'ordinateur comprenant des instructions de code de programme. Le critère de remplacement peut comporter une comparaison entre un seuil prédéterminé et un rapport signal à bruit déterminé entre le bloc contenant 1 ' extrémité du vecteur de mouvement sélectionné et le bloc contenant l'extrémité du vecteur de mouvement marqué optimal associé, afin de remplacer le vecteur de mouvement sélectionné par le vecteur de mouvement marqué optimal associé que lorsque la valeur du rapport signal à bruit déterminée excède le seuil prédéterminé . Comme on le verra dans la suite, un vecteur de mouvement marqué optimal résulte d'une sélection parmi plusieurs vecteurs de mouvement marqués potentiels déterminés selon la demande de brevet français 0213660, ou de préférence 0304590. La présente invention concerne également un procédé de vérification d'une clé de marquage initiale à P bits dans une séquence vidéo marquée. Le procédé de vérification comprend une estimation de mouvement entre aux moins deux images de la séquence vidéo marquée afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, une sélection de P vecteurs de mouvement, un placement des P vecteurs de mouvement sélectionnés sur la grille de référence afin d'associer à chacun des vecteurs sélectionnés, selon la position de l'extrémité de celui-ci par rapport aux deux zones, la valeur binaire associée à la zone contenant l'extrémité du vecteur et une production d'une clé de marquage sous la forme d'une suite de P valeurs binaires associées aux vecteurs de mouvement sélectionnés. Le procédé de vérification est caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le procédé comprend une évaluation d'un indice de corrélation entre les clés de marquage initiale et produite afin de signaler une modification (ou un marquage) de la séquence vidéo en fonction de la clé de marquage initiale lorsque l'indice de corrélation excède un seuil de confiance. Les étapes du procédé de vérification peuvent être exécutées par un programme d'ordinateur comprenant des instructions de code de programme. La présente invention concerne également un système de modification d'une séquence d'images vidéo en fonction d'une clé de marquage initiale à P bits. Le système de modification comprend un moyen pour estimer un mouvement entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, un moyen pour sélectionner P vecteurs de mouvement pour les associer respectivement aux bits de la clé de marquage, un moyen pour modifier des coordonnées des P vecteurs de mouvement sélectionnés en fonction respectivement des P bits de la clé de marquage afin de remplacer par un vecteur de mouvement marqué optimal chaque vecteur de mouvement sélectionné dont l'extrémité est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et un moyen de compensation de mouvement d'au moins l'une des images à laquelle ont été appliqués les vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée, et est caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le système comprend un moyen pour remplacer seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer 1 ' impact visuel de la modification par la clé de marquage.To achieve this objective, a method of modifying a sequence of video images as a function of an initial marking key with P bits, comprises an estimation of movement between at least two images of the sequence in order to obtain vectors of original movements of one of the images having ends respectively in blocks of a reference grid broken down into two complementary zones associated with complementary binary values, a selection of P original motion vectors to associate them respectively with the bits of the key marking, a modification of the coordinates of the P motion vectors selected as a function respectively of the P bits of the marking key in order to replace with an optimal motion vector marked each motion vector selected whose end is located in one of the two zones associated with the binary value complementary to the respective bit of the marking key, and a motion compensation of at least one of the images to which have been applied optimal marked motion vectors in order to constitute a video sequence comprising at least the marked compensated image. The modification method is characterized in that it comprises an initial marking key composed of M successive sets each having P / M identical bits, after the modification, only motion vectors selected by the optimal marked motion vectors which satisfy a predetermined replacement criteria based on a comparison of the blocks associated with the optimal motion vectors marked to reduce the visual impact of the modification by the marking key. After the compensation, the modification method can comprise the following steps: an estimation of movement between the marked image and another image of the sequence; a determination of the signal to noise ratios between blocks associated with the marked motion vectors of the marked image and corresponding blocks in the other image; a conservation only of the blocks associated with the marked motion vectors of the marked image for which the determined signal-to-noise ratio is greater than the threshold; and - a comparison between a first set of vectors initially constituted by said motion vectors marked optimal replacing said selected motion vectors and a second set of vectors consisting of vectors movement marked associated with previously preserved blocks. If the first and second sets are different, the method may include an iteration of the previous steps of motion estimation, determination, conservation and comparison. The steps of the method for modifying a video sequence can be executed by a computer program comprising program code instructions. The replacement criterion may include a comparison between a predetermined threshold and a determined signal-to-noise ratio between the block containing the end of the selected motion vector and the block containing the end of the associated optimal marked motion vector, in order to replace the motion vector selected by the associated optimal marked motion vector only when the determined signal-to-noise ratio value exceeds the predetermined threshold. As will be seen below, an optimal marked motion vector results from a selection from among several potential marked motion vectors determined according to French patent application 0213660, or preferably 0304590. The present invention also relates to a method for verifying '' an initial P-bit marking key in a marked video sequence. The verification method comprises an estimation of movement between at least two images of the marked video sequence in order to obtain original motion vectors of one of the images having ends respectively in blocks of a reference grid broken down into two. complementary zones associated with complementary binary values, a selection of P motion vectors, a placement of the P motion vectors selected on the reference grid in order to associate with each of the selected vectors, according to the position of the end thereof relative to the two zones, the binary value associated with the zone containing the end of the vector and a production of a marking key in the form of a series of P binary values associated with the selected motion vectors. The verification method is characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the method comprises an evaluation of a correlation index between the initial and produced marking keys in order to report a modification (or marking) of the video sequence as a function of the initial marking key when the correlation index exceeds a confidence threshold. The steps of the verification method can be executed by a computer program comprising program code instructions. The present invention also relates to a system for modifying a sequence of video images as a function of an initial P-bit marking key. The modification system comprises a means for estimating a movement between at least two images of the sequence in order to obtain original motion vectors of one of the images having ends respectively in blocks of a reference grid broken down into two complementary zones associated with complementary binary values, means for selecting P motion vectors to associate them respectively with the bits of the marking key, means for modifying coordinates of the P motion vectors selected as a function respectively of the P bits of the marking key in order to replace with an optimal marked motion vector each selected motion vector whose end is located in one of the two zones associated with the binary value complementary to the respective bit of the key marking, and a motion compensation means of at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, and is characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the system comprises means for replacing only selected motion vectors by the optimal marked motion vectors which satisfy a predetermined replacement criterion based on a comparison of the blocks associated with the motion vectors marked optimal for reducing the visual impact of the modification by the marking key.
Enfin, l'invention se rapporte à un support d'enregistrement d'une séquence d'images vidéo qui est modifiée en fonction d'une clé de marquage initiale à P bits selon le procédé de modification de séquence d'images vidéo de l'invention.Finally, the invention relates to a medium for recording a sequence of video images which is modified as a function of an initial marking key at P bits according to the method for modifying the sequence of video images of the invention.
D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante de plusieurs réalisations préférées de l'invention, à titre d'exemples non limitatifs, en référence aux dessins annexés correspondants dans lesquels : - la figure 1 est une représentation schématique du système de modification de séquence vidéo selon une réalisation préférée de l'invention ; - la figure 2 est un algorithme schématique du procédé de modification de séquence vidéo selon la réalisation préférée de l'invention ; - la figure 3 est une représentation schématique d'une décomposition hiérarchique d'une image en blocs ; - la figure 4 représente un exemple de grille de référence, découpée en zones associées à des valeurs binaires complémentaires, dans laquelle est placé un vecteur de mouvement à marquer selon 1 ' invention ; la figure 5 représente le parcours de l'ensemble des pixels d'une zone de recherche pour déterminer un vecteur de mouvement marqué optimal ; - la figure 6 représente un vecteur de mouvement sélectionné et son bloc associé, ainsi que des vecteurs de mouvement marqués potentiels placés sur la grille de référence et leurs blocs construits associés ; - la figure 7 est un algorithme schématique du procédé de modification de séquence vidéo selon une réalisation plus complète de l'invention ; et - la figure 8 est un algorithme schématique du procédé de vérification d'une clé de marquage dans une séquence vidéo marquée selon le procédé de modification selon la réalisation préférée de 1 ' invention .Other characteristics and advantages of the present invention will appear more clearly on reading the following description of several preferred embodiments of the invention, by way of nonlimiting examples, with reference to the corresponding appended drawings in which: - Figure 1 is a schematic representation of the video sequence modification system according to a preferred embodiment of the invention; - Figure 2 is a schematic algorithm of the video sequence modification method according to the preferred embodiment of the invention; - Figure 3 is a schematic representation of a hierarchical decomposition of an image into blocks; - Figure 4 shows an example of a reference grid, cut into zones associated with complementary binary values, in which is placed a motion vector to be marked according to the invention; FIG. 5 represents the path of all the pixels of a search area to determine an optimal marked motion vector; FIG. 6 represents a selected motion vector and its associated block, as well as potential marked motion vectors placed on the reference grid and their associated constructed blocks; - Figure 7 is a schematic algorithm of the video sequence modification method according to a more complete embodiment of the invention; and FIG. 8 is a schematic algorithm of the method for verifying a marking key in a marked video sequence according to the modification method according to the preferred embodiment of the invention.
Le système de modification d'une séquence vidéo en fonction d'une clé de marquage mettant en œuvre le procédé de modification selon la réalisation préférée de l'invention comprend principalement un répétiteur RE pour répéter des bits d'une marque, un estimateur de mouvement EM, un générateur pseudo-aléatoire GP, un compensateur CO et une unité de traitement UT représentés à la figure 1. Le système de modification est installé dans un terminal T du type ordinateur personnel. Le système reçoit en entrée un signal source vidéo contenant des suites d'images numériques formant une séquence d'images vidéo.The system for modifying a video sequence as a function of a marking key implementing the modification method according to the preferred embodiment of the invention mainly comprises an RE repeater for repeating bits of a mark, an estimator of motion EM, a pseudo-random generator GP, a compensator CO and a processing unit UT shown in FIG. 1. The modification system is installed in a terminal T of the personal computer type. The system receives as input a video source signal containing sequences of digital images forming a sequence of video images.
Le principe général de l'invention consiste à contrôler l'impact visuel d'une marque dans la séquence vidéo après une détermination de vecteurs de mouvement marqués afin de diminuer l'impact visuel de la marque en comparant une image marquée donnée dans la séquence vidéo et une image originale différente de l'image originale de l'image marquée donnée. Une image marquée résulte d'une modification d'une image originale selon laquelle une marque dépendant d'un traitement de l'image originale en fonction de la clé de marquage est insérée dans l'image originale.The general principle of the invention consists in controlling the visual impact of a mark in the video sequence after a determination of marked movement vectors in order to reduce the visual impact of the mark by comparing a marked image given in the video sequence and an original image different from the original image of the marked image given. A marked image results from a modification of an original image according to which a mark depending on a processing of the original image according to the marking key is inserted in the original image.
L'algorithme du procédé de modification de la séquence vidéo comprend principalement des étapes El à E8 montrées à la figure 2 selon la réalisation préférée de l'invention. Au cours de la première étape El, M bits successifs entrant dans la composition d'une clé de marquage binaire de longueur donnée P sont générés par l'unité de traitement UT. Par exemple, les M bits successifs sont une représentation codée d'informations sur des droits d'auteur de la séquence vidéo. A l'étape E2, le répétiteur RE répète R fois chacun des M bits de manière à constituer une clé de marquage initiale destinée à modifier des vecteurs de mouvement qui seront sélectionnés parmi ceux d'une matrice associée à une image numérique donnée It originale quelconque de la séquence vidéo. Une image originale est une image non modifiée ou non marquée. La matrice de vecteurs de mouvement permet de générer une image prédite de l'image donnée originale à partir, par exemple, de l'image précédente ±t-1 originale dans la séquence vidéo, en déplaçant des blocs de pixels de celle-ci, en fonction des vecteurs de mouvement calculés . Dans la suite du procédé de modification, la modification de la séquence vidéo dépend non plus de la suite des M bits successifs constituant une clé de marquage selon la technique antérieure, mais des P = M x R bits de la clé de marquage initiale à M ensembles successifs chacun à P/M = R bits identiques. L'étape E2 est nécessaire pour remédier à une absence de modification de vecteur de mouvement pouvant intervenir à l'étape ultérieure E7 en correspondance avec l'un des M bits initiaux de la clé de marquage s'il n'était pas répété. Par exemple lorsque les M = 4 bits initiaux sont "0011", la clé de marquage initiale pour R = 4 répétitions de chacun des M bits est "0000000011111111". R et M sont des nombres entiers prédéterminés . Dans une variante, la clé de marquage intervient dans la modification de plusieurs images dans la séquence vidéo afin d'accroître la robustesse de la marque, c'est-à-dire plusieurs vecteurs de mouvement appartenant à des images différentes de la séquence vidéo sont associés au même bit de la clé de marquage. Dans la réalisation préférée de l'invention, l'estimateur de mouvement EM réalise une correspondance de blocs de deux images de type "block matching", par une estimation de mouvement entre l'image précédente It-l originale et l'image donnée It originale dans la séquence vidéo, ou entre l'image donnée I originale et l'image suivante If+1 originale, selon que l'estimation de mouvement est en avant ou en arrière, à l'étape E3. Dans une variante, l'estimation de mouvement est réalisée sur deux images quelconques de la séquence. La correspondance "block matching" consiste, pour chaque bloc original de pixels de l'image donnée It originale, à évaluer le meilleur vecteur de mouvement permettant de reconstruire le bloc à partir d'un bloc de pixels de même taille de l'image originale précédente It-l ou suivante It+1 déplacé à l'aide du vecteur de mouvement. A cette fin, l'estimateur de mouvement EM recherche autour du bloc de 1 ' image It le bloc original dans 1 ' image précédente It-l ou suivante It+l^ pour lequel le vecteur de mouvement minimise une fonction de coût classique connue sous le nom de DFD (Displaced Frame Différence) représentant la différence entre le bloc original déplacé de l'image précédente It-l ou suivante ∑t+1 et le bloc original correspondant dans l'image donnée It, c'est-à-dire maximise la similitude entre le bloc original de l'image It et les blocs originaux recherchés dans l'image It-l ouThe algorithm of the method for modifying the video sequence mainly comprises steps E1 to E8 shown in FIG. 2 according to the preferred embodiment of the invention. During the first step E1, M successive bits entering into the composition of a binary marking key of given length P are generated by the processing unit UT. For example, the successive M bits are a coded representation of copyright information of the video sequence. In step E2, the repeater RE repeats R times each of the M bits so as to constitute an initial marking key intended to modify vectors of movement which will be selected from among those of a matrix associated with any given digital image It of the video sequence. An original image is an unmodified or unmarked image. The motion vector matrix makes it possible to generate a predicted image of the original given image from, for example, the previous image ± t-1 original in the video sequence, by moving blocks of pixels thereof, as a function of the motion vectors calculated. In the remainder of the modification method, the modification of the video sequence no longer depends on the sequence of the M successive bits constituting a marking key according to the prior art, but on P = M × R bits of the initial marking key to M successive sets each at P / M = R identical bits. Step E2 is necessary to remedy an absence of modification of motion vector which can occur at the subsequent step E7 in correspondence with one of the M initial bits of the marking key if it was not repeated. For example, when the initial M = 4 bits are "0011", the initial marking key for R = 4 repetitions of each of the M bits is "0000000011111111". R and M are predetermined whole numbers. In a variant, the marking key intervenes in the modification of several images in the video sequence in order to increase the robustness of the mark, that is to say several motion vectors belonging to different images of the video sequence are associated with the same bit of the marking key. In the preferred embodiment of the invention, the motion estimator EM performs a block matching of two “block” type images matching ", by an estimate of movement between the previous image It-l original and the image given It original in the video sequence, or between the image given I original and the image following If + 1 original, depending on whether l the motion estimation is forward or backward, in step E3. In a variant, the motion estimation is carried out on any two images of the sequence. The block matching corresponds, for each original block of pixels of the original given image It, to evaluate the best motion vector allowing the block to be reconstructed from a block of pixels of the same size from the previous original image It-1 or next It + 1 moved using motion vector For this purpose, the motion estimator EM searches around the block of the image It for the original block in the previous image It-l or next It + l ^ for which the motion vector minimizes a function conventional cost known as DFD (Di splaced Frame Difference) representing the difference between the original block moved from the previous image It-l or following ∑t + 1 and the corresponding original block in the given image It, i.e. maximizes the similarity between the original block of image It and the original blocks sought in image It-l or
It+1- En pratique, l'estimateur de mouvement EM réalise une estimation de mouvement hiérarchique à L niveaux, avec L > 1. La clé de marquage influence de plus en plus la modification de l'image, et la marque résultante est avantageusement d'autant plus étalée dans l'image modifiée que le nombre de niveaux est élevé . Pour l'estimation hiérarchique de mouvement, 1 ' image It est décomposée hiérarchiquement en blocsIt + 1- In practice, the EM motion estimator performs a hierarchical motion estimation at L levels, with L> 1. The marking key increasingly influences the modification of the image, and the resulting mark is advantageously the more spread out in the modified image, the higher the number of levels. For the hierarchical motion estimation, the image It is broken down hierarchically into blocks
B2N de taille 2N x 2N pixels, eux-mêmes divisés en sous-blocs BN de taille N x N pixels, et ainsi de suite. Une décomposition à L = 4 niveaux hiérarchiques de l'image It en blocs est schématisée à la figure 3. L'estimation de mouvement est réalisée sur les blocs de niveau inférieur de l'image I , par exemple les blocs BN de taille N x N, et produit une matrice des vecteurs de mouvement associés à chacun de ces blocs. En variante, le contour des blocs peut être rectangulaire au lieu d'être carré. Le vecteur de mouvement associé à un bloc d'un niveau hiérarchique supérieur est déterminé par l'estimateur de mouvement EM en moyennant les vecteurs de mouvement des blocs du niveau immédiatement inférieur encadrés par le bloc de niveau supérieur à l'étape E4. Chaque composante du vecteur de mouvement pour le bloc de niveau supérieur est égale à la moyenne des composantes de même direction des vecteurs pour les blocs de niveau inférieur. Par exemple, les vecteurs de mouvement d'un bloc B2N sont égaux à la moyenne des vecteurs des blocs BN appartenant au bloc B2N et ainsi de suite jusqu'au niveau hiérarchique le plus haut. Les vecteurs de mouvement associés aux niveaux hiérarchiques plus hauts sont estimés sur la base d'un premier niveau hiérarchique le plus bas. Dans la réalisation préférée de l'invention, le nombre de niveaux hiérarchiques est de deux et la taille des blocs du plus bas niveau est de N x N = 4 x 4 pixels. Lorsque les vecteurs de mouvement des blocs du niveau supérieur, c'est-à-dire du plus haut niveau, de l'image donnée It originale sont déterminés à l'étape E4, le générateur pseudo-aléatoire GP sélectionne de manière pseudo-aléatoire P = M x R vecteurs de mouvement correspondant à des blocs de niveau supérieur à l'étape E5 et associe respectivement les P = M x R vecteurs de mouvement sélectionnés V aux P = M x R bits de la clé de marquage . En variante, la sélection des vecteurs de mouvement dépend d'une règle déterministe. Après la sélection des P vecteurs de mouvement à l'étape E5, toujours en restant au niveau le plus haut depuis la fin de l'étape E4, les coordonnées des vecteurs de mouvement sélectionnés V sont modifiées selon une fonction de marquage en des vecteurs de mouvement marqués potentiels VTP à l'étape E6. Les extrémités des vecteurs de mouvement marqués potentiels sont situées dans une zone de recherche ZR prédéterminée de l'image donnée. Afin de déterminer les vecteurs de mouvement marqués potentiels de l'image It, une grille de référence est considérée, comme montrée à la figure 4. La grille de référence est rectangulaire et est générée dans un domaine cartésien. La grille est composée de blocs rectangulaires B de taille H x K pixels. Par exemple les blocs sont carrés avec H = K = 7 pixels. Chaque bloc de grille comprend deux zones complémentaires Zl et Z2. La zone Zl est rectangulaire, de taille h x k pixels avec h < H et 1 < K, et centrée au sein du bloc B. La zone Z2 est rectangulaire, de taille H x K, et encadre la zone Zl ; elle s'étend à la périphérie de la zone Zl entre les limites de la zone Z2 et du bloc B. Les nombres entiers h et k de la zone Zl sont déterminés de préférence afin que les zones Zl et Z2 aient une aire identique. Par exemple, la zone Zl est associée à la valeur binaire "1" et la zone Z2 à la valeur binaire "0" complémentaire de la précédente. L'unité de traitement UT repère l'extrémité de chaque vecteur de mouvement sélectionné V sur la grille de référence et associe à l'extrémité PR de chaque vecteur de mouvement sélectionné un bloc B de l'image précédente It-l ou suivante It+1 la contenant, avec les zones Zl et Z2 de ce bloc. Lorsque l'extrémité PR du vecteur de mouvement sélectionné est dans la zone Zl associée à la valeur binaire 1, comme représenté à la figure 4, et le bit de la clé de marquage associé à ce vecteur de mouvement sélectionné est à l'état "1", l'unité de traitement UT ne modifie pas les coordonnées du vecteur de mouvement sélectionné. En revanche, lorsque le bit associé au vecteur de mouvement sélectionné est à l'état "0", l'unité de traitement UT modifie les coordonnées du vecteur de mouvement sélectionné afin de remplacer ce dernier par un vecteur de mouvement marqué potentiel dont l'extrémité est située dans la zone Z2 de la grille de référence. Inversement, lorsque l'extrémité du vecteur de mouvement sélectionné est dans la zone Z2 et le bit de la clé de marquage associé à ce vecteur est à l'état "0", l'unité de traitement UT ne modifie pas le vecteur ; en revanche lorsque le bit de la clé de marquage associé est à l'état "1", l'unité de traitement modifie les coordonnées du vecteur de mouvement en celles au moins d'un vecteur de mouvement marqué potentiel dont l'extrémité est située dans la zone Zl de la grille de référence. A priori, une multitude de vecteurs correspondent aux vecteurs de mouvement marqués potentiels. La présente invention est basée sur le procédé de la demande de brevet français 0304590 déposée le 11 Avril 2003 pour déterminer les coordonnées de P vecteurs de mouvement marqués optimaux parmi tous les vecteurs marqués potentiels à l'étape E6 comme décrit dans la suite de la description. L'unité de traitement UT recherche le vecteur de mouvement marqué optimal pour chacun des P vecteurs de mouvement sélectionnés qui permettra de réduire la visibilité de la marque dans l'image modifiée. L'unité de traitement recherche dans la zone de recherche prédéterminée étendue ZR une position optimale de vecteur de mouvement marqué, non seulement à proximité de l'extrémité du vecteur de mouvement sélectionné constituant un point de référence, mais également dans un voisinage plus ou moins large de ce point de référence. La zone de recherche ZR représentée à la figure 5 est un ensemble, par exemple, de 9 blocs B de l'image précédente It-l ou suivante It+1 dans la grille de référence, dont l'un contient le point de référence PR du vecteur de mouvement sélectionné V et qui est appelé bloc initial BI . En d'autres termes, outre les vecteurs de mouvement marqués potentiels dont les extrémités EX sont situées dans le bloc initial, l'unité de traitement UT recherche également les vecteurs de mouvement marqués potentiels VTP dont les extrémités EX sont situées dans la zone de recherche carrée de largeur trois blocs et comprenant tous les blocs B directement adjacents au bloc initial BI, comme montré pour deux vecteurs potentiels VTP à la figure 6. Au sein de la zone de recherche ZR, les vecteurs de mouvement marqués potentiels ont leurs extrémités EX situées dans une zone Zl (respectivement Z2) des blocs B de It-l complémentaires de la zone où se trouve le point de référence PR et qui est associée à une valeur binaire "1" ou "0" qui est différente du bit "0" ou "1", de la clé de marquage associée au vecteur sélectionné V. La taille de la zone de recherche ZR est paramétrable ; selon un autre exemple, la largeur de la zone de recherche ZR est de 5 blocs. L'unité de traitement UT détermine le vecteur de mouvement marqué optimal d'un vecteur de mouvement sélectionné en parcourant l'ensemble des vecteurs de mouvement marqués potentiels déterminés du vecteur de mouvement sélectionné, ce qui consiste à positionner le point de référence PR du vecteur de mouvement sélectionné sur de nombreux pixels de la zone de recherche ZR sans faire varier son origine. L'unité de traitement UT associe à chacune des extrémités EX des vecteurs marqués potentiels un bloc construit BP de l'image It ayant la taille des blocs B de la grille de référence. Le sommet du bloc BP situé en bas à gauche est confondu avec l'extrémité EX du vecteur marqué potentiel VTP, comme montré à la figure 6. Les différents blocs BP ainsi construits ne sont pas disjoints et peuvent se chevaucher. Les différents blocs construits BP dans l'image It et le bloc initial BI de l'image It-l ou If+1 servent à déterminer le rapport PSNR entre le bloc initial BI et chacun des blocs construits BP, afin de déterminer le vecteur de mouvement marqué optimal correspondant au rapport PSNR le plus élevé. L'unité de traitement UT détermine et mémorise les rapports PSNR entre le bloc initial BI et les blocs construits BP exprimés en décibels selon la définition suivante : PSNR = 10 log m MSE où - m représente la valeur maximale de la composante de luminance d'un pixel égale à 255 si l'on considère des images avec 255 niveaux de gris codés sur 8 bits, et - MSE désigne une erreur quadratique moyenne entre deux images définie par : MSE ≈ ∑ ∑ ∑ [Hx, Yr BP) - V (x, y, BI)]2 t x y où I(x,y,BP) est l'intensité lumineuse d'un pixel appartenant à un bloc construit BP dans l'image It associé à un vecteur marqué potentiel et ayant des coordonnées x et y, et I ' (x,y,BI) est l'intensité lumineuse d'un pixel appartenant au bloc initial BI et ayant des coordonnées x et y dans l'image It-l ou ï-t+l- Une fois les vecteurs marqués optimaux déterminés pour tous les P vecteurs de mouvement sélectionnés, l'unité de traitement UT détermine une variation δd entre le point de référence PR confondu avec 1 ' extrémité de chaque vecteur de mouvement sélectionné et l'extrémité EX du vecteur de mouvement marqué optimal, comme montré à la figure 6. La variation δd associée au vecteur de mouvement sélectionné et au vecteur de mouvement marqué optimal est ensuite appliquée aux vecteurs de mouvement des quatre blocs fils du bloc initial, comme montré à la figure 3. Les quatre blocs fils du bloc initial sont les blocs de niveau inférieur au niveau du bloc initial. L'unité de traitement UT réalise ensuite une descente dans les niveaux plus bas de la hiérarchie, afin de répercuter les coordonnées des P vecteurs de mouvement sélectionnés qui ont été modifiés dans des niveaux supérieurs, sur les vecteurs de mouvement dans des niveaux inférieurs jusqu'au niveau le plus bas correspondant aux vecteurs de mouvement sélectionnés, de façon à réaliser un étalement de la marque . Selon l'invention, afin de contrôler et diminuer l'impact visuel de la marque sur l'image It à l'étape E7, l'unité de traitement UT effectue une sélection parmi les vecteurs de mouvement marqués selon un critère de remplacement prédéterminé. Le critère de remplacement consiste en ce que l'unité de traitement UT détermine les rapports PSNR entre les blocs de l'image précédente It-l ou suivante It+1 du niveau le plus bas associés aux vecteurs de mouvement sélectionnés et les blocs de l'image It du niveau le plus bas associés aux vecteurs de mouvement marqués optimaux correspondants et compare les rapports PSNR déterminés à un seuil prédéterminé. La modification des coordonnées des P vecteurs de mouvement sélectionnés est ainsi réalisée sur un niveau hiérarchique des blocs dans les images, supérieur à un niveau hiérarchique sur lequel le critère de remplacement est appliqué. L'unité de traitement ne remplace que les blocs relatifs aux P vecteurs de mouvement sélectionnés par les blocs relatifs aux vecteurs de mouvement marqués pour lesquels les rapports PSNR sont supérieurs au seuil. Par exemple le seuil prédéterminé est fixé à 36 décibels. Les vecteurs de mouvement marqués relatifs aux blocs remplacés sont appelés "premiers vecteurs de mouvement marqués conservés". Lorsque le seuil du rapport PSNR est élevé, c'est-à-dire de l'ordre de 50 décibels, peu de blocs associés aux vecteurs de mouvement marqués sont conservés et l'image donnée I marquée résultante de la modification d'image selon l'invention est proche de l'image originale It- La sélection de bloc E7 pourrait provoquer une perte d'information sur la clé de marquage relativement à un bloc associé à un vecteur de mouvement marqué mais non conservé. Pour cette raison, chacun des M bits de la clé de marquage est répété R fois à l'étape E2, avec R supérieur à 1, afin de pouvoir vérifier ultérieurement la présence ou l'absence de la marque dans la séquence vidéo malgré d'éventuelles pertes d'information. Par exemple si les M bits initiaux sont "0011" et le nombre de répétition R est 4 et en supposant que la clé de marquage produite par la vérification de l'image marquée est "00*0000*11111*11", où le signe "*" désigne un emplacement de bit associé à un vecteur de mouvement initial non remplacé, alors malgré la perte de 3 bits l'unité de traitement UT signale par une corrélation entre la clé de marquage initiale et la clé de marquage produite si la séquence vidéo a été marquée véritablement par la clé de marquage initiale, comme cela est décrit ultérieurement dans le procédé de vérification. Dans une variante, la clé de marquage modifie plusieurs images et certaines plusieurs fois dans la séquence vidéo, c'est-à-dire plusieurs couples d'images de la séquence portent la marque une ou plusieurs fois, ce qui améliore une vérification ultérieure de la clé de marquage.B2N of size 2N x 2N pixels, themselves divided into BN sub-blocks of size N x N pixels, and so on. A breakdown at L = 4 hierarchical levels of the image It into blocks is shown diagrammatically in FIG. 3. The motion estimation is performed on the lower level blocks of the image I, for example the blocks BN of size N x N, and produces a matrix of motion vectors associated with each of these blocks. As a variant, the outline of the blocks can be rectangular instead of being square. The motion vector associated with a block of a higher hierarchical level is determined by the motion estimator EM by averaging the motion vectors of the blocks of the immediately lower level framed by the block of higher level in step E4. Each component of the motion vector for the higher level block is equal to the average of the components of the same direction of the vectors for the lower level blocks. For example, the motion vectors of a B2N block are equal to the average of the vectors of the BN blocks belonging to the B2N block and so on up to the highest hierarchical level. The motion vectors associated with the higher hierarchical levels are estimated on the basis of a lower first hierarchical level. In the preferred embodiment of the invention, the number of hierarchical levels is two and the size of the blocks of the lowest level is N x N = 4 x 4 pixels. When the motion vectors of the blocks of the higher level, that is to say of the highest level, of the original given image It are determined to step E4, the pseudo-random generator GP selects pseudo-randomly P = M x R motion vectors corresponding to blocks of higher level in step E5 and associates respectively the P = M x R motion vectors selected V aux P = M x R bits of the marking key. Alternatively, the selection of motion vectors depends on a deterministic rule. After the selection of the P motion vectors in step E5, still remaining at the highest level since the end of step E4, the coordinates of the selected motion vectors V are modified according to a function of marking into vectors of movement marked potential VTP in step E6. The ends of the potential marked motion vectors are located in a predetermined ZR search area of the given image. In order to determine the potential marked motion vectors of the image It, a reference grid is considered, as shown in FIG. 4. The reference grid is rectangular and is generated in a Cartesian domain. The grid is made up of rectangular blocks B of size H x K pixels. For example, the blocks are square with H = K = 7 pixels. Each grid block includes two complementary zones Z1 and Z2. The zone Z1 is rectangular, of size hxk pixels with h <H and 1 <K, and centered within the block B. The zone Z2 is rectangular, of size H x K, and frames the zone Zl; it extends to the periphery of the zone Zl between the limits of the zone Z2 and of the block B. The integers h and k of the zone Zl are preferably determined so that the zones Zl and Z2 have an identical area. For example, the zone Zl is associated with the binary value "1" and zone Z2 to binary value "0" complementary to the previous one. The processing unit UT locates the end of each selected motion vector V on the reference grid and associates with the end PR of each selected motion vector a block B of the previous image It-l or following It + 1 has the container, with Zl and Z2 zones of that block. When the PR end of the selected motion vector is in the zone Z1 associated with the binary value 1, as shown in FIG. 4, and the bit of the marking key associated with this selected motion vector is in the " 1 ", the processing unit UT does not modify the coordinates of the selected motion vector. On the other hand, when the bit associated with the selected motion vector is in the state "0", the processing unit UT modifies the coordinates of the selected motion vector in order to replace the latter with a potential marked motion vector whose end is located in zone Z2 of the reference grid. Conversely, when the end of the selected motion vector is in the zone Z2 and the bit of the marking key associated with this vector is in the state "0", the processing unit UT does not modify the vector; on the other hand when the bit of the associated marking key is in the state "1", the processing unit modifies the coordinates of the motion vector into those of at least one potential marked motion vector whose end is located in zone Zl of the reference grid. A priori, a multitude of vectors correspond to the potential motion vectors marked. The present invention is based on the method of French patent application 0304590 filed on April 11, 2003 to determine the coordinates of P optimal marked motion vectors among all the potential marked vectors in step E6 as described in the following description. The processing unit UT searches for the optimal marked motion vector for each of the P motion vectors selected which will reduce the visibility of the mark in the modified image. The processing unit searches in the extended predetermined search area ZR for an optimal position of marked motion vector, not only near the end of the selected motion vector constituting a reference point, but also in a more or less vicinity wide from this benchmark. The search area ZR represented in FIG. 5 is a set, for example, of 9 blocks B of the previous image It-1 or next It + 1 in the reference grid, one of which contains the reference point PR of the selected motion vector V and which is called the initial block BI. In other words, in addition to the potential marked motion vectors whose EX ends are located in the initial block, the processing unit UT also searches for the potential marked motion vectors VTP whose EX ends are located in the search area. square of width three blocks and comprising all the blocks B directly adjacent to the initial block BI, as shown for two potential vectors VTP in FIG. 6. Within the search zone ZR, the motion vectors marked potential have their ends EX located in a zone Zl (respectively Z2) of blocks B of It-l complementary to the zone where the reference point PR is located and which is associated with a binary value "1" or "0" which is different from the bit "0" or "1", of the marking key associated with the selected vector V. The size of the search area ZR is configurable; according to another example, the width of the search area ZR is 5 blocks. The processing unit UT determines the optimal marked motion vector of a selected motion vector by traversing the set of determined potential marked motion vectors of the selected motion vector, which consists in positioning the reference point PR of the vector motion selected on many pixels of the ZR search area without varying its origin. The processing unit UT associates at each of the ends EX of the potential marked vectors a constructed block BP of the image It having the size of the blocks B of the reference grid. The top of the BP block located at the bottom left is merged with the EX end of the potential labeled vector VTP, as shown in FIG. 6. The different BP blocks thus constructed are not disjoint and can overlap. The different blocks constructed BP in the image It and the initial block BI of the image It-1 or If + 1 are used to determine the PSNR ratio between the initial block BI and each of the constructed blocks BP, in order to determine the vector of optimal marked movement corresponding to the highest PSNR ratio. The processing unit UT determines and stores the PSNR ratios between the initial block BI and the constructed blocks BP expressed in decibels according to the following definition: PSNR = 10 log m MSE where - m represents the maximum value of the luminance component of a pixel equal to 255 if we consider images with 255 gray levels coded on 8 bits, and - MSE designates a mean square error between two images defined by: MSE ≈ ∑ ∑ ∑ [Hx, Yr BP) - V (x, y, BI) ] 2 txy where I (x, y, BP) is the light intensity of a pixel belonging to a constructed block BP in the image It associated with a potential marked vector and having coordinates x and y, and I '( x, y, BI) is the light intensity of a pixel belonging to the initial block BI and having coordinates x and y in the image It-l or ï-t + l- Once the optimal marked vectors determined for all the P motion vectors selected, the processing unit UT determines a variation δd between the reference point PR merged with the end of each selected motion vector and the end EX of the optimal marked motion vector, as shown in FIG. figure 6. The variation δd associated with the selected motion vector and the motion vector marked optima l is then applied to the motion vectors of the four child blocks of the initial block, as shown in FIG. 3. The four child blocks of the initial block are the blocks of level lower than the level of the initial block. The processing unit UT then performs a descent into the lower levels of the hierarchy, in order to pass on the coordinates of the P selected motion vectors which have been modified in higher levels, on the motion vectors in lower levels up to at the lowest level corresponding to the selected motion vectors, so as to spread the mark. According to the invention, in order to control and reduce the visual impact of the mark on the image It in step E7, the processing unit UT makes a selection from among the motion vectors marked according to a predetermined replacement criterion. The replacement criterion consists in that the processing unit UT determines the PSNR ratios between the blocks of the previous image It- l or following It + 1 of the lowest level associated with the selected motion vectors and the blocks of l image It of the lowest level associated with the corresponding optimal marked motion vectors and compares the determined PSNR ratios to a predetermined threshold. The modification of the coordinates of the P motion vectors selected is thus carried out on a hierarchical level of the blocks in the images, higher than a hierarchical level on which the replacement criterion is applied. The processing unit only replaces the blocks relating to the P motion vectors selected by the blocks relating to the marked motion vectors for which the PSNR ratios are greater than the threshold. For example, the predetermined threshold is set at 36 decibels. The marked motion vectors relative to the replaced blocks are called "first marked motion vectors preserved". When the threshold of the PSNR ratio is high, that is to say of the order of 50 decibels, few blocks associated with the marked motion vectors are preserved and the given image I marked resulting from the image modification according to the invention is close to the original image It- The selection of block E7 could cause a loss of information on the marking key relative to a block associated with a vector of movement marked but not preserved. For this reason, each of the M bits of the marking key is repeated R times in step E2, with R greater than 1, in order to be able to subsequently verify the presence or absence of the mark in the video sequence despite possible loss of information. For example if the initial M bits are "0011" and the number of repetitions R is 4 and assuming that the marking key produced by the verification of the marked image is "00 * 0000 * 11111 * 11", where the sign "*" indicates a bit location associated with an initial motion vector not replaced, so despite the loss of 3 bits the processing unit UT signals by a correlation between the initial marking key and the marking key produced if the sequence video was truly tagged with the initial tag key, as described later in the verification process. In a variant, the marking key modifies several images and some several times in the video sequence, that is to say several pairs of images of the sequence bear the mark one or more times, which improves a subsequent verification of the marking key.
Les vecteurs de mouvement de l'image It originale modifiée résultant du contrôle et de la diminution de l'impact visuel à l'étape précédente sont utilisés pour générer une séquence vidéo marquée, en effectuant une compensation de mouvement à 1 ' étape E8. Cette étape construit une séquence vidéo marquée, sous la forme d'une succession d'images compensées, obtenues à partir des images originales précédentes ou suivantes auxquelles les vecteurs de mouvement marqués optimaux et conservés ont été appliqués. Dans la réalisation préférée de l'invention, le compensateur CO ne compense le mouvement que sur les blocs de l'image précédente ou suivante associés à des vecteurs de mouvement marqués, et complète l'image ainsi compensée par les blocs originaux restants de l'image d'origine, afin d'obtenir une image de meilleure qualité. Dans une variante, le compensateur CO compense le mouvement sur l'ensemble des blocs de l'image précédente ou suivante, que ces blocs soient associés à des vecteurs de mouvement marqués ou non marqués.The motion vectors of the original modified image It resulting from the control and the reduction of the visual impact in the previous step are used to generate a marked video sequence, by performing motion compensation in the step E8. This step constructs a marked video sequence, in the form of a succession of compensated images, obtained from the previous or following original images to which the Motion vectors marked optimal and conserved were applied. In the preferred embodiment of the invention, the CO compensator compensates for the movement only on the blocks of the previous or next image associated with marked motion vectors, and completes the image thus compensated with the original blocks remaining of the original image, in order to obtain a better quality image. In a variant, the compensator CO compensates for the movement over all of the blocks of the preceding or following image, whether these blocks are associated with marked or unmarked motion vectors.
Le procédé de modification selon la réalisation plus complète montré à la figure 7 comprend les étapes El à E8 décrites précédemment et des étapes E9 à E13. Dans la réalisation plus complète, afin de contrôler l'impact visuel du marquage, l'estimateur de mouvement EM estime à l'étape E9 le mouvement entre l'image It marquée et l'image précédente It-l ou suivante It+1 originale de la même manière qu'à l'étape E3. Dans une variante, l'estimation de mouvement est réalisée entre l'image marquée et l'image marquée précédente ou suivante. La réalisation plus complète et sa variante aboutissent au même résultat en terme de robustesse et d'invisibilité de la marque dans 1 ' image . L'unité de traitement UT détermine ensuite à l'étape E10 les rapports PSNR entre les blocs associés aux vecteurs de mouvement marqués de l'image It marquée et les blocs correspondants associés aux vecteurs de mouvement de l'image précédente It-l ou suivante If+1 originale. De la même manière qu'à l'étape E7, l'unité de traitement ne conserve que les blocs associés aux vecteurs de mouvement marqués de l'image marquée pour lesquels le rapport PSNR est supérieur au seuil à l'étape Eli. Un premier ensemble de vecteurs PI initialement constitué par les premiers vecteurs de mouvement marqués conservés est comparé à 1 ' étape E12 à un deuxième ensemble de vecteurs P2 constitué des vecteurs de mouvement marqués de l'image donnée marquée associés aux blocs précédemment conservés. Si les premier et deuxième ensembles sont différents, les étapes précédentes E9 à E12 d'estimation de mouvement, de détermination, de conservation et de comparaison sont itérées. Dans les différentes itérations, les résultats de l'estimation de mouvement entre les deux images peuvent être différents . En revanche, lorsque les premier et deuxième ensembles sont identiques, le traitement itératif s'interrompt, et les vecteurs de mouvement marqués conservés à la fin du traitement définissent après la compensation à l'étape E13 l'image marquée finale. La séquence d'images modifiée incorporant les images marquées finales est mémorisée dans un support d'enregistrement tel que le terminal T.The modification method according to the more complete embodiment shown in FIG. 7 comprises the steps E1 to E8 described previously and the steps E9 to E13. In the more complete embodiment, in order to control the visual impact of the marking, the motion estimator EM estimates in step E9 the movement between the image It marked and the previous image It-1 or next It + 1 original in the same way as in step E3. In a variant, the motion estimation is carried out between the marked image and the previous or next marked image. The more complete realization and its variant lead to the same result in terms of robustness and invisibility of the brand in one image. The processing unit UT then determines in step E10 the PSNR ratios between the blocks associated with the motion vectors marked with the marked image It and the corresponding blocks associated with the motion vectors with the preceding image It-1 or following I f +1 original. In the same way as step E7, the processing unit keeps only the blocks associated with the marked motion vectors of the marked image for which the PSNR ratio is greater than the threshold in step Eli. A first set of vectors PI initially formed by the first conservation marked motion vectors is compared in step E12 to a second set of vectors P2 consisting of the motion vectors marked with the marked image associated with the previously stored blocks. If the first and second sets are different, the preceding steps E9 to E12 of motion estimation, determination, conservation and comparison are iterated. In the different iterations, the results of the motion estimation between the two images may be different. On the other hand, when the first and second sets are identical, the iterative processing is interrupted, and the marked motion vectors retained at the end of the processing define after compensation in step E13 the final marked image. The modified image sequence incorporating the final marked images is stored in a recording medium such as the terminal T.
La vérification de la présence d'une marque dans une séquence d'images vidéo en fonction de la marque générée dans au moins une image modifiée de la séquence vidéo selon le procédé de modification selon l'invention met en œuvre un procédé dual au procédé de modification, suivi d'une détermination d'un indice de corrélation caractérisant la présence ou l'absence de la marque dans la séquence vidéo. Pour cette vérification, la représentation binaire de la clé de marquage est supposée connu, ainsi que le nombre de répétitions R. La vérification comprend les étapes suivantes Al à A6 montrées à la figure 8 : - estimer le mouvement hiérarchique entre des couples d'images de la séquence vidéo marquée pour en déduire un ensemble de vecteurs de mouvement sur des blocs de l'image du niveau le plus bas, à l'étape Al ; - moyenner les vecteurs de mouvement déduits afin de déterminer des vecteurs de mouvement associés aux blocs du niveau le plus haut, à l'étape A2 ; - sélectionner pseudo-aléatoirement, P = M x R vecteurs de mouvement associés aux blocs du niveau supérieur, à l'étape A3, en supposant que le générateur pseudo-aléatoire utilisé pour la détection a été initialisé et déclenché successivement en synchronisme avec le générateur pseudo-aléatoire utilisé pour le marquage à l'étape E5 ; - placer les vecteurs de mouvement sélectionnés sur la grille de référence afin d' associer à chacun des vecteurs de mouvement sélectionnés, selon la position de son extrémité par rapport aux zones Zl et Z2 de la grille, la valeur binaire "1" ou "0" associée à la zone contenant l'extrémité des vecteurs, à l'étape A4 ; et - produire une clé de marquage, sous la forme d'une suite binaire de P bits, à partir des valeurs binaires associées aux vecteurs de mouvement sélectionnés, à l'étape A5. Puis à l'étape A6, l'unité de traitement UT évalue un indice de corrélation statistique entre la clé de marquage produite et la clé de marquage initiale et compare l'indice de corrélation résultant à un seuil de confiance afin de signaler la présence ou l'absence d'une marque. Lorsque l'indice de corrélation excède le seuil de confiance, l'unité UT signale que la séquence vidéo a été modifiée en fonction de la clé de marquage initiale. Une première règle de corrélation pour estimer cette présence ou non de la marque dans une image dépend de l'indice de corrélation suivant :
Figure imgf000025_0001
où W est la clé de marquage initiale ; W est la moyenne de W ; W est la clé de marquage produite ; W est la moyenne de W . Lorsque la marque est répétée dans une image ou dans plusieurs images d'une séquence vidéo, l'indice de corrélation est égal au cumul des indices de corrélation C pour les marques dans l'image ou la séquence vidéo.The verification of the presence of a mark in a sequence of video images as a function of the mark generated in at least one modified image of the video sequence according to the modification method according to the invention implements a method dual to the method of modification, followed by a determination of a correlation index characterizing the presence or absence of the mark in the video sequence. For this verification, the binary representation of the marking key is assumed to be known, as well as the number of repetitions R. The verification comprises the following steps A1 to A6 shown in FIG. 8: - estimating the hierarchical movement between pairs of images of the marked video sequence to deduce therefrom set of motion vectors on blocks of the image of the lowest level, in step A1; - averaging the deduced motion vectors in order to determine motion vectors associated with the blocks of the highest level, in step A2; - select pseudo-randomly, P = M x R motion vectors associated with the blocks of the upper level, in step A3, assuming that the pseudo-random generator used for detection has been initialized and triggered successively in synchronism with the generator pseudo-random used for labeling in step E5; - place the selected motion vectors on the reference grid in order to associate with each of the selected motion vectors, according to the position of its end relative to the zones Z1 and Z2 of the grid, the binary value "1" or "0 "associated with the zone containing the end of the vectors, in step A4; and - producing a marking key, in the form of a binary sequence of P bits, from the binary values associated with the motion vectors selected, in step A5. Then in step A6, the processing unit UT evaluates a statistical correlation index between the marking key produced and the initial marking key and compares the resulting correlation index with a confidence threshold in order to signal the presence or the absence of a mark. When the correlation index exceeds the confidence threshold, the UT unit signals that the video sequence has been modified as a function of the initial marking key. A first correlation rule to estimate whether or not this mark is present in an image depends on the following correlation index:
Figure imgf000025_0001
where W is the initial marking key; W is the mean of W; W is the marking key produced; W is the mean of W. When the mark is repeated in an image or in several images of a video sequence, the correlation index is equal to the sum of the correlation indices C for the marks in the image or the video sequence.
Une deuxième règle de corrélation pour estimer la présence de la représentation binaire de la clé de marquage dans une séquence vidéo dépend de l'indice de corrélation suivant : d( , W) Cn_! * (n - 1) + Cn = n où n est le numéro d'image dans la séquence vidéo avec n > 1; et d(W, W) est la distance de Hamming entre la clé de marquage initiale W et la clé de marquage produite W .A second correlation rule for estimating the presence of the binary representation of the marking key in a video sequence depends on the following correlation index: d (, W) C n _! * (n - 1) + C n = n where n is the frame number in the video sequence with n>1; and d (W, W) is the Hamming distance between the initial marking key W and the produced marking key W.
L'invention décrite ici concerne un procédé et un système de modification d'une séquence d'images vidéo en fonction d'une clé de marquage. Selon une implémentation préférée, les étapes du procédé sont déterminées par les instructions d'un programme pour modifier une séquence d'images vidéo incorporé dans un dispositif informatique tel qu'un ordinateur personnel. Le programme comporte des instructions de programme qui, lorsque ledit programme est chargé et exécuté dans le dispositif informatique dont le fonctionnement est alors commandé par l'exécution du programme, réalisent les étapes du procédé selon 1 ' invention. En conséquence, l'invention s'applique également à un programme d'ordinateur, notamment un programme d'ordinateur sur ou dans un support d'informations, adapté à mettre en œuvre l'invention. Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable pour implémenter le procédé selon l'invention. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage ou support d'enregistrement, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette (floppy dise) ou un disque dur. D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type internet . Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé selon 1 ' invention. The invention described here relates to a method and a system for modifying a sequence of video images as a function of a marking key. According to one In a preferred implementation, the steps of the method are determined by the instructions of a program for modifying a sequence of video images incorporated in a computer device such as a personal computer. The program includes program instructions which, when said program is loaded and executed in the computer device, the operation of which is then controlled by the execution of the program, carry out the steps of the method according to the invention. Consequently, the invention also applies to a computer program, in particular a computer program on or in an information medium, suitable for implementing the invention. This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code such as in a partially compiled form, or in any other form desirable to implement the method according to the invention. The information medium can be any entity or device capable of storing the program. For example, the support may include a storage means or recording medium, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or else a magnetic recording means, for example a floppy disk (floppy say) or a hard drive. On the other hand, the information medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means. The program according to the invention can in particular be downloaded on a network of the type Internet . Alternatively, the information medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method according to the invention.

Claims

REVENDICATIONS
1 - Procédé de modification d'une séquence d'images vidéo en fonction d'une clé de marquage initiale à P bits, comprenant une estimation de mouvement (E3, E4) entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, une sélection (E5) de P vecteurs de mouvement originaux pour les associer respectivement aux bits de la clé de marquage, une modification des coordonnées (E6) des P vecteurs de mouvement sélectionnés (V) en fonction respectivement des P bits de la clé de marquage afin de modifier par un vecteur de mouvement marqué optimal (VTP) chaque vecteur de mouvement sélectionné (V) dont l'extrémité (PR) est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et une compensation de mouvement (E8) d'au moins l'une des images à laquelle ont été appliqués les vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le procédé comprend après la modification (E6) un remplacement (E7) seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer l'impact visuel de la modification par la clé de marquage.1 - Method for modifying a sequence of video images as a function of an initial marking key with P bits, comprising an estimation of movement (E3, E4) between at least two images of the sequence in order to obtain vectors of original motion of one of the images having ends respectively in blocks (B) of a reference grid broken down into two complementary zones associated with complementary binary values, a selection (E5) of P original motion vectors for the associate respectively to the bits of the marking key, a modification of the coordinates (E6) of the P motion vectors selected (V) as a function respectively of the P bits of the marking key in order to modify by an optimal marked motion vector (VTP) each selected motion vector (V) whose end (PR) is located in one of the two zones associated with the binary value complementary to the respective bit of the marking key, and a e motion compensation (E8) of at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, characterized in that the marking key initial is composed of M successive sets each having P / M identical bits, and the method comprises after the modification (E6) a replacement (E7) only of the motion vectors selected by the motion vectors marked optimal which satisfy a predetermined replacement criterion based on a comparison of blocks associated with optimal marked motion vectors to reduce the visual impact of the modification by the marking key.
2 - Procédé conforme à la revendication 1, selon lequel le critère de remplacement comporte une comparaison entre un seuil prédéterminé et un rapport signal à bruit déterminé entre le bloc contenant l'extrémité du vecteur de mouvement sélectionné et le bloc contenant l'extrémité du vecteur de mouvement marqué optimal associé, afin de remplacer le vecteur de mouvement sélectionné par le vecteur de mouvement marqué optimal associé que lorsque la valeur du rapport signal à bruit déterminée excède le seuil prédéterminé .2 - Method according to claim 1, according to which the replacement criterion comprises a comparison between a predetermined threshold and a signal-to-noise ratio determined between the block containing the end of the selected motion vector and the block containing the end of the vector associated optimal marked motion vector, in order to replace the selected motion vector with the associated optimal marked motion vector only when the determined signal-to-noise ratio value exceeds the predetermined threshold.
3 - Procédé conforme à la revendication 1 ou 2, selon lequel la modification (E6) des vecteurs de mouvement sélectionnés (V) comprend une détermination de vecteurs de mouvement marqués potentiels (VTP) dans une zone prédéterminée (ZR) à proximité de l'extrémité (PR) du vecteur de mouvement sélectionné, et une détermination parmi les vecteurs de mouvement marqués potentiels déterminés, du vecteur de mouvement marqué optimal correspondant au plus élevé rapport signal à bruit, afin de remplacer le vecteur de mouvement sélectionné en le vecteur de mouvement marqué optimal.3 - Method according to claim 1 or 2, according to which the modification (E6) of the selected motion vectors (V) comprises a determination of potential marked motion vectors (VTP) in a predetermined area (ZR) near the extremity (PR) of the selected motion vector, and a determination among the determined potential marked motion vectors, of the optimal marked motion vector corresponding to the highest signal-to-noise ratio, in order to replace the selected motion vector with the motion vector marked optimal.
4 - Procédé conforme à l'une quelconque des revendications 1 à 3, selon lequel la modification (E6) des coordonnées des P vecteurs de mouvement sélectionnés est réalisée sur un niveau hiérarchique des blocs dans les images, supérieur à un niveau hiérarchique sur lequel le critère de remplacement est appliqué. 5 - Procédé conforme à l'une quelconque des revendications 1 à 4, comprenant, après la compensation (E8), les étapes suivantes : - une estimation de mouvement (E9) entre l'image (It) marquée et une autre image de la séquence ; - une détermination (E10) des rapports signal à bruit entre des blocs associés aux vecteurs de mouvement marqués de l'image marquée et des blocs correspondants dans l'autre image ; - une conservation (Eli) seulement des blocs associés aux vecteurs de mouvement marqués de l'image donnée marquée pour laquelle le rapport signal à bruit déterminé est supérieur au seuil ; et une comparaison (E12) entre un premier ensemble de vecteurs (Pi) initialement constitué par lesdits vecteurs de mouvement marqués optimaux remplaçant lesdits vecteurs de mouvement sélectionnés et un deuxième ensemble de vecteurs (P2) constitué des vecteurs de mouvement marqués associés aux blocs précédemment conservés.4 - Method according to any one of claims 1 to 3, according to which the modification (E6) of the coordinates of the P motion vectors selected is carried out on a hierarchical level of the blocks in the images, greater than a hierarchical level on which the replacement criteria are applied. 5 - Method according to any one of claims 1 to 4, comprising, after compensation (E8), the following steps: - an estimation of movement (E9) between the marked image (It) and another image of the sequence; - a determination (E10) of the signal to noise ratios between blocks associated with the motion vectors marked with the marked image and corresponding blocks in the other image; - a conservation (Eli) only of the blocks associated with the marked motion vectors of the marked given image for which the determined signal-to-noise ratio is greater than the threshold; and a comparison (E12) between a first set of vectors (Pi) initially constituted by said optimal marked motion vectors replacing said selected motion vectors and a second set of vectors (P2) made up of marked motion vectors associated with the previously stored blocks .
6 - Procédé conforme à la revendication 5, comprenant une itération des étapes précédentes (E9- E12) d'estimation de mouvement, de détermination, de conservation et de comparaison si les premier et deuxième ensembles sont différents.6 - Method according to claim 5, comprising an iteration of the previous steps (E9- E12) of motion estimation, determination, conservation and comparison if the first and second sets are different.
7 - Procédé de vérification d'une clé de marquage initiale à P bits dans une séquence vidéo marquée selon le procédé de la revendication 1, comprenant une estimation de mouvement (Al, A2 ) entre aux moins deux images de la séquence vidéo marquée afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, une sélection (A3) de P vecteurs de mouvement, un placement (A4) des P vecteurs de mouvement sélectionnés sur la grille de référence afin d'associer à chacun des vecteurs sélectionnés, selon la position de l'extrémité de celui-ci par rapport aux deux zones, la valeur binaire associée à la zone contenant l'extrémité du vecteur et une production d'une clé de marquage sous la forme d'une suite de P valeurs binaires associées aux vecteurs de mouvement sélectionnés, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le procédé comprend une évaluation (A6) d'un indice de corrélation entre les clés de marquage initiale et produite afin de signaler une modification de la séquence vidéo en fonction de la clé de marquage initiale lorsque l'indice de corrélation excède un seuil de confiance.7 - Method for verifying an initial marking key with P bits in a marked video sequence according to the method of claim 1, comprising an estimation of movement (A1, A2) between at least two images of the marked video sequence in order to d '' get original motion vectors from one of the images having ends respectively in blocks (B) of a reference grid broken down into two complementary zones associated with complementary binary values, a selection (A3) of P motion vectors, a placement (A4) of the P motion vectors selected on the grid reference in order to associate with each of the selected vectors, according to the position of the end thereof in relation to the two zones, the binary value associated with the zone containing the end of the vector and a production of a marking key in the form of a series of P binary values associated with the selected motion vectors, characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the method comprises an evaluation (A6) a correlation index between the initial and produced marking keys in order to signal a modification of the video sequence as a function of the initial marking key when the index of c orrelation exceeds a confidence threshold.
8 - Système de modification d'une séquence d'images vidéo en fonction d'une clé de marquage initiale à P bits, comprenant un moyen (EM) pour estimer un mouvement (EM) entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, un moyen (GP) pour sélectionner P vecteurs de mouvement pour les associer respectivement aux bits de la clé de marquage, un moyen (UT) pour modifier des coordonnées (UT) des P vecteurs de mouvement sélectionnés (V) en fonction respectivement des P bits de la clé de marquage afin de remplacer par un vecteur de mouvement marqué optimal (VTP) chaque vecteur de mouvement sélectionné8 - System for modifying a sequence of video images as a function of an initial P-bit marking key, comprising means (EM) for estimating a movement (EM) between at least two images of the sequence in order to obtaining original motion vectors from one of the images having respectively ends in blocks (B) of a reference grid broken down into two complementary zones associated with complementary binary values, means (GP) for selecting P vectors movement to associate them respectively with the bits of the marking key, a means (UT) for modifying coordinates (UT) of the P selected motion vectors (V) as a function respectively of the P bits of the marking key in order to replace with an optimal marked motion vector (VTP) each selected motion vector
(V) dont l'extrémité (PR) est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et un moyen de compensation de mouvement(V) whose end (PR) is located in one of the two zones associated with the binary value complementary to the respective bit of the marking key, and a means of motion compensation
(CO) d'au moins l'une des images à laquelle ont été appliqués les vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le système comprend un moyen (UT) pour remplacer seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer l'impact visuel de la modification par la clé de marquage.(CO) of at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, characterized in that the initial marking key is composed of M successive sets each having identical P / M bits, and the system comprises means (UT) for replacing only selected motion vectors with the optimal marked motion vectors which satisfy a predetermined replacement criterion based on a comparison of the blocks associated with the optimal marked motion vectors to reduce the visual impact of the modification by the marking key.
9 - Programme d'ordinateur apte à être mis en œuvre dans un terminal (T) pour modifier une séquence d'images vidéo en fonction d'une clé de marquage initiale à P bits, ledit programme comprenant des instructions de programme qui, lorsque le programme est chargé et exécuté sur ledit terminal, exécutent une estimation de mouvement (E3, E4) entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, sélectionnent (E5) P vecteurs de mouvement originaux pour les associer respectivement aux bits de la clé de marquage, modifient des coordonnées (E6) des P vecteurs de mouvement sélectionnés (V) en fonction respectivement des P bits de la clé de marquage afin de modifier par un vecteur de mouvement marqué optimal (VTP) chaque vecteur de mouvement sélectionné (V) dont l'extrémité (PR) est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et exécutent une compensation de mouvement (E8) d'au moins l'une des images à laquelle ont été appliqués les vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et lesdites instructions de programme après la modification (E6) des coordonnées remplacent (E7) seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer l'impact visuel de la modification par la clé de marquage.9 - Computer program capable of being implemented in a terminal (T) to modify a sequence of video images as a function of an initial marking key at P bits, said program comprising program instructions which, when the program is loaded and executed on said terminal, execute a motion estimation (E3, E4) between at least two images of the sequence in order to obtain original motion vectors from one of the images having ends respectively in blocks ( B) a reference grid broken down into two complementary zones associated with values complementary binaries, select (E5) P original motion vectors to associate them respectively with the bits of the marking key, modify the coordinates (E6) of the P motion vectors selected (V) as a function respectively of the P bits of the marking key in order to modify by an optimal marked motion vector (VTP) each selected motion vector (V) whose end (PR) is located in one of the two zones associated with the binary value complementary to the respective bit of the key marking, and execute a motion compensation (E8) of at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and said program instructions after the modification (E6) of the coordinates are replacing (E7) only motion vectors selected by the optimal marked motion vectors which satisfy a predetermined replacement criterion based on a comparison of the blocks associated with the optimal marked motion vectors to reduce the visual impact of the modification by the key marking.
10 - Programme d'ordinateur apte à être mis en œuvre dans un terminal (T) pour vérifier une clé de marquage initiale à P bits dans une séquence vidéo marquée selon le programme de la revendication 9, ledit programme comprenant des instructions de programme qui, lorsque le programme est chargé et exécuté sur ledit terminal : exécutent une estimation de mouvement (Al, A2) entre aux moins deux images de la séquence vidéo marquée afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, sélectionnent (A3) P vecteurs de mouvement, placent (A4) P vecteurs de mouvement sélectionnés sur la grille de référence afin d'associer à chacun des vecteurs sélectionnés, selon la position de l'extrémité de celui-ci par rapport aux deux zones, la valeur binaire associée à la zone contenant l'extrémité du vecteur et une production d'une clé de marquage sous la forme d'une suite de P valeurs binaires associées aux vecteurs de mouvement sélectionnés, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et lesdites instructions de programme évaluent (A6) un indice de corrélation entre les clés de marquage initiale et produite afin de signaler une modification de la séquence vidéo en fonction de la clé de marquage initiale lorsque l'indice de corrélation excède un seuil de confiance.10 - Computer program able to be implemented in a terminal (T) to verify an initial marking key with P bits in a video sequence marked according to the program of claim 9, said program comprising program instructions which, when the program is loaded and executed on said terminal: execute a motion estimation (A1, A2) between at least two images of the video sequence marked in order to obtain original motion vectors of one of the images having ends respectively in blocks (B) of a reference grid broken down into two complementary zones associated with complementary binary values, select (A3 ) P motion vectors, place (A4) P motion vectors selected on the reference grid in order to associate with each of the selected vectors, according to the position of the end thereof relative to the two zones, the binary value associated with the zone containing the end of the vector and a production of a marking key in the form of a series of P binary values associated with the selected motion vectors, characterized in that the initial marking key is composed of M successive sets each having identical P / M bits, and said program instructions evaluate (A6) a correlation index between the initial marking keys and produced to signal a modification of the video sequence as a function of the initial marking key when the correlation index exceeds a confidence threshold.
11 - Support d'enregistrement d'une séquence d'images vidéo modifiée en fonction d'une clé de marquage initiale à P bits selon un procédé de modification comprenant une estimation de mouvement (E3, E4) entre aux moins deux images de la séquence afin d'obtenir des vecteurs de mouvement originaux de l'une des images ayant des extrémités respectivement dans des blocs (B) d'une grille de référence décomposés en deux zones complémentaires associées à des valeurs binaires complémentaires, une sélection (E5) de P vecteurs de mouvement originaux pour les associer respectivement aux bits de la clé de marquage, une modification des coordonnées (E6) des P vecteurs de mouvement sélectionnés (V) en fonction respectivement des P bits de la clé de marquage afin de modifier par un vecteur de mouvement marqué optimal (VTP) chaque vecteur de mouvement sélectionné (V) dont l'extrémité (PR) est située dans l'une des deux zones associée à la valeur binaire complémentaire au bit respectif de la clé de marquage, et une compensation de mouvement (E8) d'au moins l'une des images à laquelle ont été appliqués les vecteurs de mouvement marqués optimaux afin de constituer une séquence vidéo comprenant au moins l'image compensée marquée, caractérisé en ce que la clé de marquage initiale est composée de M ensembles successifs ayant chacun P/M bits identiques, et le procédé comprend après la modification (E6) un remplacement (E7) seulement des vecteurs de mouvement sélectionnés par les vecteurs de mouvement marqués optimaux qui satisfont un critère de remplacement prédéterminé fondé sur une comparaison des blocs associés aux vecteurs de mouvement marqués optimaux pour diminuer l'impact visuel de la modification par la clé de marquage. 11 - Media for recording a sequence of video images modified as a function of an initial marking key at P bits according to a modification method comprising an estimation of movement (E3, E4) between at least two images of the sequence in order to obtain original motion vectors of one of the images having respectively ends in blocks (B) of a reference grid decomposed into two complementary zones associated with complementary binary values, a selection (E5) of P original motion vectors for them associate respectively to the bits of the marking key, a modification of the coordinates (E6) of the P motion vectors selected (V) as a function respectively of the P bits of the marking key in order to modify by an optimal marked motion vector (VTP) each selected motion vector (V) whose end (PR) is located in one of the two zones associated with the binary value complementary to the respective bit of the marking key, and a motion compensation (E8) of at least at least one of the images to which the optimal marked motion vectors have been applied in order to constitute a video sequence comprising at least the marked compensated image, characterized in that the initial marking key is composed of M successive sets each having P / M identical bits, and the method comprises after the modification (E6) a replacement (E7) only of the motion vectors selected by the motion vectors marked optimal q which satisfy a predetermined replacement criterion based on a comparison of the blocks associated with the motion vectors marked optimal to reduce the visual impact of the modification by the marking key.
PCT/FR2004/002916 2003-11-19 2004-11-15 Reduction in visual impact of a modification in a video sequence as a function of a watermarking code WO2005062251A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0313620A FR2862466A1 (en) 2003-11-19 2003-11-19 Video image sequence watermarking for reduced visual impact having bit sequence modification placement optimally watermarked movement vectors only using predetermined optimally watermarked movement vectors
FR0313620 2003-11-19

Publications (1)

Publication Number Publication Date
WO2005062251A1 true WO2005062251A1 (en) 2005-07-07

Family

ID=34508601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/002916 WO2005062251A1 (en) 2003-11-19 2004-11-15 Reduction in visual impact of a modification in a video sequence as a function of a watermarking code

Country Status (2)

Country Link
FR (1) FR2862466A1 (en)
WO (1) WO2005062251A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924310A (en) * 1987-06-02 1990-05-08 Siemens Aktiengesellschaft Method for the determination of motion vector fields from digital image sequences
US5960081A (en) * 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924310A (en) * 1987-06-02 1990-05-08 Siemens Aktiengesellschaft Method for the determination of motion vector fields from digital image sequences
US5960081A (en) * 1997-06-05 1999-09-28 Cray Research, Inc. Embedding a digital signature in a video sequence

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BODO, Y., LAURENT, N., DUGELAY, JL: "A scrambling method based on disturbance of motion vector", MULTIMEDIA02, 1 December 2002 (2002-12-01) - 6 December 2002 (2002-12-06), pages 89 - 90, XP002275876 *
BODO,Y., LAURENT,N., DUGELAY JL.: "Tatouage vidéo par marquage hiérarchique des vecteurs mouvements", CORESA03, 16 January 2003 (2003-01-16), XP002275875, Retrieved from the Internet <URL:http://ligim.univ-lyon1.fr/textes/equipes/IMAGE/CORESA03/themes.html> [retrieved on 20040401] *
ZHU ZHONGJIE ET AL: "New adaptive algorithm for video watermarking", IEEE TENCOM' 02. 2002 IEEE REGION 10 CONFERENCE ON COMPUTERS, COMMUNICATIONS, CONTROL AND POWER ENGINEERING PROCEEDINGS. BEIJING, CHINA, OCT. 28 - 31, 2002, IEEE REGION 10 ANNUAL CONFERENCE, NEW YORK, NY: IEEE, US, vol. 1 OF 3, 28 October 2002 (2002-10-28), pages 152 - 155, XP010628448, ISBN: 0-7803-7490-8 *
ZHUO ZHAO ET AL: "A novel video watermarking scheme in compressed domain based on fast motion estimation", PROCEEDINGS OF ICCT2003, vol. 2, 9 April 2003 (2003-04-09), pages 1878 - 1882, XP010644330 *

Also Published As

Publication number Publication date
FR2862466A1 (en) 2005-05-20

Similar Documents

Publication Publication Date Title
EP1473944A2 (en) Digital video watermarking method with adaptive selection of the watermarking area, watermarking detection method, device, corresponding computer readable storage medium and computer program product.
Baluja Hiding images in plain sight: Deep steganography
FR2889382A1 (en) Multidimensional digital signal e.g. digital image, filtering method for e.g. coding device, involves obtaining filtering value of filtered sample in selecting one value among simulated filtering values of sample based on preset criterion
EP1603341B1 (en) Method and device for image interpolation systems using motion estimation and compensation
EP1416737B1 (en) Method, system and data support for video watermarking, method and system for extracting this watermaking
EP1591962A2 (en) Method and device for generating candidate vectors for image interpolation systems using motion estimation and compensation
US20050257099A1 (en) Information embedding method
WO2005062251A1 (en) Reduction in visual impact of a modification in a video sequence as a function of a watermarking code
FR2927744A1 (en) Digital signal filtering method for telecommunication system, involves determining optimal filter based on criterion that depends on values of sub-signal, and associating optimal filter with context function corresponding to sub-signal
WO2018002474A1 (en) Method for intra-coding of a digital image and corresponding decoding method
EP1330110B1 (en) Method and system for watermark decoding
EP0926625A1 (en) Image processing method incuding spatio-temporal noise filtering steps and medical imaging apparatus applying this method
CN111163241A (en) Reversible information embedding method
EP1181668B1 (en) Image coding/decoding method
FR2628864A1 (en) Segmentation of point velocity vectors in image sequence - segmenting velocity data based on movement prediction to generate representative vector for processing
EP3797509B1 (en) Processing of impulse noise in a video sequence
EP2180436B1 (en) Semi-supervised learning method system for data classification according to discriminating parameters
EP1596607A1 (en) Method and device for generating candidate vectors for image interpolation systems using motion estimation and compensation
FR2929431A1 (en) METHOD AND DEVICE FOR CLASSIFYING SAMPLES REPRESENTATIVE OF AN IMAGE DIGITAL SIGNAL
WO2013144531A1 (en) Watermarking method with adaptive streaming
FR3068556A1 (en) METHOD OF DECODING AN IMAGE, ENCODING METHOD, DEVICES, TERMINAL EQUIPMENT AND COMPUTER PROGRAMS
EP3170296B1 (en) Method of access to a multimedia content protected by a terminal
Idrais et al. A Novel High Capacity Data Hiding Algorithm using Salt and Pepper Noise
EP0542335B1 (en) Device for estimating movement between animated images subdivided into two-dimensional pixed blocks
EP4074041A1 (en) Method for compressing a sequence of images displaying synthetic graphical elements of non-photographic origin

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase