WO2005076628A2 - Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede - Google Patents

Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede Download PDF

Info

Publication number
WO2005076628A2
WO2005076628A2 PCT/FR2004/003417 FR2004003417W WO2005076628A2 WO 2005076628 A2 WO2005076628 A2 WO 2005076628A2 FR 2004003417 W FR2004003417 W FR 2004003417W WO 2005076628 A2 WO2005076628 A2 WO 2005076628A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
scene
point
pixel
color
Prior art date
Application number
PCT/FR2004/003417
Other languages
English (en)
Other versions
WO2005076628A3 (fr
Inventor
Laurent Blonde
David Sahuc
Paul Kerbiriou
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Priority to US10/584,645 priority Critical patent/US7379565B2/en
Priority to DE602004009219T priority patent/DE602004009219T2/de
Priority to EP04816493A priority patent/EP1702472B1/fr
Publication of WO2005076628A2 publication Critical patent/WO2005076628A2/fr
Publication of WO2005076628A3 publication Critical patent/WO2005076628A3/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Definitions

  • the invention relates to a method and a system for determining the displacement of a pixel between two images as well as to an image synthesis method and an information recording medium for implementing the method. More specifically, the invention relates to a method for determining the displacement of a pixel between a first and a second image, the first image being synthesized from a first scene containing a given object and a point of view, and the second image being synthesized from a second scene containing the same object, this second scene being obtained from the first scene by moving the object in the first scene and / or by moving the point of view of the first scene.
  • this information is used to determine a vector of displacement of this point between the first and the second images, that is to say the amplitude and the direction of the displacement or of the translation of this point between these two images.
  • the set of displacement vectors of all the points of an object or an image is called displacement vector fields.
  • These displacement fields or vectors are used in particular in methods for constructing intermediate images using temporal interpolation processes.
  • a synthesis module only outputs images such as plane images of a scene defined in three dimensions.
  • a calculation module dedicated to this task must be used in addition to the synthesis module.
  • this calculation module works directly on the data defining the three-dimensional scene, that is to say on the same data as that processed by the synthesis module. For example, the calculation module establishes the final position of a pixel from information on the movement of objects in a scene between times when a first and a second image are taken as well as from information on the displacement of the point of view between these same moments. These calculations are long and complicated so that the calculation module is itself complex and slow.
  • the invention aims to remedy this drawback by proposing a method for determining the displacement of a pixel between a first and a second image making it possible to simplify the calculation module.
  • the subject of the invention is therefore a method as described above, characterized: - in that it comprises, before the synthesis of the second image, a step of defining the color of at least one point of the object in the second scene as a function of the position of this point in the first scene so that the color of the pixel of the second image corresponding to this point indicates the position of this point in the first image, this definition step comprising: a projection operation on the object of the second scene of a third image consisting of a set of pixels, in which the color of each pixel indicates its position in this third image, this third image being projected from a projector whose relative position with respect to the object which it lights up in the second scene is chosen to be the same as the relative position of the point of view with respect to this object in the first scene e, - an operation to modify the surface aspects of the illuminated object so that the surface of this object diffuses the lighting from the projector to the point of view, and - an operation to remove the light sources parasites likely to modify the color diffused by one or
  • the determination of the initial position and of the final position of a point of an object is simplified because it suffices to note the position and the color of a pixel in the second image to know the position of the point of the corresponding object respectively in the second image and in the first image.
  • the calculation module therefore no longer has to perform complicated calculations to determine this information. It will also be noted that the calculation module no longer works on the input data of the synthesis module, that is to say the data defining the three-dimensional scene, but only on an image, that is to say two-dimensional data.
  • the subject of the invention is also a method of synthesizing images, each image being formed of a set of pixels, this method comprising: - a first step synthesis of a first image from a first scene, the first image representing, moreover, an object in the first scene taken from a given point of view, and - a second step synthesis of a second image from a second scene, this second scene being obtained from of the first scene by moving the object in the first scene and / or by moving the point of view of the first scene, - a step of determining the displacement of at least one pixel between the first and second images, this step being carried out by putting implement a method for determining the displacement of a pixel according to the invention, and - a step of construction by temporal interpolation of at least one intermediate image between the first and second images synthesized using the information on the displacement or each pixel previously determined.
  • the invention also relates to an information recording medium, characterized in that it includes instructions for the implementation of the determination or synthesis method according to the invention when these instructions are executed by a computer. electronic.
  • the invention also relates to a system for determining the displacement of a pixel between a first and a second synthetic image, said images being made up of a set of pixels, the first image being synthesized from a first scene.
  • this system comprising: - an image synthesis module capable of generating images from a three-dimensional scene, and - a control module capable of activating a first time the synthesis module to generate the first image from the first scene, and to activate a second time the synthesis module to generate the second image from the second scene, characterized: - in that the control module is capable of automatically defining the color of at least one point of the object in the second scene as a function of the position of this point in the first scene so that the color of the pixel of the second image corresponding to this point indicates the position of this pixel in the first image, the control module being able to do this for this: a projection operation on the object of the second scene of a third image consisting of a set of pixels, in which the color of each pixel
  • FIG. 1 represents an electronic system for synthesizing images designated by the general reference 2.
  • This system 2 comprises an electronic computer 4, such as a central unit of a conventional computer, associated with a display screen 6 and a memory 8.
  • the system 2 also includes a man / machine interface 10 allowing a user to enter commands for moving objects.
  • this interface 10 is here formed of an alphanumeric keyboard
  • the computer 4 includes a module 20 for synthesizing digital images and a module 22 for controlling this module 20.
  • the module 22 is capable of defining a digital model of a three-dimensional scene such as a scene 28 shown in perspective on the FIG. 2 at a time T.
  • the three-dimensional scene used to illustrate the present description comprises only two objects, that is to say here a cone 30 and a cylinder 32.
  • the geometric shape of each object is defined by an assembly of several facets contiguous to each other.
  • these facets are represented by triangles 34.
  • Each facet of each object has a surface appearance. This surface aspect is adjustable.
  • a scene also includes one or more projectors intended to illuminate the objects of the scene.
  • projectors 36 and 38 are shown in FIG. 2.
  • the directivity of the projector that is to say, for example, the facets of each object which will be illuminated by this projector.
  • a scene comprises at least one point of view represented here by a camera 40. The position, the orientation as well as the field of vision of this camera 40 are adjustable.
  • FIG. 3 represents a scene 42 corresponding to scene 28 at an instant T + 1 after the cone 30 has been moved along the axis Z while the cylinder 32 has remained stationary.
  • This cone displacement command 30 has, for example, been generated by the user using the control lever 12.
  • This displacement is denoted D and represented by an arrow D in FIG. 3.
  • the synthesis module 20 is capable of generating a two-dimensional image of the scene defined by the control module 22.
  • the module 20 is able to generate the image of the three-dimensional scene that the camera 40 films.
  • the module 20 To this end, a known process is carried out using Open GL technology. Information on this technology can be obtained online from the following address: http: //developer.apple.com/documentation/Graphicslmagi ng / Conceptual / OpenGL / chap2 / chapter_2_section_3.html
  • Figures 4 and 5 represent images 44 and 46 synthesized by module 20 respectively for scenes 28 and 42. In images 44 and 46 the axes Y and Z correspond to those of the orthonormal reference frame of scenes 28 and 42.
  • the images synthesized by the module 20 are suitable for being displayed on the screen 6. For example, here these images are images of 256 pixels by 256 pixels.
  • FIGS. 4 and 5 is shown an orthonormal reference frame ⁇ , ⁇ graduated in number of pixels and whose origin corresponds to the pixel in the lower left corner of the image.
  • This orthonormal reference frame ⁇ , ⁇ makes it possible to define the position of each pixel of the image by a pair of coordinates (i, j) where i and j correspond to the coordinates of the pixel respectively on the axes ⁇ and ⁇ .
  • the module 20 also includes a sub-module 48 for smoothing colors. Indeed, when the surface of a point of an object corresponding to a pixel has two different colors separated by a border, it is necessary to adopt a rule which allows the module 20 to assign a single color to this pixel.
  • the sub-module 48 acts so as to smooth this difference in colors and therefore chooses an intermediate color between the colors present on either side of the border. More precisely, the sub-module 48 determines this intermediate color to be assigned to the pixel by linear interpolation.
  • the computer 4 also includes a module 50 for calculating a field of displacement vectors as well as a module 52 for constructing intermediate images.
  • the module 50 is intended to calculate the vector of displacement of the pixels between two successive synthesized images. For example, this module 50 is able to calculate the displacement vector of all the pixels of the image 44 between the instants T and T + 1.
  • the module 52 is capable of calculating intermediate images representing the scene filmed by the camera 40 at an intermediate instant between the instants T and T + 1.
  • the module 52 implements a known temporal interpolation process, such as that described in patent EP 0 294 282 B1.
  • the computer 4 is able to control the display on the screen 6 of an ordered temporal sequence of images or video sequence formed by the images synthesized by the module 20 between which are inserted intermediate images constructed by the module 52 .
  • the computer 4 is a conventional programmable electronic computer and the various modules 20, 22, 50 and 52 are, for example, software modules.
  • the instructions corresponding to these software modules are, for example, recorded in memory 8. These instructions are adapted to the execution of the method of FIG. 6.
  • the operation of the system 2 will now be described with reference to FIG. 6 and in the particular case of scenes 28 and 42.
  • the module 20 synthesizes during a step 70, the image 44 from scene 28 defined by the control module 22. Then, the module 20 synthesizes, during a step 72, the image 46 from the scene 42 defined by the control module 22.
  • the system 2 then proceeds to a step 74 for generating a third image, for example, identical to the second image 46 at l except that each pixel of an object has a color as a function of the place occupied at time T by the point of the object corresponding to this pixel.
  • the module 22 automatically defines, during an operation 76, a third scene 80 (FIG. 7). This scene 80 is geometrically identical to scene 42 with the exception of the position of the projectors.
  • this scene 80 is constructed from scene 42 to preserve the position of the objects 30 and 32 and of the camera 40 identically.
  • the module 22 removes during of a sub-operation 86, all the projectors or light sources of the scene 42. Then, during a sub-operation 88, the module 22 assigns to all the objects of the scene 42 the same surface appearance.
  • the surface aspect is here chosen so that the surface of all objects is perfectly diffusing, that is to say that the surface does not change the color of the light it returns and that it distributes throughout the space with the same value. Thus, when a point of an object is illuminated with a red beam, this point diffuses throughout the space a light of exactly the same red.
  • the module 22 creates, during a sub-operation 90, a projector for each part or static object in the scene and a projector for each movable object in the scene.
  • Static objects or parts are parts or objects which have not moved between time T and time T + 1, for example here cylinder 32.
  • Movable objects are, on the contrary, objects which have moved between time T and l 'instant T + 1.
  • a single projector will be assigned to a group of several mobile objects if the relative position of these objects with respect to each other remains unchanged between time T and time T + 1.
  • a projector 82 is created to illuminate the cylinder 32 while a projector 84 is created to illuminate the cone 30.
  • the module 22 regulates, during sub-operation 90, the directivity of the projectors 82 and 84 so that that these only illuminate the facets of the object with which they are associated which are visible on the image 44.
  • the module 22 determines the position of each projector with respect to the object it illuminates. To this end, the position of each projector with respect to the object it illuminates is chosen so that this position is identical to that occupied by the camera 40 with respect to this same object. in scene 28. Consequently, since here neither the position of the cylinder 32 nor the position of the camera 40 have been modified between the instants T and T + 1, the projector 82 which illuminates the cylinder 32 is placed at the same position as the camera 40.
  • the position of the projector 84 is offset by a distance D along the Z axis from the position of the camera 40.
  • This distance D is identical to the amplitude of the displacement D of the cone 30.
  • the projector 84 remains, in a way, stationary relative to the cone 30 despite the displacement of the latter between instants T and T + 1.
  • the choice consisting in placing the projector with respect to the object which it illuminates in the same position as that occupied by the camera 40 at the previous instant, that is to say the instant T makes it possible to maximize the illuminated surface of the object usable for determining, for example, fields of displacement vectors.
  • the field of vision of each projector is adjusted to correspond to that of the camera 40 at time T, then, during a sub-operation 96, each projector is also oriented as the camera 40 at time T.
  • the module 22 defines the image projected by each projector on the object it illuminates.
  • each pixel is linked by a one-to-one function to the position of this pixel in this image so that the color of the pixel indicates its position or, in other words, identifies the row and the column. of the pixel in the image.
  • the number of possible colors is greater than the number of pixels of the synthesized images and preferably at least 2, 3 or 4 times greater than the number of pixels of the synthesized images.
  • each color is represented by a pair of values (k, I) where k represents, for example, the quantity of red and I the quantity, for example, of green. In the example described here, it is assumed that there are three times more possible colors than pixels.
  • the synthesized images are images of 256/256 pixels, the maximum quantity of red or green will be represented by the value 768 while the minimum quantity will be represented by the value 1, the values k and I being able to take all the integer values between 1 and 768.
  • all the projectors of scene 80 project the same image, that is to say an image 104 (FIG. 8).
  • FIG. 8 includes a reference mark ⁇ , ⁇ identical to that of FIGS. 4 and 5 so as to identify the position of the pixels of the image 104.
  • FIG. 8 includes a reference mark ⁇ , ⁇ identical to that of FIGS. 4 and 5 so as to identify the position of the pixels of the image 104.
  • only a few pixels of this image 104 are represented by squares 106
  • the colors associated with each of these pixels are represented by a pair of values (k, I) indicated in parentheses in this figure.
  • the colors associated with the pixels of image 104 are organized so as to create a color gradient along the axis ⁇ and along the axis ⁇ .
  • the pixel located on the origin of the axes ⁇ and ⁇ is associated with the color (1, 1).
  • the values of the parameter k assigned to each pixel of the image 104 form a geometric progression of reason 3 going from left to right along the axis ⁇ .
  • values of the parameter I of each pixel form a geometric progression of reason 3 along the axis ⁇ and away from the pixel having the color (1,1).
  • the pixel located at the upper right corner that is to say the one placed at the intersection of the 256 th row and the 256 th column of pixels, is associated with the color (768,768). Consequently, in image 104, knowing the color of a pixel, it is possible to find its coordinates i, j in the reference frame ⁇ , ⁇ by a simple rule of three. It is therefore understood that in scene 80, because of the choice of the position of the projectors 82 and 84 with respect to the objects 32 and 30 and the color coding in the projected image 104, each point of the object lit is assigned a color depending on the position it occupied in image 44.
  • module 20 proceeds to a step 116 of synthesizing an image 118 (FIG. 9) filmed at starting from the camera 40 of the scene 80.
  • the image 118 is identical to the image 46 with the exception that the color of the different pixels of an object is a function of the position of the corresponding point of the object in image 44. In particular, the position of objects 30 and 32 is identical to the position of these same objects in image 46.
  • the sub-module 48 performs an operation 119 color smoothing thus, the pixels of image 118 can be assigned an intermediate color between those pixels 106 of image 104. This is made possible by the fact that the number of possible colors is greater than the number of pixels in the image. From then on, it is possible to measure displacements with an accuracy lower than the pixel as will be understood on reading the following description.
  • the 50 calculates during a step 120, the field of displacement vectors. For this purpose, it notes, during an operation 122, the position and the color of the pixels of the image 118. For example, it notes that the position of a pixel 120 (FIG. 9) is (225; 128) and that its color is (599; 384). Then, during an operation 124, it deduces the position of this pixel in the image 44 from the detected color. For example, for pixel 120 there deduces that the color (599; 384) corresponds to the position (199.6666; 128) in the coordinate system ⁇ , ⁇ . Finally, during an operation 126 it determines the displacement vector of each pixel by subtracting from the raised position, the initial position deduced during operation 124.
  • the displacement vector is equal to (25.3333; 0).
  • the operations 122 to 126 are repeated for all the pixels of each object which are illuminated by one of the projectors of the scene 80.
  • the module 52 constructs, during a step 130, intermediate images representing the objects 30 and 32 at intermediate times between the times T and T + 1.
  • the module 52 implements a temporal interpolation process and uses the displacement vector field calculated during step 120.
  • the module 52 builds at least one intermediate image and preferably more than two, five or ten intermediate images between times T and T + 1.
  • Step 130 of construction of an intermediate image by temporal interpolation is faster than the synthesis of an image by the module 20. Consequently, the above method has the advantage of being faster than the methods of image synthesis known.
  • the known image synthesis methods synthesize using the module 20 each of the images of a temporal sequence of images. Consequently, for a time sequence of seven images, the module 20 will be executed seven times. On the contrary, in the method of FIG.
  • the module 20 is activated three times respectively to generate images 44, 46 and 118 while the five intermediate images of the time sequence are constructed by temporal interpolation. So it was measured that the total time required to build this sequence temporal of seven images using the method of Figure 6 is much less than the time required to construct a temporal sequence of seven images using known image synthesis methods.
  • the method has been described in the particular case where only an image 118 is constructed to determine the field of displacement vectors.
  • the method of FIG. 6 is modified to construct an image in which the colors of the pixels indicate the position of the points of the objects corresponding to the instant T and another image in which the colors of the pixels indicate the position of the points of the objects at time T + 1.
  • step 74 is performed by taking once as the starting image the image taken at an instant T and as the arriving image the image taken at an instant T + 1 and a second time by taking as the starting image the image taken at time T + 1 and as the arriving image the image taken at time T.
  • step 120 is executed for these two images so as to obtain two displacement vector fields and step 130 is preceded by a step of calculating the weighted average of these two displacement vector fields.
  • the computation of the vector field of displacement once in one direction, that is to say from the instant T towards the instant T + 1, and once in the other direction, that is to say from time T + 1 to time T improves the accuracy of the calculation of the displacement vector field.

Abstract

Ce procédé détermine le déplacement d'un pixel entre une première et une deuxième images, la première image représentant, en outre, un objet dans une première scène prise à partir d'un point de prise de vue donnée, et la deuxième image représentant le même objet dans une deuxième scène, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène. Le procédé comporte une opération de définition (en 76) de la couleur d'au moins un point de l'objet de la deuxième scène en fonction de la position de ce point dans la première image de manière à ce que la couleur du pixel de la deuxième image correspondant à ce point indique la position de ce pixel dans la première image.

Description

Procédé et système de détermination du déplacement d'un pixel, et support d'enregistrement pour la mise en œuvre du procédé
L'invention concerne un procédé et un système de détermination du déplacement d'un pixel entre deux images ainsi qu'un procédé de synthèse d'image et un support d'enregistrement d'informations pour la mise en œuvre du procédé. Plus précisément, l'invention concerne un procédé de détermination du déplacement d'un pixel entre une première et une deuxième images, la première image étant synthétisée à partir d'une première scène contenant un objet et un point de prise de vue donné, et la deuxième image étant synthétisée à partir d'une deuxième scène contenant le même objet, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène. Pour de nombreux traitements numériques d'images, il est nécessaire de connaître la position d'un point d'un objet dans une première image et la position de ce même point dans une seconde image. Par exemple, ces informations sont utilisées pour déterminer un vecteur de déplacement de ce point entre la première et la seconde images, c'est-à-dire l'amplitude et la direction du déplacement ou de la translation de ce point entre ces deux images. L'ensemble des vecteurs de déplacement de tous les points d'un objet ou d'une image est appelé champs de vecteurs de déplacement. Ces champs ou vecteurs de déplacement sont notamment utilisés dans des procédés de construction d'images intermédiaires à l'aide de processus d'interpolation temporelle. Par exemple, dans des procédés de synthèse d'images connus, un module de synthèse fournit uniquement en sortie des images telles que des images planes d'une scène définie en trois dimensions. Ainsi, actuellement, pour déterminer la position initiale d'un pixel dans la première image et sa position finale dans la seconde image, un module de calcul dédié à cette tâche doit être utilisé en plus du module de synthèse. A cet effet, ce module de calcul travaille directement sur les données définissant la scène tridimensionnelle, c'est-à-dire sur les mêmes données que celles traitées par le module de synthèse. Par exemple, le module de calcul établit la position finale d'un pixel à partir d'informations sur le déplacement des objets dans une scène entre des instants où sont prises une première et une deuxième images ainsi qu'à partir d'informations sur le déplacement du point de prise de vue entre ces mêmes instants. Ces calculs sont longs et compliqués de sorte que le module de calcul est lui-même complexe et lent. L'invention vise à remédier à cet inconvénient en proposant un procédé de détermination du déplacement d'un pixel entre une première et une deuxième images permettant de simplifier le module de calcul. L'invention a donc pour objet un procédé tel que décrit ci-dessus, caractérisé : - en ce qu'il comporte avant la synthèse de la deuxième image, une étape de définition de la couleur d'au moins un point de l'objet dans la deuxième scène en fonction de la position de ce point dans la première scène de manière à ce que la couleur du pixel de la deuxième image correspondant à ce point indique la position de ce point dans la première image, cette étape de définition comportant : - une opération de projection sur l'objet de la deuxième scène d'une troisième image constituée d'un ensemble de pixels, dans laquelle la couleur de chaque pixel indique sa position dans cette troisième image, cette troisième image étant projetée à partir d'un projecteur dont la position relative par rapport à l'objet qu'il éclaire dans la deuxième scène est choisie pour être la même que la position relative du point de prise de vue par rapport à cet objet dans la première scène, - une opération de modification des aspects de surface de l'objet éclairé de manière à ce que la surface de cet objet diffuse l'éclairage du projecteur vers le point de prise de vue, et - une opération de suppression des sources de lumière parasites susceptibles de modifier la couleur diffusée par un ou plusieurs points de l'objet, et - en ce qu'après la synthèse de la deuxième image à partir de la deuxième scène dans laquelle la couleur d'au moins un point de l'objet a été définie lors de l'étape de définition, il comporte pour ce ou chaque point de l'objet : - une opération de relevé de la position et de la couleur d'un pixel de la deuxième image correspondant à ce point, - une opération de déduction de la position du point de l'objet dans la première image à partir de la couleur relevée, et - une opération de détermination du déplacement de ce pixel à partir de la position relevée dans la deuxième image et de la position déduite de la couleur du pixel. Grâce à cette deuxième image, la détermination de la position initiale et de la position finale d'un point d'un objet est simplifiée car il suffit pour cela de relever la position et la couleur d'un pixel dans la deuxième image pour connaître la position du point de l'objet correspondant respectivement dans la deuxième image et dans la première image. Le module de calcul n'a donc plus à effectuer des calculs compliqués pour déterminer ces informations. On notera de plus que le module de calcul ne travaille plus sur les données d'entrées du module de synthèse, c'est-à-dire les données définissant la scène tridimensionnelle, mais uniquement sur une image, c'est-à-dire des données bidimensionnelles. L'invention a également pour objet un procédé de synthèse d'images chaque image étant formée d'un ensemble de pixels, ce procédé comportant : - une première étape synthèse d'une première image à partir d'une première scène, la première image représentant, en outre, un objet dans la première scène prise à partir d'un point de prise de vue donné, et - une deuxième étape synthèse d'une deuxième image à partir d'une deuxième scène, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène, - une étape de détermination du déplacement d'au moins un pixel entre les première et deuxième images, cette étape étant réalisée en mettant en œuvre un procédé de détermination du déplacement d'un pixel conforme à l'invention, et - une étape de construction par interpolation temporelle d'au moins une image intermédiaire entre les première et deuxième images synthétisées à l'aide des informations sur le déplacement du ou de chaque pixel précédemment déterminé. L'invention a également pour objet un support d'enregistrement d'informations, caractérisé en ce qu'il comporte des instructions pour la mise en œuvre du procédé de détermination ou de synthèse conforme à l'invention lorsque ces instructions sont exécutées par un calculateur électronique. L'invention a également pour objet un système de détermination du déplacement d'un pixel entre une première et une deuxième images de synthèse, lesdites images étant constituées d'un ensemble de pixels, la première image étant synthétisée à partir d'une première scène contenant un objet et un point de prise de vue donné, et la deuxième image étant synthétisée à partir d'une deuxième scène contenant le même objet, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène, ce système comportant : - un module de synthèse d'images propre à générer des images à partir d'une scène tridimensionnelle, et - un module de commande apte à activer une première fois le module de synthèse pour générer la première image à partir de la première scène, et à activer une deuxième fois le module de synthèse pour générer la deuxième image à partir de la deuxième scène, caractérisé : - en ce que le module de commande est apte à définir automatiquement la couleur d'au moins un point de l'objet dans la deuxième scène en fonction de la position de ce point dans la première scène de manière à ce que la couleur du pixel de la deuxième image correspondant à ce point indique la position de ce pixel dans la première image, le module de commande étant apte pour cela à réaliser : - une opération de projection sur l'objet de la deuxième scène d'une troisième image constituée d'un ensemble de pixels, dans laquelle la couleur de chaque pixel indique sa position dans cette troisième image, cette troisième image étant projetée à partir d'un projecteur dont la position relative par rapport à l'objet qu'il éclaire dans la deuxième scène est choisie pour être la même que la position relative du point de prise de vue par rapport à cet objet dans la première scène, - une opération de modification des aspects de surface de l'objet éclairé de manière à ce que la surface de cet objet diffuse l'éclairage du projecteur vers le point de prise de vue, et - une opération de suppression des sources de lumière parasites susceptibles de modifier la couleur diffusée par un ou plusieurs points de l'objet, et - en ce que le système comporte un module de calcul du déplacement d'au moins un pixel entre les première et deuxième images apte pour le ou chaque point de l'objet à : - relever la position et la couleur d'un pixel de la deuxième image correspondant à ce point, - déduire la position du point de l'objet dans la première image à partir de la couleur relevée, et - déterminer le déplacement de ce pixel à partir de la position relevée dans la deuxième image et de la position déduite de la couleur du pixel. L'invention sera mieux comprise à la lecture de la description qui va suivre donnée uniquement à titre d'exemple et faite en se référant aux dessins sur lesquels : - la figure 1 est une illustration schématique de l'architecture d'un système conforme à l'invention, - les figures 2 et 3 sont respectivement des vues en perspective d'une scène tridimensionnelle, - les figures 4 et 5 sont respectivement des images planes correspondant aux scènes tridimensionnelles des figures 2 et 3, - la figure 6 est un organigramme d'un procédé conforme à l'invention, - la figure 7 est une vue en perspective de la scène tridimensionnelle de la figure 3, - la figure 8 est une illustration schématique d'une image projetée sur la scène de la figure 7, et - la figure 9 est une image plane correspondant à la scène de la figure 7. La figure 1 représente un système électronique de synthèse d'images désigné par la référence générale 2. Ce système 2 comporte un calculateur électronique 4, tel qu'une unité centrale d'un ordinateur conventionnel, associé à un écran de visualisation 6 et à une mémoire 8. Le système 2 comporte également une interface homme/machine 10 permettant à un utilisateur de saisir des commandes de déplacement d'objets.
A titre d'exemple cette interface 10 est ici formée d'un clavier alphanumérique
11 et d'un levier 12 de commande plus connu sous le terme anglais de "joystick". Le calculateur 4 comporte un module 20 de synthèse d'images numériques et un module 22 de commande de ce module 20. Le module 22 est apte à définir un modèle numérique d'une scène tridimensionnelle telle qu'une scène 28 représentée en perspective sur la figure 2 à un instant T. A titre d'exemple, la scène tridimensionnelle utilisée pour illustrer la présente description comporte seulement deux objets, c'est-à-dire ici un cône 30 et un cylindre 32. La forme géométrique de chaque objet est définie par un assemblage de plusieurs facettes contiguës les unes aux autres. Ici, sur la figure 2, ces facettes sont représentées par des triangles 34. Chaque facette de chaque objet présente un aspect de surface. Cet aspect de surface est réglable. Par exemple, la texture ou la matière de cette facette, son coefficient de réflexion de la lumière, sa diffusivité sont réglables. Typiquement, une scène comporte également un ou plusieurs projecteurs destinés à éclairer les objets de la scène. Ici, à titre d'illustration deux projecteurs 36 et 38 sont représentés sur la figure 2. Pour chaque projecteur il est possible de définir sa position, son orientation, son champ de vision ainsi que l'image projetée sur la scène. De plus il est possible de définir la directivité du projecteur, c'est-à-dire, par exemple, les facettes de chaque objet qui seront éclairées par ce projecteur. Finalement, une scène comporte au moins un point de prise de vue représenté ici par une caméra 40. La position, l'orientation ainsi que le champ de vision de cette caméra 40 sont réglables. Ici, la position des objets, des projecteurs et de la caméra est définie par rapport à un repère orthonormé fixe représenté par les axes X, Y, Z dans la figure 2. Le module de commande 22 permet à l'utilisateur de régler les différents paramètres de cette scène et, en particulier de déplacer les objets, le point de prise de vue ou la position des projecteurs. Par exemple, la figure 3 représente une scène 42 correspondant à la scène 28 à un instant T+1 après que le cône 30 ait été déplacé le long de l'axe Z alors que le cylindre 32 est demeuré immobile. Cette commande de déplacement du cône 30 a, par exemple, été générée par l'utilisateur à l'aide du levier de commande 12. Ce déplacement est noté D et représenté par une flèche D sur la figure 3. Le module de synthèse 20 est capable de générer une image à deux dimensions de la scène définie par le module de commande 22. Plus précisément, le module 20 est apte à générer l'image de la scène tridimensionnelle que filme la caméra 40. Par exemple, le module 20 met en œuvre à cet effet un procédé connu réalisé à l'aide de la technologie Open GL. Des informations sur cette technologie peuvent être obtenues en ligne à partir de l'adresse suivante :http://developer.apple.com/documentation/Graphicslmagi ng/Conceptual/OpenGL/chap2/chapter_2_section_3.html Les figures 4 et 5 représentent des images 44 et 46 synthétisées par le module 20 respectivement pour les scènes 28 et 42. Dans les images 44 et 46 les axes Y et Z correspondent à ceux du repère orthonormé des scènes 28 et 42. Les images synthétisées par le module 20 sont propres à être affichées sur l'écran 6. Par exemple, ici ces images sont des images de 256 pixels par 256 pixels. Sur les figures 4 et 5 est représenté un repère orthonormé α, β gradué en nombre de pixels et dont l'origine correspond au pixel dans l'angle inférieur gauche de l'image. Ce repère orthonormé α, β permet de définir la position de chaque pixel de l'image par un couple de coordonnées (i,j) où i et j correspondent aux coordonnées du pixel respectivement sur les axes α et β. Le module 20 comporte également un sous-module 48 de lissage des couleurs. En effet, lorsque la surface d'un point d'un objet correspondant à un pixel comporte deux couleurs différentes séparées par une frontière, il est nécessaire d'adopter une règle qui permet au module 20 d'affecter une seule couleur à ce pixel. Ici, dans une telle situation, le sous-module 48 agit de manière à lisser cette différence de couleurs et choisit donc une couleur intermédiaire entre les couleurs présentes de part et d'autre de la frontière. Plus précisément, le sous-module 48 détermine cette couleur intermédiaire à affecter au pixel par interpolation linéaire. Le calculateur 4 comporte également un module 50 de calcul d'un champ de vecteurs de déplacement ainsi qu'un module 52 de construction d'images intermédiaires. Le module 50 est destiné à calculer le vecteur de déplacement des pixels entre deux images synthétisées successives. Par exemple, ce module 50 est apte à calculer le vecteur de déplacement de tous les pixels de l'image 44 entre les instants T et T+1. Le module 52 est capable de calculer des images intermédiaires représentant la scène filmée par la caméra 40 à un instant intermédiaire entre les instants T et T+1. A cet effet, le module 52 met en œuvre un processus d'interpolation temporelle connu, tel que celui décrit dans le brevet EP 0 294 282 B1. Finalement, le calculateur 4 est apte à commander l'affichage sur l'écran 6 d'une séquence temporelle d'images ordonnée ou séquence vidéo formée par les images synthétisées par le module 20 entre lesquelles sont intercalées des images intermédiaires construites par le module 52. Ici, le calculateur 4 est un calculateur électronique programmable conventionnel et les différents modules 20, 22, 50 et 52 sont, par exemple, des modules logiciels. Les instructions correspondant à ces modules logiciels sont, par exemple, enregistrées dans la mémoire 8. Ces instructions sont adaptées à l'exécution du procédé de la figure 6. Le fonctionnement du système 2 va maintenant être décrit en regard de la figure 6 et dans le cas particulier des scènes 28 et 42. Initialement, le module 20 synthétise lors d'une étape 70, l'image 44 à partir de la scène 28 définie par le module de commande 22. Ensuite, le module 20 synthétise, lors d'une étape 72, l'image 46 à partir de la scène 42 définie par le module de commande 22. Le système 2 procède alors à une étape 74 de génération d'une troisième image, par exemple, identique à la seconde image 46 à l'exception du fait que chaque pixel d'un objet présente une couleur fonction de la place qu'occupait à l'instant T le point de l'objet correspondant à ce pixel. A cet effet, le module 22 définit automatiquement, lors d'une opération 76, une troisième scène 80 (figure 7). Cette scène 80 est identique géométriquement à la scène 42 à l'exception de la position des projecteurs. De préférence, cette scène 80 est construite à partir de la scène 42 pour conserver à l'identique la position des objets 30 et 32 et de la caméra 40. Pour construire la scène 80 à partir de la scène 42, le module 22 supprime lors d'une sous-opération 86, tous les projecteurs ou sources de lumière de la scène 42. Ensuite, lors d'une sous-opération 88, le module 22 affecte à tous les objets de la scène 42 le même aspect de surface. L'aspect de surface est ici choisi de manière à ce que la surface de tous les objets soit parfaitement diffusante, c'est-à-dire que la surface ne modifie pas la couleur de la lumière qu'elle renvoie et qu'elle la répartit dans tout l'espace avec la même valeur. Ainsi, lorsqu'un point d'un objet est éclairé avec un faisceau rouge, ce point diffuse dans tout l'espace une lumière exactement du même rouge. Ensuite, le module 22 crée, lors d'une sous-opération 90, un projecteur pour chaque partie ou objet statique dans la scène et un projecteur pour chaque objet mobile de la scène. Les objets ou parties statiques sont les parties ou objets qui ne se sont pas déplacés entre l'instant T et l'instant T+1 , par exemple ici le cylindre 32. Les objets mobiles sont, au contraire, les objets qui se sont déplacés entre l'instant T et l'instant T+1. De préférence on affectera un seul et même projecteur à un groupe de plusieurs objets mobiles si la position relative de ces objets les uns par rapport aux autres reste inchangée entre l'instant T et l'instant T+1. Ici, un projecteur 82 est créé pour éclairer le cylindre 32 tandis qu'un projecteur 84 est créé pour éclairer le cône 30. Le module 22 règle, lors de la sous-opération 90, la directivité des projecteurs 82 et 84 de manière à ce que ceux-ci n'éclairent que les facettes de l'objet auquel ils sont associés qui sont visibles sur l'image 44. Lors d'une sous opération 92, le module 22 détermine la position de chaque projecteur vis-à-vis de l'objet qu'il éclaire. A cet effet, la position de chaque projecteur vis-à-vis de l'objet qu'il éclaire est choisie de manière à ce que cette position soit identique à celle qu'occupe la caméra 40 vis-à-vis de ce même objet dans la scène 28. Par conséquent, puisqu'ici, ni la position du cylindre 32 ni la position de la caméra 40 n'ont été modifiées entre les instants T et T+1 , le projecteur 82 qui éclaire le cylindre 32 est placé à la même position que la caméra 40. Par contre, pour que le projecteur 84 soit placé vis-à-vis du cône 30 à la même position que la caméra 40 dans la scène 28, la position du projecteur 84 est décalée d'une distance D le long de l'axe Z à partir de la position de la caméra 40. Cette distance D est identique à l'amplitude du déplacement D du cône 30. Ainsi, le projecteur 84 reste, en quelque sorte, immobile par rapport au cône 30 malgré le déplacement de celui-ci entre les instants T et T+1. Cette façon de procéder pour placer les projecteurs de la scène 80 permet de créer une relation entre la position dans l'image 44 des points de chaque objet éclairé par le projecteur et la couleur avec laquelle ces points seront éclairés lors d'une des sous-opérations suivante. De plus, le choix consistant à placer le projecteur vis-à-vis de l'objet qu'il éclaire dans la même position que celle qu'occupe la caméra 40 à l'instant précédent, c'est-à-dire l'instant T, permet de maximiser la surface éclairée de l'objet utilisable pour la détermination, par exemple, de champs de vecteurs de déplacement. Lors d'une sous-opération 94, le champ de vision de chaque projecteur est réglé pour correspondre à celui de la caméra 40 à l'instant T, puis, lors d'une sous-opération 96, chaque projecteur est également orienté comme la caméra 40 à l'instant T. Finalement, lors d'une sous-opération 98, le module 22 définit l'image projetée par chaque projecteur sur l'objet qu'il éclaire. Dans l'image projetée, la couleur de chaque pixel est reliée par une fonction biunivoque à la position de ce pixel dans cette image de sorte que la couleur du pixel indique sa position ou, en d'autres termes, identifie la ligne et la colonne du pixel dans l'image. Le nombre de couleurs possibles est supérieur au nombre de pixels des images synthétisées et de préférence au moins 2, 3 ou 4 fois supérieur au nombre de pixels des images synthétisées. Pour simplifier la description, chaque couleur est représentée par un couple de valeurs (k, I) où k représente, par exemple, la quantité de rouge et I la quantité, par exemple, de vert. Dans l'exemple décrit ici, on suppose qu'il existe trois fois plus de couleurs possibles que de pixels. Ainsi, puisque les images synthétisées sont des images de 256/256 pixels, la quantité maximale de rouge ou de vert sera représentée par la valeur 768 tandis que la quantité minimale sera représentée par la valeur 1 , les valeurs k et I pouvant prendre toutes les valeurs entières comprises entre 1 et 768. Ici, tous les projecteurs de la scène 80 projettent la même image c'est-à-dire une image 104 (figure 8). La figure 8 comporte un repère α, β identique à celui des figures 4 et 5 de manière à repérer la position des pixels de l'image 104. A titre d'illustration, seuls quelques pixels de cette image 104 sont représentés par des carrés 106. Les couleurs associées à chacun de ces pixels sont représentées par un couple de valeurs (k, I) indiqué entre parenthèses sur cette figure. Les couleurs associées aux pixels de l'image 104 sont organisées de façon à créer un gradient de couleurs le long de l'axe α et le long de l'axe β. Ainsi, le pixel situé sur l'origine des axes α et β est associé à la couleur (1 ,1). A partir de ce pixel, les valeurs du paramètre k affectées à chaque pixel de l'image 104 forment une progression géométrique de raison 3 en allant de la gauche vers la droite le long de l'axe α. De façon similaire, les valeurs du paramètre I de chaque pixel forment une progression géométrique de raison 3 le long de l'axe β et en s'éloignant du pixel ayant la couleur (1,1). Ainsi, le pixel situé à l'angle supérieur droit, c'est-à-dire celui placé à l'intersection de la 256ème ligne et de la 256ème colonne de pixels, est associé à la couleur (768,768). Dès lors, dans l'image 104, connaissant la couleur d'un pixel, il est possible de retrouver ses coordonnées i,j dans le repère α, β par une simple règle de trois. On comprend donc que dans la scène 80, à cause du choix de la position des projecteurs 82 et 84 vis-à-vis des objets 32 et 30 et du codage des couleurs dans l'image 104 projetée, chaque point de l'objet éclairé se voit affecté une couleur fonction de la position qu'il occupait dans l'image 44. Une fois la construction de la scène 80 terminée, le module 20 procède à une étape 116 de synthèse d'une image 118 (figure 9) filmée à partir de la caméra 40 de la scène 80. L'image 118 est identique à l'image 46 à l'exception du fait que la couleur des différents pixels d'un objet est fonction de la position du point correspondant de l'objet dans l'image 44. En particulier, la position des objets 30 et 32 est identique à la position de ces mêmes objets dans l'image 46. Lors de la synthèse de l'image 118, le sous-module 48 procède à une opération 119 de lissage des couleurs ainsi, les pixels de l'image 118 peuvent se voir affecter une couleur intermédiaire entre celles des pixels 106 de l'image 104. Ceci est rendu possible grâce au fait que le nombre de couleurs possible est supérieur au nombre de pixels de l'image. Dès lors, il est possible de mesurer des déplacements avec une précision inférieure au pixel comme on le comprendra à la lecture de la suite de cette description. Une fois l'opération de synthèse de l'image 118 terminée, le module
50 calcule lors d'une étape 120, le champ de vecteurs de déplacement. A cet effet, il relève, lors d'une opération 122, la position et la couleur des pixels de l'image 118. Par exemple, il relève que la position d'un pixel 120 (figure 9) est (225 ;128) et que sa couleur est (599; 384). Ensuite, il déduit, lors d'une opération 124, la position de ce pixel dans l'image 44 à partir de la couleur relevée. Par exemple, pour le pixel 120 il déduit que la couleur (599 ; 384) correspond à la position (199,6666; 128) dans le repère α, β. Finalement, lors d'une opération 126 il détermine le vecteur de déplacement de chaque pixel en soustrayant à la position relevée, la position initiale déduite lors de l'opération 124. Par exemple, pour le pixel 120, le vecteur de déplacement est égal à (25,3333;0). Les opérations 122 à 126 sont réitérées pour tous les pixels de chaque objet qui sont éclairés par l'un des projecteurs de la scène 80. Une fois le champ de vecteurs de déplacement calculé, le module 52 construit, lors d'une étape 130, des images intermédiaires représentant les objets 30 et 32 à des instants intermédiaires entre les instants T et T+1. A cet effet, le module 52 met en œuvre un processus d'interpolation temporelle et utilise le champ de vecteurs de déplacement calculé lors de l'étape 120. Lors de cette étape 130, le module 52 construit au moins une image intermédiaire et de préférence plus de deux, cinq ou dix images intermédiaires entre les instants T et T+1. Finalement, la séquence temporelle d'images formée par les images 44 et 46 synthétisées aux instants T et T+1 entre lesquelles sont intercalées des images intermédiaires construites lors de l'étape 130, est affiché sur l'écran 6. L'étape 130 de construction d'une image intermédiaire par interpolation temporelle est plus rapide que la synthèse d'une image par le module 20. Dès lors, le procédé ci-dessus présente l'avantage d'être plus rapide que les procédés de synthèse d'images connus. En effet, les procédés de synthèses d'images connus synthétisent à l'aide du module 20 chacune des images d'une séquence temporelle d'images. Par conséquent, pour une séquence temporelle de sept images, le module 20 sera exécuté sept fois. Au contraire, dans le procédé de la figure 6, pour générer une séquence temporelle de sept images, le module 20 est activé trois fois respectivement pour générer les images 44, 46 et 118 tandis que les cinq images intermédiaires de la séquence temporelle sont construites par interpolation temporelle. Ainsi, il a été mesuré que le temps total nécessaire pour construire cette séquence temporelle de sept images à l'aide du procédé de la figure 6 est très nettement inférieur au temps nécessaire pour construire une séquence temporelle de sept images à l'aide des procédés de synthèse d'images connus. Le procédé a été décrit dans le cas particulier où seule une image 118 est construite pour déterminer le champ de vecteurs de déplacement. En variante, le procédé de la figure 6 est modifié pour construire une image dans laquelle les couleurs des pixels indiquent la position des points des objets correspondant à l'instant T et une autre image dans laquelle les couleurs des pixels indiquent la position des points des objets à l'instant T+1. Pour construire ces deux images, l'étape 74 est réalisée en prenant une fois comme image de départ l'image prise à un instant T et comme image d'arrivée l'image prise à un instant T+1 et une seconde fois en prenant comme image de départ l'image prise à l'instant T+1 et comme image d'arrivée l'image prise à l'instant T. Dans cette variante, l'étape 120 est exécutée pour ces deux images de manière à obtenir deux champs de vecteurs de déplacement et l'étape 130 est précédée d'une étape consistant à calculer la moyenne pondérée de ces deux champs de vecteurs de déplacement. Le calcul du champ de vecteurs de déplacement une fois dans un sens, c'est-à-dire de l'instant T vers l'instant T+1 , et une fois dans l'autre sens, c'est-à-dire de l'instant T+1 vers l'instant T, permet d'améliorer la précision du calcul du champ de vecteurs de déplacement.

Claims

REVENDICATIONS 1. Procédé de détermination du déplacement d'un pixel entre une première et une deuxième images de synthèse, lesdites images étant constituées d'un ensemble de pixels, la première image étant synthétisée à partir d'une première scène contenant un objet et un point de prise de vue donné, et la deuxième image étant synthétisée à partir d'une deuxième scène contenant le même objet, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène, caractérisé : - en ce qu'il comporte avant la synthèse de la deuxième image, une étape de définition (en 76) de la couleur d'au moins un point de l'objet dans la deuxième scène en fonction de la position de ce point dans la première scène de manière à ce que la couleur du pixel de la deuxième image correspondant à ce point indique la position de ce point dans la première image, cette étape de définition comportant : - une opération (92) de projection sur l'objet de la deuxième scène d'une troisième image (104) constituée d'un ensemble de pixels, dans laquelle la couleur de chaque pixel indique sa position dans cette troisième image, cette troisième image étant projetée à partir d'un projecteur dont la position relative par rapport à l'objet qu'il éclaire dans la deuxième scène est choisie pour être la même que la position relative du point de prise de vue par rapport à cet objet dans la première scène, - une opération (88) de modification des aspects de surface de l'objet éclairé de manière à ce que la surface de cet objet diffuse l'éclairage du projecteur vers le point de prise de vue, et - une opération (86) de suppression des sources de lumière parasites susceptibles de modifier la couleur diffusée par un ou plusieurs points de l'objet, et - en ce qu'après la synthèse de la deuxième image à partir de la deuxième scène dans laquelle la couleur d'au moins un point de l'objet a été définie lors de l'étape de définition, il comporte pour ce ou chaque point de l'objet : - une opération (122) de relevé de la position et de la couleur d'un pixel de la deuxième image correspondant à ce point, - une opération (124) de déduction de la position du point de l'objet dans la première image à partir de la couleur relevée, et - une opération (126) de détermination du déplacement de ce pixel à partir de la position relevée dans la deuxième image et de la position déduite de la couleur du pixel. 2. Procédé selon la revendication 1 , caractérisé en ce que le nombre de couleurs possibles pour un pixel de la troisième image est strictement supérieur au nombre de pixels de la première image. 3. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que la couleur des pixels de la troisième image est une fonction monotone croissante ou décroissante de la position du pixel dans cette troisième image. 4. Procédé selon la revendication 3, caractérisé en ce que la troisième image présente un gradient de couleur dans deux directions non co- linéaires. 5. Procédé de synthèse d'images, chaque image étant formée d'un ensemble de pixels, ce procédé comportant : - une première étape (70) de synthèse d'une première image à partir d'une première scène, la première image représentant, en outre, un objet dans la première scène prise à partir d'un point de prise de vue donné, et - une deuxième étape (72) de synthèse d'une deuxième image à partir d'une deuxième scène, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène, caractérisé en ce que le procédé comporte : - une étape (74, 120) de détermination du déplacement d'au moins un pixel entre les première et deuxième images, cette étape étant réalisée en mettant en œuvre un procédé de détermination du déplacement d'un pixel conforme à l'une quelconque des revendications précédentes, et - une étape (130) de construction par interpolation temporelle d'au moins une image intermédiaire entre les première et deuxième images synthétisées à l'aide des informations sur le déplacement du ou de chaque pixel précédemment déterminées. 6. Support d'enregistrement d'informations, caractérisé en ce qu'il comporte des instructions pour l'exécution d'un procédé conforme à l'une quelconque des revendications précédentes, lorsque ces instructions sont exécutées par un calculateur électronique. 7. Système de détermination du déplacement d'un pixel entre une première et une deuxième images de synthèse, lesdites images étant constituées d'un ensemble de pixels, la première image étant synthétisée à partir d'une première scène contenant un objet et un point de prise de vue donné, et la deuxième image étant synthétisée à partir d'une deuxième scène contenant le même objet, cette deuxième scène étant obtenue à partir de la première scène en déplaçant l'objet dans la première scène et/ou en déplaçant le point de prise de vue de la première scène, ce système comportant : - un module (20) de synthèse d'images propre à générer des images à partir d'une scène tridimensionnelle, et - un module (22) de commande apte à activer une première fois le module de synthèse pour générer la première image à partir de la première scène, et à activer une deuxième fois le module de synthèse pour générer la deuxième image à partir de la deuxième scène, caractérisé : - en ce que le module de commande est apte à définir automatiquement la couleur d'au moins un point de l'objet dans la deuxième scène en fonction de la position de ce point dans la première scène de manière à ce que la couleur du pixel de la deuxième image correspondant à ce point indique la position de ce pixel dans la première image, le module de commande étant apte pour cela à réaliser : - une opération (92) de projection sur l'objet de la deuxième scène d'une troisième image (104) constituée d'un ensemble de pixels, dans laquelle la couleur de chaque pixel indique sa position dans cette troisième image, cette troisième image étant projetée à partir d'un projecteur dont la position relative par rapport à l'objet qu'il éclaire dans la deuxième scène est choisie pour être la même que la position relative du point de prise de vue par rapport à cet objet dans la première scène, - une opération (88) de modification des aspects de surface de l'objet éclairé de manière à ce que la surface de cet objet diffuse l'éclairage du projecteur vers le point de prise de vue, et - une opération (86) de suppression des sources de lumière parasites susceptibles de modifier la couleur diffusée par un ou plusieurs points de l'objet, et - en ce que le système comporte un module (50) de calcul du déplacement d'au moins un pixel entre les première et deuxième images apte pour le ou chaque point de l'objet à : - relever la position et la couleur d'un pixel de la deuxième image correspondant à ce point, - déduire la position du point de l'objet dans la première image à partir de la couleur relevée, et - déterminer le déplacement de ce pixel à partir de la position relevée dans la deuxième image et de la position déduite de la couleur du pixel.
PCT/FR2004/003417 2004-01-06 2004-12-30 Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede WO2005076628A2 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/584,645 US7379565B2 (en) 2004-01-06 2004-12-30 Method and system for determining displacement of a pixel, and recording medium therefor
DE602004009219T DE602004009219T2 (de) 2004-01-06 2004-12-30 Verfahren und system zur bestimmung der verschiebung eines pixels und aufzeichnungsmedium dafür
EP04816493A EP1702472B1 (fr) 2004-01-06 2004-12-30 Procede et systeme de determination du deplacement d un pixe l, et support d enregistrement pour la mise en oeuvre du pro cede

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0400063A FR2864878B1 (fr) 2004-01-06 2004-01-06 Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede
FR0400063 2004-01-06

Publications (2)

Publication Number Publication Date
WO2005076628A2 true WO2005076628A2 (fr) 2005-08-18
WO2005076628A3 WO2005076628A3 (fr) 2005-11-17

Family

ID=34673849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/003417 WO2005076628A2 (fr) 2004-01-06 2004-12-30 Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede

Country Status (5)

Country Link
US (1) US7379565B2 (fr)
EP (1) EP1702472B1 (fr)
DE (1) DE602004009219T2 (fr)
FR (1) FR2864878B1 (fr)
WO (1) WO2005076628A2 (fr)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068665B2 (en) * 2005-05-10 2011-11-29 Kabushiki Kaisha Toshiba 3D-image processing apparatus, 3D-image processing method, storage medium, and program
US20070058846A1 (en) * 2005-05-10 2007-03-15 Satoru Ohishi Three-dimensional image processing apparatus, three-dimensional image processing method and control program used in three-dimensional image processing apparatus
JP5075757B2 (ja) * 2008-08-05 2012-11-21 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
KR101627185B1 (ko) * 2009-04-24 2016-06-03 삼성전자 주식회사 영상촬영장치의 제어방법
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
FR3032104B1 (fr) * 2015-02-02 2017-02-10 Institut De Rech Sur Les Cancers De Lappareil Digestif Ircad Procede de determination du decalage entre axes median et optique d'un endoscope

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214751A (en) * 1987-06-04 1993-05-25 Thomson Grand Public Method for the temporal interpolation of images and device for implementing this method
FR2645383B1 (fr) * 1989-03-31 1997-06-27 Thomson Consumer Electronics Procede et dispositif d'interpolation temporelle d'images, a compensation de mouvement corrigee
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
JP3907891B2 (ja) * 1999-11-11 2007-04-18 富士フイルム株式会社 画像撮像装置及び画像処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141041A (en) * 1998-06-22 2000-10-31 Lucent Technologies Inc. Method and apparatus for determination and visualization of player field coverage in a sporting event

Also Published As

Publication number Publication date
EP1702472B1 (fr) 2007-09-26
FR2864878B1 (fr) 2006-04-14
EP1702472A2 (fr) 2006-09-20
FR2864878A1 (fr) 2005-07-08
DE602004009219D1 (de) 2007-11-08
US20070076919A1 (en) 2007-04-05
US7379565B2 (en) 2008-05-27
WO2005076628A3 (fr) 2005-11-17
DE602004009219T2 (de) 2008-06-26

Similar Documents

Publication Publication Date Title
EP0511101B1 (fr) Procédé de modélisation d'un système de prise de vues et procédé et système de réalisation de combinaisons d'images réelles et d'images de synthèse
EP2828834B1 (fr) Modèle et procédé de production de modèles 3d photo-réalistes
EP2385405B1 (fr) Dispositif de projection panoramique, et procédé mis en oeuvre dans ce dispositif
FR2984057A1 (fr) Systeme de tournage de film video
EP0661672A1 (fr) Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective
FR2695230A1 (fr) Procédé de création d'images animées.
FR2821167A1 (fr) Dispositif support d'appareil photographique
EP3072109A1 (fr) Procede d'estimation de la vitesse de deplacement d'une camera
EP1702472B1 (fr) Procede et systeme de determination du deplacement d un pixe l, et support d enregistrement pour la mise en oeuvre du pro cede
EP2297705B1 (fr) Procede de composition temps reel d'une video
FR2821156A1 (fr) Procede et dispositif pour l'obtention d'une image panoramique numerique a teinte constante
EP3210378B1 (fr) Méthode pour collecter des données d'images destinées à produire une vidéo immersive et méthode de visualisation d'un espace sur base de ces données d'images
FR3007175A1 (fr) Systemes de reperage de la position de la camera de tournage pour le tournage de films video
EP2987319A1 (fr) Procede de generation d'un flux video de sortie a partir d'un flux video large champ
EP2994813B1 (fr) Procede de commande d'une interface graphique pour afficher des images d'un objet tridimensionnel
JP2005092549A (ja) 三次元画像処理方法および装置
FR3048786A1 (fr) Reglage dynamique de la nettete d'au moins une image projetee sur un objet
JP2003168129A (ja) 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
FR3048541B1 (fr) Modification virtuelle de la denture d'une personne
FR3013492A1 (fr) Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d
Hudon Active illumination for high speed image acquisition and recovery of shape and albedo
CH704910A1 (fr) Procédé et équipement pour insérer dans un flux vidéo des images de synthèse de meubles ou d'autres éléments d'habitat.
CH712678B1 (fr) Procédé d'affichage de données cartographiques.
FR2931611A1 (fr) Procede de modelisation 3d de scenes reelles et dynamiques
FR3043295A1 (fr) Dispositif de realite augmentee spatiale pour un environnement de bureau

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004816493

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007076919

Country of ref document: US

Ref document number: 10584645

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 2004816493

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10584645

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 2004816493

Country of ref document: EP