PROCEDE DE PREDICTION DE DONNEES MOUVEMENT ET DE TEXTURE 1. Domaine de
l'invention L'invention concerne un procédé pour générer, pour des images d'une séquence haute résolution entrelacée, au moins un prédicteur de mouvement et éventuellement au moins un prédicteur de texture à partir de données de mouvement et éventuellement de données de texture associées à des images d'une séquence basse résolution entrelacée. 2. Etat de l'art Les procédés de codage hiérarchique avec graduation ou scalabilité spatiale ( spatial scalability en anglais) sont du domaine connu. La graduation représente la capacité d'échelonner l'information pour la rendre décodable à plusieurs niveaux de résolution et/ou de qualité. Plus précisément, un flux de données généré par ce type de procédé de codage est divisé en plusieurs couches, notamment une couche de base et une ou plusieurs couches d'amélioration. Ces procédés permettent notamment d'adapter un unique flux de données à des conditions de transport variables (bande passante, taux d'erreurs,...), ainsi qu'aux attentes des clients et aux capacités variées de leurs récepteurs (CPU, caractéristiques du dispositif de visualisation, ...). Dans le cas particulier de la graduation spatiale, la partie du flux de données correspondant à des images basse résolution de la séquence pourra être décodée indépendamment de la partie du flux de données correspondant à des images haute résolution. En revanche, la partie du flux de données correspondant aux images haute résolution de la séquence ne pourra être décodée qu'à partir de la partie du flux de données correspondant aux images basse résolution. Le codage hiérarchique avec graduation spatiale permet de coder une première partie de données appelée couche de base, relative aux images basse résolution, et à partir de cette couche de base une deuxième partie de données appelée couche d'amélioration, relative aux images haute résolution. Généralement, chaque macrobloc de l'image haute résolution est prédit temporellement selon un mode de prédiction classique (par exemple mode de prédiction bidirectionnel, mode de prédiction direct, mode de prédiction anticipé ...) ou bien est prédit selon un mode de prédiction inter-couche. Dans ce dernier cas, des données de mouvement (par exemple un partitionnement du macrobloc en blocs, éventuellement des vecteurs de mouvement et des indices d'images de référence) et éventuellement des données de texture associées à un bloc de pixels de l'image haute résolution sont déduites ou héritées des données de mouvement respectivement des données de texture associées à des blocs de pixels d'une image basse résolution. Toutefois, les procédés connus ne permettent pas de générer de tels prédicteurs dans le cas où la séquence basse résolution et la séquence haute résolution sont entrelacées. 3. Résumé de l'invention L'invention a pour but de pallier au moins un des inconvénients de l'art antérieur. L'invention concerne un procédé pour générer pour au moins un bloc de pixels d'une image d'une séquence d'images entrelacées haute résolution, dite séquence haute résolution, au moins un prédicteur de mouvement à partir de données de mouvement associées aux images d'une séquence d'images entrelacées basse résolution, dite séquence basse résolution, de même fréquence temporelle que la séquence haute résolution. Chaque image entrelacée comprend une trame supérieure entrelacée avec une trame inférieure et peut être codée en mode bi-trame ou en mode mono- trame. A chaque trame d'une image entrelacée étant associée une référence temporelle. Le procédé permet notamment de générer : • des premier et deuxième prédicteurs de mouvement pour au moins un bloc de pixels de l'image haute résolution à partir des données de mouvement associées à au moins un bloc de pixels de la trame supérieure d'une image basse résolution de même référence temporelle que la trame supérieure de l'image haute résolution si l'image basse résolution est codée en mode mono-trame; • un troisième prédicteur de mouvement pour au moins un bloc de pixels de l'image haute résolution à partir des données de mouvement associées à au moins un bloc de pixels de la trame inférieure de l'image basse résolution de même référence temporelle que la trame inférieure de l'image haute résolution si l'image basse résolution est codée en mode mono-trame ; et • des quatrième et cinquième prédicteurs de mouvement pour le au moins un bloc de pixels de l'image haute résolution à partir des données de mouvement associées à au moins un bloc de pixels d'une image basse résolution comprenant une trame de même référence temporelle qu'une des trames supérieure ou inférieure de l'image haute résolution si l'image basse résolution est codée en mode bitrame. Préférentiellement , le premier prédicteur de mouvement est généré en sous échantillonnant lesdites données de mouvement associées à au moins au moins un bloc de pixels de la trame supérieure avec un rapport inter-couche horizontal dans la direction horizontale de l'image et un premier rapport inter-couche vertical dans la direction verticale de l'image, le deuxième prédicteur de mouvement est généré en sous échantillonnant lesdites données de mouvement associées à au moins un bloc de pixels de la trame supérieure avec le rapport inter-couche horizontal dans la direction horizontale de l'image et un deuxième rapport inter-couche vertical dans la direction verticale de l'image, le troisième prédicteur de mouvement est généré en sous échantillonnant lesdites données de mouvement associées à au moins un bloc de pixels de la trame inférieure avec le rapport inter-couche horizontal dans la direction horizontale de l'image et le premier rapport inter-couche vertical dans la direction verticale de l'image, le quatrième prédicteur de mouvement est généré en sous échantillonnant lesdites données de mouvement associées à au moins un bloc de pixels de l'image basse résolution avec le rapport inter-couche horizontal dans la direction horizontale de l'image et un troisième rapport inter-couche vertical dans la direction verticale de l'image et le cinquième prédicteur de mouvement est généré en sous échantillonnant lesdites données de mouvement associées à au moins un bloc de pixels de l'image basse résolution avec le rapport inter-couche horizontal dans la direction horizontale de l'image et le premier rapport inter- couche vertical dans la direction verticale de l'image. Le procédé permet également de générer pour le bloc de pixels de l'image haute résolution, un premier prédicteur de texture à partir des données de texture associées à au moins un bloc de pixels de la trame supérieure d'une image basse résolution de même référence temporelle que la trame supérieure de l'image haute résolution, un deuxième prédicteur de texture à partir des données de texture associées à au moins un bloc de pixels de la trame inférieure d'une image basse résolution de même référence temporelle que la trame inférieure de l'image haute résolution et un troisième prédicteur de texture à partir des données de texture associées à au moins un bloc de pixels de chacune des trames supérieure et inférieure de l'image basse résolution. Avantageusement, le premier prédicteur de texture est généré en sous échantillonnant lesdites données de texture associées à au moins un bloc de pixels d'une trame supérieure d'une image basse résolution de même référence temporelle que la trame supérieure de l'image haute résolution avec le rapport inter-couche horizontal dans la direction horizontale de l'image et le premier rapport inter-couche vertical dans la direction verticale de l'image, le deuxième prédicteur de texture est généré en sous échantillonnant lesdites données de texture associées à au moins un bloc de pixels d'une trame inférieure d'une image basse résolution de même référence temporelle que la trame inférieure de l'image haute résolution avec le rapport inter-couche horizontal dans la direction horizontale de l'image et le premier rapport inter-couche vertical dans la direction verticale de l'image et le troisième prédicteur de texture est généré en entrelaçant les premier et deuxième prédicteurs de texture. Selon une caractéristique particulière, le rapport inter-couche horizontal est égal à la largeur des images haute résolution divisée par la largeur des trames des images basse résolution, en ce que le premier rapport inter- couche vertical est égal à la hauteur des images haute résolution divisée par la hauteur des images basse résolution, en ce que le deuxième rapport inter-couche vertical est égal à la hauteur des images haute résolution divisée par la hauteur des trames des images basse résolution et en ce que le troisième rapport intercouche vertical est égal à la hauteur des trames des images haute résolution divisée par la hauteur des images basse résolution . Avantageusement, les données de mouvement associées aux images basse résolution comprennent des vecteurs de mouvement.
Préférentiellement, les vecteurs de mouvement associées à une image basse résolution codées en mode bi-trame ou à chacune des trames supérieure et inférieure d'une image basse résolution codée en mode mono-trame ont la même parité.
Le procédé est avantageusement utilisé par un procédé de codage d'images haute résolution à partir d'images basse résolution et par un procédé de décodage d'images haute résolution à partir d'images basse résolution. Préférentiellement, les images basse résolution sont codées 10 conformément à la norme MPEG-4 AVC.
4. Listes des fiqures L'invention sera mieux comprise et illustrée au moyen d'exemples de modes de réalisation et de mise en ceuvre avantageux, nullement limitatifs, 15 en référence aux figures annexées sur lesquelles : la figure 1 représente une séquence d'images basse résolution et une séquence d'images haute résolution entrelacées de même fréquence temporelle; la figure 2 illustre le procédé de génération de prédicteurs de texture 20 selon l'invention dans le cas où la séquence d'images basse résolution et la séquence d'images haute résolution sont entrelacées ; la figure 3 illustre le procédé de génération de prédicteurs de mouvement selon l'invention dans le cas où la séquence d'images basse résolution et la séquence d'images haute résolution sont 25 entrelacées ; la figure 4 illustre le sous-échantillonnage par un facteur 2 dans la direction horizontale de l'image de deux macroblocs MB1 et MB2 d'une image basse résolution et le partitionnement résultant pour le macrobloc prédicteur MB_pred correspondant. 30 5. Description détaillée de l'invention L'invention concerne un procédé de prédiction inter-couche qui consiste à générer des prédicteurs de mouvement et éventuellement des prédicteurs de texture pour des images d'une séquence ordonnée d'images entrelacées haute résolution, dite séquence haute résolution, à partir d'images d'une séquence ordonnée d'images entrelacées basse résolution, dite séquence basse résolution. Les séquences sont découpées en groupe d'images appelés GOP ( Group Of Pictures en anglais). Chaque image basse et haute résolution comprend une trame supérieure ( top field en anglais) entrelacée avec une trame inférieure ( bottom field en anglais). Sur la figure 1 une image entrelacée d'indice k est composée d'une trame supérieure référencée kT et d'une trame inférieure référencée kB. Une référence temporelle est associée à chaque trame des images haute et basse résolution. Une trame d'une image haute résolution et une trame d'une image basse résolution ayant la même référence temporelle coïncident verticalement. Les images basse résolution, également référencées images BR, ont une largeur w (w représentant un nombre de pixels ou de colonnes) et une hauteur de 2h (2h représentant un nombre de pixels ou de lignes et signifie 2 multiplié par h). Chaque trame d'une image basse résolution a une largeur w et une hauteur h. Les images haute résolution, également référencées images HR, ont une largeur W (W représentant un nombre de pixels ou de colonnes) et une hauteur de 2H (2H représentant un nombre de pixels ou de lignes et signifie 2 multiplié par H). Chaque trame d'une image haute résolution a une largeur W et une hauteur H. Dans le mode de réalisation décrit, les images entrelacées peuvent être codées soit en mode mono-trame ( field picture en anglais), i.e. chaque trame est codée comme une image à part entière, ou bien en mode bi-trame ( frame picture en anglais), i.e. les deux trames sont codées ensemble. Les lignes d'une image sont numérotées à partir de 0 et donc la première ligne est une ligne paire et la deuxième ligne (numérotée 1) est une ligne impaire. L'invention consiste donc à générer pour des images de la séquence haute résolution ou pour au moins un bloc de pixels de celles-ci, au moins un prédicteur de mouvement et éventuellement au moins un prédicteur de texture. Un prédicteur de texture associé à une image haute résolution ou à au moins un bloc de pixels d'une image haute résolution est une image ou un bloc de prédiction qui associe à chacun de ses pixels des données de texture (par exemple une valeur de luminance et éventuellement des valeurs de chrominance) qui sont générées à partir de données de texture associées à au moins une image (ou trame) ou à au moins un bloc de pixels d'une image (ou à au moins un bloc de pixels d'une trame) basse résolution selon un procédé de sous échantillonnage de la texture tel que le procédé ESS appliqué à la texture (ESS est l'acronyme de l'anglais de Extended Spatial Scalability) qui est décrit dans le document ISO/IEC MPEG & ITU-T VCEG intitulé Joint Scalable Video Model JSVM3 Annex-S référencé JVT-P202, J.Reichel, H.Schwarz, M.Wien. Ce document est référencé JSVM3 dans la suite. Un prédicteur de mouvement associé à une image haute résolution ou à au moins un bloc de pixels d'une image haute résolution est défini comme une image de prédiction ou un bloc de prédiction auxquels sont associés des données de mouvement (p.ex. un type de partitionnement, éventuellement des indices d'images de référence permettant d'identifier les images de référence vers lesquelles pointent les vecteurs de mouvement). Le prédicteur de mouvement est généré à partir de données de mouvement associées à au moins une image (ou trame) ou à au moins un bloc de pixels d'une image (ou à au moins un bloc de pixels d'une trame) basse résolution selon un procédé de sous échantillonnage du mouvement tel que le procédé ESS appliqué au mouvement qui est décrit dans JSVM3 ou tel que le procédé ESS modifié, décrit ci-après, dérivé du procédé ESS appliqué au mouvement. Le procédé ESS modifié, référencé MESS sur la figure 3 permet notamment de traiter des séquences haute et/ou basse résolution entrelacées. Plus particulièrement, il permet de traiter le cas où la hauteur ou la largeur de l'image haute résolution est inférieure à celle de l'image basse résolution. En outre, il permet avantageusement d'éviter que les prédicteurs de mouvement comprennent des vecteurs de mouvement invalides, i.e. qui pointent vers des images de référence non disponibles, lorsque le procédé de prédiction selon l'invention est utilisé par un procédé de codage ou décodage hiérarchique. Selon le procédé ESS modifié, un prédicteur de mouvement intermédiaire est généré en sous échantillonnant par 2 les données de mouvement associées à l'image basse résolution, plus particulièrement les données de mouvement associées à chacun des macroblocs de l'image basse résolution, dans la direction verticale de l'image, dans la direction horizontale de l'image ou dans les deux directions. Le procédé de sous échantillonnage par 2 est réitéré dans la direction verticale de l'image tant que la hauteur dudit prédicteur intermédiaire est supérieure à la hauteur de l'image haute résolution et il est réitéré dans la direction horizontale de l'image tant que la largeur dudit prédicteur intermédiaire est supérieure à la largeur de l'image haute résolution. Le sous échantillonnage consiste notamment à diviser par deux les coordonnées des vecteurs de mouvement associés aux blocs de pixels. Par exemple, en référence à la figure 4, à partir de deux macroblocs MB1 ou MB2 de l'image basse résolution éventuellement divisés en bloc de pixels, un macrobloc MB du prédicteur de mouvement intermédiaire est généré. La taille des blocs de pixels dans un macrobloc est indiquée au dessus dudit macrobloc. Par exemple, sur la deuxième ligne de la figure 4, le macrobloc MB1 n'est pas divisé, le macrobloc MB2 est divisé en deux blocs de taille 8 par 16 pixels (notée 8x16) et le macrobloc MB généré à partir de ces deux macroblocs est divisé en 4 bloc 8x8 dont deux sont divisés en blocs 4x8.
L'homogénéisation des indices d'images de référence entre les blocs de taille 8 par 8 pixels à l'intérieur d'un macrobloc MB et la suppression des blocs de type intra isolés à l'intérieur d'un macrobloc MB sont effectuées de la même manière que dans le procédé de prédiction inter-couche ESS appliqué au mouvement et décrit dans JSVM3.
Le prédicteur de mouvement associé à l'image haute résolution est généré à partir du dernier prédicteur de mouvement intermédiaire ainsi généré, en appliquant le procédé ESS avec un rapport inter-couche égal à W selon la wl direction horizontale de l'image et 2H selon la direction verticale de l'image, 2hz où w; et 2h; sont respectivement la largeur et la hauteur du dernier prédicteur de mouvement intermédiaire généré. En outre, pour chaque macrobloc de prédiction, le procédé d'héritage des vecteurs de mouvement est modifié pour ne pas générer des vecteurs de mouvement invalides, i.e. qui pointent vers des trames ou des images bi-trames non disponibles dans le processus de décomposition temporelle. En l'occurrence, si tous les vecteurs de mouvements associés à un macrobloc de prédiction MB_pred sont invalides alors la prédiction de mouvement inter-couche n'est pas autorisée pour ce macrobloc. Dans le cas contraire (i.e. au moins un des vecteurs est valide), le procédé de prédiction ESS appliqué au mouvement est utilisé. Le procédé selon l'invention, illustré par les figures 1 à 3, est décrit pour une image mais peut s'appliquer à une partie d'image et notamment à un macrobloc. Il permet par exemple de gérer le cas d'une séquence basse résolution entrelacée au format SD, i.e. de dimension 720 par 288 pixels, 60 Hz et d'une séquence haute résolution entrelacée au format 1080i, i.e. 1920 par 540 pixels, 60 Hz.
Des prédicteurs de texture associés à une image haute résolution d'indice k sur la figure 1 sont générés de la manière suivante tel qu'illustré par la figure 2:
• Un prédicteur de texture de dimension W par H est généré 20 pour la trame supérieure de l'image haute résolution à partir des données de texture de la trame supérieure de l'image basse résolution d'indice k en appliquant le procédé ESS avec un rapport inter-couche égal à W w selon la direction horizontale de l'image et h selon la direction verticale de l'image ;
• Un prédicteur de texture de dimension W par H est généré 21 pour la trame inférieure de l'image haute résolution à partir des données de texture de la trame inférieure de l'image basse résolution d'indice k en appliquant le procédé ESS avec un rapport inter-couche égal à W w selon la direction horizontale de l'image et h selon la direction verticale de l'image ; et • Un prédicteur de texture bi-trame de dimension W par 2H est généré 22 en entrelaçant les prédicteurs de texture associés aux trames supérieure et inférieure.
Selon une variante illustrée sur la figure 2 par des lignes pointillées, le prédicteur de texture bi-trame est généré 23 à partir des données de texture de l'image basse résolution bi-trame, i.e. les trames supérieure et inférieure de l'image basse résolution entrelacées, en appliquant le procédé ESS avec un rapport inter-couche égal à W selon la direction horizontale de l'image et w 2h selon la direction verticale de l'image. Si l'image basse résolution d'indice k est codée en mode mono-trame, des prédicteurs de mouvement associés à une image haute résolution d'indice k sur la figure 1 sont générés de la manière suivante tel qu'illustré par la figure 3: • Un prédicteur de mouvement de dimension W par H est généré 30 pour la trame supérieure de l'image haute résolution à partir des données de mouvement de la trame supérieure de l'image basse résolution d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à W selon la direction horizontale de l'image w et h selon la direction verticale de l'image ; • Un prédicteur de mouvement de dimension W par H est généré 31 pour la trame inférieure de l'image haute résolution à partir des données de mouvement de la trame inférieure de l'image basse résolution d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à W selon la direction horizontale de l'image w et h selon la direction verticale de l'image ; et • Un prédicteur de mouvement bi-trame de dimension W par 2H est généré 32 à partir des données de mouvement de l'image trame supérieure basse résolution d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à W selon la direction w horizontale de l'image et 2H ù selon la direction verticale de l'image.
Dans les autres cas, i.e. l'image basse résolution d'indice k est codée en mode bi-trame, des prédicteurs de mouvement associés à une image haute résolution d'indice k sur la figure 1 sont générés de la manière suivante tel qu'illustré par la figure 3:
• Un prédicteur de mouvement de dimension W par H est généré 33 pour la trame supérieure de l'image haute résolution à partir des données de mouvement de l'image bi-trame basse résolution d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à w selon la direction horizontale de l'image et h selon la direction verticale de l'image ;
• Un prédicteur de mouvement de dimension W par H est généré 33 pour la trame inférieure de l'image haute résolution à partir des données de mouvement de l'image bi-trame basse résolution d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à w selon la direction horizontale de l'image et h selon la direction verticale de l'image ; et • Un prédicteur de mouvement bi-trame de dimension W par 2H est généré 34 à partir des données de mouvement de l'image basse résolution bi-trame d'indice k en appliquant le procédé ESS modifié avec un rapport inter-couche égal à W selon la direction horizontale w de l'image et Zh selon la direction verticale de l'image.
Dans ce cas, les prédicteurs de mouvement associés aux trame inférieure et trame supérieure de l'image haute résolution sont identiques. Bien entendu, l'invention n'est pas limitée aux exemples de réalisation mentionnés ci-dessus. En particulier, l'homme du métier peut apporter toute variante dans les modes de réalisation exposés et les combiner pour bénéficier de leurs différents avantages. Par exemple, le procédé selon l'invention peut s'appliquer à une partie de l'image haute résolution. En effet, il est possible de générer des prédicteurs de mouvement et/ou de texture pour des blocs de pixels (p.ex. des macroblocs de taille 16 par 16 pixels) de l'image haute résolution à partir de données de mouvement et/ou de texture associées à des blocs de pixels des images basse résolution. De même, l'invention a été décrite dans le cas où la trame supérieure d'une image entrelacée est affichée en premier (cas top field first en anglais) et peut être étendue de manière directe au cas où la trame inférieure est affichée en premier (cas bottom field first en anglais) en inversant les trames supérieure et inférieure. Par ailleurs, l'invention peut également être étendue au cas de plusieurs séquences haute résolution (i.e. plusieurs couche d'amélioration). En outre, l'invention est avantageusement utilisée par un procédé de codage ou de décodage d'une séquence d'images ou vidéo.
Préférentiellement, la séquence d'images basse résolution est codée conformément à la norme de codage MPEG4 AVC définie dans le document ISO/IEC 14496-10 (intitulé en anglais Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding ).15