JP2007036833A

Movatterモバイル変換

Info

Publication number: JP2007036833A
Application number: JP2005219035A
Authority: JP
Inventors: Hideaki Yamada; 英明山田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2005-07-28
Filing date: 2005-07-28
Publication date: 2007-02-08

Abstract

【課題】電子透かしを埋め込んだ画像をディスプレイに表示する際に、人間の目で知覚しにくく、電子透かしを検出する際には容易に検出できるようにする。
【解決手段】画像入力部２１は、元動画像データ２５ａを読み込み、１フレーム分の画像をデコードしてフレームバッファ１５に格納する。また、画像入力部２１は画像入力用フレームバッファ１５に格納されている画像のフレーム番号を透かしパターン埋め込み部１１に通知する。透かしパターン生成部３は、ＵＲＬなどの付加情報１に基づいて特定の画像生成アルゴリズムで画像を生成し、生成された画像を透かしパターン用フレームバッファ５に格納する。画像生成アルゴリズムは、生成する透かしパターンが透かし検出部の透かし検出アルゴリズムにより検出できればよく、静止画像向けの電子透かしのアルゴリズムだけでなく、２次元シンボルのアルゴリズムやＯＣＲ技術を利用したものでもよい。
【選択図】図１When displaying an image in which a digital watermark is embedded on a display, it is difficult for the human eye to perceive it, and it is possible to easily detect a digital watermark.
An image input unit 21 reads original moving image data 25a, decodes an image for one frame, and stores the decoded image in a frame buffer 15. The image input unit 21 notifies the watermark pattern embedding unit 11 of the frame number of the image stored in the image input frame buffer 15. The watermark pattern generation unit 3 generates an image with a specific image generation algorithm based on the additional information 1 such as a URL, and stores the generated image in the watermark pattern frame buffer 5. The image generation algorithm is not limited as long as the generated watermark pattern can be detected by the watermark detection algorithm of the watermark detection unit. The image generation algorithm may use not only a digital watermark algorithm for still images but also a two-dimensional symbol algorithm or OCR technology.
[Selection] Figure 1

Description

Translated fromJapanese

本発明は、電子透かし技術に関する。電子透かしとは、画像や音声などのデジタルデータに対して、その冗長性を利用して、画質や音質にはほとんど影響を与えずに付加情報を埋め込み、この埋め込まれた情報を検出する技術である。本発明は、電子透かしの中でも、特に、情報を埋め込んだ画像を印刷又はディスプレイに表示し、カメラ付き携帯電話により撮影し情報を検出する技術に関する。 The present invention relates to a digital watermark technique. Digital watermarking is a technology that uses the redundancy of digital data such as images and sound to embed additional information with little effect on image quality and sound quality, and detect this embedded information. is there. The present invention relates to a technique for detecting information by printing an image with information embedded therein or displaying it on a display, taking a picture with a camera-equipped mobile phone, among digital watermarks.

電子透かしは、画像や音声などのデジタルデータに対して、その冗長性を利用して、画質や音質にはほとんど影響を与えずに付加情報を埋め込み、この付加情報を検出する技術である。作者名やコピー回数などを埋め込み、不正コピー等に対して著作権を主張するなどの用途に利用可能である。 Digital watermarking is a technique for detecting additional information by embedding additional information with respect to digital data such as an image and sound by using redundancy thereof and hardly affecting image quality and sound quality. It can be used for purposes such as embedding the author's name and the number of copies, and claiming copyright for illegal copies.

以下では、本発明と関連のある画像における電子透かしに関して説明する。画像における電子透かしを行うための具体的なアルゴリズムとしては、ビットプレーンに埋め込む方法や周波数に埋め込む方法などがある。 Hereinafter, a digital watermark in an image related to the present invention will be described. Specific algorithms for performing digital watermarking on images include a method of embedding in a bit plane and a method of embedding in a frequency.

ビットプレーンに埋め込む方法は、画像の特定のビットプレーンの一部を他のパターンに置換する方法である。画像の下位ビットはほとんどノイズであり、他のパターンで置換しても画質にはほとんど影響しないことを利用している。 The method of embedding in a bit plane is a method of replacing a part of a specific bit plane of an image with another pattern. It is used that the low-order bits of the image are mostly noise, and the image quality is hardly affected even if they are replaced with other patterns.

周波数に埋め込む方法としては、特定の周波数を量子化するときに、埋め込む情報のビットが０か１かによって、量子化する値を奇数か偶数に変えるなどの方法がある。その他にも様々なアルゴリズムがあり、下記の特許文献や非特許文献などにおいて、説明されている。（特許文献１、２、非特許文献１）。 As a method of embedding in a frequency, there is a method of changing a value to be quantized to an odd number or an even number depending on whether the bit of information to be embedded is 0 or 1 when quantizing a specific frequency. There are various other algorithms, which are described in the following patent documents and non-patent documents. (Patent Documents 1 and 2, Non-Patent Document 1).

画像の流通過程においては、画像圧縮や拡大縮小、一部切り取りなどが行われる。従って、実用面では、これらの処理が行われても透かし情報が消えないこと、つまり、処理に対して耐性が強いことが求められている。また、著作権主張のために電子透かしを埋め込んでも、複製者によって、透かし情報の書き換えや消去などが行われると電子透かしの目的が達成できない。従って、これらの処理に対する耐性も求められている。 In the image distribution process, image compression, enlargement / reduction, partial cropping, and the like are performed. Therefore, in practical use, it is required that the watermark information is not erased even if these processes are performed, that is, the process is highly resistant. Even if a digital watermark is embedded to claim copyright, if the watermark information is rewritten or erased by a duplicator, the purpose of the digital watermark cannot be achieved. Accordingly, resistance to these treatments is also required.

しかしながら、耐性を持たせることは重要であるが、耐性を持たせるには、同じ情報を重複して埋め込まなければならない。すなわち、耐性の強さと埋め込む情報量とはトレードオフの関係にある。 However, it is important to have resistance, but in order to have resistance, the same information must be embedded in duplicate. That is, the strength of tolerance and the amount of information to be embedded are in a trade-off relationship.

ところで、電子透かしの中には、印刷物向けの電子透かしもある。印刷物向けの電子透かしとは、デジタルデータのまま流通するのではなく、一旦電子透かしを埋め込んだ画像を印刷し、またはディスプレイに表示し、印刷または表示された画像をスキャナやカメラなどで取り込み、取り込んだ画像から透かしを検出する技術であり、カメラ付き携帯電話を利用したサービスが実用化されている。 By the way, there is a digital watermark for printed matter. Digital watermarks for printed materials are not distributed as digital data, but images that have been embedded with digital watermarks are printed or displayed on a display, and the printed or displayed images are captured by a scanner or camera. This technology detects watermarks from images, and services using camera-equipped mobile phones have been put into practical use.

従って、印刷物向け電子透かしでは、印刷や表示による色むらや汚れ、レンズの歪や画像撮影条件によって透かしが埋め込まれ画像が激しく劣化するため、デジタルのまま流通する場合よりも強い耐性が必要である。 Therefore, digital watermarks for printed materials need to be stronger than digital distribution because watermarks are embedded due to color irregularities and stains due to printing and display, lens distortion, and image shooting conditions, resulting in severe deterioration of images. .

また、印刷物向け電子透かしの用途としては、著作権の主張の他に、カメラ付き携帯電話で画像を読み取り、画像からインターネットサイトのアドレスを検出して、動画などのコンテンツをダウンロードするサービスなどがある。
特開2005-028797号公報特開2004-015396号公報松井甲子雄著、「電子透かしの基礎」、森北出版株式会社、発行年：１９９８年８月２１日。In addition to copyright claims, the use of digital watermarks for printed materials includes services such as scanning images with a camera-equipped mobile phone, detecting the address of an Internet site from the images, and downloading content such as videos. .
JP 2005-028797 JP 2004-015396 A Kojio Matsui, “Basics of Digital Watermarking”, Morikita Publishing Co., Ltd., Published: August 21, 1998.

印刷物向け電子透かしに関してもいくつかのアルゴリズムが提案されており、輝度や黄色成分などに対して、隣接したブロックの階調差、周波数領域に埋め込む技術、ウェーブレット変換係数にパッチワーク法で埋め込む技術などが提案されている。しかしながら、印刷物向け電子透かしにおいても、耐性の強さと埋め込む情報量とはトレードオフになる。情報を埋め込んでも画質の劣化が少ないことが望ましいが、画像入出力による劣化に対する強い耐性が要求されるため、QVGA程度のサイズの画像に数十ビット程度の情報を埋め込むだけでも画質の劣化が目立つという問題がある。 Several algorithms have also been proposed for digital watermarks for printed materials, such as the technology of embedding in the gradation difference of adjacent blocks, the frequency domain, and the technology of embedding wavelet transform coefficients in the patchwork method for luminance and yellow components. Has been proposed. However, even in digital watermarks for printed materials, the strength of tolerance and the amount of information to be embedded are a trade-off. Although it is desirable that image quality degradation is small even when information is embedded, image quality degradation is conspicuous only by embedding information of about several tens of bits in an image of the size of about QVGA because it is required to have strong resistance against image input / output degradation. There is a problem.

本発明は、電子透かしが埋め込まれた画像をディスプイに表示する場合において、画質の劣化を抑制できる電子透かし埋め込み技術を提供することを目的とする。 An object of the present invention is to provide a digital watermark embedding technique capable of suppressing deterioration in image quality when an image with a digital watermark embedded is displayed on a display.

本発明の一観点によれば、画像内に電子透かしを埋め込む電子透かし埋め込み方法であって、動画像を入力する画像入力ステップと、電子透かしパターンを格納する電子透かしパターン格納ステップと、動画像のフレームに電子透かしパターンを埋め込む電子透かしパターン埋め込みステップと、電子透かしパターンを埋めこんだ動画像を出力する画像出力ステップと、を有し、前記動画像に電子透かしパターンを埋め込むステップにおいて、前記動画像中に電子透かしパターンのフレームと該透かしパターンの反転パターンのフレームとを埋め込むことを特徴とする電子透かし埋め込み方法が提供される。 According to one aspect of the present invention, there is provided a digital watermark embedding method for embedding a digital watermark in an image, an image input step for inputting a moving image, a digital watermark pattern storing step for storing a digital watermark pattern, A digital watermark pattern embedding step for embedding a digital watermark pattern in a frame; and an image output step for outputting a video image in which the digital watermark pattern is embedded, wherein in the step of embedding the digital watermark pattern in the video image, the video image There is provided a digital watermark embedding method characterized by embedding a frame of a digital watermark pattern and a frame of an inverted pattern of the watermark pattern therein.

第１のフレームに前記電子透かしパターンを、前記第１のフレームに隣接する第２のフレームに前記反転パターンを埋め込むのが好ましい。 Preferably, the digital watermark pattern is embedded in a first frame, and the inverted pattern is embedded in a second frame adjacent to the first frame.

上記方法によれば、動画像に透かしが埋め込まれた成分が時間的に平均化されるため、透かしパターンを人間の目で知覚しにくくなる。 According to the above method, since the component in which the watermark is embedded in the moving image is temporally averaged, it becomes difficult for the human eye to perceive the watermark pattern.

また、画像内に電子透かしを埋め込む電子透かし埋め込み方法であって、動画像に透かしパターンを埋め込むステップにおいて、埋め込む対象の透かしパターンのレンジを変換するレンジ変換ステップを有することを特徴とする電子透かし埋め込み方法が提供される。 An electronic watermark embedding method for embedding an electronic watermark in an image, comprising the step of converting a range of a watermark pattern to be embedded in the step of embedding a watermark pattern in a moving image. A method is provided.

前記レンジ変換ステップのレンジ変換において元のレンジより小さくすることが好ましい。上記方法によれば、埋め込みパターンのレンジを入力画像の変動に対して十分小さくとることにより、透かしパターンを人間の目で知覚しにくくなる。前記電子透かしは、画像に対する付加情報であることを特徴とする。 It is preferable to make it smaller than the original range in the range conversion of the range conversion step. According to the above method, it becomes difficult for the human eye to perceive the watermark pattern by making the range of the embedded pattern sufficiently small with respect to the fluctuation of the input image. The digital watermark is additional information for an image.

本発明の他の観点によれば、画像内に電子透かしを埋め込む電子透かし埋め込み装置であって、動画像を入力する画像入力手段と、電子透かしパターンを格納する電子透かしパターン格納手段と、動画像のフレームに電子透かしパターンを埋め込む電子透かしパターン埋め込み手段と、電子透かしパターンを埋めこんだ動画像を出力する画像出力手段と
を有することを特徴とする電子透かし埋め込み装置が提供される。According to another aspect of the present invention, there is provided an electronic watermark embedding apparatus for embedding an electronic watermark in an image, an image input means for inputting a moving image, an electronic watermark pattern storage means for storing an electronic watermark pattern, and a moving image There is provided an electronic watermark embedding apparatus comprising: an electronic watermark pattern embedding means for embedding an electronic watermark pattern in the frame; and an image output means for outputting a moving image in which the electronic watermark pattern is embedded.

前記電子透かしパターン格納部に格納された透かしパターンのレンジを変換するレンジ変換手段を有することが好ましい。また、前記電子透かしパターン埋め込み手段が、フレームの一部を反転させる手段を有することが好ましい。さらに、前記電子透かしパターン埋め込み手段が、電子透かしパターンの２つ１組のフレームの一方をそのままにし、もう一方を反転させる手段を有することが好ましい。 It is preferable to have range conversion means for converting the range of the watermark pattern stored in the digital watermark pattern storage unit. Further, it is preferable that the digital watermark pattern embedding means has means for inverting a part of the frame. Further, it is preferable that the digital watermark pattern embedding unit includes a unit that leaves one of a pair of frames of the digital watermark pattern as it is and reverses the other.

本発明の別の観点によれば、画像内に埋め込まれた付加情報を検出する電子透かし検出方法であって、電子透かしパターンが埋め込まれた動画像を入力する画像入力ステップと、動画像の電子透かしパターンが埋め込まれたフレーム差分を抽出するフレーム差分抽出ステップとを有することを特徴とする電子透かし検出方法が提供される。フレームの差分により電子透かしを検出することができる。 According to another aspect of the present invention, there is provided a digital watermark detection method for detecting additional information embedded in an image, an image input step for inputting a moving image in which a digital watermark pattern is embedded, and electronic processing of the moving image. There is provided a digital watermark detection method comprising a frame difference extraction step of extracting a frame difference in which a watermark pattern is embedded. A digital watermark can be detected based on the difference between frames.

本発明のさらに別の観点によれば、画像内に埋め込まれた付加情報を検出する電子透かし検出方法であって、電子透かしパターンが埋め込まれた動画像を入力する画像入力ステップと、動画像の電子透かしパターンが埋め込まれたフレーム差分を抽出するフレーム差分抽出ステップと、抽出されたフレーム差分のヒストグラムを変換するヒストグラム変換ステップとを有することを特徴とする電子透かし検出方法が提供される。 According to still another aspect of the present invention, there is provided an electronic watermark detection method for detecting additional information embedded in an image, an image input step for inputting a moving image in which an electronic watermark pattern is embedded, There is provided a digital watermark detection method comprising: a frame difference extraction step for extracting a frame difference in which a digital watermark pattern is embedded; and a histogram conversion step for converting a histogram of the extracted frame difference.

また、画像内に埋め込まれた付加情報を検出する電子透かし検出装置であって、電子透かしパターンが埋め込まれた動画像を入力する画像入力手段と、動画像の電子透かしパターンが埋め込まれたフレーム差分を抽出するフレーム差分抽出手段とを有することを特徴とする電子透かし検出装置が提供される。 An electronic watermark detection apparatus for detecting additional information embedded in an image, the image input means for inputting a moving image in which the digital watermark pattern is embedded, and a frame difference in which the digital watermark pattern of the moving image is embedded There is provided a digital watermark detection apparatus characterized by comprising a frame difference extraction means for extracting.

本発明の電子透かし埋め込み装置によれば、埋め込みパターンのレンジを入力画像の変動に対して十分小さくとることにより、透かしパターンを人間の目で知覚しにくくなる。 According to the digital watermark embedding apparatus of the present invention, it is difficult for the human eye to perceive the watermark pattern by setting the range of the embedding pattern sufficiently small with respect to the fluctuation of the input image.

また、本発明の電子透かし埋め込み装置によれば、埋め込みパターンをフレームのペアの一方に対して反転して埋め込むことにより、透かしが埋め込まれた成分が時間的に平均化されるため、透かしパターンを人間の目で知覚しにくくなる。本発明の電子透かし検出装置によれば、フレーム差分を取ることにより電子透かしパターンを検出しやすくなる。 Further, according to the digital watermark embedding apparatus of the present invention, since the embedded pattern is inverted with respect to one of the pair of frames and embedded, the components with embedded watermark are temporally averaged. It becomes difficult for human eyes to perceive. According to the digital watermark detection apparatus of the present invention, it is easy to detect a digital watermark pattern by taking a frame difference.

本発明の電子透かし埋め込み装置および電透かし検出装置によれば、上記の工夫により、一般に知られている静止画像向けの電子透かしのアルゴリズムだけでなく、2次元シンボルのアルゴリズムやOCRを利用することができる。 According to the digital watermark embedding device and the digital watermark detection device of the present invention, the above-described device makes it possible to use not only a generally known digital watermark algorithm for still images but also a two-dimensional symbol algorithm and OCR. it can.

以下、本発明の第１の実施の形態について図面を参照しつつ説明を行う。まず、本発明の第１の実施の形態による電子透かし技術について説明する。本実施の形態においては、メモリ上にある動画像データに電子透かしを埋め込み、透かしが埋め込まれた動画像データをメモリに保存することを特徴とする。 The first embodiment of the present invention will be described below with reference to the drawings. First, the digital watermark technique according to the first embodiment of the present invention will be described. The present embodiment is characterized in that a digital watermark is embedded in the moving image data on the memory, and the moving image data in which the watermark is embedded is stored in the memory.

図１示すように、本実施の形態による電子透かし埋め込み装置Ａは、画像入力部２１と、透かしパターン埋め込み部１１と、透かしパターン生成部３と、レンジ変換部７と、画像出力部２３および画像入力用フレームバッファ１６と、透かしパターン用フレームバッファ５と、画像出力用フレームバッファ１７と、を有している。画像入力部２１は、メモリ２５に格納されている元動画像データ２５ａを読み込み、１フレーム分の画像をフレームバッファ１５に格納する。ここで、元動画像データ２５ａは、一般に圧縮されたファイルであるため、画像入力部２１はデコーダを内蔵し、元動画像データ２５ａをデコードして１フレームの画像をフレームバッファ１５に出力する。また、画像入力部２１はデコードした画像、つまり画像入力用フレームバッファ１５に格納されている画像のフレーム番号を透かしパターン埋め込み部１１に通知する。 As shown in FIG. 1, the digital watermark embedding apparatus A according to the present embodiment includes animage input unit 21, a watermarkpattern embedding unit 11, a watermark pattern generation unit 3, arange conversion unit 7, animage output unit 23, and an image. An input frame buffer 16, a watermark pattern frame buffer 5, and an imageoutput frame buffer 17 are provided. Theimage input unit 21 reads the original moving image data 25 a stored in the memory 25 and stores an image for one frame in theframe buffer 15. Here, since the original moving image data 25 a is generally a compressed file, theimage input unit 21 includes a decoder, decodes the original moving image data 25 a, and outputs an image of one frame to theframe buffer 15. Theimage input unit 21 notifies the watermarkpattern embedding unit 11 of the decoded image, that is, the frame number of the image stored in the imageinput frame buffer 15.

透かしパターン生成部３は、ＵＲＬなどの付加情報１に基づいて特定の画像生成アルゴリズムで画像を生成し、生成された画像を透かしパターン用フレームバッファ５に格納する。画像生成アルゴリズムは、生成する透かしパターンが後述する透かし検出部の透かし検出アルゴリズムにより検出できればよく、一般に知られている静止画像向けの電子透かしのアルゴリズムだけでなく、２次元シンボルのアルゴリズムやOCR（光学式文字読み取り装置）技術を利用したものでもよい。 The watermark pattern generation unit 3 generates an image with a specific image generation algorithm based on theadditional information 1 such as a URL, and stores the generated image in the watermark pattern frame buffer 5. The image generation algorithm only needs to be able to detect the watermark pattern to be generated by the watermark detection algorithm of the watermark detection unit, which will be described later. In addition to the generally known digital watermark algorithm for still images, two-dimensional symbol algorithms and OCR (optical It is also possible to use a formula character reader) technology.

また、透かしパターン生成部３は、入力画像のフレーム番号によるグループに対して同じ透かしパターンを生成する。 Further, the watermark pattern generation unit 3 generates the same watermark pattern for a group based on the frame number of the input image.

図２は、以上の３つの連続する入力画像に対して、同じ透かしパターンを割り当てる状況を説明している。図１も参照して説明する。透かしパターン埋め込み部１１は、図２に示すように、画像入力用フレームバッファ１５に格納されている画像と透かしパターン用フレームバッファ５に格納されている画像とを合成して画像出力用フレームバッファ１７に出力する。また、透かしパターン埋め込み部１１は、図３に示すように、画像入力部２１から出力され画像入力フレームバッファ１５に格納される入力画像シーケンスの複数のフレームに対して、透かしパターンを割り当てる。そのうち、半数は透かしパターンをそのまま埋めこみ、残りの半数は反転して埋め込む。以下に、透かしパターン埋め込み部１１とレンジ変換部７による処理結果を、数式を使って説明する。図２において、入力画像３１および出力画像３５は、YUVの３成分からなる。透かしパターン３３は、YUVの３成分又はそのうちの２成分又は１成分からなる。透かしを埋め込む成分はYUVのいずれでもよく、またRGB成分のいずれでもよい。入力画像３１および出力画像３５の透かしを埋め込む成分および透かしの成分上の注目画素の値をＦｉ、Ｇｉ、Ｗｋとする。Ｆｉ、Ｇｉの添え字ｉはフレーム番号iに対応している。Ｗｋの添え字ｋは、透かしパターンの種類に対応している。また、Ｆｉ、Ｇｉ、Ｗｋのレンジを０からＲ−１とする。 FIG. 2 illustrates a situation in which the same watermark pattern is assigned to the above three consecutive input images. This will be described with reference to FIG. As shown in FIG. 2, the watermarkpattern embedding unit 11 synthesizes the image stored in the imageinput frame buffer 15 and the image stored in the watermark pattern frame buffer 5 to generate an imageoutput frame buffer 17. Output to. Further, as shown in FIG. 3, the watermarkpattern embedding unit 11 assigns a watermark pattern to a plurality of frames of the input image sequence output from theimage input unit 21 and stored in the imageinput frame buffer 15. Of these, half embed the watermark pattern as it is, and the other half is inverted and embedded. Hereinafter, the processing results by the watermarkpattern embedding unit 11 and therange conversion unit 7 will be described using mathematical expressions. In FIG. 2, aninput image 31 and anoutput image 35 are composed of three YUV components. Thewatermark pattern 33 is composed of three components of YUV or two or one of them. The component in which the watermark is embedded may be any of YUV and any of RGB components. The component of embedding the watermark of theinput image 31 and theoutput image 35 and the value of the pixel of interest on the watermark component are Fi, Gi, and Wk. The subscript i of Fi and Gi corresponds to the frame number i. The subscript k of Wk corresponds to the type of watermark pattern. Also, the range of Fi, Gi, Wk is set to 0 to R-1.

レンジ変換部７は、透かしパターンの成分のレンジを変換する。変換前の値Ｗｋはレンジ変換部７において以下の式に基づいてwkに変換される。 Therange converter 7 converts the range of the watermark pattern components. The value Wk before conversion is converted into wk by therange conversion unit 7 based on the following equation.

次に、透かし埋め込み部１１の動作について説明する。ｎ番目のフレームとｍ番目のフレームとをペアとし、ｎ番目のフレームにはそのまま透かしを埋め込み、ｍ番目のフレームには透かしを反転して埋め込む。ｎ番目のフレームとｍ番目のフレームの透かしが埋め込まれている成分の注目画素Ｇｎ、Ｇｍは以下のようになる。 Next, the operation of thewatermark embedding unit 11 will be described. The nth frame and the mth frame are paired, the watermark is embedded in the nth frame as it is, and the watermark is inverted and embedded in the mth frame. The target pixels Gn and Gm of the component in which the watermarks of the nth frame and the mth frame are embedded are as follows.

ここで、Ｗｋに(r-1)/(Ｒ-１)を乗算しているのは、ＷｋのレンジをＦｉ、Ｇｉのレンジと比べて十分小さくするためである。ｒはRより小さく、入力画像Ｆｉの局所的な変動と比べても小さくとる。また、２つのフレームは連続している、つまりｍ＝ｎ＋１かｎ＝ｍ＋１でよいが、連続していなくてもよい。また、Limit Rは変換後の画素がレンジ内に収まるようにする関数で、以下のように定義する。 Here, the reason why Wk is multiplied by (r-1) / (R-1) is to make the Wk range sufficiently smaller than the Fi and Gi ranges. r is smaller than R and smaller than the local variation of the input image Fi. Also, the two frames may be continuous, that is, m = n + 1 or n = m + 1, but may not be continuous. Limit R is a function that allows converted pixels to fall within the range and is defined as follows.

最後に、画像出力部２３はエンコーダを内蔵し、画像出力フレームバッファ１７に格納されている透かしが埋め込まれた１1フレーム分の画像を入力し、エンコードしてメモリに透かしが埋め込まれた動画像データ２７ａをメモリ２７に出力する。
以上に処理により、動画像に透かしを埋め込むことができる。Finally, theimage output unit 23 incorporates an encoder, inputs an image for 11 frames embedded with the watermark stored in the imageoutput frame buffer 17, encodes the moving image data in which the watermark is embedded in the memory. 27a is output to the memory 27.
Through the above processing, a watermark can be embedded in the moving image.

次に、本発明の第２の実施の形態による装置について説明を行う。
本実施の形態による装置は、メモリ上にある透かしが埋め込まれた動画像データから、透かしを検出する電子透かし検出装置である。本実施の形態による電子透かし検出装置は、図４のように透かしが埋め込まれた動画像データ２７ａを格納するメモリ２７と、画像入力部６３と、前フレーム用フレームバッファ６１と、フレーム遅延部５７と、後フレーム用フレームバッファ５５と、フレーム差分抽出部５３と、フレーム差分用フレームバッファ５１と、ヒストグラム変換部４７と、検出画像用フレーバッファ４５、および透かしパターン検出部４３と、を有している。Next, an apparatus according to the second embodiment of the present invention will be described.
The apparatus according to the present embodiment is a digital watermark detection apparatus that detects a watermark from moving image data in which a watermark is embedded in a memory. The digital watermark detection apparatus according to the present embodiment includes a memory 27 for storing moving image data 27a in which a watermark is embedded, animage input unit 63, a previousframe frame buffer 61, and aframe delay unit 57 as shown in FIG. Aframe buffer 55 for a subsequent frame, a framedifference extraction unit 53, aframe buffer 51 for a frame difference, ahistogram conversion unit 47, aframe buffer 45 for a detected image, and a watermarkpattern detection unit 43. Yes.

画像入力部６３はデコーダを内蔵し、メモリ２７上の透かしが埋め込まれた動画像データ２７ａをデコードし、画像入力用フレームバッファ６１に格納する。フレーム遅延部５７は内部にバッファを持ち、画像入力部６３からフレーム番号を取得し、前フレーム用フレームバッファ６１に格納されている画像を数フレーム格納しておき、後フレーム用フレームバッファ５５に出力する。 Theimage input unit 63 incorporates a decoder, decodes the moving image data 27 a embedded with the watermark on the memory 27, and stores it in the imageinput frame buffer 61. Theframe delay unit 57 has an internal buffer, acquires a frame number from theimage input unit 63, stores several frames of the image stored in theframe buffer 61 for the previous frame, and outputs them to theframe buffer 55 for the subsequent frame To do.

フレーム差分抽出部５５は、前フレーム用フレームバッファ６１と後フレーム用フレームバッファ５５とに格納されており、同一のパターンがそのまま埋め込まれている画像と、反転して埋め込まれているペアの画像とを入力し、その２つの画像の差分を計算し、フレーム差分用バッファ５３に出力する。 The framedifference extraction unit 55 is stored in theframe buffer 61 for the previous frame and theframe buffer 55 for the subsequent frame, and an image in which the same pattern is embedded as it is, and a pair of images embedded in an inverted manner, , And the difference between the two images is calculated and output to theframe difference buffer 53.

ここで、ｎ番目のフレームにはそのまま透かしパターンが埋めこまれ、ｍ番目のフレームはｎ番目のフレームのペアで、同じ透かしが反転して埋め込まれているとする。ｎ番目のフレームと、ｍ番目のフレームの透かしが埋め込まれている成分の注目画素をそれぞれＧｎ、Ｇｍとすると、出力される差分画像の注目画素ΔＧは以下のようになる。 Here, it is assumed that the watermark pattern is embedded in the nth frame as it is, the mth frame is a pair of the nth frame, and the same watermark is inverted and embedded. If the target pixel of the component in which the watermark of the nth frame and the mth frame is embedded is Gn and Gm, the target pixel ΔG of the output difference image is as follows.

この関数LimitRも（3）式で定義されたものである。
R/2を足しているのはΔGが０か正の値しかとらないのに対して、Ｇｎ−Ｇｍが負の値になることを考慮したものである。This function LimitR is also defined by equation (3).
The addition of R / 2 takes into account that Gn−Gm becomes a negative value while ΔG takes only 0 or a positive value.

レンジ変換部７は、R/2を閾値とした２値化を行う。出力をPとすると以下の式で表すことができる。 Therange conversion unit 7 performs binarization using R / 2 as a threshold value. If the output is P, it can be expressed by the following equation.

電子透かし検出部４３は、差分画像用フレームバッファ４５に格納された差分画像を入力し、電子透かしとして埋め込まれた付加情報の検出を行う。ここで、検出のアルゴリズムは上記第１の実施の形態による電子透かし埋め込み装置の透かしパターン生成部３のものと対応したものである。 The digitalwatermark detection unit 43 receives the differential image stored in the differentialimage frame buffer 45 and detects additional information embedded as a digital watermark. Here, the detection algorithm corresponds to that of the watermark pattern generation unit 3 of the digital watermark embedding apparatus according to the first embodiment.

電子透かし検出装置で用いる電子透かしが埋め込まれた動画像データは、電子透かし埋め込み装置で生成されたものをそのまま用いれば良く、一旦ディスプレイに表示し、カメラで取り込んでもよい。図６は、透かしが埋め込まれた動画像データ２７ａをディスプレイ７１に写し、表示画面７１ａの画像をカメラ７３により取り込み、画像出力部７５を介してメモリに動画像データ７７ａを格納する様子を示す図である。 The moving image data embedded with the digital watermark used in the digital watermark detection apparatus may be used as it is generated by the digital watermark embedding apparatus, and may be once displayed on the display and captured by the camera. FIG. 6 is a diagram showing a state in which the moving image data 27a embedded with a watermark is copied to thedisplay 71, the image on thedisplay screen 71a is captured by thecamera 73, and the moving image data 77a is stored in the memory via theimage output unit 75. It is.

以上に説明したように、本実施の形態による電子透かし埋め込み装置によれば、埋め込みパターンのレンジを入力画像の変動に対して十分小さくとることにより、透かしパターンを人間の目で知覚しにくくすることができる。 As described above, according to the digital watermark embedding device according to the present embodiment, the watermark pattern can be made difficult to be perceived by human eyes by making the range of the embedded pattern sufficiently small with respect to the fluctuation of the input image. Can do.

また、本実施の形態による電子透かし埋め込み装置によれば、埋め込みパターンをフレームのペアの一方に対して反転して埋め込むことにより、透かしが埋め込まれた成分が時間的に平均化されるため、透かしパターンを人間の目で知覚しにくくなる。 Further, according to the digital watermark embedding device according to the present embodiment, since the embedding pattern is inverted with respect to one of the pair of frames and embedded, the embedded component is temporally averaged. It becomes difficult for human eyes to perceive the pattern.

一方、本実施の形態による電子透かし検出装置によれば、フレーム差分を取ることにより電子透かしパターンを検出しやすくなる。このことは、特に２つのフレームの画像がほとんど動いていないときに有効であり、このことを数式で示すことができる。例えば、（4）式に（2）式を代入し、０からR-1のレンジの制限を無視して、Fn=Fmと仮定すれば、フレーム差は以下のようになる。 On the other hand, according to the digital watermark detection apparatus of the present embodiment, it is easy to detect a digital watermark pattern by taking a frame difference. This is particularly effective when the images of two frames are hardly moving, and this can be expressed by a mathematical expression. For example, substituting equation (2) into equation (4), ignoring the range restriction from 0 to R-1, and assuming that Fn = Fm, the frame difference is as follows.

つまり、透かしパターンのみが抽出され、さらにそのレンジが２倍に拡大されることがわかる。ただし、（６）式からわかるように、ΔGはR/2を中心とした分布になる。 That is, it can be seen that only the watermark pattern is extracted and the range is further doubled. However, as can be seen from equation (6), ΔG has a distribution centered on R / 2.

一般に２次元コードまたはOCRは、２値化した画像を対象としているため、フレーム差分ΔGをR/2を閾値として２値化することにより、２次元コードまたはOCRを静止画像用の電子透かしの代わりに使用した場合に、それらの検出精度を上げることができる。 In general, two-dimensional code or OCR is intended for a binarized image. Therefore, by binarizing the frame difference ΔG with R / 2 as a threshold value, the two-dimensional code or OCR can be used in place of a digital watermark for still images. When used for the above, the detection accuracy thereof can be increased.

言い換えると、本実施の形態による電子透かし埋め込み装置および電透かし検出装置によれば、一般に知られている静止画像向けの電子透かしのアルゴリズムだけでなく、２次元シンボルのアルゴリズムやOCRを利用することができるという利点がある。 In other words, according to the digital watermark embedding device and the digital watermark detection device according to the present embodiment, not only a generally known digital watermark algorithm for still images but also a two-dimensional symbol algorithm or OCR can be used. There is an advantage that you can.

本発明は、電子透かし技術に利用可能である。 The present invention is applicable to digital watermark technology.

本発明の第１の実施の形態による電子透かし埋め込み装置の構成例を示す図である。It is a figure which shows the structural example of the digital watermark embedding apparatus by the 1st Embodiment of this invention.透かしパターン埋め込み部の入力と出力とを示す図である。It is a figure which shows the input and output of a watermark pattern embedding part.透かしパターン埋め込みにおいて、透かしパターンとそのまま埋め込むフレームと反転して埋め込むフレームとの関係を示す図である。In watermark pattern embedding, it is a figure which shows the relationship between a watermark pattern and the frame embedded as it is, and the frame embedded reversely.本発明の第２の実施の形態による電子透かし検出装置の一構成例を示す図である。It is a figure which shows the example of 1 structure of the digital watermark detection apparatus by the 2nd Embodiment of this invention.フレーム差分抽出部の入力と出力とを示す図である。It is a figure which shows the input and output of a flame | frame difference extraction part.ディスプレイに写した画像をカメラで取り込む様子を示す図である。It is a figure which shows a mode that the image copied on the display is taken in with a camera.

符号の説明Explanation of symbols

Ａ…電子透かし埋め込み装置、３…電子透かしパターン生成部、５…電子透かしパターン用フレームバッファ、１１…電子透かしパターン埋め込み部、７…レンジ変換部、１５…画像入力用フレームバッファ、１７…画像出力用フレームバッファ、２１…画像入力部、２３…画像出力部、２５…メモリ、２５ａ…元動画像データ。 DESCRIPTION OF SYMBOLS A ... Digital watermark embedding apparatus, 3 ... Digital watermark pattern production | generation part, 5 ... Digital watermark pattern frame buffer, 11 ... Digital watermark pattern embedding part, 7 ... Range conversion part, 15 ... Image input frame buffer, 17 ... Image output Frame buffer, 21... Image input unit, 23... Image output unit, 25.