JP4502392B2 - Image processing apparatus and control method thereof - Google Patents
Image processing apparatus and control method thereofDownload PDFInfo
- Publication number
- JP4502392B2 JP4502392B2JP2005164866AJP2005164866AJP4502392B2JP 4502392 B2JP4502392 B2JP 4502392B2JP 2005164866 AJP2005164866 AJP 2005164866AJP 2005164866 AJP2005164866 AJP 2005164866AJP 4502392 B2JP4502392 B2JP 4502392B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- transfer
- moving image
- display
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimiles In General (AREA)
- Studio Devices (AREA)
Description
Translated fromJapanese本発明は、撮像装置などの画像処理装置からＰＣなどの外部装置にデータを転送する技術に関する。 The present invention relates to a technique for transferring data from an image processing device such as an imaging device to an external device such as a PC.
現在、ＩＥＥＥ１３９４、ＵＳＢ、イーサネット（登録商標）等の通信インタフェースを備える撮像装置が普及している。そのため、撮像装置から、パーソナルコンピュータ（ＰＣ）やハードディスクレコーダ等の外部装置へ、撮像装置の備える記憶媒体が保持する画像データを転送することが容易になりつつある。画像データの転送は、撮像装置と外部装置を、前述の通信インタフェースで接続することにより、行なわれる。撮像装置のユーザは、転送された画像データを、大画面テレビで鑑賞したり、ＰＣで編集したりすることが可能である。 Currently, imaging apparatuses having communication interfaces such as IEEE 1394, USB, and Ethernet (registered trademark) are widely used. Therefore, it is becoming easier to transfer image data held in a storage medium included in the imaging device from the imaging device to an external device such as a personal computer (PC) or a hard disk recorder. The image data is transferred by connecting the imaging device and the external device through the communication interface described above. The user of the imaging apparatus can view the transferred image data on a large screen television or edit it on a PC.
従来の撮像装置には、画像データを外部装置に転送する際に、転送中の画像データを外部装置の表示部（例えば液晶ディスプレイ）に表示し、ユーザが転送中の画像データの内容を認識可能にするものがある（特許文献１参照）。 In conventional imaging devices, when transferring image data to an external device, the image data being transferred is displayed on a display unit (eg, a liquid crystal display) of the external device so that the user can recognize the contents of the image data being transferred. (See Patent Document 1).
特許文献１に開示される方法によれば、撮像装置は、動画データを転送する前に、撮像装置内で表示用の静止画データを作成し、作成した表示用の静止画データを外部装置に転送する。その後、動画データの外部装置への転送を開始し、外部装置は動画データを受信しながら先に受信した表示用の静止画データを順次表示部に表示する。 According to the method disclosed in Patent Literature 1, the imaging device creates display still image data in the imaging device before transferring the moving image data, and the created still image data for display to the external device. Forward. Thereafter, transfer of the moving image data to the external device is started, and the external device sequentially displays the still image data for display received earlier on the display unit while receiving the moving image data.
特許文献１に開示される方法による処理の流れを以下に詳細に説明する。 The flow of processing by the method disclosed in Patent Document 1 will be described in detail below.
まず、送信側の撮像装置と受信側の外部装置（ここでは、ＰＣとする）が接続され、画像データの転送準備が整った後、ユーザは転送対象の動画データを選択し、撮像装置とＰＣに転送開始指示を与える。 First, after a transmission-side imaging device and a reception-side external device (herein referred to as a PC) are connected and ready for transfer of image data, the user selects moving image data to be transferred, and the imaging device and the PC Is given a transfer start instruction.
送信側の撮像装置は、転送開始指示を受信すると、転送対象の動画データから先頭のフレーム画像を代表静止画として抽出する。続いて、撮像装置は、その動画データの所定数のフレームごとにフレーム画像を順次代表静止画として抽出する。動画データ全体から代表静止画の抽出が終わると、撮像装置は、抽出した代表静止画を圧縮する。圧縮処理が終わると撮像装置は、転送対象の動画データの総フレーム数、圧縮した代表静止画、音声ファイル、動画データを順にＰＣへ送信する。 When receiving the transfer start instruction, the transmission-side imaging apparatus extracts the first frame image from the transfer target moving image data as a representative still image. Subsequently, the imaging device sequentially extracts frame images as representative still images for each predetermined number of frames of the moving image data. When the extraction of the representative still image is completed from the entire moving image data, the imaging apparatus compresses the extracted representative still image. When the compression processing is completed, the imaging apparatus sequentially transmits the total number of frames of moving image data to be transferred, the compressed representative still image, audio file, and moving image data to the PC.
受信側のＰＣは、転送開始指示を受信すると、転送対象の動画データの総フレーム数、代表静止画、音声ファイル、動画データを順に受信する。代表静止画を受信後、ＰＣは動画データの受信の準備を行ない、代表静止画をディスプレイに表示する準備を行なう。動画データの受信を開始すると、ＰＣは動画データのフレーム数をカウントし、そのフレームに対応する代表静止画が存在する場合にはその代表静止画をディスプレイに表示する。動画データの各フレームを受信するたびに対応する代表静止画を順次表示することにより、ＰＣは転送中の動画データの内容をユーザが認識可能な形でリアルタイムに表示することができる。
しかしながら、従来の画像データの転送技術には、以下に述べる問題点がある。すなわち、画像データの転送に先立って、送信側の撮像装置であらかじめ受信側のＰＣで表示するための画像データを作成し、送信しておく必要がある。これにより、画像データの転送準備に時間がかかり、転送するデータ量が増大するため転送時間も長くなる。 However, the conventional image data transfer technique has the following problems. In other words, prior to the transfer of image data, it is necessary to create and transmit image data to be displayed on the reception-side PC in advance by the transmission-side imaging device. As a result, preparation for transferring image data takes time, and the amount of data to be transferred increases, so that the transfer time also becomes longer.
また、送信側の撮像装置では代表画像抽出・圧縮処理、受信側のＰＣでは画像展開処理が必要となり、そのために、受信側、送信側ともに、メモリ、ＣＰＵといった資源を多量に消費する。 In addition, a representative image extraction / compression process is required in the image pickup apparatus on the transmission side, and an image expansion process is required on the PC on the reception side. Therefore, both the reception side and the transmission side consume a large amount of resources such as memory and CPU.
さらに、受信側で前述の各処理を行なう特別なソフトウェアアプリケーション等が必要であり、これを事前にＰＣにインストールするなどの準備が必要となる。したがって、アプリケーションが入っていないＰＣでは転送中の画像データを表示することができない。 Furthermore, a special software application or the like that performs the above-described processes is required on the receiving side, and preparations such as installing it in a PC in advance are required. Therefore, the image data being transferred cannot be displayed on a PC that does not contain an application.
本発明はこのような状況に鑑みてなされたものであり、転送中の画像データの内容をユーザが認識可能な形でリアルタイムに表示しつつ、送信側及び受信側の装置の負担を減らし、転送に要する時間を短縮し、受信側は従来の装置を使用可能な技術を提供することを目的とする。 The present invention has been made in view of such a situation. While displaying the contents of image data being transferred in real time in a form that can be recognized by the user, the load on the transmission side and reception side devices is reduced, and transfer is performed. It is an object of the present invention to provide a technique capable of reducing the time required for the reception and using the conventional apparatus on the receiving side.
上記課題を解決するために、本発明の画像処理装置は、表示部を備える画像処理装置であって、転送指示に従って動画データを非同期転送モードで外部装置に転送する転送手段と、前記動画データを構成するフレーム群から、前記転送手段の通信速度に基づいて決定されたフレーム間隔で抽出したフレーム画像から代表画像を取得する取得手段と、前記転送手段による前記動画データの転送中に、前記取得手段により該動画データから取得された代表画像を前記表示部に表示する表示手段と、を備えることを特徴とする。In order to solve the above problems, an image processing apparatus of the present invention is an image processing apparatus including a display unit, and a transfer means for transferring to the external devicevideo data in the asynchronous transfer mode according to the transfer instruction,themoving image data An acquisition unit that acquires a representative imagefrom a frame image extracted at a frame interval determined based on a communication speed of the transfer unit from a frame group that constitutes , and theacquisition unit during transfer of themoving image data by the transferunit the characterized in that it comprises a display means for displaying the representativeimage obtained from themoving image data on the display unit.
また、本発明の制御方法は、表示部を備える画像処理装置を制御する制御方法であって、転送指示に従って動画データを非同期転送モードで外部装置に転送する転送工程と、前記動画データを構成するフレーム群から、前記転送工程における通信速度に基づいて決定されたフレーム間隔で抽出したフレーム画像から代表画像を取得する取得工程と、前記転送工程による前記動画データの転送中に、前記取得工程において該動画データから取得された代表画像を前記表示部に表示する表示工程と、を備えることを特徴とする。The control method of the present invention is a control method for controlling an image processing apparatus including a display unit, a transfer step of transferring to the external device in the asynchronous transfer modevideo data according to the transfer instructionforming themoving picture data An acquisition step of acquiring a representative imagefrom a frame image extracted at a frame interval determined based on a communication speed in the transfer step from the frame group; and during the transfer of themoving image data in the transferstep, the acquisition step A display step of displayinga representative imageacquired from themoving image data on the display unit.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態の記載によっていっそう明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the best mode for carrying out the invention.
以上の構成により、本発明によれば、転送中の画像データの内容をユーザが認識可能な形でリアルタイムに表示しつつ、送信側及び受信側の装置の負担を減らし、転送に要する時間を短縮し、受信側は従来の装置を使用可能な技術を提供することが可能となる。 With the above configuration, according to the present invention, the content of the image data being transferred is displayed in real time in a form that can be recognized by the user, while reducing the burden on the transmitting and receiving devices and reducing the time required for transfer. In addition, the receiving side can provide a technology that can use the conventional apparatus.
以下、添付図面を参照して、本発明の好適な実施形態を説明する。 Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.
［第１の実施形態］
本実施形態では、図１に示すように、デジタルビデオカメラ１０１とＰＣ１０２をＵＳＢケーブル１０３で接続し、デジタルビデオカメラ１０１が画像データをＰＣ１０２に転送する場合を説明する。[First Embodiment]
In the present embodiment, as shown in FIG. 1, a case where a
なお、本発明は、任意の画像処理装置から任意の外部装置に画像データを転送することに適用できる。したがって、デジタルビデオカメラ１０１は画像処理装置の一例に過ぎず、例えばデジタルスチルカメラやＰＤＡなどを使用してもよい。同様に、ＰＣ１０２は外部装置の一例に過ぎず、例えばプリンタやＤＶＤプレイヤーなどを使用してもよい。 The present invention can be applied to transfer image data from an arbitrary image processing apparatus to an arbitrary external apparatus. Therefore, the
また、本実施形態では、ＰＣ１０２がデジタルビデオカメラ１０１を外部記憶装置として認識し、ユーザがＰＣ１０２を介してデジタルビデオカメラ１０１に画像データの転送指示などを与える構成として説明する。しかし、その他の構成、例えばユーザが後述する操作部２０６（図２）を介して直接デジタルビデオカメラ１０１に転送指示を与える構成としてもよい。 In the present embodiment, a description will be given of a configuration in which the PC 102 recognizes the
＜デジタルビデオカメラ１０１のハードウェア構成＞
図２は、デジタルビデオカメラ１０１のハードウェア構成を示すブロック図である。<Hardware configuration of
FIG. 2 is a block diagram illustrating a hardware configuration of the
デジタルビデオカメラ１０１はシステムバス２１１と、システムバス２１１に接続される以下の要素を備える。 The
ＣＰＵ２０１は、ＲＯＭ２０２が保持する制御プログラムを実行することにより、デジタルビデオカメラ１０１全体を制御する。 The
ＲＯＭ２０２は、上述の制御プログラムなどを保持する不揮発性メモリである。 The
ＲＡＭ２０３は、ＣＰＵ２０１が制御プログラムを実行する際に作業領域として使用される揮発性メモリである。ＲＡＭ２０３はまた、撮像した画像データを記憶媒体２０９に記録する前に一時的にバッファリングする領域としても使用される。 A
撮像部２０４は、光学レンズ、ＣＣＤ、Ａ／Ｄ変換器などから構成され、光学レンズから入射した光をデジタル電気信号に変換し、ＲＡＭ２０３に格納する。 The
信号処理部２０５は、撮像部２０４がＲＡＭ２０３に格納したデジタル電気信号に対し、ＪＰＥＧ符号化やＭＰＥＧ符号化などの信号処理を施し、画像データを生成する。生成された画像データは、記憶媒体２０９に記録される。また、画像再生時には、信号処理部２０５は記憶媒体２０９に記録される画像データを再生（復号化）する。信号処理部２０５は、一般に専用のハードウェア回路を用いて実現されるが、ＣＰＵ２０１がＲＯＭ２０２の保持するソフトウェア（プログラム）を実行することにより実現してもよい。 The
操作部２０６は、電源ボタンやシャッターボタンなどから構成され、デジタルビデオカメラ１０１のユーザは操作部２０６を介してデジタルビデオカメラ１０１に指示を与えることができる。 The
ディスプレイ２０７は、画像データの再生時に画像を表示するためのものであり、ＴＦＴ ＬＣＤなどにより構成される。ディスプレイ２０７はまた、撮像部２０４が捉えた画像を逐次表示する電子ビューファインダとしても使用可能である。 The
記憶媒体制御部２０８は、次に説明する記憶媒体２０９を制御する。 The storage
記憶媒体２０９は、画像データを記録するためのものであり、例えば、デジタルビデオカセット、ＤＶＤ−Ｒ、コンパクトフラッシュ（登録商標）、ハードディスクなどを用いることができる。 The
通信Ｉ／Ｆ２１０は、外部装置と通信するためのインタフェースであり、例えばＵＳＢ、ＩＥＥＥ１３９４、イーサネット（登録商標）などである。通信Ｉ／Ｆ２１０はまた、デジタルビデオカメラ１０１が再生する画像データのアナログ信号（例えば、ＲＧＢコンポジット信号）を送信可能なアナログインタフェースを含んでもよい。 The communication I / F 210 is an interface for communicating with an external device, such as USB, IEEE 1394, Ethernet (registered trademark), or the like. The communication I / F 210 may also include an analog interface capable of transmitting an analog signal (for example, RGB composite signal) of image data reproduced by the
なお、本実施形態では画像処理装置の一例としてデジタルビデオカメラ１０１を用い、デジタルビデオカメラ１０１は前述のように撮像部２０４を備える。しかし、本発明のポイントは画像データ転送中の画像処理装置の動作にあるため、画像処理装置は必ずしも撮像部（撮像機能）を備える必要はない。 In the present embodiment, the
＜画像データのアナログ転送とデジタル転送＞
前述の通り、ユーザは操作部２０６を操作することにより、デジタルビデオカメラ１０１に様々な指示を与えることができる。<Analog transfer and digital transfer of image data>
As described above, the user can give various instructions to the
例えば、ユーザがデジタルビデオカメラ１０１に画像データの再生指示を与えると、ＣＰＵ２０１は記憶媒体２０９から画像データを読み出し、信号処理部２０５は読み出された画像データを再生（復号化）する。ディスプレイ２０７が復号化された画像データを表示することにより、ユーザは画像データを鑑賞することができる。 For example, when the user gives an instruction to reproduce image data to the
また、画像データの再生時に、通信Ｉ／Ｆ２１０のアナログインタフェースが再生中の画像データのアナログ信号を外部装置に対して送信することもできる。外部装置は受信したアナログ信号を外部装置のディスプレイ（不図示）に表示することもできるし、そのアナログ信号を記録することもできる。このように、デジタルビデオカメラ１０１における画像データの再生時にアナログ信号を外部装置に対して送信し、画像データを転送することが可能である。 Further, when reproducing the image data, the analog interface of the communication I /
しかしながら、この転送方法は画像データをアナログ信号として転送しているため、画質劣化を伴い、また、転送には長い時間を要する。 However, since this transfer method transfers image data as an analog signal, the image quality is deteriorated and the transfer takes a long time.
これに対し、通信Ｉ／Ｆ２１０のデジタルインタフェース（例えばＵＳＢ）を使用し、記憶媒体２０９から読み出した画像データをデジタル信号として、図１のＵＳＢケーブル１０３を介して外部装置に転送することも可能である。 On the other hand, using the digital interface (for example, USB) of the communication I /
本実施形態では、以下、画像データをデジタル信号で転送するものとして説明する。また、本実施形態では、画像データは静止画データであるものとする。 In the present embodiment, the following description will be made assuming that image data is transferred as a digital signal. In the present embodiment, the image data is still image data.
＜データ転送処理の流れ＞
図３は、図１のデジタルビデオカメラ１０１からＰＣ１０２に静止画データを転送する処理の流れを示すフローチャートである。デジタルビデオカメラ１０１とＰＣ１０２をＵＳＢケーブル１０３で接続し、デジタルビデオカメラ１０１がＰＣ１０２から転送開始指示を受信すると、本フローチャートの処理が開始する。<Flow of data transfer processing>
FIG. 3 is a flowchart showing a flow of processing for transferring still image data from the
ここでの転送開始指示は、例えばユーザがＰＣ１０２の操作部（不図示）を介して与えることができる。具体的には、前述のようにＰＣ１０２がデジタルビデオカメラ１０１を外部記憶装置として認識し、デジタルビデオカメラ１０１が、記憶媒体２０９に記録される画像データの一覧情報をＰＣ１０２に送信する。次いで、ＰＣ１０２はディスプレイ（不図示）に受信した画像データの一覧情報を表示する。この状態で、ＰＣ１０２のユーザは画像データの一覧情報から任意の画像データを任意の数だけ選択し、ＰＣ１０２への送信を指示することができる。ここで選択された１つ以上の画像データが転送対象のデータ（転送対象画像データ）となる。 The transfer start instruction here can be given by, for example, the user via the operation unit (not shown) of the
なお、ＩＥＥＥ１３９４やＵＳＢなどを使用するデータ転送は、同期転送モードと非同期転送モードを持つ。同期転送モードは動画データなどをリアルタイムに再生しながら転送する場合などに使用され、リアルタイム性を重視するためにいわゆるコマ落ちなどが発生しうる。一方、非同期転送モードは静止画データや動画データなどをそのままの形態で確実に転送する場合などに用いられる。この非同期転送モードは、動画データや静止画データをファイル形式のまま転送することが多いことから、ファイル転送モードなどとも呼ばれる。本実施形態では、非同期転送モードを使用して静止画データを転送する場合の処理について説明する。 Note that data transfer using IEEE 1394 or USB has a synchronous transfer mode and an asynchronous transfer mode. The synchronous transfer mode is used when transferring moving image data or the like while reproducing it in real time, and so-called frame dropping or the like may occur because importance is placed on real time performance. On the other hand, the asynchronous transfer mode is used when, for example, still image data or moving image data is reliably transferred as it is. This asynchronous transfer mode is often referred to as a file transfer mode because moving image data and still image data are often transferred in a file format. In the present embodiment, processing when still image data is transferred using the asynchronous transfer mode will be described.
ステップＳ３０１で、ＣＰＵ２０１は記憶媒体２０９に記録された静止画データのうち、転送対象のデータの１つを読み出す。 In step S <b> 301, the
ステップＳ３０２で、ＣＰＵ２０１は読み出した静止画データがサムネイル画像を持っている場合には、代表画像としてサムネイル画像を抽出し、ＲＡＭ２０３に格納する。代表画像とは、画像データを縮小したり解像度を減らしたりすることにより情報量を削減し、その画像データの内容を簡潔に示すものであり、ここで説明するように画像データが静止画データの場合は例えばサムネイル画像が代表画像となる。また、詳細は後述するが、画像データが動画データの場合は、動画データの所定のフレーム画像を抽出したものが代表画像となる。 In step S <b> 302, if the read still image data has a thumbnail image, the
ステップＳ３０２で、読み出した静止画データがサムネイル画像を持っていない場合には信号処理部２０５が静止画データからサムネイル画像を作成し、ＲＡＭ２０３に格納する。ここでの抽出又は作成処理が、特許請求の範囲における取得手段である。 If the read still image data does not have a thumbnail image in step S <b> 302, the
なお、サムネイル画像は静止画データの含む画像をディスプレイ２０７での表示に適した大きさに変倍（拡大又は縮小）したものである。また、画像サイズとディスプレイ２０７のサイズの関係によっては、画像サイズを変更する必要がないため、ここでいう「変倍」は等倍（１倍）を含むものとする。 The thumbnail image is obtained by scaling (enlarging or reducing) an image included in still image data to a size suitable for display on the
ステップＳ３０３で、ＣＰＵ２０１はディスプレイ２０７に、抽出あるいは作成されたサムネイル画像を表示する。サムネイル画像の表示例は、後に図４及び図５を参照して詳細に説明する。 In step S303, the
ステップＳ３０４で、ＣＰＵ２０１は静止画データのＰＣ１０２への転送を開始し、ステップＳ３０５で、転送の完了を待つ。 In step S304, the
ステップＳ３０６で、ＣＰＵ２０１は転送対象である静止画データのうち、まだ転送していないデータが存在するかを判定する。存在する場合は、ステップＳ３０１に戻り、次の静止画データに対して上述の処理を繰り返す。すべての転送対象の静止画データを転送完了した場合は、ステップＳ３０７に進む。 In step S306, the
ステップＳ３０７で、ＣＰＵ２０１はディスプレイ２０７のサムネイル画像表示を消去し、処理を終了する。 In step S307, the
なお、ステップＳ３０２乃至ステップＳ３０４の処理は、並行して行なうことができる。すなわち、ＣＰＵ２０１がサムネイル画像の抽出・作成・表示等を行なうことと同時にＣＰＵ２０１は転送対象の静止画データの転送を開始できる。これにより、デジタルビデオカメラ１０１が転送開始指示を受信してから実際に転送が開始されるまでの時間が短縮される。 Note that the processing from step S302 to step S304 can be performed in parallel. That is, at the same time that the
＜サムネイル画像の表示例＞
図４及び図５を参照して、図３のステップＳ３０３におけるサムネイル画像の表示例を説明する。<Display example of thumbnail image>
A display example of thumbnail images in step S303 in FIG. 3 will be described with reference to FIGS.
図４の例では、サムネイル画像は転送中の静止画データが変わるたびに（ステップＳ３０３の処理が実行されるたびに）、図２のＣＰＵ２０１はディスプレイ２０７の表示を転送中の静止画データのサムネイル画像に更新する。また、サムネイル画像と併せて、何枚目の静止画データを転送中であるかや、静止画データの撮影日時等の付加データも併せて表示することもできる。こうすることにより、ユーザは、転送中の静止画データがどういったものであるかをより容易に認識することが可能となる。 In the example of FIG. 4, every time the still image data being transferred changes (every time the process of step S <b> 303 is performed), the
また、図５に示すように転送中の静止画データのサムネイル画像を複数並べて表示してもよい。この場合、ＣＰＵ２０１は転送する静止画データごとに順次、ディスプレイ２０７にサムネイル画像を並べて表示していく。ディスプレイ２０７がサムネイル画像でいっぱいになった場合には、ＣＰＵ２０１は表示済みのサムネイル画像すべてを消去し、次の静止画データに対応するサムネイル画像を、また１枚ずつ並べて表示していく。あるいは、ＣＰＵ２０１はこれから転送する静止画データのサムネイル画像をディスプレイ２０７に表示できるだけ並べて表示しておき、転送中の静止画データに対応するサムネイル画像には何らかのマークをつけてもよい。これにより、ユーザはどの静止画データを現在転送中であるかを知ることができる。ディスプレイ２０７に表示中のサムネイル画像に対応する静止画データの転送がすべて終了すると、ＣＰＵ２０１は再度、次に転送する静止画データに対応するサムネイル画像をディスプレイ２０７に表示可能なだけ表示して、同様の処理を繰り返す。 Further, as shown in FIG. 5, a plurality of thumbnail images of still image data being transferred may be displayed side by side. In this case, the
なお、図５に示すサムネイル画像の表示例は、１枚の静止画データの転送に要する時間が非常に短い場合に特に有効である。なぜなら、図４のように１枚ずつサムネイル画像を表示していたのでは１枚あたりのサムネイル画像の表示時間が短く、ユーザがサムネイル画像の中身を確認しづらいからである。 Note that the thumbnail image display example shown in FIG. 5 is particularly effective when the time required to transfer one piece of still image data is very short. This is because if thumbnail images are displayed one by one as shown in FIG. 4, the display time for each thumbnail image is short, and it is difficult for the user to check the contents of the thumbnail images.
＜第１の実施形態のまとめ＞
以上説明したように、本実施形態によれば、デジタルビデオカメラ１０１からＰＣ１０２に静止画データを転送する際に、転送中のデータに対応するサムネイル画像をディスプレイ２０７に表示する。また、ＣＰＵ２０１がサムネイル画像の抽出・作成・表示等を行なうことと並行して、ＣＰＵ２０１は転送対象の静止画データの転送を開始できる。<Summary of First Embodiment>
As described above, according to the present embodiment, when still image data is transferred from the
これにより、ユーザはディスプレイ２０７を見れば、転送中の静止画データの内容を確認することが可能となる。また、デジタルビデオカメラ１０１のディスプレイ２０７にサムネイル画像を表示するため、ＰＣ１０２（外部装置）に特別なアプリケーション等を導入する必要が無く、従来のＰＣを使用することができる。さらに、サムネイル画像の抽出・作成・表示等と静止画データの転送が並行して行なわれ、サムネイル画像をＰＣ１０２に転送する必要もないため、静止画データの転送に要する時間を短縮できる。 As a result, the user can check the content of the still image data being transferred by looking at the
［第２の実施形態］
第１の実施形態では、図１のデジタルビデオカメラ１０１からＰＣ１０２へ静止画データを転送する例を説明した。第２の実施形態では、デジタルビデオカメラ１０１から印刷装置であるプリンタ（不図示）へPictBridge（登録商標）規格などに則って静止画データを転送し、プリンタがそのデータを印刷する際のディスプレイ２０７（図２）の表示例を説明する。[Second Embodiment]
In the first embodiment, an example in which still image data is transferred from the
なお、本実施形態において、デジタルビデオカメラ１０１の構成は第１の実施形態と同様でよいため、その説明を省略する。また、デジタルビデオカメラ１０１とプリンタは、図１のＰＣ１０２をプリンタに置き換えた形態で接続される。 In the present embodiment, the configuration of the
静止画データの印刷に先立って、ユーザはあらかじめ、図２の操作部２０６を操作して、記憶媒体２０９に記録されている静止画データのうち、印刷対象としたいデータに対し、DPOF規格に則った印刷設定情報（印刷対象であること及び印刷枚数等）を付加する。 Prior to printing of still image data, the user operates the
また、デジタルビデオカメラ１０１とPictBridge（登録商標）対応のプリンタをＵＳＢケーブル１０３で接続する。これにより、印刷準備が完了する。 Also, the
図６は、図１のデジタルビデオカメラ１０１からプリンタ（不図示）に静止画データを転送し、印刷する処理の流れを示すフローチャートである。ユーザが操作部２０６を操作して、デジタルビデオカメラ１０１に印刷開始の指示を与えると本フローチャートの処理が開始する。 FIG. 6 is a flowchart showing a flow of processing for transferring and printing still image data from the
ステップＳ６０１で、ＣＰＵ２０１は記憶媒体２０９に記録された静止画データのうち、印刷対象のデータの１つを読み出す。 In step S <b> 601, the
ステップＳ６０２で、ＣＰＵ２０１は読み出した静止画データがサムネイル画像を持っている場合には、サムネイル情報を抽出し、ＲＡＭ２０３に格納する。サムネイル画像が無い場合には信号処理部２０５が静止画データからサムネイル画像を作成し、ＲＡＭ２０３に格納する。 In step S <b> 602, if the read still image data has a thumbnail image, the
ステップＳ６０３で、ＣＰＵ２０１はディスプレイ２０７に、抽出あるいは作成されたサムネイル画像を表示する。サムネイル画像の表示例は、第１の実施形態で図４及び図５を参照して説明したものと同様である。ただし、DPOFを使用する場合は全印刷枚数をあらかじめデジタルビデオカメラ１０１が把握しているため、ディスプレイ２０７に残り印刷枚数や残り印刷予測時間等の情報もあわせて表示することができる。 In step S603, the
ステップＳ６０４で、ＣＰＵ２０１は静止画データのプリンタへの転送を開始し、プリンタ（不図示）は受信した静止画データをDPOFで指定された枚数印刷する。ステップＳ６０５で、ＣＰＵ２０１は印刷の完了を待つ。 In step S604, the
ステップＳ６０６で、ＣＰＵ２０１は印刷対象である静止画データをすべて転送し、印刷が完了したかを判定する。印刷が完了していない場合は、ステップＳ６０１に戻り、次の静止画データに対して上述の処理を繰り返す。すべての印刷対象の静止画データを印刷完了した場合は、ステップＳ６０７に進む。 In step S606, the
ステップＳ６０７で、ＣＰＵ２０１はディスプレイ２０７のサムネイル画像表示を消去し、処理を終了する。 In step S607, the
なお、第１の実施形態と同様、ステップＳ６０２乃至ステップＳ６０４の処理は、並行して行なうことができる。 Note that, similarly to the first embodiment, the processes in steps S602 to S604 can be performed in parallel.
＜第２の実施形態のまとめ＞
以上説明したように、本実施形態によれば、デジタルビデオカメラ１０１からプリンタ（不図示）に静止画データを転送して印刷する際に、印刷中のデータに対応するサムネイル画像をディスプレイ２０７に表示する。また、ＣＰＵ２０１がサムネイル画像の抽出・作成・表示等を行なうことと並行して、ＣＰＵ２０１は印刷対象の静止画データの転送を開始できる。<Summary of Second Embodiment>
As described above, according to the present embodiment, when still image data is transferred from the
これにより、ユーザはディスプレイ２０７を見れば、印刷中の静止画データの内容を確認することが可能となる。したがって、印刷中のデータがユーザの意図するものと異なる場合は直ちに印刷中止の指示を出すことができ、紙やインクの無駄を省くことができる。また、第１の実施形態と同様、デジタルビデオカメラ１０１のディスプレイ２０７にサムネイル画像を表示するため、プリンタ（外部装置）は従来のものを使用することができる。さらに、サムネイル画像の抽出・作成・表示等と静止画データの転送が並行して行なわれるため、デジタルビデオカメラ１０１が印刷指示を受信してから実際に印刷が開始されるまでの時間を短縮できる。 As a result, the user can check the content of the still image data being printed by looking at the
［第３の実施形態］
第１及び第２の実施形態では、画像データとして静止画データを転送する場合を説明した。第３の実施形態では、図１のデジタルビデオカメラ１０１がＰＣ１０２に動画データを転送する場合を説明する。第３の実施形態は、第１の実施形態の静止画データを動画データに変更したものであり、それ以外の構成、例えばＰＣ１０２がデジタルビデオカメラ１０１を外部記憶装置として認識する点などは同じである。[Third Embodiment]
In the first and second embodiments, the case where still image data is transferred as image data has been described. In the third embodiment, a case where the
また、本実施形態において、デジタルビデオカメラ１０１の構成は第１の実施形態と同様でよいため、その説明を省略する。 In the present embodiment, the configuration of the
図７は、図１のデジタルビデオカメラ１０１からＰＣ１０２に動画データを転送する処理の流れを示すフローチャートである。第１の実施形態と同様、デジタルビデオカメラ１０１とＰＣ１０２をＵＳＢケーブル１０３で接続し、デジタルビデオカメラ１０１がＰＣ１０２から転送開始指示を受信すると、本フローチャートの処理が開始する。転送指示の詳細は第１の実施形態と同様のため、説明を省略する。本実施形態では、非同期転送モードを使用して動画データを転送する場合の処理について説明する。 FIG. 7 is a flowchart showing a flow of processing for transferring moving image data from the
ステップＳ７０１で、ＣＰＵ２０１は記憶媒体２０９に記録された動画データのうち、転送対象のデータの１つを読み出す。 In step S <b> 701, the
ステップＳ７０２で、ＣＰＵ２０１は読み出した動画データが代表画像を持っている場合には、代表画像を抽出し、ＲＡＭ２０３に格納する。代表画像とは、例えば動画データからユーザが意図する場面を検索することを補助するために設けられる静止画である。ここで、この静止画は動画データを構成するフレーム群から所定数のフレーム間隔ごとに抽出した複数のフレーム画像を変倍したものである。代表画像は、動画データのサーチデータや、ダイジェストデータとしてあらかじめ作成される場合があり、このような場合に、「読み出した動画データが代表画像を持っている」と言える。 In step S <b> 702, if the read moving image data has a representative image, the
代表画像が無い場合には信号処理部２０５が動画データから所定数のフレーム間隔ごとにフレーム画像を抽出して変倍し、代表画像を作成する。抽出するフレーム画像は、例えば動画データがＭＰＥＧ形式の場合はＩＰＢフレームのうち、Ｉフレームのみを抽出してもよい。また、上述の「所定数」は、ＣＰＵ２０１がＵＳＢケーブル１０３を使用した通信の通信速度の基づいて決定してもよい。 If there is no representative image, the
ステップＳ７０３で、ＣＰＵ２０１はディスプレイ２０７に、抽出あるいは作成された代表画像に含まれる画像を表示する（以下、単に「代表画像の表示」という）。代表画像の表示に際しては、ＣＰＵ２０１は動画データのどのフレームを転送中であるかに基づいて、表示する代表画像を切り替える。この切り替えは例えば、抽出又は作成した代表画像をそれぞれ動画データの前述の所定数のフレームに対応付けておき、次のステップＳ７０４で転送対象となるフレームに対応する代表画像をＣＰＵ２０１が選択する構成とすることができる。 In step S703, the
代表画像の表示例は、図４に示す例と同様であるが、動画データの転送が進むにつれて表示される代表画像も次々と切り替えられる。したがって、ユーザがディスプレイ２０７の表示を見ると、転送中の動画データを多少荒くして再生しているように見える。また、図４で「４枚目」と表示されている部分は、本実施形態では転送対象が動画データであるため、例えば「Ｘフレーム目」や「Ｘ秒転送」などと表示することができる。 The display example of the representative image is the same as the example shown in FIG. 4, but the displayed representative image is sequentially switched as the moving image data transfer proceeds. Accordingly, when the user looks at the display on the
ステップＳ７０４で、ＣＰＵ２０１はステップＳ７０３で表示した代表画像に対応する所定数のフレームからなる動画データをＰＣ１０２に転送する。 In step S704, the
ステップＳ７０５で、ＣＰＵ２０１はステップＳ７０４で転送した動画データよりも先のフレームからなる動画データをＰＣ１０２に転送する。ステップＳ７０５が設けられるのは、次の理由による。動画データを外部装置に転送する場合には、伝送路の帯域によって転送速度が異なるため、ＣＰＵ２０１がディスプレイ２０７に表示するために代表画像を復号化して、実際にディスプレイ２０７に表示するよりも速く動画データが転送される可能性がある。このような場合には、代表画像を部分的に間引いてディスプレイ２０７に表示し、表示されている代表画像に対応する動画データよりも進んだ時間の動画データを転送する。したがって、伝送路の転送速度が遅い場合にはステップＳ７０５では何も転送されない。 In step S <b> 705, the
ステップＳ７０６で、ＣＰＵ２０１はステップＳ７０１で読み出した動画データを転送完了したかを判定する。完了していない場合はステップＳ７０２に戻り、次の代表画像を読み出すなどして、上述の処理を繰り返す。転送が完了した場合はステップＳ７０７に進む。 In step S706, the
ステップＳ７０７で、ＣＰＵ２０１は転送対象である動画データのうち、まだ転送していないデータが存在するかを判定する。存在する場合は、ステップＳ７０１に戻り、次の動画データに対して上述の処理を繰り返す。すべての転送対象の動画データを転送完了した場合は、ステップＳ７０８に進む。 In step S707, the
ステップＳ７０８で、ＣＰＵ２０１はディスプレイ２０７の代表画像の表示を消去し、処理を終了する。 In step S708, the
なお、第１の実施形態と同様、ステップＳ７０２乃至ステップＳ７０５の処理は、並行して行なうことができる。 Note that as in the first embodiment, the processes in steps S702 to S705 can be performed in parallel.
＜第３の実施形態のまとめ＞
以上説明したように、本実施形態によれば、デジタルビデオカメラ１０１からＰＣ１０２に動画データを転送する際に、転送中の動画データ（のフレーム）に対応する代表画像をディスプレイ２０７に表示する。前述のように、ユーザがディスプレイ２０７の表示を見ると、転送中の動画データを多少荒くして再生しているように見える。また、ＣＰＵ２０１が代表画像の抽出・作成・表示等を行なうことと並行して、ＣＰＵ２０１は転送対象の動画データの転送を開始できる。<Summary of Third Embodiment>
As described above, according to the present embodiment, when moving image data is transferred from the
これにより、ユーザはディスプレイ２０７を見れば、転送中の動画データの内容を確認することが可能となる。したがって、ユーザが意図しない動画データを誤って送信した場合に、動画データの送信が完了する前に送信を中止することができる。そのため、転送が終わってからＰＣ１０２上で画像データを再生した際にはじめて不要又は間違った画像データを転送してしまったことに気付き、再度正しい画像データを転送するという無駄も減らすことができる。また、第１の実施形態と同様、デジタルビデオカメラ１０１のディスプレイ２０７に代表画像を表示するため、ＰＣ１０２（外部装置）に特別なアプリケーション等を導入する必要が無く、従来のＰＣを使用することができる。さらに、代表画像の抽出・作成・表示等と動画データの転送が並行して行なわれ、代表画像をＰＣ１０２に転送する必要もないため、動画データの転送に要する時間を短縮できる。 As a result, the user can check the contents of the moving image data being transferred by looking at the
［その他の実施形態］
上述した各実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。[Other Embodiments]
The processing of each embodiment described above provides a system or apparatus with a storage medium storing software program codes embodying each function, and the system or apparatus computer (or CPU or MPU) stores the storage medium. It can also be realized by reading and executing the program code stored in the. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. As a storage medium for supplying such a program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. can be used.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行ない、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. Includes the case where the functions of the respective embodiments described above are realized by performing part or all of the actual processing.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。 Furthermore, after the program code read from the storage medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function is based on the instruction of the program code. This includes the case where the CPU or the like provided in the expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
１０１ デジタルビデオカメラ
１０２ ＰＣ
１０３ ＵＳＢケーブル101
103 USB cable
Claims (9)
Translated fromJapanese転送指示に従って動画データを非同期転送モードで外部装置に転送する転送手段と、
前記動画データを構成するフレーム群から、前記転送手段の通信速度に基づいて決定されたフレーム間隔で抽出したフレーム画像から代表画像を取得する取得手段と、
前記転送手段による前記動画データの転送中に、前記取得手段により該動画データから取得された代表画像を前記表示部に表示する表示手段と、
を備えることを特徴とする画像処理装置。An image processing apparatus including a display unit,
Transfer means for transferring thevideo data to the external device in the asynchronous transfer mode according to the transfer instruction;
Acquisition means for acquiring a representative imagefrom a frame image extracted at a frame interval determined based on a communication speed of the transfer means, from a frame group constituting themoving image data;
Display means for displayinga representative imageacquired from themoving image databy the acquiring means on the display unit during transfer of themoving image data by the transfer means;
An image processing apparatus comprising:
転送指示に従って動画データを非同期転送モードで外部装置に転送する転送工程と、
前記動画データを構成するフレーム群から、前記転送工程における通信速度に基づいて決定されたフレーム間隔で抽出したフレーム画像から代表画像を取得する取得工程と、
前記転送工程による前記動画データの転送中に、前記取得工程において該動画データから取得された代表画像を前記表示部に表示する表示工程と、
を備えることを特徴とする制御方法。A control method for controlling an image processing apparatus including a display unit,
A transfer step of transferringvideo data to an external device in an asynchronous transfer mode according to the transfer instruction;
An acquisition step of acquiring a representative imagefrom a frame image extracted at a frame interval determined based on a communication speed in the transfer step, from a frame group constituting themoving image data;
During the transfer of themoving image data by the transferstep, a display step of displayingthe representative imageacquired from themoving image data in theacquiring step on the display unit;
A control method comprising:
転送指示に従って動画データを非同期転送モードで外部装置に転送する転送工程と、
前記動画データを構成するフレーム群から、前記転送工程における通信速度に基づいて決定されたフレーム間隔で抽出したフレーム画像から代表画像を取得する取得工程と、
前記転送工程による前記動画データの転送中に、前記取得工程において該動画データから取得された代表画像を前記表示部に表示する表示工程と、
を実行させるためのプログラム。In a computer of an image processing apparatus provided with a display unit,
A transfer step of transferring thevideo data to the external device in the asynchronous transfer mode according to the transfer instruction;
An acquisition step of acquiring a representative imagefrom a frame image extracted at a frame interval determined based on a communication speed in the transfer step, from a frame group constituting themoving image data;
A display step of displayinga representative imageacquired from themoving image data in theacquisition step on the display unit during the transfer of themoving image data by the transfer step;
A program for running
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005164866AJP4502392B2 (en) | 2005-06-03 | 2005-06-03 | Image processing apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005164866AJP4502392B2 (en) | 2005-06-03 | 2005-06-03 | Image processing apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2006340237A JP2006340237A (en) | 2006-12-14 |
| JP2006340237A5 JP2006340237A5 (en) | 2008-07-17 |
| JP4502392B2true JP4502392B2 (en) | 2010-07-14 |
Family
ID=37560361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005164866AExpired - Fee RelatedJP4502392B2 (en) | 2005-06-03 | 2005-06-03 | Image processing apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4502392B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009043038A (en)* | 2007-08-09 | 2009-02-26 | Ricoh Co Ltd | Data distribution apparatus, data distribution system, and data distribution method |
| KR100907465B1 (en) | 2007-12-28 | 2009-07-10 | 엠텍비젼 주식회사 | Image signal processing method and signal processing device performing the same |
| JP5245493B2 (en)* | 2008-03-28 | 2013-07-24 | カシオ計算機株式会社 | Imaging apparatus, imaging apparatus control program, and imaging control method |
| JP5298829B2 (en)* | 2008-05-13 | 2013-09-25 | 富士ゼロックス株式会社 | Image processing program, image processing apparatus, and image processing system |
| US8717451B2 (en) | 2008-05-16 | 2014-05-06 | Panasonic Corporation | Camera system, camera body and interchangeable lens |
| CN102027411B (en)* | 2008-05-16 | 2013-07-24 | 松下电器产业株式会社 | Camera system |
| JP2009289348A (en)* | 2008-05-30 | 2009-12-10 | Hitachi Ltd | Information recording/reproducing device |
| JP5415041B2 (en)* | 2008-08-07 | 2014-02-12 | シャープ株式会社 | Image data processing apparatus, image forming system, image data processing method, image data processing program, and computer-readable recording medium |
| JP5494756B2 (en)* | 2012-08-06 | 2014-05-21 | 株式会社リコー | DATA DISTRIBUTION DEVICE, DATA DISTRIBUTION SYSTEM, DATA DISTRIBUTION METHOD, AND DATA DISTRIBUTION PROGRAM |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135270A (en)* | 2000-10-26 | 2002-05-10 | Sharp Corp | Asynchronous data transfer method |
| JP4178308B2 (en)* | 2002-04-01 | 2008-11-12 | 富士フイルム株式会社 | Digital camera and receiver |
| JP3626147B2 (en)* | 2002-04-05 | 2005-03-02 | コニカミノルタフォトイメージング株式会社 | Image communication system and image receiving apparatus |
| JP2004207926A (en)* | 2002-12-25 | 2004-07-22 | Canon Inc | Photo recording system |
- 2005
- 2005-06-03JPJP2005164866Apatent/JP4502392B2/ennot_activeExpired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006340237A (en) | 2006-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5390828B2 (en) | Image processing apparatus and image processing method | |
| US8259193B2 (en) | Image file reproduction apparatus and image data reproduction apparatus | |
| EP1791357B1 (en) | Recording device and method, recording and reproduction device and method, and program | |
| US8698821B2 (en) | Image processing apparatus, image processing method, computer program, and storage medium | |
| JP5100182B2 (en) | Data transfer device, data reception device, and data transfer system | |
| JP3535724B2 (en) | Image capturing apparatus and method, and storage medium | |
| US8049793B2 (en) | Image processing apparatus including image extraction unit, method thereof, and recording medium | |
| JP2004120069A (en) | Image processing apparatus, image processing method, and program for implementing the method | |
| JP2009199586A (en) | Information processing apparatus and control method thereof | |
| JP4502392B2 (en) | Image processing apparatus and control method thereof | |
| US20070013788A1 (en) | Image storage apparatus, image storage method, and control program executed in image storage apparatus | |
| JP2011077654A (en) | Imaging apparatus, control method thereof and program | |
| JP4757206B2 (en) | Image processing apparatus, image processing apparatus control method, and computer program | |
| JP5046542B2 (en) | Data processing apparatus and method, and information processing apparatus and method | |
| JP2005150892A (en) | Digital still camera, image data storage device, and their controlling method | |
| EP1524837A1 (en) | Image processing apparatus | |
| JP5312657B2 (en) | Data transfer apparatus and control method thereof | |
| JP2004260572A (en) | Digital camera and control method thereof | |
| JP2006287588A (en) | Image processing apparatus, image processing method, data file structure, computer program, and storage medium | |
| JP2007166024A (en) | Imaging apparatus and control method thereof | |
| JP2006086810A (en) | Electronic camera | |
| JP2004363829A (en) | Video recording device, imaging device, video recording method, computer program, and storage medium | |
| JP2009118195A (en) | Imaging apparatus and method | |
| JP2005027292A (en) | Image data structure, image recording apparatus and image reproduction system | |
| JP2019110383A (en) | Imaging apparatus and control method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20080529 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20080529 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20100129 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20100326 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20100416 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20100419 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:4502392 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130430 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130430 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140430 Year of fee payment:4 | |
| LAPS | Cancellation because of no payment of annual fees |