【０００１】[0001]
【産業上の利用分野】本発明は、電子的に撮像された静
止画像の特定領域に関連付けて、補助情報及び再生動作
情報を一緒に記録できる電子スチルカメラに関する。The present invention relates to associates in a specific area of electronically captured still image, the auxiliary information and the reproductionoperation
It relates to an electronic still camera capable of recording theinformation together.
【０００２】[0002]
【従来の技術】被写体を電子的に撮像できる電子スチル
カメラが実用化されており、各種の分野で活用されつつ
ある。従来の電子スチルカメラにおいて、撮像された静
止画像情報は、例えば、カメラ本体に着脱自在に装着さ
れるカード型のＩＣメモリ等に格納され、このＩＣメモ
リをカメラ本体から取り外し、他の再生装置でそのＩＣ
メモリから画像情報を読み取ることにより、カメラ本体
以外でも画像の再生を行うことができる。2. Description of the Related Art Electronic still cameras capable of electronically capturing an image of a subject have been put into practical use, and are being used in various fields. In a conventional electronic still camera, captured still image information is stored in, for example, a card-type IC memory that is detachably attached to the camera main body, and this IC memory is removed from the camera main body, and is used by another playback device. The IC
By reading the image information from the memory, the image can be reproduced even by a device other than the camera body.
【０００３】特開平３−３８１６８号では、画像情報と
共に、補助情報としての音声情報を一緒に前記ＩＣメモ
リ等に記録できる電子スチルカメラが提案されている。
この従来の電子スチルカメラにおいて、カメラ本体には
録音用マイクが設けられており、このマイクによって撮
像後に音声情報が取り込まれる。この音声情報は、画像
情報に関連付けてＩＣメモリに記録される。従って、再
生時には、画像の再生と共にそれに関連付けて記録され
た音声情報を音として再生でき、再生画像を見ながら、
例えば撮像場所での周囲音や撮像者による説明等を聞い
て楽しむことができる。Japanese Patent Laid-Open No. 3-38168 proposes an electronic still camera capable of recording audio information as auxiliary information together with image information in the IC memory or the like.
In this conventional electronic still camera, a microphone for recording is provided in the camera body, and the microphone captures audio information after imaging. This audio information is recorded in the IC memory in association with the image information. Therefore, at the time of reproduction, the audio information recorded in association with the reproduction of the image can be reproduced as sound, and while watching the reproduced image,
For example, it is possible to enjoy listening to the surrounding sounds at the imaging location, the explanation by the photographer, and the like.
【０００４】しかしながら、上記特開平３−３８１６８
号で提案された従来の電子スチルカメラにおいて、補助
情報としての音声情報は、一枚の画像それ全体に対して
関連付けられて記録再生されるため、画像の画面内にお
ける個々の撮像に係る対象物毎に補助情報を関連付ける
ことはできなかった。すなわち、本来、補助情報は、画
面内の人物説明や特定景色の説明等、それぞれの対象物
毎に付けることが望ましいが、上記従来の電子スチルカ
メラでは、その様な要請に応えられなかった。従って、
電子スチルカメラの利用者にとって、場合によっては不
便であり、電子スチルカメラの応用性向上のため、画像
情報に付加される補助情報をより有意義に活用できるも
のが要望されている。[0004] However, Japanese Patent Laid-Open Publication No.
In the conventional electronic still camera proposed in No. 5, audio information as auxiliary information is recorded and reproduced in association with one image as a whole, so that an object related to individual imaging within an image screen Auxiliary information could not be associated with each. That is, originally, it is desirable that auxiliary information be attached to each object such as a description of a person in a screen or a description of a specific scenery. However, the above-described conventional electronic still camera has not been able to respond to such a request. Therefore,
It is inconvenient for a user of the electronic still camera in some cases, and there is a demand for a device that can more effectively utilize auxiliary information added to image information in order to improve the applicability of the electronic still camera.
【０００５】そこで、本出願人は、特願平３−２４９１
８９で、画面内の特定領域に関連付けて補助情報をメモ
リに記憶できる電子スチルカメラを提案している。Accordingly, the present applicant has filed Japanese Patent Application No. 3-2491.
89 proposes an electronic still camera capable of storing auxiliary information in a memory in association with a specific area in a screen.
【０００６】[0006]
【発明が解決しようとする課題】ところで、そのような
画像情報及び補助情報を読み出す際の再生動作指示がメ
モリに記憶できれば、再生時の操作が簡単になり操作者
の便宜を図ることができ、例えば、相互に関連した一連
の画像やそれに関する補助情報の再生プログラムを予め
作成することができる。このため、再生動作指示を画像
情報に併せて記憶できる電子スチルカメラが要望されて
いた。By the way, if the reproduction operation instruction for reading out such image information and auxiliary information can be stored in the memory, the operation at the time of reproduction can be simplified and the convenience of the operator can be improved. For example, a program for reproducing a series of images related to each other and auxiliary information related thereto can be created in advance. Therefore, there has been a demand for an electronic still camera capable of storing a reproduction operation instruction together with image information.
【０００７】また、そのような再生時の動作指示を個々
の対象物毎に設定できれば、再生時の動作を対象物に合
わせて任意に選択でき、応用性を上げることができるの
で、画面内の特定領域に関連付けて再生動作指示を記憶
できる電子スチルカメラが要望されていた。Also, if such operation instructions at the time of reproduction can be set for each individual object, the operation at the time of reproduction can be arbitrarily selected according to the object, and the applicability can be improved. There has been a demand for an electronic still camera capable of storing a reproduction operation instruction in association with a specific area.
【０００８】本発明は、上記従来の課題に鑑み成された
ものであって、その目的は、画像情報に関連付けて再生
時の動作指示を記憶することのできる電子スチルカメラ
を提供することにある。An object of the present invention is to provide an electronic still camera capable of storing an operation instruction at the time of reproduction in association with image information. .
【０００９】また、本発明は、電子スチルカメラで記録
された画像情報や補助情報を再生できる再生装置であっ
て、前記再生動作指示に従った再生を行うことのできる
再生装置を提供することにある。The present invention also provides a reproducing apparatus capable of reproducing image information and auxiliary information recorded by an electronic still camera, wherein the reproducing apparatus can perform reproduction in accordance with the reproduction operation instruction. is there.
【００１０】[0010]
【課題を解決するするための手段】上記目的を達成する
ために、請求項１記載の発明は、被写体を撮像する撮像
部と、前記撮像部からの画像情報を格納するメモリと、
撮像した画像に関連する補助情報を入力する補助情報入
力手段と、前記撮像部にて取り込まれた画像の画面内座
標を指定する座標入力手段と、前記座標入力手段によっ
て定められる画面内の特定領域に関連付けて、前記入力
された補助情報を前記メモリに書き込む補助情報書き込
み手段と、再生動作を指示するための再生動作情報を前
記メモリに書き込む再生情報書き込み手段と、を含み、
前記再生情報書き込み手段は、前記座標入力手段によっ
て定められる画面内の特定領域に関連付けて前記再生動
作情報を前記メモリに書き込むことを特徴とする。In order to achieve the above object, according to the present invention, an image pickup section for picking up an object, a memory for storing image information from the image pickup section,
Auxiliary information input means for inputting auxiliary information related to a captured image; coordinate input means for specifying in-screen coordinates of an image captured by the imaging unit; and a specific area in a screen defined by the coordinate input means the association includes the auxiliary information writing means for writing the auxiliary information the input to the memory, and reproducing the information writing means for writing thereproduction operation informationfor instructingthe reproducing operation in the memory, and
The reproduction information writing unit associates the reproduction information with a specific area in a screen determined by the coordinate input unit.
And writes theSakujo report to the memory.
【００１１】また、請求項２記載の発明は、請求項１記
載の電子スチルカメラによって前記メモリに格納された
前記画像情報を再生する再生装置であって、再生時に前
記特定領域を指定する手段と、その指定された特定領域
に関連づけられた再生動作情報を前記メモリから読み出
し、その再生動作情報に従って再生動作を行う再生制御
部と、を有することを特徴とする。The invention according to claim 2 is the same as the invention according toclaim 1.
Stored in the memory by the electronic still camera
A playback apparatusfor playing back the image information , comprising:means for designating the specific area during playback; and the designated specific area
Reading the reproduction operation information associated with
And thereproduction control for performing a reproduction operation in accordance with the reproduction operation information
And a unit .
【００１２】[0012]
【作用】上記請求項１記載の構成によれば、再生情報書
き込み手段によって再生動作情報がメモリに記録でき、
後の再生に供することができる。すなわち、撮像後に再
生時の再生動作を予め設定し、それを画像情報と一緒に
メモリに格納できる。SUMMARY OF] According to the arrangement according to claim 1, can be recorded within the memory play dynamicSakujo paper by reproducing information writing means,
It can be used for later reproduction. That is, it is possible to set a reproduction operation at the time of reproduction after imaging, and store it in the memory together with the image information.
【００１３】すなわち、座標入力手段によって、画面内
において特定点あるいは特定領域（以下、ノードとい
う）を任意に１又は複数指定し、再生動作情報あるいは
補助情報を各ノードに関連付けてメモリに記録できる。
なお、補助情報としては、音声情報や文字情報などを採
用でき、例えば、画面内の各人物や各建物毎に、音声や
文字によってコメントなど付することができる。[0013] That is, by the coordinate input means, the specific point or a specific region (hereinafter, referred to as nodes) in the screen optionally one or more specified, the recording in the memory in association with reproduction dynamicSakujo paper or an auxiliary information on each node it can.
Note that audio information, character information, and the like can be adopted as the auxiliary information. For example, a comment or the like can be added by voice or character to each person or each building on the screen.
【００１４】そして、上記再生装置によれば、再生動作
情報が読み出され、その指示により再生が実行される。
例えば、一連の画像に対して、それぞれ次に読み出すべ
き画像番号とその再生の仕方とが再生動作情報として与
えられていれば、ある画像再生後に、その画像に関連付
けて記憶された再生動作情報が参照され、設定した順序
で次々に自動的に一連の画像を再生することができる。[0014] and, according to the playback device, playbackoperation
Information is read out, the reproduction is performed by the instruction.
For example, for a series of images, if read next image number to each and the manner of reproduction if provided as a reproducing movingSakujo report, after an image reproduction, reproduction dynamic stored in association with the imageSakujo report is referenced, it is possible to play automatically a series of images one after another in the order set.
【００１５】[0015]
【実施例】以下、本発明の好適な実施例を図面に基づい
て説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below with reference to the drawings.
【００１６】図１には、本発明に係る電子スチルカメラ
の好適な実施例の構成がブロック図で示されている。ま
た、図３には、図２に示す撮像された画像例について、
ノードの例が示されている。FIG. 1 is a block diagram showing the configuration of a preferred embodiment of an electronic still camera according to the present invention. FIG. 3 shows an example of the captured image shown in FIG.
An example of a node is shown.
【００１７】まず、図２及び図３を用いて説明する。一
般に、撮像された静止画は、人物や景色など、撮像に係
る複数の対象物が集まって構成されている。この図２に
示される例では、２人の人物とその他の背景とを含んで
いる。First, a description will be given with reference to FIGS. In general, a captured still image includes a plurality of objects to be captured, such as a person and a scene. The example shown in FIG. 2 includes two persons and other backgrounds.
【００１８】従来の電子スチルカメラでは、補助情報で
ある音声情報は、上述のように１枚の画面全体に対して
関連付けて記録されていたため、補助情報の応用に制約
が伴っていた。そこで、本実施例においては、画面を構
成する任意の各対象物毎に、それらに関連付けて、補助
情報、及びそれに加えて再生時の動作指示情報（以下、
再生動作情報という）を記録できるようにする。In the conventional electronic still camera, the audio information as the auxiliary information is recorded in association with the entire screen as described above, so that the application of the auxiliary information is limited. Therefore, in the present embodiment, for each of the arbitrary objects constituting the screen, the auxiliary information and the operation instruction information at the time of reproduction (hereinafter, referred to as the following) are associated with them.
Playback information).
【００１９】ここで、補助情報としては、本実施例にお
いて、音声情報及び文字情報のいずれか一方又は両方が
記録できる。また、再生動作情報としては、次の再生画
像番号の情報、フェードイン／フェードアウト命令、白
黒／カラー変更指示、特定部分又は全体の明るさに関す
る情報、など基本的に再生に係る色々な情報が考えられ
る。Here, in this embodiment, one or both of voice information and character information can be recorded as auxiliary information. Further, as the reproduction operation information, various kinds of information basically relating to reproduction, such as information on the next reproduction image number, a fade-in / fade-out instruction, a black-and-white / color change instruction, information on the brightness of a specific portion or the whole, etc. Can be
【００２０】図３において、画像１０上には、１又は複
数のノードを、任意の箇所にかつ任意の大きさ，形状で
設定できる。ここで、ノードは、補助情報及び再生動作
情報の記録時及び再生時において利用される特定領域で
あって、補助情報及び再生動作情報を画面内の特定箇所
に結びつけるための画面上の点や面をいう。In FIG. 3, one or a plurality of nodes can be set at an arbitrary position and in an arbitrary size and shape on the image 10. Here, the node is a specific area used when recording and reproducing the auxiliary information and the reproduction operation information, and is a point or a surface on the screen for linking the auxiliary information and the reproduction operation information to a specific portion in the screen. Say.
【００２１】図３に示す例において、人物Ａの顔付近に
設定されたノード１には、音声データが関連付けられ、
一方の人物Ｂの顔付近に設定されたノード２には、文字
データが関連付けられている。音声データ及び文字デー
タとしては例えば人物Ａ及びＢについての氏名、電話番
号、住所、その他のコメントなどが考えられる。In the example shown in FIG. 3, voice data is associated with the node 1 set near the face of the person A,
Character data is associated with the node 2 set near the face of one person B. The voice data and character data may include, for example, names, telephone numbers, addresses, and other comments on the persons A and B.
【００２２】また、本実施例では画面全体にノード３が
設定されている。このノード３には、上記再生動作情報
が関連付けられる。本実施例では、再生動作情報とし
て、フェードイン／フェードアウト命令が与えられてい
る。このため、上記のようにノード３は画面全体に設定
されているが、もちろん、対象物毎に再生動作指示が必
要であれば、その対象物毎にノードを設定し、各ノード
に再生動作情報を関連付ければよい。なお、再生時に
は、ノードの選択により再生動作の選択が可能となる。In this embodiment, a node 3 is set on the entire screen. The node 3 is associated with the reproduction operation information. In this embodiment, a fade-in / fade-out command is given as the reproduction operation information. For this reason, the node 3 is set on the entire screen as described above. Of course, if a reproduction operation instruction is required for each object, a node is set for each object and reproduction operation information is set for each node. Should be associated. At the time of reproduction, a reproduction operation can be selected by selecting a node.
【００２３】さて、画像データ、音声データ、及び文字
データは、それぞれファイルＡ，Ｂ，及びＣに納めら
れ、各ファイルは図示されていないメモリに格納され
る。一方、再生動作情報は、本実施例では画像データの
ファイルＡ中に格納される。ここで、各ノードは、画面
上の２次元座標を示す座標データに変換され、その座標
データは、後述するように、各ファイルに格納される。The image data, audio data, and character data are stored in files A, B, and C, respectively, and each file is stored in a memory (not shown). On the other hand, the reproduction operation information is stored in the file A of the image data in this embodiment. Here, each node is converted into coordinate data indicating two-dimensional coordinates on the screen, and the coordinate data is stored in each file as described later.
【００２４】一方、画像データの再生時においては、再
生画像の画面上で、上記設定されたノード１，２のいず
れかを指定することにより、その指定されたノードに関
連付けられて記録されている補助情報が再生される。こ
の場合、ノード３を選択するとそれに関連付けられた再
生動作情報にしたがって画像又は補助情報の再生が行わ
れる。なお、ノードと補助情報あるいは再生動作情報と
の相互のリンクは、１対１に限られず、多対１等であっ
ても良い。また、ノードが相互に重ねられ、その重合部
分が指定された場合には面積の小さい方が優先して選択
されるように定めれば良い。On the other hand, when the image data is reproduced, by specifying one of the set nodes 1 and 2 on the screen of the reproduced image, the data is recorded in association with the specified node. The auxiliary information is reproduced. In this case, when the node 3 is selected, the image or the auxiliary information is reproduced according to the reproduction operation information associated therewith. The mutual link between the node and the auxiliary information or the reproduction operation information is not limited to one-to-one, but may be many-to-one. In addition, the nodes may be overlapped with each other, and when the overlapping portion is designated, the node having the smaller area may be preferentially selected.
【００２５】次に、図１を用いて本実施例の電子スチル
カメラの構成について説明する。Next, the configuration of the electronic still camera according to the present embodiment will be described with reference to FIG.
【００２６】図１において、ＣＣＤからなるカラーイメ
ージセンサ２０よって被写体が撮像され、撮像信号は、
画像処理回路２２及び画像圧縮回路２４を介して画像デ
ータに処理され、ＩＣメモリカード２６に書き込まれ
る。この様に、データ圧縮を行うことにより有限なメモ
リの記憶容量を有効に利用することができる。In FIG. 1, a subject is imaged by a color image sensor 20 composed of a CCD.
The image data is processed through the image processing circuit 22 and the image compression circuit 24 and written into the IC memory card 26. As described above, by performing data compression, a finite storage capacity of the memory can be effectively used.
【００２７】このとき、撮像された画像は、表示部２８
によってモニタすることができ、このため、画像伸長回
路３０及び画像再生回路３２が設けられている。At this time, the captured image is displayed on the display unit 28.
For this purpose, an image expansion circuit 30 and an image reproduction circuit 32 are provided.
【００２８】一方、補助情報としての音声は、マイクロ
ホン３４によって取り込まれ、音声信号は音声処理回路
３６及び音声圧縮回路３８を介して音声データに処理さ
れ、前記ＩＣメモリカード２６に書き込まれる。また、
音声データは、スピーカ４０によってモニタすることが
でき、このため、音声伸長回路４２及び音声再生回路４
４が設けられている。On the other hand, audio as auxiliary information is taken in by a microphone 34, and the audio signal is processed into audio data via an audio processing circuit 36 and an audio compression circuit 38, and written into the IC memory card 26. Also,
The audio data can be monitored by the speaker 40, so that the audio decompression circuit 42 and the audio reproduction circuit 4
4 are provided.
【００２９】制御用ＣＰＵ４６は、上記各回路の制御を
行うものであり、その他に、画像／音声の切り替え用ス
イッチ４８ａ，４８ｂのコントロールや、前記画像再生
回路３２へノード表示信号や文字表示信号の供給などを
行っている。The control CPU 46 controls each of the above circuits. In addition, the control CPU 46 controls image / audio switching switches 48a and 48b, and sends a node display signal and a character display signal to the image reproduction circuit 32. Supply and so on.
【００３０】更に、この制御用ＣＰＵ４６は、再生時の
動作を一覧表にした再生動作メニューを表示部２８へ表
示し、この時、操作者からのメニュー選択があれば、後
述するように、その選択された再生動作の情報を指定さ
れたノードに関連付けてＩＣメモリカード２６に書き込
む。ここで、再生動作情報は、当該画像についてのもの
限られず、以後に再生される画像や補助情報に関する再
生動作指示であっても良い。Further, the control CPU 46 displays a reproduction operation menu listing operations at the time of reproduction on the display unit 28. At this time, if a menu is selected by the operator, as described later, the menu is displayed. The information on the selected reproduction operation is written to the IC memory card 26 in association with the specified node. Here, the reproduction operation information is not limited to the image, and may be a reproduction operation instruction for an image to be reproduced later or auxiliary information.
【００３１】この制御用ＣＰＵ４６には、本実施例にお
いて、座標入力部５０及び操作ボタン部５２が接続され
ている。ノードの設定等の補助情報に関する操作の際に
は、カーソルボタン５４及び補助情報入力ボタン５６を
備えた座標入力部５０が用いられ、通常のカメラ操作の
際には、撮像スイッチ５８等を備えた操作ボタン部５２
が用いられる。本実施例では、前記カーソルボタン５４
を利用して表示部２８に表示されるアルファベット等の
記号を指定して文字データの入力を行うことができる。In this embodiment, a coordinate input section 50 and an operation button section 52 are connected to the control CPU 46. The coordinate input unit 50 including the cursor button 54 and the auxiliary information input button 56 is used for an operation related to auxiliary information such as setting of a node, and the imaging switch 58 and the like are provided for a normal camera operation. Operation button section 52
Is used. In this embodiment, the cursor button 54
The character data can be input by designating a symbol such as an alphabet displayed on the display unit 28 by using.
【００３２】前記ＩＣメモリカード２６は、およそ名刺
サイズの大きさを有し、カメラ本体のカードホルダに着
脱自在に装着されるものであり、例えば圧縮された画像
データに換算して約４０枚程度の画像を記憶できる。な
お、本実施例の電子スチルカメラの大きさは、従来の小
型のフィルムカメラ程度である。The IC memory card 26 has a size of about a business card and is removably mounted on a card holder of a camera body. For example, about 40 sheets are converted into compressed image data. Can be stored. The size of the electronic still camera according to the present embodiment is about the same as a conventional small film camera.
【００３３】上記表示部２８として、いわゆる感圧式透
明タッチパネルを液晶パネル表面に備えたものを用いる
ことも好適である。この様な構成によれば、ノード領域
の設定や、補助情報として手書き文字の入力を容易に行
うことができる。As the display unit 28, a display unit having a so-called pressure-sensitive transparent touch panel on the surface of a liquid crystal panel is preferably used. According to such a configuration, it is possible to easily set a node area and input a handwritten character as auxiliary information.
【００３４】次に、図４を用いて、再生装置の構成につ
いて説明する。Next, the configuration of the reproducing apparatus will be described with reference to FIG.
【００３５】図４において、この再生装置は、上記電子
スチルカメラによって記録された画像データ、及び補助
情報としての音声データ，文字データを再生するもので
あり、上記再生動作情報が記憶されてあれば、それにし
たがって再生動作が行われる。本実施例において、この
再生装置はカメラとは別体になっている。勿論、カメラ
にこの再生装置を組み込んでも良い。In FIG. 4, the reproducing apparatus reproduces image data recorded by the electronic still camera, audio data and character data as auxiliary information, and if the reproducing operation information is stored, The reproduction operation is performed accordingly. In this embodiment, this playback device is separate from the camera. Of course, this playback device may be incorporated in a camera.
【００３６】図４に示す再生装置において、上記電子ス
チルカメラから取り外されたＩＣメモリカード２６は、
本再生装置のカードホルダに装着され、制御用ＣＰＵ６
０の制御の下、記録された画像データ等が読み出され
る。この画像データは、画像伸長回路６２及び画像再生
回路６４を介して元の画像信号となって外部ＴＶモニタ
６６に送られ、再生画像のカラー表示が行われる。In the reproducing apparatus shown in FIG. 4, the IC memory card 26 removed from the electronic still camera is
The control CPU 6 is attached to the card holder of the reproducing apparatus.
Under the control of 0, recorded image data and the like are read. This image data is sent to an external TV monitor 66 as an original image signal via an image expansion circuit 62 and an image reproduction circuit 64, and a reproduced image is displayed in color.
【００３７】一方、ＩＣメモリカード２６に記録された
音声データは、音声伸長回路６８及び音声再生回路７０
を介して音声信号となってスピーカ７２に送られ、録音
された音が再生される。また、ＩＣメモリカード２６に
記録された文字データは、画像再生回路６４を介してＴ
Ｖモニタ６６に送られ画像表示される。なお、補助情報
としての再生された文字画像は、再生画像と一緒に同一
画面上の一部に重ね合わせて表示しても良く、あるいは
一時的に画面全体を使って文字画像の表示を行っても良
い。On the other hand, the audio data recorded on the IC memory card 26 is transmitted to an audio decompression circuit 68 and an audio reproduction circuit 70.
Is transmitted to the speaker 72 as an audio signal via the. And the recorded sound is reproduced. The character data recorded on the IC memory card 26 is transmitted to the T
The image is sent to the V monitor 66 and displayed as an image. The reproduced character image as auxiliary information may be displayed together with the reproduced image on a part of the same screen, or may be temporarily displayed using the entire screen. Is also good.
【００３８】ここで、後述するように、画像再生時にお
いて選択されるノードに、再生動作情報が関連付けられ
ていれば、制御用ＣＰＵ６０は、その再生動作情報を読
み出し、それに指示される再生動作を行う。例えば、再
生動作情報として、フェードイン／フェードアウト命令
が与えられていれば、画像が表示された後、再生終了時
に段々と暗くされ、次の画像の再生初期に真っ暗の状態
から段々と画像が明るくされ、落ち着きある再生が実行
できる。Here, as will be described later, if the reproduction operation information is associated with the node selected at the time of image reproduction, the control CPU 60 reads out the reproduction operation information and executes the reproduction operation instructed thereby. Do. For example, if a fade-in / fade-out command is given as the reproduction operation information, after the image is displayed, the image is gradually darkened at the end of the reproduction, and the image becomes gradually brighter from a completely dark state at the beginning of reproduction of the next image. Thus, calm reproduction can be performed.
【００３９】この再生装置には、例えば光ディスクなど
からなる外部記憶装置７４が接続され、大量の画像デー
タ等をまとめて記憶できるようになっている。An external storage device 74 composed of, for example, an optical disk or the like is connected to the reproducing device so that a large amount of image data and the like can be stored together.
【００４０】また、この再生装置には、ケーブルによっ
て座標入力装置７６が接続されており、その座標入力装
置７６にはカーソルボタン７８及び補助情報入出力ボタ
ン８０が設けられ、その出力信号は制御用ＣＰＵ６０に
送出され、補助情報の入出力操作指令が与えられてい
る。Further, a coordinate input device 76 is connected to the reproducing device by a cable, and the coordinate input device 76 is provided with a cursor button 78 and an auxiliary information input / output button 80. The instruction is sent to the CPU 60, and an input / output operation instruction for auxiliary information is given.
【００４１】この再生装置においても、ＩＣメモリカー
ド２６に記録された画像データに対して後処理的に再生
動作情報や補助情報を付けることができ、このため、制
御用ＣＰＵ６０には上記再生動作選択メニューをＴＶモ
ニタに表示する機能が備えられ、また、前記座標入力装
置７６には、マイク８２が設けられ、音声データの取り
込みが可能となっている。ここで、マイク８２からの音
声信号は、音声処理回路８４及び音声圧縮回路８６を介
して、ＩＣメモリカード２６又は外部記憶装置７４の所
定の領域に、画像データの補助情報として書き込まれ
る。尚、文字データは、上述同様に、カーソルボタン７
８による画面上の記号の指定によって入力されるが、こ
の他に外部キーボードを接続し、これによって文字デー
タの入力を行っても好適である。この様に本実施例の再
生装置によれば、補助情報の再生と共に、必要があれば
再生動作情報の新たな記録や補助情報の新たな記録・編
集を行うことができる。なお、制御用ＣＰＵ６０は、上
記以外の構成の制御を行っており、例えば、スイッチ８
８ａ，８８ｂのコントロールを行っている。In this reproducing apparatus, reproduction operation information and auxiliary information can be added to the image data recorded on the IC memory card 26 in a post-processing manner. A function of displaying a menu on a TV monitor is provided, and a microphone 82 is provided in the coordinate input device 76 so that audio data can be captured. Here, the audio signal from the microphone 82 is written into the IC memory card 26 or a predetermined area of the external storage device 74 as auxiliary information of the image data via the audio processing circuit 84 and the audio compression circuit 86. The character data is stored in the cursor button 7 as described above.
Although the input is made by designating the symbol on the screen by 8, it is also preferable to connect an external keyboard to input the character data. As described above, according to the reproducing apparatus of the present embodiment, it is possible to perform the new recording of the reproduction operation information and the new recording and editing of the auxiliary information, if necessary, together with the reproduction of the auxiliary information. The control CPU 60 controls the configuration other than the above.
8a and 88b are controlled.
【００４２】図５には、ＩＣメモリカード２６等に格納
されるファイルの構造概念が示されている。FIG. 5 shows the structural concept of a file stored in the IC memory card 26 or the like.
【００４３】ファイル９０は、大別して３つ記憶領域９
０ａ，９０ｂ，９０ｃで構成され、記憶領域９０ｂに
は、画像データ、音声データ、又は文字データが記憶さ
れる。記憶領域９０ａは、ファイルヘッダー部分とし
て、データの種別、ファイルサイズ、及びその他の情報
が記録される。また、記憶領域９０ｃには、関連付け情
報が記録される。The file 90 is roughly divided into three storage areas 9
0a, 90b, and 90c, and the storage area 90b stores image data, audio data, or character data. The storage area 90a stores a data type, a file size, and other information as a file header portion. In addition, association information is recorded in the storage area 90c.
【００４４】図６には、関連付け情報の具体的な構造が
例示されており、図示されるように、この関連付け情報
は、複数の要素で構成されている。FIG. 6 exemplifies a specific structure of the association information. As shown, the association information is composed of a plurality of elements.
【００４５】タプルヘッダー１０１は、タプルＩＤ１０
１ａ及び次のタプルへのポインタ１０１ｂで構成され
る。ここで、タプルとは、この分野で一般に、複数個の
情報を組み合わせてある意味をなす情報の組であり、こ
こでは関連付け情報自体を意味するものとする。前記タ
プルＩＤ１０１ａは、その関連付け情報が有しているデ
ータ内容の種類を示すコードである。前記ポインタ１０
１ｂは次の関連付け情報までのバイト数で記述されてい
る。The tuple header 101 has a tuple ID of 10
1a and a pointer 101b to the next tuple. Here, a tuple is a set of information that generally has a certain meaning by combining a plurality of pieces of information in this field. Here, it is assumed that the tuple means the association information itself. The tuple ID 101a is a code indicating the type of data content included in the association information. The pointer 10
1b is described by the number of bytes until the next association information.
【００４６】図６において、ノード形式ＩＤ１０２は、
ノードに関連付けられた情報の種別を示すもので、動作
ＩＤ１０３は、ノードに関連付けられた情報が再生動作
情報の場合、その再生動作を表すコードを示し、一方、
ノードに関連付けられた情報が補助情報の場合、その補
助情報ファイルのポインタ表現形式のコードを示してい
る。従って、再生動作情報については、それ自体で特別
のファイルが作成されず、画像データのファイルにおけ
る動作ＩＤとして格納される。なお、関連付け情報の作
成を含めて各ファイルの作成は制御用ＣＰＵによって行
われる。In FIG. 6, the node type ID 102 is
The operation ID 103 indicates a type of information associated with the node. When the information associated with the node is reproduction operation information, the operation ID 103 indicates a code indicating the reproduction operation.
When the information associated with the node is auxiliary information, the information indicates a code in a pointer expression format of the auxiliary information file. Therefore, the reproduction operation information is not stored as a special file by itself, but is stored as the operation ID in the image data file. The creation of each file including the creation of the association information is performed by the control CPU.
【００４７】また、この関連付け情報には、ノードの位
置等を示す座標データ１０４，１０５，１０６，１０７
が含まれ、さらに属性情報として、リンクアドレス１０
８が含まれる。このリンクアドレスは、リンクされる情
報のファイルを特定するためのものであり、そのファイ
ルのアドレスを示すものである。例えば、再生動作情報
として他の画像の再生命令が与えられていれば、当該他
の画像のフィルム番号やフレーム番号がリンクアドレス
となる。The association information includes coordinate data 104, 105, 106, 107 indicating the position of the node and the like.
, And as attribute information, a link address 10
8 is included. The link address is for specifying a file of information to be linked, and indicates the address of the file. For example, if a reproduction command for another image is given as the reproduction operation information, the film number or frame number of the other image becomes the link address.
【００４８】従って、画像の撮像後において、その画像
にノードを設定すると共に、そのノードに対応させて補
助情報を取り込めば、制御用ＣＰＵの作用により、自動
的に補助情報のファイル９０が作成されると共に、当該
画像データのファイルの記憶領域９０ｃに、そのノード
を示す座標データや、補助情報のファイルアドレスなど
が、関連付け情報として記憶される。そして、画像の再
生時において、そのノードを指定すれば、当該画像デー
タのファイルにおける記憶領域９０ｃに記憶された関連
付け情報が参照され、指定されたノードに関連付けられ
て記憶されている補助情報のファイルが特定されて、そ
のファイルに記憶された補助情報が自動的に再生される
ことになる。Therefore, after capturing an image, if a node is set in the image and auxiliary information is taken in in correspondence with the node, a file 90 of the auxiliary information is automatically created by the operation of the control CPU. In addition, coordinate data indicating the node, a file address of auxiliary information, and the like are stored as association information in the storage area 90c of the file of the image data. When the node is designated at the time of reproducing the image, the association information stored in the storage area 90c in the file of the image data is referred to, and the file of the auxiliary information stored in association with the designated node is referred to. Is specified, and the auxiliary information stored in the file is automatically reproduced.
【００４９】一方、画像の撮像後において、その画像に
ノードを設定すると共に、いずれかの再生動作を選択す
れば、制御用ＣＰＵの作用により、当該画像データのフ
ァイルにおける記憶領域９０ｃに、そのノードを示す座
標データが書き込まれると共に、動作ＩＤとして、選択
指示された再生動作のコードが書き込まれる。この場
合、再生動作が他の画像または補助情報に関するもので
あれば、その画像または補助情報のファイルアドレスも
書き込まれる。On the other hand, after the image is captured, if a node is set in the image and one of the reproduction operations is selected, the node is stored in the storage area 90c in the file of the image data by the operation of the control CPU. Is written, and the code of the selected reproduction operation is written as the operation ID. In this case, if the reproducing operation is related to another image or auxiliary information, the file address of the image or auxiliary information is also written.
【００５０】次に、補助情報及び再生動作情報の記録及
び再生に係る操作の手順について図７及び図８を用いて
説明する。Next, an operation procedure for recording and reproducing the auxiliary information and the reproduction operation information will be described with reference to FIGS.
【００５１】図７には、本実施例の電子スチルカメラを
用いて撮像を行い、さらに補助情報及び再生動作情報を
記録する場合の操作手順が示されている。ステップ１０
１では、本ルーチンを終了するか否かが判断されてい
る。FIG. 7 shows an operation procedure when an image is taken using the electronic still camera of the present embodiment, and auxiliary information and reproduction operation information are recorded. Step 10
At 1, it is determined whether or not to end this routine.
【００５２】ステップ１０２では、イメージセンサ２０
によって取り込まれる画像が表示部２８に表示される。
これと共に、操作者によって撮影状態の設定、例えば光
量等の設定が行われる。ステップ１０３では、操作者が
撮像スイッチ５８を押すことによって、被写体の撮影が
実行される。そして、ステップ１０４では、撮影された
画像データが圧縮された状態でＩＣメモリカード２６に
記録される。これと共に、撮影された静止画像が表示部
２８に表示される。In step 102, the image sensor 20
Is displayed on the display unit 28.
At the same time, the operator sets the shooting state, for example, sets the amount of light. In step 103, the operator presses the imaging switch 58 to execute the photographing of the subject. Then, in step 104, the photographed image data is recorded on the IC memory card 26 in a compressed state. At the same time, the photographed still image is displayed on the display unit 28.
【００５３】ステップ１０５では、補助情報あるいは再
生動作情報を入力するか否かが判断されている。具体的
には、制御用ＣＰＵ４６の作用により、表示部２８にそ
の旨の表示が行われ、操作者が座標入力部５０に設けら
れた情報入力ボタン５６（具体的には、補助情報入力ボ
タン又は再生動作情報入力ボタン）を押すことによっ
て、表示されている画像上にノードを表わす枠が表示さ
れ、次のステップ１０６が実行される。In step 105, it is determined whether to input auxiliary information or reproduction operation information. Specifically, the effect of the control CPU 46 is displayed on the display unit 28, and the operator inputs the information input button 56 provided on the coordinate input unit 50 (specifically, the auxiliary information input button or By pressing the reproduction operation information input button), a frame representing a node is displayed on the displayed image, and the next step 106 is executed.
【００５４】ステップ１０６では、ノードの設定が行わ
れる。すなわち、操作者は、座標入力部５０に設けられ
たカーソルボタン５４を操作して、ステップ１０５で表
示されたノードを示す枠を所望の位置へ移動しさらにそ
の大きさを決定する。すると、そのノードの座標データ
が画像データファイルに設けられた関連付け情報記憶領
域９０ｃに格納される。In step 106, a node is set. That is, the operator operates the cursor button 54 provided on the coordinate input unit 50 to move the frame indicating the node displayed in step 105 to a desired position and further determine its size. Then, the coordinate data of the node is stored in the association information storage area 90c provided in the image data file.
【００５５】ここで、ノードに関連付けて再生動作情報
を記憶する場合には、ステップ１０７からステップ１０
８が実行される。一方、補助情報を入力する場合には、
ステップ１０９が実行される。Here, when the reproduction operation information is stored in association with the node, steps 107 to 10
8 is executed. On the other hand, when inputting auxiliary information,
Step 109 is executed.
【００５６】ステップ１０８では、上述したように、ま
ず表示部に再生動作のメニューが表示され、それらのい
ずれかを選択すると、画像データファイルの関連付け情
報内の動作ＩＤとしてその再生動作を示すコードが記憶
される。In step 108, as described above, first, a menu of the reproducing operation is displayed on the display unit, and when any of them is selected, a code indicating the reproducing operation is displayed as the operation ID in the association information of the image data file. It is memorized.
【００５７】ステップ１０９では、補助情報の種別が判
断されている。具体的には、座標入力部５０に設けられ
た補助情報選択ボタンの入力によって補助情報が選択さ
れ、その選択された補助情報が音声データの場合にはス
テップ１１０が実行され、一方、文字データの場合には
ステップ１１１が実行される。なお、補助情報として、
撮像された他の画像データを関連付けることもできる。In step 109, the type of the auxiliary information is determined. Specifically, auxiliary information is selected by inputting an auxiliary information selection button provided on the coordinate input unit 50, and if the selected auxiliary information is audio data, step 110 is executed. In that case, step 111 is executed. In addition, as auxiliary information,
Other captured image data can also be associated.
【００５８】ステップ１１０では、マイクロホン３４に
よって音声データを入力する。その音声データは圧縮さ
れてＩＣメモリカード２６に記録される。一方、ステッ
プ１１１では、文字データが入力され、それがＩＣメモ
リカード２６に記録される。具体的には、本実施例で
は、表示部２８に一連のアルファベット及び記号が表示
されるため、操作者がカーソルボタン５４を用いて入力
したい文字を順次指定することによって、文字データの
入力が行われる。In step 110, voice data is input by the microphone 34. The audio data is compressed and recorded on the IC memory card 26. On the other hand, in step 111, character data is input and recorded on the IC memory card 26. Specifically, in this embodiment, since a series of alphabets and symbols are displayed on the display unit 28, the input of character data is performed by sequentially specifying characters to be input using the cursor buttons 54. Will be
【００５９】図８には、再生装置を用いて画像データや
補助情報を再生する場合の操作手順が示されている。FIG. 8 shows an operation procedure for reproducing image data and auxiliary information using a reproducing apparatus.
【００６０】ステップ２０１では、操作者によって指定
された画像データがＩＣメモリカード２６から読み出さ
れ、外部ＴＶモニタ６６に再生画像が表示される。ステ
ップ２０２では、本ルーチンを終了させるか否かが判断
されている。ステップ２０３では、再生時におけるノー
ドの指定が行われる。具体的には、操作者は、座標入力
装置７６に設けられたカーソルボタンを操作し、再生画
像と共に表示されたノードを表わすいずれかの枠内をカ
ーソル指定することによって、ノードの指定が行われ
る。但し、ノードが存在しない場合にはステップ２０４
から再びステップ２０２が実行される。In step 201, the image data designated by the operator is read from the IC memory card 26, and the reproduced image is displayed on the external TV monitor 66. In step 202, it is determined whether this routine is to be terminated. In step 203, a node is specified at the time of reproduction. Specifically, the operator operates a cursor button provided on the coordinate input device 76 to specify a node by specifying a cursor in one of the frames representing the node displayed together with the reproduced image. . However, if the node does not exist, step 204
Is executed again from step 202.
【００６１】ステップ２０５では、画像データファイル
の関連付け情報が参照され、ノードに関連付けられてい
る補助情報が特定されるか、あるいはノードに関連付け
られている再生動作が特定される。In step 205, the associating information of the image data file is referred to, and the auxiliary information associated with the node is specified, or the reproducing operation associated with the node is specified.
【００６２】この場合、それが再生動作情報であれば、
ステップ２０７で再生動作情報が読み出され、それにし
たがった再生動作が実行される。すなわち、画像情報の
表示あるいは補助情報の再生に関し、指示された再生が
実行される。In this case, if it is reproduction operation information,
At step 207, the reproduction operation information is read, and the reproduction operation is executed according to the read operation information. That is, the instructed reproduction is executed with respect to the display of the image information or the reproduction of the auxiliary information.
【００６３】ステップ２０８では、その特定されたファ
イルのファイルヘッダ９０ａが参照され、データ種別な
どが判断される。ステップ２０９では、その判断された
データ種別に応じてステップ２１０やステップ２１１等
が実行される。At step 208, the data type and the like are determined by referring to the file header 90a of the specified file. In step 209, steps 210 and 211 are executed according to the determined data type.
【００６４】ステップ２０９で、関連付けられたデータ
が音声データであると判断されると、ステップ２１０に
おいて、ＩＣメモリカード２６から音声データが読み出
され、スピーカ７２にて再生される。一方、ステップ２
０９で関連付けられたデータが文字データであると判断
されると、ステップ２１１において、ＩＣメモリカード
２６から文字データが読み出され、その文字データがＴ
Ｖモニタ６６に表示される。本実施例では、再生された
画像データと共に重ね合わせて文字データが表示され
る。なお、ノードに関連付けられた補助情報が、撮像さ
れた画像データ自体である場合には、ステップ２０１が
再度実行され、その画像データに表示されている画像が
切り替わることになる。If it is determined in step 209 that the associated data is audio data, the audio data is read from the IC memory card 26 in step 210 and reproduced by the speaker 72. Step 2
If it is determined in step 09 that the associated data is character data, in step 211, the character data is read from the IC memory card 26, and the character data is
It is displayed on the V monitor 66. In this embodiment, the character data is displayed in a superimposed manner together with the reproduced image data. If the auxiliary information associated with the node is the captured image data itself, step 201 is executed again, and the image displayed in the image data is switched.
【００６５】[0065]
【発明の効果】以上説明したように、本発明に係る電子
スチルカメラによれば、撮像された画像の情報に関連付
けて再生動作指示情報をメモリに格納できるので、相互
に関連した一連の画像やそれに関する補助情報などの再
生プログラムを予め作成できるという効果がある。従っ
て、再生時の操作が簡単になり操作者の便宜を図ること
ができる。As described above, according to the electronic still camera of the present invention, the reproduction operation instruction information can be stored in the memory in association with the information of the captured image, so that a series of mutually related images and There is an effect that a reproduction program such as auxiliary information can be created in advance. Therefore, the operation at the time of reproduction is simplified, and the convenience of the operator can be achieved.
【００６６】また、本発明によれば、画面内の個々の対
象物ごとに再生動作指示又は補助情報を関連付けること
ができるので、静止画像の有用性を高めることができ
る。Further, according to the present invention, since a reproduction operation instruction or auxiliary information can be associated with each object in the screen, the usefulness of a still image can be enhanced.
【００６７】更に、本発明に係る再生装置によれば、画
像情報に関連付けて記憶された再生動作指示情報に従っ
て、再生を行うことができ、操作者の再生操作に係る煩
わしさを解消できるとともに、面白みのある多様な再生
を自動的に行うことができる。Further, according to the playback apparatus of the present invention, playback can be performed in accordance with the playback operation instruction information stored in association with the image information, and the trouble of the playback operation by the operator can be eliminated. A variety of interesting reproductions can be performed automatically.
【図１】電子スチルカメラの構成を示すブロック図であ
る。FIG. 1 is a block diagram illustrating a configuration of an electronic still camera.
【図２】撮像された画像の一例を示す模式図である。FIG. 2 is a schematic diagram illustrating an example of a captured image.
【図３】ノードの設定を示す説明図である。FIG. 3 is an explanatory diagram showing node settings.
【図４】再生装置の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a playback device.
【図５】ファイルの構造を示す概念図である。FIG. 5 is a conceptual diagram showing the structure of a file.
【図６】関連付け情報の構造を示す説明図である。FIG. 6 is an explanatory diagram showing the structure of association information.
【図７】記録時の操作手順を示すフローチャートであ
る。FIG. 7 is a flowchart showing an operation procedure at the time of recording.
【図８】再生時の操作手順を示すフローチャートであ
る。FIG. 8 is a flowchart showing an operation procedure during reproduction.
２０ イメージセンサ ２６ ＩＣメモリカード ２８ 表示部 ４６，６０ 制御用ＣＰＵ ５０ 座標入力部 ７６ 座標入力装置 Reference Signs List 20 image sensor 26 IC memory card 28 display unit 46, 60 control CPU 50 coordinate input unit 76 coordinate input device
フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/222 - 5/257 H04N 5/76 - 5/956 H04N 9/79 - 9/898Continuation of the front page (58) Field surveyed (Int.Cl.7 , DB name) H04N 5/222-5/257 H04N 5/76-5/956 H04N 9/79-9/898
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03338814AJP3124600B2 (en) | 1991-12-20 | 1991-12-20 | Electronic still camera |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03338814AJP3124600B2 (en) | 1991-12-20 | 1991-12-20 | Electronic still camera |
| Publication Number | Publication Date |
|---|---|
| JPH05284448A JPH05284448A (en) | 1993-10-29 |
| JP3124600B2true JP3124600B2 (en) | 2001-01-15 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03338814AExpired - Fee RelatedJP3124600B2 (en) | 1991-12-20 | 1991-12-20 | Electronic still camera |
| Country | Link |
|---|---|
| JP (1) | JP3124600B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7733520B2 (en) | 1999-10-04 | 2010-06-08 | Fujifilm Corporation | Digital camera and method of controlling the same and apparatus for and method of outputting image |
| JP3768915B2 (en)* | 2002-04-26 | 2006-04-19 | キヤノン株式会社 | Digital camera and digital camera data processing method |
| JP5865388B2 (en) | 2011-11-07 | 2016-02-17 | 株式会社ソニー・コンピュータエンタテインメント | Image generating apparatus and image generating method |
| EP2779620B8 (en) | 2011-11-07 | 2016-09-28 | Sony Interactive Entertainment Inc. | Image generation device, and image generation method |
| US9729788B2 (en) | 2011-11-07 | 2017-08-08 | Sony Corporation | Image generation apparatus and image generation method |
| WO2013069049A1 (en)* | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | Image generation device, and image generation method |
| JP5977697B2 (en)* | 2013-03-14 | 2016-08-24 | シャープ株式会社 | Electronic device and method for controlling electronic device |
| JP2015159511A (en)* | 2014-02-25 | 2015-09-03 | オリンパス株式会社 | Photographing apparatus and image recording method |
| Publication number | Publication date |
|---|---|
| JPH05284448A (en) | 1993-10-29 |
| Publication | Publication Date | Title |
|---|---|---|
| JP4397054B2 (en) | Information input device | |
| JPH1013725A (en) | Information processing device | |
| JPH11112921A (en) | Information processing apparatus and information processing method | |
| US20120047459A1 (en) | Information processing apparatus | |
| JP3035391B2 (en) | Electronic still camera | |
| JP3124600B2 (en) | Electronic still camera | |
| JP3894376B2 (en) | Information processing device | |
| JPH10228483A (en) | Information processing device | |
| JP3909614B2 (en) | Information recording / reproducing apparatus and recording medium | |
| JP3767093B2 (en) | Image data group editing / playback method, image processing apparatus, and recording medium recording image data group editing / playback program | |
| JP4570171B2 (en) | Information processing apparatus and recording medium | |
| JPH1013732A (en) | Information input device | |
| JP3918228B2 (en) | Information processing apparatus and recording medium | |
| JP3103442B2 (en) | Electronic still camera and playback device thereof | |
| JP3938892B2 (en) | Information exchange system | |
| JP4476368B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP3043330B1 (en) | Photographic image processing device | |
| JPH11177928A (en) | Information recording and reproducing device | |
| JP4437562B2 (en) | Information processing apparatus and storage medium | |
| JP2005252797A (en) | Digital camera | |
| JP4571111B2 (en) | Information processing apparatus and recording medium | |
| JP4038842B2 (en) | Information processing device | |
| JPH11275512A (en) | Digital camera | |
| JPH10164498A (en) | Image recording control device and recording medium | |
| JP4310711B2 (en) | Information processing apparatus and recording medium |
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20071027 Year of fee payment:7 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20081027 Year of fee payment:8 | |
| LAPS | Cancellation because of no payment of annual fees |