JP4490214B2 - Electronic album display system, electronic album display method, and electronic album display program - Google Patents
Electronic album display system, electronic album display method, and electronic album display programDownload PDFInfo
- Publication number
- JP4490214B2 JP4490214B2JP2004264527AJP2004264527AJP4490214B2JP 4490214 B2JP4490214 B2JP 4490214B2JP 2004264527 AJP2004264527 AJP 2004264527AJP 2004264527 AJP2004264527 AJP 2004264527AJP 4490214 B2JP4490214 B2JP 4490214B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- album
- person
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
Translated fromJapanese本発明は、電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムに関する。特に本発明は、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム、並びに、複数の画像を分類する画像分類装置、画像分類方法、及び画像分類プログラムに関する。 The present invention relates to an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program. In particular, the present invention relates to an electronic album display system, an electronic album display method, an electronic album display program for displaying a plurality of images included in an electronic album, an image classification apparatus, an image classification method, and an image for classifying a plurality of images. Regarding the classification program.
従来、複数の画像を表示する表示方法として、複数の画像のそれぞれを、当該画像の関連情報に基づいて複数のグループに分類すると共に、それぞれのグループから選択した代表画像を表示する表示方法が提案されている（例えば、特許文献１参照。）。
複数の画像を表示する表示方法において、すべての画像を表示するのではなく、一部の画像のみを選択して表示する場合に、鑑賞者が所望する画像を自動的に選択することは容易ではない。例えば、特許文献１に記載の表示方法のように、画像を分類したグループのそれぞれから当該グループを代表する代表画像を選択して表示する場合、複数の画像全体における大凡の内容を効率よく把握することができるという効果はあるものの、鑑賞者が所望する画像を精度よく選択することは困難であった。 In a display method for displaying a plurality of images, it is not easy to automatically select a desired image by the viewer when only a part of the images is selected and displayed instead of displaying all the images. Absent. For example, when a representative image representing the group is selected and displayed from each of the groups into which the images are classified as in the display method described in
そこで本発明は、上記の課題を解決することができる電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。 Therefore, an object of the present invention is to provide an electronic album display system, an electronic album display method, an electronic album display program, an image classification device, an image classification method, and an image classification program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
上記課題を解決するために、本発明の第１の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムであって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える。 In order to solve the above problem, in the first embodiment of the present invention, an electronic album display system for displaying a plurality of images included in an electronic album, an image storage unit storing a plurality of images, For each of the plurality of images, based on the recognition result by the person recognition unit that recognizes the plurality of persons included in the image and the person recognition unit for each of the plurality of images, the parent between the persons included in the image An image intimacy calculating unit that calculates an in-image intimacy as a density as a higher value as a distance between images indicating each of the persons is smaller, and an in-image parent calculated for each of a plurality of images Based on the density, the in-album intimacy calculating unit that calculates in-album intimacy between each of the persons included in at least some of the images. The image selection unit for selecting an image including a person whose album intimacy with the viewer is equal to or higher than a predetermined reference value, and the image selected by the image selection unit are displayed. An image display unit.
画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してもよい。 For each of the plurality of images, the in-image intimacy calculation unit indicates the in-image intimacy between the persons included in the image, and the smaller the distance between the face images included in the image indicating each of the persons, It may be calculated as a higher value. If the distance between images indicating each person included in the image is equal to or greater than a predetermined reference value for each of the plurality of images, the image intimacy calculation unit The inner familiarity may be calculated as a predetermined standard value.
画像格納部は、電子アルバムの所有者が含まれる画像を格納しており、画像選択部は、所有者と鑑賞者とが異なる場合に、所有者と鑑賞者との間のアルバム内親密度に基づいて画像を選択してもよい。画像選択部は、所有者との間のアルバム内親密度が、所有者と鑑賞者との間のアルバム内親密度より低い人物が含まれる画像を選択してもよい。当該電子アルバム表示システムは、鑑賞者の顔画像を撮像する撮像部と、撮像部により撮像された顔画像に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者である人物を識別する鑑賞者識別部とを更に備え、画像選択部は、鑑賞者識別部により識別された鑑賞者である人物との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択してもよい。 The image storage unit stores an image including the owner of the electronic album, and the image selection unit determines the closeness in the album between the owner and the viewer when the owner and the viewer are different. An image may be selected based on. The image selection unit may select an image including a person whose in-album intimacy with the owner is lower than in-album intimacy between the owner and the viewer. The electronic album display system is configured to capture an image from a person included in at least a part of a plurality of images based on an image capturing unit that captures a face image of a viewer and the face image captured by the image capturing unit. A viewer identification unit that identifies the person who is the viewer, and the image selection unit has an album intimacy between the viewer and the person identified by the viewer identification unit greater than or equal to a predetermined reference value You may select the image in which the person who is is.
また、本発明の第２の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについての人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、画像選択段階において選択された画像を表示する画像表示段階とを備える。 Further, in the second embodiment of the present invention, there is provided an electronic album display method for displaying a plurality of images included in an electronic album, wherein each of the plurality of images recognizes a plurality of persons included in the image. Based on the recognition results in the recognition stage and the person recognition stage for each of the plurality of images, the intimacy in the image, which is the intimacy between the persons included in the image, is determined between the images indicating each of the persons. Included in at least some of the plurality of images based on the in-image intimacy calculation stage calculated as a higher value as the distance is smaller and the in-image intimacy calculated for each of the plurality of images In-album intimacy calculation stage for calculating in-album intimacy, which is the intimacy between each person to be viewed, and in-album intimacy between viewers among multiple images Comprising an image selection step of selecting an image included is a predetermined reference value or more persons, and an image display step of displaying the image selected in the image selection step.
また、本発明の第３の形態においては、電子アルバムに含まれる複数の画像を表示する電子アルバム表示システムとしてコンピュータを機能させる電子アルバム表示プログラムであって、当該コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、複数の画像のうち、鑑賞者との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、画像選択部により選択された画像を表示する画像表示部とを備える電子アルバム表示システムとして機能させる。 According to a third aspect of the present invention, there is provided an electronic album display program for causing a computer to function as an electronic album display system for displaying a plurality of images included in an electronic album, the computer storing a plurality of images. An image storage unit, a person recognition unit for recognizing a plurality of persons included in the image, and a recognition result by the person recognition unit for each of the plurality of images. An in-image intimacy calculation unit that calculates an in-image intimacy that is an intimacy between included persons as a smaller value as the distance between images indicating each of the persons is smaller, and each of the plurality of images The intimacy between each of the persons included in at least some of the images based on the intimacy within the image calculated for An in-album intimacy calculation unit that calculates in-album intimacy and an image that includes a person whose album intimacy with the viewer is greater than or equal to a predetermined reference value among a plurality of images And an image display unit that displays an image selected by the image selection unit.
また、本発明の第４の形態においては、複数の画像を分類する画像分類装置であって、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える。 According to the fourth aspect of the present invention, there is provided an image classification device that classifies a plurality of images, and includes an image storage unit that stores a plurality of images and each of the plurality of images. Based on the recognition result by the person recognition unit for recognizing a plurality of persons and the person recognition unit for each of the plurality of images, the intimacy in the image that is the intimacy between the persons included in the image is determined. Based on the in-image intimacy calculated for each of the plurality of images, the in-image intimacy calculation unit calculated as a higher value as the distance between the images indicating each is smaller, Intra-album intimacy calculation unit for calculating intimacy in album, which is an intimacy between each person included in at least some images, and in-album intimacy calculated by in-album intimacy calculation unit Based on the time, and an image classifying unit for classifying each of the plurality of images into a plurality of groups.
画像内親密度算出部は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。画像分類部は、複数の画像のそれぞれを、当該画像に含まれる人物の、複数の画像のうち少なくとも一部の画像に含まれる一の人物に対するアルバム内親密度の範囲毎のグループに分類してもよい。 For each of the plurality of images, the in-image intimacy calculation unit indicates the in-image intimacy between the persons included in the image, and the smaller the distance between the face images included in the image indicating each of the persons, It may be calculated as a higher value. The image classification unit classifies each of the plurality of images into a group for each range of intimacy within the album for one person included in at least some of the plurality of images of the person included in the image. Also good.
また、本発明の第５の形態においては、複数の画像を分類する画像分類方法であって、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、複数の画像のそれぞれについての人物認識段階における認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、アルバム内親密度算出段階により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類段階とを備える。 Further, in the fifth aspect of the present invention, there is provided an image classification method for classifying a plurality of images, for each of the plurality of images, a person recognition stage for recognizing a plurality of persons included in the image, Based on the recognition result at the person recognition stage for each of the images, the intimacy within the image, which is the intimacy between the persons included in the image, becomes smaller as the distance between the images indicating the respective persons becomes smaller. Intra-image intimacy calculation stage calculated as a high value, and between each person included in at least some of the images based on the in-image intimacy calculated for each of the plurality of images In-album intimacy calculation stage for calculating in-album intimacy, which is the intimacy in the album, and a plurality of images based on the in-album intimacy calculation in the album intimacy And an image classification step for classifying into a plurality of groups, respectively.
また、本発明の第６の形態においては、複数の画像を分類する画像分類装置としてコンピュータを機能させる画像分類プログラムであって、コンピュータを、複数の画像を格納している画像格納部と、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識部と、複数の画像のそれぞれについての人物認識部による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、複数の画像のそれぞれについて算出された画像内親密度に基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、アルバム内親密度算出部により算出されたアルバム内親密度に基づいて、複数の画像のそれぞれを複数のグループに分類する画像分類部とを備える画像分類装置として機能させる。 According to a sixth aspect of the present invention, there is provided an image classification program that causes a computer to function as an image classification device that classifies a plurality of images, the computer including an image storage unit that stores a plurality of images, and a plurality of images A person recognition unit for recognizing a plurality of persons included in the image and a closeness between the persons included in the image based on a recognition result by the person recognition unit for each of the plurality of images. The in-image intimacy calculating unit calculates the in-image intimacy in the image as a higher value as the distance between the images representing the persons is smaller, and the in-image intimacy calculated for each of the plurality of images. In-album parent that calculates an in-album intimacy between each of the persons included in at least some of the images based on A degree calculating unit, on the basis of the album in intimacy degree calculated by the closeness calculation unit in the album, to function as an image classification apparatus and an image classifying unit for classifying each of the plurality of images into a plurality of groups.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
本発明によれば、画像の鑑賞者が所望する画像を、精度よく自動的に選択して表示することができる。 According to the present invention, an image desired by an image viewer can be automatically selected and displayed with high accuracy.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the invention according to the scope of claims, and all combinations of features described in the embodiments are included. It is not necessarily essential for the solution of the invention.
図１は、本発明の第１の実施形態に係る電子アルバム表示システム１０の一例を示す。電子アルバム表示システム１０は、電子アルバム再生部２０、及び画像表示部３０を備え、電子アルバムに含まれる複数の画像を表示して、鑑賞者４０に鑑賞させる。例えば、電子アルバム表示システム１０は、当該複数の画像を、所謂スライドショーとして、予め定められた時間間隔で切り替えつつ順次表示してよい。 FIG. 1 shows an example of an electronic
電子アルバム再生部２０は、電子アルバムに含まれる複数の画像を格納している。ここで、画像とは、静止画像及び動画像の何れであってもよい。そして、電子アルバム再生部２０は、当該複数の画像の中から、表示すべき画像を選択し、選択した画像を画像信号として再生して画像表示部３０に出力する。なお、電子アルバム再生部２０は、例えば、静止画像または動画像を再生可能であるＤＶＤプレイヤー等の映像再生機器であってもよい。画像表示部３０は、例えばテレビ受像機であってよく、電子アルバム再生部２０により選択された画像を示す画像信号を受け取って表示する。 The electronic
本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムに含まれるすべての画像を表示するのではなく、一部の画像のみを選択して表示する場合において、画像に含まれるそれぞれの人物の間の距離に基づいて算出した人物間の親密度に従って画像を選択することにより、鑑賞者４０が鑑賞したいと所望する画像を、精度よく自動的に選択して表示することを目的とする。
また、本発明の第１の実施形態に係る電子アルバム表示システム１０は、電子アルバムの所有者４５と、鑑賞者４０とが異なる場合に、所有者４５と鑑賞者４０との間の親密度に基づいて画像を選択することにより、所有者４５が鑑賞者４０に鑑賞させたいと所望する画像を、精度よく自動的に選択して表示することを目的とする。The electronic
In addition, the electronic
図２は、本発明の第１の実施形態に係る電子アルバム表示システム１０の機能構成の一例を示すブロック図である。電子アルバム再生部２０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、撮像部２５０、鑑賞者識別部２６０、画像選択部２７０、及び画像処理部２８０を有する。 FIG. 2 is a block diagram illustrating an example of a functional configuration of the electronic
画像格納部２００は、電子アルバムに含まれる複数の画像を格納している。顔画像データベース２１０は、複数の人物の顔画像を格納している。人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する。そして、人物認識部２２０は、それぞれの画像における人物の認識結果を、画像内親密度算出部２３０、アルバム内親密度算出部２４０、及び画像選択部２７０に出力する。 The
画像内親密度算出部２３０は、電子アルバムに含まれる複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物のそれぞれを示す画像の間の距離を算出する。そして、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離に基づいて算出する。具体的には、画像内親密度算出部２３０は、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する。そして、画像内親密度算出部２３０は、算出したそれぞれの画像における、それぞれの人物の間の画像内親密度をアルバム内親密度算出部２４０に出力する。アルバム内親密度算出部２４０は、電子アルバムに含まれる複数の画像のそれぞれについて画像内親密度算出部２３０により算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、算出したアルバム内親密度を画像選択部２７０に出力する。 The in-image
撮像部２５０は、例えば電子アルバム再生部２０に設けられたデジタルカメラであり、鑑賞者４０の顔画像を撮像する。そして、撮像部２５０は、撮像した鑑賞者４０の顔画像を、鑑賞者識別部２６０に出力する。鑑賞者識別部２６０は、撮像部２５０により撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する。そして、鑑賞者識別部２６０は、鑑賞者４０である人物の識別結果を、画像選択部２７０に出力する。 The
画像選択部２７０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像選択部２７０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像選択部２７０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する。ここで、画像選択部２７０は、鑑賞者識別部２６０から受け取った識別結果に基づいて、鑑賞者４０が、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物であるかを認識してよい。そして、画像選択部２７０は、選択した画像を画像処理部２８０に出力する。また、画像選択部２７０は、アルバム内親密度のみならず、それぞれの画像に付与されているタグ情報（例えば、Ｅｘｉｆ：Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅフォーマット等によるタグ情報）に基づいて、画像を選択してもよく、更に、複数の画像を選択する場合には、当該複数の画像の再生順序を決定してもよい。例えば、画像選択部２７０は、アルバム内親密度が基準値以上である画像の中で、更に、撮像日時や撮像地点が、例えば鑑賞者４０等によって指定された範囲に含まれる画像を選択してよい。また、例えば、画像選択部２７０は、複数の画像を選択する場合において、当該複数の画像の再生順序を、親密度が大きい順や、撮像日時の順、或いは撮像地点が互いに近接している順等として決定してよい。更に、画像選択部２７０は、決定した複数の画像の再生順序を示す情報をファイル等に記述することにより出力してよい。これにより、例えばデジタルスチルカメラ等の、画像選択部２７０を有さない装置であっても、当該再生順序に従って、当該複数の画像をスライドショーとして再生することができる。 The
画像処理部２８０は、画像選択部２７０によって選択された画像に対して画像処理を行う。ここで、画像処理とは、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の伸張処理や、ＮＴＳＣまたはＰＡＬ等の映像信号への変換処理等であってよい。そして、画像処理部２８０は、画像処理を行った画像を、画像表示部３０に出力する。また、画像処理部２８０は、画像選択部２７０により複数の画像が選択されると共に、当該複数の画像の再生順序が決定されている場合には、画像処理を行った当該複数の画像を、当該再生順序に従って画像表示部３０に順次出力してよい。そして、画像表示部３０は、画像処理部２８０から受け取った画像を表示して、鑑賞者４０に鑑賞させる。 The
二人の人物が非常に親密である場合、当該二人の人物が近接した状態で画像が撮像されることが多い。一方、二人の人物があまり親密ではない場合、当該二人の人物が近接した状態で画像が撮像されることは多くない。このように、画像を撮像する場合における人物間の距離は、それぞれの人物の間における親密さと関連していると言える。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、鑑賞者４０との間のアルバム内親密度が基準値以上である人物を含む画像を選択して表示することができる。即ち、鑑賞者４０は、画像に含まれる人物との間の親密さに関する情報を電子アルバム表示システム１０に入力しなくとも、自分自身にとって親密度が高い人物を含む画像を自動的に選択させて、表示させることができる。 When two persons are very intimate, an image is often captured with the two persons in close proximity. On the other hand, when the two persons are not very close, images are not often captured in the state where the two persons are close to each other. Thus, it can be said that the distance between persons when an image is captured is related to the intimacy between the persons. Here, according to the electronic
また、電子アルバム表示システム１０によれば、鑑賞者４０の顔画像を撮像して、電子アルバムにおける画像のそれぞれに含まれる複数の人物のうち、何れの人物が鑑賞者４０であるかを認識することができる。これにより、鑑賞者４０は、電子アルバム表示システム１０に対して、自分自身の情報を登録したり、ログイン手続きを行ったりしなくとも、所望する画像を容易に鑑賞することができる。 Further, according to the electronic
図３は、本発明の第１の実施形態に係る画像格納部２００の一例を示す。画像格納部２００は、電子アルバムに含まれる複数の画像のそれぞれについて、当該画像を識別する画像識別子と、当該画像を示す画像データとを対応付けて格納している。ここで、画像識別子とは、画像格納部２００が画像を格納する場合に、それぞれの画像について一意となるべく定められた値であってよい。なお、本図において、画像識別子は数値として示されているが、これに代えて、画像識別子は、例えば画像データを示すファイルに割り当てられたファイル名等の文字列であってもよい。 FIG. 3 shows an example of the
図４は、本発明の第１の実施形態に係る顔画像データベース２１０の一例を示す。顔画像データベース２１０は、複数の人物のそれぞれについて、当該人物を識別する人物識別子と、当該人物の顔画像とを対応付けて格納している。ここで、人物識別子は、例えば、顔画像データベース２１０に顔画像が格納される場合に、それぞれの顔画像について一意となるべく定められた値であってよい。また、顔画像データベース２１０は、人物認識部２２０から顔画像を受け取って格納してよい。具体的には、人物認識部２２０は、画像格納部２００に格納されている画像に含まれる人物を認識する場合において、当該画像から抽出した人物の顔画像が、顔画像データベース２１０に格納されている何れの顔画像に対しても予め定められた基準値以上の類似度を示さない場合に、当該画像から抽出した人物の顔画像を、新たな顔画像として顔画像データベース２１０に格納させてよい。これにより、顔画像データベース２１０は、画像格納部２００に格納されている複数の画像の少なくとも一部の画像に含まれる人物の顔画像を格納することができる。 FIG. 4 shows an example of the
図５は、本発明の第１の実施形態に係る人物認識部２２０による人物の認識結果の一例を示す。例えば、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、輪郭抽出処理や色分布分析処理等の公知の画像処理を行うことにより、当該画像に含まれる複数の被写体を検出する。そして、人物認識部２２０は、検出したそれぞれの被写体を示す画像から、人物の顔に固有の特徴量を検出することにより、当該被写体が人物である場合に、当該被写体を示す画像から人物の顔を示す部分画像を検出する。そして、人物認識部２２０は、検出した人物の顔を示す部分画像を、図４に示した顔画像データベース２１０に格納されている複数の顔画像のそれぞれと比較することにより、画像格納部２００に格納されているそれぞれの画像に含まれる複数の人物のそれぞれを識別する。そして、人物認識部２２０は、図５に示すように、複数の画像のそれぞれについて、当該画像に含まれる複数の人物を示す複数の人物識別子を検出し、画像内親密度算出部２３０、アルバム内親密度算出部２４０、及び画像選択部２７０に出力する。また、人物認識部２２０は、複数の画像のそれぞれについて、当該画像において検出した人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報を、画像内親密度算出部２３０に出力する。ここで、位置情報とは、例えば、それぞれの画像内における、人物または当該人物の顔を示す部分画像の、左上隅及び右下隅の画素の座標値を含んでいてよい。 FIG. 5 shows an example of a person recognition result by the
図６は、本発明の第１の実施形態に係る画像内親密度算出部２３０による画像内親密度の算出結果の一例を示す。画像内親密度算出部２３０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物の間の親密度である画像内親密度を算出する。具体的には、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出してよい。例えば、画像内親密度算出部２３０は、それぞれの画像に含まれる人物の間の画像内親密度が、当該人物のそれぞれを示す画像の間の距離に反比例するべく、画像内親密度を算出してよい。また、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。なお、画像内親密度算出部２３０は、人物のそれぞれを示す画像の間の距離、または人物のそれぞれを示す画像に含まれる顔画像の間の距離を、人物認識部２２０から受け取った、複数の画像のそれぞれにおける人物または当該人物の顔を示す部分画像の、当該画像内における位置を示す位置情報や、当該画像内における大きさを表す面積情報に基づいて算出してよい。 FIG. 6 shows an example of the calculation result of the in-image familiarity by the in-image
二人の人物の顔が近接して画像が撮像されている場合、当該二人の人物は非常に親しい場合が多い。一方、二人の人物があまり親密ではない場合、当該二人の人物の顔が近接した状態で画像が撮像されることは多くない。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、画像に含まれる人物の顔画像の間の距離に基づいて画像内親密度を算出することができるので、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を高い精度で算出することができる。 When two people's faces are close to each other and an image is captured, the two people are often very close. On the other hand, when the two persons are not very close, images are not often captured with the faces of the two persons close to each other. Here, according to the electronic
また、画像内親密度算出部２３０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる人物のそれぞれを示す画像の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を、予め定められた標準値として算出してよい。ここで、予め定められた基準値及び予め定められた標準値とは、例えば鑑賞者４０や所有者４５等によって予め指定された値であってよい。 Further, the in-image
二人の人物の間の距離と、当該二人の人物の間の親密度とは関連するが、何れの距離においても、常に、距離がより近い程、親密度がより高いとは限らない。例えば、二人の人物が１０メートル離れている場合と、１５メートル離れている場合とでは、当該二人の人物の間の親密度に差はないと見なせる場合がある。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、人物の間の距離が予め定められた基準値以上である場合には、当該人物の間の画像内親密度を予め定められた標準的な親密度として算出することができるので、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を高い精度で算出することができる。 Although the distance between two persons and the intimacy between the two persons are related, at any distance, the closer the distance, the more intimate is not always. For example, there may be cases where there is no difference in the intimacy between the two persons when the two persons are 10 meters apart and when the two persons are 15 meters away. Here, according to the electronic
図７は、本発明の第１の実施形態に係るアルバム内親密度算出部２４０によるアルバム内親密度の算出結果の一例を示す。アルバム内親密度算出部２４０は、画像格納部２００に格納されている複数の画像のそれぞれについて算出された、当該画像内に含まれるそれぞれの人物の間の画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する。例えば、アルバム内親密度算出部２４０は、本図に示すように、人物識別子が０である人物と、人物識別子が１である人物との間のアルバム内親密度を、９．８として算出する。ここで、アルバム内親密度算出部２４０は、当該複数の画像の中の、少なくとも一部の画像に含まれる第１の人物と第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像の数がより多い程、より高く算出してよい。例えば、アルバム内親密度算出部２４０は、当該第１の人物と当該第２の人物との間のアルバム内親密度を、複数の画像のうち、当該第１の人物と当該第２の人物との双方が含まれる画像のそれぞれについて算出された、当該１の人物と当該第２の人物との間の画像内親密度のそれぞれを合計することにより算出してよい。 FIG. 7 shows an example of the calculation result of the in-album familiarity by the in-album
二人の人物のそれぞれが同一の画像に含まれる頻度が高い程、当該二人の人物の間の関係はより親密である場合が多い。従って、画像内親密度を合計してアルバム内親密度を算出することにより、電子アルバム内の画像に含まれる人物の間の親密度を、高い精度で算出することができる。 The more frequently each of the two persons is included in the same image, the closer the relationship between the two persons is. Therefore, by calculating the intimacy in the album by adding the intimacy in the image, the intimacy between persons included in the images in the electronic album can be calculated with high accuracy.
そして、画像選択部２７０は、鑑賞者識別部２６０から受け取った、鑑賞者４０である人物を示す人物識別子と、本図に示したようなアルバム内親密度の算出結果とに基づいて、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物の人物識別子を検出する。そして、画像選択部２７０は、人物認識部２２０による、画像格納部２００に格納されている複数の画像のそれぞれに含まれる人物の認識結果に基づいて、検出した人物識別子が含まれる画像を選択する。 Then, the
また、アルバム内親密度算出部２４０は、画像格納部２００が、それぞれの画像に対応付けて、当該画像の撮像日時を格納している場合に、画像格納部２００が格納している複数の画像のそれぞれにおける撮像日時に基づいて、アルバム内親密度の時間変化を更に算出してもよい。具体的には、アルバム内親密度算出部２４０は、例えば１年や１ヶ月等の予め定められた単位期間毎に、当該単位期間内に撮像されている複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を算出する。そして、アルバム内親密度算出部２４０は、それぞれの単位期間毎に算出した、それぞれの人物の間のアルバム内親密度における時間変化を算出する。ここで、時間変化は、例えば、隣接する単位期間のそれぞれについて算出されたアルバム内親密度における変化の割合、具体的には「１０％の上昇」や「５０％の低下」等として算出されてよい。 The in-album
そして、画像選択部２７０は、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物のうち、鑑賞者４０との間のアルバム内親密度における最近の時間変化が、予め定められた閾値以上の低下率を示す人物を除く、他の人物が含まれる画像を選択してよい。ここで、最近の時間変化とは、アルバム内親密度算出部２４０によってアルバム内親密度が算出された複数の単位期間のうち、鑑賞者４０等によって予め定められた数の、最も遅い複数の単位期間において算出された時間変化であってよい。これにより、鑑賞者４０と他の人物とが、以前は親密であったにも関わらず、現在は親密でなくなっている場合に、当該他の人物が含まれる画像は選択せず、現在も親密である人物が含まれる画像を優先的に選択することができるので、鑑賞者４０が鑑賞したいと所望する画像を、精度よく選択して表示することができる。 Then, the
なお、電子アルバム再生部２０は、前述したように、画像選択部２７０によって決定された、複数の画像の再生順序を示す情報をファイルに記述しておいてもよく、また、画像格納部２００に格納されている複数の画像のそれぞれにおける、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物のそれぞれと鑑賞者４０との間のアルバム内親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納してもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。 As described above, the electronic
また、電子アルバム表示システム１０は、図１から図７において説明した電子アルバム再生部２０における処理のそれぞれを、異なる複数の装置において行ってもよい。具体的には、電子アルバム表示システム１０は、人物認識部２２０による人物の認識処理をデジタルスチルカメラにおいて行うと共に、画像内親密度算出部２３０による画像内親密度の算出処理、及びアルバム内親密度算出部２４０によるアルバム内親密度の算出処理を、パーソナルコンピュータ（ＰＣ）において行ってよい。この場合、当該デジタルスチルカメラは、撮像した画像についての人物認識部２２０による人物の認識結果を、ＧＰＳ情報や色空間情報、露出時間、フラッシュの有無、シャッター速度等の撮像情報と共に、Ｅｘｉｆフォーマット等のタグ情報として、当該画像に対応付けて記録媒体に記録してよい。そして、当該ＰＣは、当該記録媒体に記録されている情報を読み出すことにより、画像内親密度及びアルバム内親密度の算出、表示する画像の選択、並びに画像の再生順序の決定等を行ってよい。そして、当該ＰＣは、選択した画像や画像の再生順序を示す情報を、当該記録媒体に記録して当該デジタルスチルカメラに入力させることにより、当該デジタルスチルカメラに、当該再生順序に従って、選択した画像を順次再生させることができる。なお、当該デジタルスチルカメラは、人物の認識処理だけでなく、更に、画像内親密度やアルバム内親密度の算出を行ってもよい。この場合、当該デジタルスチルカメラは、算出した画像内親密度やアルバム内親密度を、タグ情報として画像に更に対応付けて記録してよい。 In addition, the electronic
図８は、本発明の第１の実施形態に係る電子アルバム表示システム１０における処理の流れの一例を示すフローチャートである。本例において、画像格納部２００は、鑑賞者４０とは異なる、電子アルバムの所有者４５が含まれる画像を格納している。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１０００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する（Ｓ１０１０）。続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１０２０）。 FIG. 8 is a flowchart illustrating an example of a process flow in the electronic
続いて、撮像部２５０が鑑賞者４０の顔画像を撮像すると共に、鑑賞者識別部２６０が、撮像された鑑賞者４０の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、鑑賞者４０である人物を識別する（Ｓ１０３０）。ここで、電子アルバム表示システム１０は、鑑賞者識別部２６０が、鑑賞者４０である人物を識別したか否かを判定する（Ｓ１０４０）。そして、鑑賞者４０である人物が識別された場合に（Ｓ１０４０：Ｙｅｓ）、撮像部２５０が更に所有者４５の顔画像を撮像すると共に、鑑賞者識別部２６０が、更に、撮像された所有者４５の顔画像と、顔画像データベース２１０に格納されている複数の人物の顔画像とに基づいて、複数の画像の中の、少なくとも一部の画像に含まれる人物から、所有者４５である人物を識別する（Ｓ１０５０）。ここで、電子アルバム表示システム１０は、鑑賞者識別部２６０が、所有者４５である人物を識別したか否かを判定する（Ｓ１０６０）。 Subsequently, the
そして、所有者４５である人物が識別された場合に（Ｓ１０６０：Ｙｅｓ）、 画像選択部２７０は、画像格納部２００に格納されている複数の画像の中から、画像表示部３０によって表示されるべき画像を選択する（Ｓ１０７０）。例えば、画像選択部２７０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間のアルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択してよい。ここで、予め定められた基準値とは、例えば、鑑賞者４０によって指定された値であってよく、また、標準的な値として、何れの鑑賞者４０に対しても共通に定められた値であってもよく、もしくは、鑑賞者４０が指定した、鑑賞したい画像の枚数に応じて算出された値であってもよい。また、例えば、画像選択部２７０は、画像格納部２００に格納されている複数の画像のうち、鑑賞者４０との間における親密度が、予め定められた範囲に含まれる人物を含む画像を選択してよい。ここで、予め定められた範囲とは、例えば、鑑賞者４０によって予め入力された範囲であってよい。 When the person who is the
また、画像選択部２７０は、所有者４５と鑑賞者４０との間のアルバム内親密度に基づいて、表示されるべき画像を選択してもよい。具体的には、画像選択部２７０は、所有者４５との間のアルバム内親密度が、所有者４５と鑑賞者４０との間のアルバム内親密度より低い人物が含まれる画像を選択してよい。もしくは、画像選択部２７０は、所有者４５との間のアルバム内親密度が、所有者４５と鑑賞者４０との間のアルバム内親密度より低い人物のみが含まれる画像を選択してよい。ここで、画像選択部２７０は、鑑賞者識別部２６０から受け取った識別結果に基づいて、当該複数の画像のそれぞれに含まれる人物のうち、何れの人物が所有者４５であるかを認識してよい。続いて、電子アルバム表示システム１０は、表示されるべき画像が選択されたか否かを判定する（Ｓ１０８０）。そして、画像が選択された場合に（Ｓ１０８０：Ｙｅｓ）、画像表示部３０は、選択された画像を表示する（Ｓ１０９０）。 Further, the
例えば、所有者４５が、友人に電子アルバムを鑑賞させる場合のように、所有者４５と鑑賞者４０とが異なる人物である場合において、所有者４５は、電子アルバムに含まれるすべての画像を鑑賞者４０に見せてもよいと考えるとは限らない。例えば、所有者４５は、鑑賞者４０が自分自身にとってあまり親密な人物ではない場合には、自分にとって非常に親密な人物が含まれる画像、言い換えれば、プライベートな画像を、鑑賞者４０には見せたくないと考える場合がある。つまり、所有者４５と鑑賞者４０との間の親密度に応じて、所有者４５が鑑賞者４０に見せてもよいと考える画像が変化する場合がある。ここで、本発明の第１の実施形態に係る電子アルバム表示システム１０によれば、所有者４５と鑑賞者４０との間の親密度より低い人物が含まれる画像を選択する等、電子アルバムに含まれる画像から算出された、所有者４５と鑑賞者４０との間の親密度に基づいて、表示する画像を自動的に選択することができる。これにより、所有者４５は、鑑賞者４０に見せてもよい画像を、電子アルバムに含まれる多数の中から手動で選択したりすることなく、所望の画像を鑑賞者４０に鑑賞させることができる。 For example, in the case where the
図９は、本発明の第２の実施形態に係る画像分類装置５０の機能構成の一例を示すブロック図である。画像分類装置５０は、画像格納部２００、顔画像データベース２１０、人物認識部２２０、画像内親密度算出部２３０、アルバム内親密度算出部２４０、人物選択部５００、画像分類部５１０、及び分類格納部５２０を備える。画像分類装置５０は、画像格納部２００に格納されている複数の画像を分類して、分類格納部５２０に格納する。なお、本図に示した画像分類装置５０が備える部材のうち、図２に示した電子アルバム表示システム１０が備える部材と同一の符号を付した部材は、図１から図８において説明した対応する部材と略同一の機能及び構成を有するので、相違点を除き、説明を省略する。 FIG. 9 is a block diagram showing an example of a functional configuration of the
本発明の第２の実施形態に係る画像分類装置５０は、複数の画像のそれぞれを複数のグループに分類する場合に、画像に含まれるそれぞれの人物の間の距離に基づいて人物間の親密度を算出すると共に、算出した人物間の親密度に基づいて画像を分類することを目的とする。 When classifying each of a plurality of images into a plurality of groups, the
人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する。具体的には、人物選択部５００は、顔画像データベース２１０に格納されている複数の顔画像から、一の顔画像を選択することにより、当該一の顔画像に対応付けて顔画像データベース２１０に格納されている人物識別子を抽出する。そして、人物選択部５００は、選択した一の人物を示す情報、即ち抽出した人物識別子を、画像分類部５１０に出力する。画像分類部５１０は、画像格納部２００に格納されている複数の画像のそれぞれに含まれる複数の人物の認識結果を、人物認識部２２０から受け取る。また、画像分類部５１０は、画像格納部２００に格納されている複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間におけるアルバム内親密度を、アルバム内親密度算出部２４０から受け取る。そして、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類する。具体的には、画像分類部５１０は、複数の画像のそれぞれを、当該画像に含まれる人物の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類する。そして、画像分類部５１０は、分類した画像のそれぞれを、分類格納部５２０に格納させる。分類格納部５２０は、画像格納部２００に格納されている画像のそれぞれを、画像分類部５１０による分類結果に従って格納している。 The
本発明の第２の実施形態に係る画像分類装置５０によれば、画像に含まれる人物の間の距離に基づいて、当該画像に含まれる人物間の親密度である画像内親密度を算出することができると共に、電子アルバムに含まれる画像のそれぞれにおける画像内親密度に基づいて、電子アルバムに含まれる画像全体における人物間の親密度であるアルバム内親密度を算出することができる。そして、算出したアルバム内親密度に基づいて、複数の画像を複数のグループに分類することができる。これにより、従来の、撮像日時や撮像地点等の画像情報のみに基づいて画像を分類する場合に比べて、画像の内容や、画像を鑑賞する人物にとっての重要度等に基づく、より実用的な画像の分類を行うことができる。 According to the
また、画像分類装置５０によれば、複数の画像を、例えば電子アルバムの所有者等の、人物選択部５００によって選択された人物に対するアルバム内親密度の範囲毎のグループに分類することができる。これにより、所有者に対する親密度が高い人物が含まれる画像のような、所有者にとって重要度のより高い画像を抽出してＤＶＤ−Ｖｉｄｅｏ等に加工したり、また、重要度のより低い画像を削除して電子アルバムを整理したりする作業を、効率よく行うことができる。 Further, according to the
図１０は、本発明の第２の実施形態に係る分類格納部５２０の一例を示す。分類格納部５２０は、複数の画像のそれぞれを、画像分類部５１０による分類に従って、複数のグループ（６００、６１０、・・・）に分類して格納している。具体的には、分類格納部５２０は、それぞれのグループに対応付けて、アルバム内親密度の範囲を示す情報を格納しており、人物選択部５００により選択された人物との間のアルバム内親密度が当該範囲に含まれる人物を含む画像を、当該グループに分類して格納している。また、分類格納部５２０は、それぞれのグループに対応付けて、画像を示す情報を複数格納している。ここで、画像を示す情報とは、例えば、当該画像を識別する画像識別子と、当該画像を示す画像データとを含んでいてよい。 FIG. 10 shows an example of the
なお、分類格納部５２０は、一の画像を、複数のグループのそれぞれに重複して分類していてもよい。また、分類格納部５２０は、それぞれの画像における、当該画像に含まれる人物の認識結果や、当該画像に含まれる人物の間の画像内親密度、或いは当該画像に含まれる人物の間のアルバム内親密度等を、Ｅｘｉｆフォーマット等に基づくタグ情報として、当該画像を示す画像ファイルに格納していてもよい。これにより、それぞれの画像に対して、当該画像に含まれる人物を認識したり、親密度を算出したりする処理を再度実行する場合において、処理に要する時間を短縮することができる。 Note that the
図１１は、本発明の第２の実施形態に係る画像分類装置５０における処理の流れの一例を示すフローチャートである。まず、人物認識部２２０は、画像格納部２００に格納されている複数の画像のそれぞれについて、当該画像に含まれる複数の人物を、顔画像データベース２１０に格納されている複数の人物の顔画像に基づいて認識する（Ｓ１１００）。続いて、画像内親密度算出部２３０は、複数の画像のそれぞれについての人物認識部２２０による認識結果に基づいて、当該画像に含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像の間の距離が小さい程、より高い値として算出する（Ｓ１０１０）。また、画像内親密度算出部２３０は、複数の画像のそれぞれについて、当該画像に含まれる人物の間の画像内親密度を、当該人物のそれぞれを示す画像に含まれる顔画像の間の距離が小さい程、より高い値として算出してもよい。これにより、画像内における人物の間の親密度を、精度よく算出することができる。 FIG. 11 is a flowchart showing an example of the flow of processing in the
続いて、アルバム内親密度算出部２４０は、複数の画像のそれぞれについて算出された画像内親密度に基づいて、当該複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出する（Ｓ１１２０）。続いて、人物選択部５００は、画像格納部２００に格納されている複数の画像のうち少なくとも一部の画像に含まれる人物のそれぞれから、一の人物を選択する（Ｓ１１３０）。ここで、人物選択部５００は、例えば、顔画像データベース２１０に格納されている複数の顔画像が、画像分類装置５０に設けられた表示デバイスに一覧して表示されている場合に、利用者が選択した顔画像に対応する人物を選択してよい。また、例えば、人物選択部５００は、画像分類装置５０に設けられたデジタルカメラ等により撮像された利用者の顔画像と、顔画像データベース２１０に格納されている顔画像のそれぞれとに基づいて、複数の画像のうち少なくとも一部の画像に含まれる人物の中から、利用者である人物を検出して、当該検出した人物を選択してもよい。続いて、画像分類部５１０は、人物の認識結果と人物のそれぞれの間におけるアルバム内親密度とに基づいて、画像格納部２００に格納されている複数の画像のそれぞれを複数のグループに分類して、分類格納部５２０に格納させる（Ｓ１１４０）。 Subsequently, the in-album
図１２は、本発明の実施形態に係るコンピュータ１５００のハードウェア構成の一例を示すブロック図である。本発明の実施形態に係るコンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。 FIG. 12 is a block diagram showing an example of a hardware configuration of a
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。 The
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。 The input /
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。 The input /
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される電子アルバム表示プログラムまたは画像分類プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。電子アルバム表示プログラムまたは画像分類プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介してコンピュータ１５００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。コンピュータ１５００にインストールされて実行される電子アルバム表示プログラムまたは画像分類プログラムは、ＣＰＵ１５０５等に働きかけて、コンピュータ１５００を、図１から図１１にかけて説明した電子アルバム表示システム１０、電子アルバム再生部２０、または画像分類装置５０として機能させる。 An electronic album display program or image classification program provided to the
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。 The program shown above may be stored in an external storage medium. As the storage medium, in addition to the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
１０ 電子アルバム表示システム、２０ 電子アルバム再生部、３０ 画像表示部、４０ 鑑賞者、４５ 所有者、５０ 画像分類装置、２００ 画像格納部、２１０ 顔画像データベース、２２０ 人物認識部、２３０ 画像内親密度算出部、２４０ アルバム内親密度算出部、２５０ 撮像部、２６０ 鑑賞者識別部、２７０ 画像選択部、２８０ 画像処理部、５００ 人物選択部、５１０ 画像分類部、５２０ 分類格納部10 electronic album display system, 20 electronic album playback unit, 30 image display unit, 40 viewer, 45 owner, 50 image classification device, 200 image storage unit, 210 face image database, 220 person recognition unit, 230 closeness in image Calculation unit, 240 Intimacy in album calculation unit, 250 imaging unit, 260 viewer identification unit, 270 image selection unit, 280 image processing unit, 500 person selection unit, 510 image classification unit, 520 classification storage unit
Claims (7)
Translated fromJapanese前記複数の画像を格納している画像格納部と、
撮像部により撮像された鑑賞者の顔を示す鑑賞者顔画像に基づいて、前記複数の画像の中の少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別部と、
前記複数の画像のそれぞれに含まれる複数の人物を認識する人物認識部と、
前記複数の画像のそれぞれについての前記人物認識部による認識結果に基づいて、前記複数の画像のそれぞれに含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像内のそれぞれにおける顔画像の間の距離が小さい程、より高い値として算出する画像内親密度算出部と、
前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出部と、
前記複数の画像のうち、前記鑑賞者との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択部と、
前記画像選択部により選択された画像を表示する画像表示部と
を備え、
前記画像格納部は、前記電子アルバムの所有者の顔を示す所有者顔画像を格納しており、
前記画像選択部は、前記所有者顔画像と前記鑑賞者顔画像とが異なる場合に、前記所有者と前記鑑賞者との間の前記アルバム内親密度に基づいて、前記所有者との間の前記アルバム内親密度が、前記所有者と前記鑑賞者との間の前記アルバム内親密度より低い人物が含まれる画像を選択する
電子アルバム表示システム。An electronic album display system for displaying a plurality of images included in an electronic album,
An image storage unit storing the plurality of images;
A viewer identification for identifying a person who is the viewer from a person included in at least a part of the plurality of images based on a viewer face image indicating the face of the viewer captured by the imaging unit And
A person recognition unit for recognizing a plurality of persons included in each of the plurality of images;
Based on a recognition result by the person recognition unit for each of the plurality of images, an in-image closeness that is a closeness between persons included in each of the plurality of images is determined. In- image intimacy calculation unit that calculates a higher value asthe distance between the face images in each of the
Based on the in-image intimacy calculated for each of the plurality of images, an in-album intimacy that is an intimacy between each of the persons included in at least some of the plurality of images. Intimacy calculation part in album to calculate,
An image selection unit that selects an image including a person whose intimacy within the album with the viewer is equal to or higher than a predetermined reference value among the plurality of images;
An image display unit for displaying an image selected by the image selection unit,
The image storage unit stores an owner face image indicating a face of the owner of the electronic album,
The image selection unit, when the owner face image and the viewer face image are different, based on the familiarity in the album between the owner and the viewer, between the owner The electronic album display system which selects the image in which the intimacy in the album is lower than the intimacy in the album between the owner and the viewer.
請求項１または請求項２に記載の電子アルバム表示システム。The image selecting unit selects an image including a person whose in-album familiarity with a person who is the viewer identified by the viewer identifying unit is greater than or equal to a predetermined reference value. The electronic album display system according toclaim 1or 2 .
鑑賞者識別部が、撮像部により撮像された鑑賞者の顔を示す鑑賞者顔画像に基づいて、画像格納部が格納している前記複数の画像の中の少なくとも一部の画像に含まれる人物から、前記鑑賞者である人物を識別する鑑賞者識別段階と、
人物認識部が、前記複数の画像のそれぞれについて、当該画像に含まれる複数の人物を認識する人物認識段階と、
画像内親密度算出部が、前記複数の画像のそれぞれについての前記人物認識段階における認識結果に基づいて、前記複数の画像のそれぞれに含まれる人物の間の親密度である画像内親密度を、当該人物のそれぞれを示す画像内のそれぞれにおける顔画像の間の距離が小さい程、より高い値として算出する画像内親密度算出段階と、
アルバム内新密度算出部が、前記複数の画像のそれぞれについて算出された前記画像内親密度に基づいて、前記複数の画像の中の、少なくとも一部の画像に含まれる人物のそれぞれの間における親密度であるアルバム内親密度を算出するアルバム内親密度算出段階と、
画像選択部が、前記複数の画像のうち、鑑賞者との間の前記アルバム内親密度が予め定められた基準値以上である人物が含まれる画像を選択する画像選択段階と、
画像表示部が、前記画像選択段階において選択された画像を表示する画像表示段階と
を含み、
前記画像格納部は、前記電子アルバムの所有者の顔を示す所有者顔画像を格納しており、
前記画像選択段階では、前記画像選択部が、前記所有者顔画像と前記鑑賞者顔画像とが異なる場合に、前記所有者と前記鑑賞者との間の前記アルバム内親密度に基づいて、前記所有者との間の前記アルバム内親密度が、前記所有者と前記鑑賞者との間の前記アルバム内親密度より低い人物が含まれる画像を選択する
電子アルバム表示方法。An electronic album display method for displaying a plurality of images included in an electronic album,
A person included in at least a part of the plurality of images stored in the image storage unit by the vieweridentification unit based on a viewer face image indicating the viewer's face imaged bythe imaging unit From the viewer identification stage for identifying the person who is the viewer,
A person recognizing step for recognizing a plurality of persons included in the image for each of the plurality of images;
An image intimacy calculation unit , based on a recognition result in the person recognition stage for each of the plurality of images, an image intimacy that is an intimacy between persons included in each of the plurality of images,A degree of intimacy calculation in the image that is calculated as a higher value asthe distance between the face images in each of the images indicating each of the persons is smaller;
Based on the intimacy within the image calculated for each of the plurality of images, an in-album new density calculation unit determines a parent between each of the persons included in at least some of the plurality of images. In-album intimacy calculation stage for calculating in-album intimacy, which is the density,
Image selecting unit, among the plurality of images, an image selection step of selecting the image album in familiarity is included a person is a predetermined reference value or more between the viewer,
An image display unit for displaying an image selected in the image selection step;
The image storage unit stores an owner face image indicating a face of the owner of the electronic album,
In the image selection step,when the owner face image and the viewer face image are different, the image selection unit , based on the intimacy in the album between the owner and the viewer, An electronic album display method for selecting an image including a person whose in-album familiarity with an owner is lower than the in-album intimacy between the owner and the viewer.
請求項４または請求項５に記載の電子アルバム表示方法。The image selecting step,the image selection unit, the album the familiarity is included a person is a predetermined reference value or more between the viewer identification is the viewer identified in step People The electronic album display method according to claim4 or 5 , wherein an image is selected.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264527AJP4490214B2 (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, and electronic album display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004264527AJP4490214B2 (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, and electronic album display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006079457A JP2006079457A (en) | 2006-03-23 |
| JP4490214B2true JP4490214B2 (en) | 2010-06-23 |
Family
ID=36158840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004264527AExpired - Fee RelatedJP4490214B2 (en) | 2004-09-10 | 2004-09-10 | Electronic album display system, electronic album display method, and electronic album display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4490214B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9521211B2 (en) | 2011-06-10 | 2016-12-13 | Panasonic Intellectual Property Corporation Of America | Content processing device, content processing method, computer-readable recording medium, and integrated circuit |
| US11170206B2 (en) | 2018-09-28 | 2021-11-09 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5136819B2 (en)* | 2006-09-14 | 2013-02-06 | カシオ計算機株式会社 | Image classification apparatus, image classification method, and program |
| US8315463B2 (en)* | 2006-11-14 | 2012-11-20 | Eastman Kodak Company | User interface for face recognition |
| KR101414401B1 (en)* | 2007-10-23 | 2014-07-02 | 엘지전자 주식회사 | MP3 file playback device and album art display method using same |
| JP4816717B2 (en) | 2008-12-09 | 2011-11-16 | ソニー株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
| JP5368165B2 (en)* | 2009-04-30 | 2013-12-18 | オリンパスイメージング株式会社 | Imaging display device and imaging display method |
| JP5434569B2 (en)* | 2009-12-22 | 2014-03-05 | ソニー株式会社 | Information processing apparatus and method, and program |
| JP5477173B2 (en)* | 2010-06-04 | 2014-04-23 | 株式会社ニコン | Camera system, camera, and image display device |
| JP5823499B2 (en)* | 2011-04-01 | 2015-11-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Content processing apparatus, content processing method, content processing program, and integrated circuit |
| TW201423660A (en)* | 2012-12-07 | 2014-06-16 | Hon Hai Prec Ind Co Ltd | Interpersonal relationship analysis system and method |
| JP5883815B2 (en) | 2013-03-11 | 2016-03-15 | 富士フイルム株式会社 | Electronic album apparatus and operation control method thereof |
| JP6169382B2 (en)* | 2013-03-21 | 2017-07-26 | 株式会社日立システムズ | Shared information provision system |
| JP6124658B2 (en)* | 2013-04-12 | 2017-05-10 | キヤノン株式会社 | Image processing apparatus and image processing apparatus control method |
| JP6009481B2 (en) | 2014-03-11 | 2016-10-19 | 富士フイルム株式会社 | Image processing apparatus, important person determination method, image layout method, program, and recording medium |
| JP2017010251A (en) | 2015-06-22 | 2017-01-12 | 富士フイルム株式会社 | Image extraction apparatus, image extraction method, program, and recording medium |
| JP6197063B2 (en)* | 2016-03-30 | 2017-09-13 | 富士フイルム株式会社 | Image processing apparatus, important person determination method, image layout method, program, and recording medium |
| JP7102856B2 (en)* | 2018-03-29 | 2022-07-20 | 大日本印刷株式会社 | Content output system, content output device and program |
| JP7111662B2 (en)* | 2019-07-18 | 2022-08-02 | 富士フイルム株式会社 | Image analysis device, image analysis method, computer program, and recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06149904A (en)* | 1992-11-09 | 1994-05-31 | Matsushita Electric Ind Co Ltd | Image retrieval device |
| US6819783B2 (en)* | 1996-09-04 | 2004-11-16 | Centerframe, Llc | Obtaining person-specific images in a public venue |
| JP4198951B2 (en)* | 2002-07-17 | 2008-12-17 | 独立行政法人科学技術振興機構 | Group attribute estimation method and group attribute estimation apparatus |
- 2004
- 2004-09-10JPJP2004264527Apatent/JP4490214B2/ennot_activeExpired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9521211B2 (en) | 2011-06-10 | 2016-12-13 | Panasonic Intellectual Property Corporation Of America | Content processing device, content processing method, computer-readable recording medium, and integrated circuit |
| US11170206B2 (en) | 2018-09-28 | 2021-11-09 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006079457A (en) | 2006-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4490214B2 (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| US8345118B2 (en) | Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium | |
| JP4547214B2 (en) | Electronic album display system, electronic album display method, and program | |
| US8594440B2 (en) | Automatic creation of a scalable relevance ordered representation of an image collection | |
| TWI338265B (en) | System, apparatus, method and program for processing image | |
| US8111304B2 (en) | Image capturing apparatus, image capturing method, and computer readable medium in which an image extracted in association with selected object information is displayed | |
| US7243101B2 (en) | Program, image managing apparatus and image managing method | |
| CN107430780B (en) | Method for output creation based on video content characteristics | |
| US20030210808A1 (en) | Method and apparatus for organizing and retrieving images containing human faces | |
| US8250068B2 (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
| JP2011109428A (en) | Information processing apparatus, information processing method, and program | |
| JP5890325B2 (en) | Image data processing apparatus, method, program, and integrated circuit | |
| JP2006079458A (en) | Image transmission system, method, and program | |
| JP2006081021A (en) | Electronic album display system, electronic album display method, electronic album display program, image classification device, image classification method and image classification program | |
| JP2008146191A (en) | Image output apparatus and image output method | |
| JP2006236218A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| JP2006079460A (en) | System, method and program for displaying electronic album and device, method, and program for classifying image | |
| JP2007249434A (en) | Album creating system, album creating method, and program | |
| JP2006081020A (en) | Electronic album display system, method, and program | |
| JP4414846B2 (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
| JP2006236217A (en) | Person recognition system, person recognition method, and person recognition program | |
| JP2006236216A (en) | Person recognition system, person recognizing method and person recognition program | |
| JP2006155095A (en) | Electronic album display system, electronic album display method, and electronic album display program | |
| KR20230070585A (en) | Method for recognizing main characters and background people in videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant | Free format text:JAPANESE INTERMEDIATE CODE: A712 Effective date:20061211 | |
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20070221 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20090915 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20091109 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20100202 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20100309 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20100330 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20100401 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130409 Year of fee payment:3 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:4490214 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20130409 Year of fee payment:3 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20140409 Year of fee payment:4 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| LAPS | Cancellation because of no payment of annual fees |