本開示は、画像などに情報を付与する方法に関する。 The present disclosure relates to a method of adding information to an image or the like.
近年、Deep Learningと呼ばれる画像認識技術の精度が急速に向上している。このDeep Learningは、従来とは違い認識に用いる特徴量を自動で学習するという特長を持つ。しかしその反面、Deep Learningによる認識システムを構築するためには大規模な学習用画像データセットが必要となる。 In recent years, the accuracy of image recognition technology called Deep Learning has been rapidly improving. This Deep Learning has the feature that the feature amount used for recognition is automatically learned unlike the conventional one. However, on the other hand, a large-scale learning image data set is required to build a recognition system based on deep learning.
Deep Learningでは、画像中に含まれる何らかの特定の物体（例えば動物や階段など、あらゆる生物や構造物を含む）を認識したい場合、その特定の物体を映した画像を集めた大規模な画像データセットを作成し、学習に用いる。認識精度向上のためには、認識対象が映った多様な画像を網羅的かつ大量に収集することが効果的であるということが知られている。また、Deep Learningに用いることに限らなくとも、例えば研究用途や特定の画像を提供するサービスを運営する場合など、特定の撮影対象物が写っている多様な画像を収集したいというニーズは高まっている。 In Deep Learning, if you want to recognize some specific object contained in an image (including all living things and structures such as animals and stairs), a large image data set that collects images of that specific object. And use it for learning. It is known that in order to improve the recognition accuracy, it is effective to comprehensively collect a large amount of various images showing the recognition target. In addition, even if it is not limited to being used for deep learning, there is an increasing need to collect various images showing a specific object to be photographed, for example, when operating a service for research purposes or providing a specific image. ..
特許文献１、特許文献２では、大量の画像を集める手法をそれぞれ開示している。 Patent Document 1 and Patent Document 2 disclose methods for collecting a large number of images, respectively.
しかし、特許文献１または特許文献２では、撮影者の意図を含まない大量の画像から、特定の物体に関する画像のみを抽出し、大規模な画像データセットを生成する（または特定の物体に関する画像にタグ情報を付与する）方法に関しては、検討がされていなかった。 However, in Patent Document 1 or Patent Document 2, only an image relating to a specific object is extracted from a large number of images that do not include the intention of the photographer, and a large-scale image data set is generated (or an image relating to the specific object). The method of adding tag information) has not been examined.
上記課題を解決すべく、本開示に係る情報付与方法は、サーバの情報付与方法であって、前記サーバのプロセッサが、ネットワークを介して、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに前記ネットワークを介して送信する。 In order to solve the above problem, the information giving method according to the present disclosure is a server information giving method, in which the processor of the server acquires an image from a function of capturing an image or another device via a network. An image transmitted via a network from one or more terminals having a function is acquired, a probability that a predetermined shooting object is included in the acquired image is calculated, and the probability is the first. If it is above the threshold, information indicating the predetermined shooting target is given to the image, and if the probability is below the second threshold, the predetermined shooting target is given to the image. When the probability is equal to or higher than the second threshold value and is equal to or lower than the first threshold value without giving information indicating an object, the image and the request acceptance information for accepting the addition of information to the image Is transmitted to any of the one or more terminals via the network.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 It should be noted that these general or specific embodiments may be realized by a system, a method, an integrated circuit, a computer program or a recording medium, and may be realized by an arbitrary combination of a system, a method, an integrated circuit, a computer program and a recording medium. May be done.
本開示によれば、人の意図を反映しない多様な撮影画像に対して、システム全体の人的コストを抑えつつ網羅的かつ効率的に情報を付与できるという効果を発揮する。 According to the present disclosure, it is possible to comprehensively and efficiently add information to various captured images that do not reflect the intention of a person while suppressing the human cost of the entire system.
（発明の基礎となった知見）
特定の物体について大量の画像を集めるにあたり、特許文献１のように、撮影依頼主が撮影者に対して特定の物体を含んだ画像の取得を依頼し撮影させる方法がある。この技術では、撮影依頼主は撮影者に対し、どのような物体が写った画像が必要か、すなわち撮影対象物について具体的な指示を出す。しかし、この場合、特に撮影依頼主からの指定の無い限り、撮影者は、撮影対象物の手前に遮蔽物がない、対象物が中心に写っている、撮影対象物にブレがないなどの、綺麗な画像を撮ろうとする。つまり撮影者が撮影を行う時点で、撮影画像には撮影者側の意図が含まれてしまい、撮影対象物を綺麗に写した類似画像が多くなる。学習に用いる画像データセットは、同じ画像データセット内に類似した画像が少ない場合（すなわち非類似の画像・多様な画像が多い場合）に画像認識精度が向上する。これに対し特許文献１の手法により集められる画像データセットは似たような画像を多く含んでしまう可能性がある。(Knowledge that became the basis of the invention)
In collecting a large number of images of a specific object, as in Patent Document 1, there is a method in which the photographer requests the photographer to acquire an image including the specific object and shoots the image. In this technology, the photographer gives the photographer specific instructions on what kind of object is required, that is, the object to be photographed. However, in this case, unless otherwise specified by the photographer, the photographer has no obstruction in front of the object to be photographed, the object is in the center, and the object to be photographed is not blurred. I try to take a beautiful image. That is, at the time when the photographer takes a picture, the photographed image includes the intention of the photographer, and there are many similar images in which the photographed object is clearly captured. The image data set used for learning improves the image recognition accuracy when there are few similar images in the same image data set (that is, when there are many dissimilar images / various images). On the other hand, the image data set collected by the method of Patent Document 1 may contain many similar images.
また、特許文献２では、車等の移動物体にカメラを設置し、画像を自動的に取得する方法を開示している。これにより人の意図を含まない画像を大量に取得することが可能となる。しかしこの場合、取得画像は常に撮影対象物を含んでいるわけではない。このため、撮影者は全ての取得画像に対して、撮影対象物を含むかどうかを判別する必要が生じる。また特許文献２では、取得画像内に含まれる物体の判別に位置情報を用いる。すなわち特許文献２の手法を用いると、「道路」や「ランドマーク」など常に場所の変わらないものであれば、自動的にその画像を「道路」や「ランドマーク」に関する画像データセットに含めるか否かの判断ができる可能性がある。しかし、例えば撮影対象物が「自動車」など位置情報が常に変化するものである場合、撮影位置に基づいて「自動車」の画像データセットに含めるか否かの判断をすることは不可能となる。また、位置情報に基づいて取得した画像に何が写っているかを自動で判断することには限界がある。例えば同じ位置でも上空を撮影すると、「道路」などの所望の撮影対象物が含まれない可能性がある。従って、結局は、特許文献２の手法を用いると取得した全ての画像に対して、人が撮影対象物を含むかどうかを判別する必要が生じる。 Further, Patent Document 2 discloses a method of installing a camera on a moving object such as a car and automatically acquiring an image. This makes it possible to acquire a large number of images that do not include the intention of a person. However, in this case, the acquired image does not always include the object to be photographed. Therefore, the photographer needs to determine whether or not the photographed object is included in all the acquired images. Further, in Patent Document 2, position information is used to discriminate an object included in the acquired image. That is, when the method of Patent Document 2 is used, if the location of "road" or "landmark" does not change at all times, the image is automatically included in the image data set related to "road" or "landmark". It may be possible to judge whether or not. However, when the position information of the object to be photographed is constantly changing, such as "automobile", it is impossible to determine whether or not to include the image data set of the "automobile" based on the image shooting position. In addition, there is a limit to automatically determining what is reflected in the acquired image based on the position information. For example, if the sky is photographed even at the same position, a desired object to be photographed such as a "road" may not be included. Therefore, in the end, when the method of Patent Document 2 is used, it becomes necessary to determine whether or not a person includes an object to be photographed for all the acquired images.
これらの課題を解決すべく、本開示における情報付与方法は、サーバの情報付与方法であって、前記サーバのプロセッサが、画像を撮像する機能もしくは他の機器から画像を取得する機能を有する１以上の端末のいずれかからネットワークを介して送信された画像を取得し、取得した前記画像に対して、所定の撮影対象物が含まれる確率を算出し、前記確率が第１の閾値より上である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記確率が第２の閾値より下である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与せず、前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合は、前記画像と、前記画像への情報付与を受付けるための依頼受付情報とを、前記１以上の端末のいずれかに前記ネットワークを介して送信する。 In order to solve these problems, the information giving method in the present disclosure is a server information giving method, and the processor of the server has a function of capturing an image or a function of acquiring an image from another device. An image transmitted via a network is acquired from any of the terminals of the above, the probability that a predetermined image-taking object is included in the acquired image is calculated, and the probability is higher than the first threshold value. In this case, information indicating the predetermined imaging object is given to the image, and when the probability is lower than the second threshold value, information indicating the predetermined imaging object is added to the image. If the probability is equal to or greater than or equal to the second threshold value and is equal to or less than the first threshold value, the image and the request acceptance information for accepting the addition of information to the image are one or more. It is transmitted to any of the terminals of the above network via the network.
これにより、大量の画像を取得し、撮影対象物が含まれるかどうかが簡単に判別できるものは機械により短時間で判別し、判別が難しいものは人がより高精度な判別を行う画像収集・タグ付けシステムが構築される。よって人の意図を反映しない多様な撮影画像に対して、システム全体の人的コストを抑えつつ網羅的かつ大量に、情報を付与できる。 As a result, a large number of images can be acquired, and if it is possible to easily determine whether or not an object to be photographed is included, it can be determined in a short time by a machine, and if it is difficult to determine, a person can make a more accurate determination. A tagging system is built. Therefore, it is possible to provide comprehensive and large amounts of information to various captured images that do not reflect human intentions while suppressing the human cost of the entire system.
また、前記依頼受付情報には、前記画像に前記撮影対象物が含まれるか否かの選択を前記端末から受け付ける指示画面を表示するコマンドが含まれてもよい。 In addition, the request acceptance information may include a command for displaying an instruction screen for accepting selection from the terminal whether or not the image includes the object to be photographed.
これにより、端末を保持するユーザが簡易に画像に対して情報を付与することが可能となる。 This makes it possible for the user holding the terminal to easily add information to the image.
また、前記指示画面に基づき受付けた前記画像に前記撮影対象物が含まれるか否かの選択結果を、前記端末から取得し、前記選択結果が、前記撮影対象物が含まれる旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与し、前記選択結果が前記撮影対象物が含まれない旨の選択結果である場合は、前記画像に対して前記所定の撮影対象物を示す情報を付与しない、としてもよい。 Further, the selection result of whether or not the image to be photographed is included in the image received based on the instruction screen is acquired from the terminal, and the selection result is the selection result to the effect that the object to be photographed is included. If there is, information indicating the predetermined object to be photographed is given to the image, and if the selection result is a selection result indicating that the object to be photographed is not included, the predetermined image is given. It is also possible not to give the information indicating the object to be photographed.
これにより、サーバにて判別が難しかった画像に対しても、適切に判別を行い、情報を付与（もしくは付与しない）する判断が出来る。 As a result, even for an image that is difficult to discriminate on the server, it is possible to appropriately discriminate and determine whether to add (or not add) information.
また、前記確率の算出には、前記サーバが予め保持している所定の撮影対象物が含まれる確率を算出するための演算器を用いてもよい。 Further, in calculating the probability, an arithmetic unit for calculating the probability that a predetermined imaging object held in advance by the server is included may be used.
また、前記演算器は、Deep Learning、Hog(Histogram of Oriented Gradient)、SVM(Support Vector Machine)、またはそれらの組み合わせによって構築された演算器であってもよい。 Further, the arithmetic unit may be an arithmetic unit constructed by Deep Learning, Hog (Histogram of Oriented Gradient), SVM (Support Vector Machine), or a combination thereof.
また、複数枚の画像に対して前記情報付与方法を用いた情報の付与を行うことで、情報が付与された複数枚の画像を蓄積し、前記情報が付与された複数枚の画像を用いて、前記演算器を更新してもよい。 Further, by adding information to a plurality of images using the information giving method, the plurality of images to which the information is given are accumulated, and the plurality of images to which the information is given are used. , The arithmetic unit may be updated.
これにより、本情報付与方法によって情報の付与された画像が増えていけば増えていくほど、本情報付与方法による情報付与に関する精度が向上する。 As a result, as the number of images to which information is given by this information giving method increases, the accuracy of information giving by this information giving method improves.
また、所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合と、所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合とで、前記第１の閾値および前記第２の閾値を、変更してもよい。 Further, when the probability is calculated by using the arithmetic unit constructed by using the images to which the information is given less than the predetermined number, and the images to which the information is given more than the predetermined number are used. The first threshold value and the second threshold value may be changed depending on the case of calculating the probability by using the constructed arithmetic unit.
また、所定の枚数未満の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合は、所定の枚数以上の前記情報が付与された画像を用いて構築された前記演算器を用いて、前記確率を算出する場合よりも、前記第１の閾値を高く設定し、前記第２の閾値を低く設定してもよい。 Further, when calculating the probability by using the arithmetic unit constructed by using the images to which the information is given less than the predetermined number, the images to which the information is given more than the predetermined number are used. The first threshold value may be set higher and the second threshold value may be set lower than in the case of calculating the probability by using the constructed arithmetic unit.
これにより、本情報付与方法によって情報の付与された画像が所定枚数より少ない場合は、演算器が構築されていないので、第１の閾値を高く、第２の閾値を低く設定することで、より端末のユーザ（撮影者）が情報付与する枚数を多くすることが出来る。 As a result, when the number of images to which information is given by this information giving method is less than a predetermined number, since the arithmetic unit is not constructed, the first threshold value is set high and the second threshold value is set low. The number of sheets to which the terminal user (photographer) gives information can be increased.
また、前記サーバは、前記取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、前記送信では、前記画像とともに取得した前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤの端末に前記画像および前記依頼受付情報を送信してもよい。 Further, in the acquisition, the server acquires the device ID of the terminal together with the image from the terminal, and in the transmission, identifies the device ID acquired together with the image, and among the one or more terminals, the said The image and the request acceptance information may be transmitted to the terminal of the specified device ID.
これにより、画像を取得した同一の者（撮影者）によって画像への情報付与を行うことが出来るので、各画像が所定の対象物に該当するか否かを効率的に判断できる。 As a result, information can be added to the image by the same person (photographer) who acquired the image, so that it is possible to efficiently determine whether or not each image corresponds to a predetermined object.
また、前記取得では、前記端末から前記画像とともに前記端末の機器ＩＤを取得し、前記画像および前記依頼受付情報の送信では、前記画像とともに取得し前記機器ＩＤを特定し、前記１以上の端末のうち、前記特定した機器ＩＤとは異なる機器ＩＤの端末とは異なる端末に前記画像および前記依頼受付情報を送信してもよい。 Further, in the acquisition, the device ID of the terminal is acquired from the terminal together with the image, and in the transmission of the image and the request reception information, the device ID is acquired together with the image to specify the device ID of the one or more terminals. Among them, the image and the request acceptance information may be transmitted to a terminal different from the terminal having the device ID different from the specified device ID.
これにより、画像を取得した者とは別の者によって画像への情報付与を行うことが出来るので、情報付与に対して客観的な判断が出来る。 As a result, information can be added to the image by a person other than the person who acquired the image, so that an objective judgment can be made regarding the information addition.
さらに前記情報付与方法によって前記画像に対して情報を付与するか否かの処理をした後に、前記端末に対して報酬を提供する情報を送信し、前記報酬は、前記画像に関する前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である場合に、前記確率が第１の閾値より上である場合および前記確率が第２の閾値より下である場合よりも、高く設定してもよい。 Further, after processing whether or not to give information to the image by the information giving method, information for providing a reward to the terminal is transmitted, and the reward has the probability of being related to the image. When it is equal to or more than the threshold value of 2 and equal to or less than the first threshold value, it is set higher than the case where the probability is above the first threshold value and the case where the probability is below the second threshold value. May be good.
これにより、画像に関する前記確率が前記第２の閾値以上でありかつ前記第１の閾値以下である画像が多いときは報酬が高くそうでないときは報酬が低いので、撮影者にとっては、撮影依頼者が要求する画像を把握することができる。 As a result, when there are many images in which the probability of the image is equal to or greater than the second threshold value and equal to or less than the first threshold value, the reward is high, and when not, the reward is low. Can grasp the image requested by.
また前記画像を取得する前に、前記所定の撮影対象物に関する選択を、前記端末から受付けてもよい。 Further, before acquiring the image, the selection regarding the predetermined imaging object may be accepted from the terminal.
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。 Each of the embodiments described below is a specific example of the present disclosure. The numerical values, shapes, components, steps, order of steps, etc. shown in the following embodiments are examples, and are not intended to limit the present disclosure. Further, among the components in the following embodiments, the components not described in the independent claims indicating the highest level concept are described as arbitrary components. Moreover, in all the embodiments, each content can be combined.
（実施の形態１）
（システムの全体像）
図１は、本実施の形態における画像収集システムの概略を示す図である。以下、図１を用いて本画像収集システムの概要について説明する。(Embodiment 1)
(Overview of the system)
FIG. 1 is a diagram showing an outline of an image acquisition system according to the present embodiment. Hereinafter, the outline of the image acquisition system will be described with reference to FIG.
本画像収集システムは、撮影者１が所有する撮影機器１００と、撮影依頼者２が所有するサーバ装置２００とを含む。 The image collection system includes a photographing device 100 owned by the photographer 1 and a server device 200 owned by the photographing requester 2.
撮影機器１００は、例えばスマートグラスなどのような通信、入力、画像の撮影および表示が可能なモバイル端末である。サーバ装置２００は、様々な撮影機器から大量の情報を収集し、それらの情報の処理を行うクラウドサーバである。 The photographing device 100 is a mobile terminal capable of communicating, inputting, photographing and displaying an image, such as a smart glass. The server device 200 is a cloud server that collects a large amount of information from various photographing devices and processes the information.
なお、撮影依頼者２はサーバ装置２００を所有すると表現したが、サーバ装置２００の置かれている場所や管理主体は特に限定しない。撮影依頼者２が直接的または間接的にサーバ装置２００の管理をしていればよい。 Although it is expressed that the shooting requester 2 owns the server device 200, the place where the server device 200 is placed and the management entity are not particularly limited. The shooting requester 2 may directly or indirectly manage the server device 200.
撮影機器１００とサーバ装置２００はインターネットなどのネットワークを介して接続され、相互に情報の送受信を行うことが出来る。 The photographing device 100 and the server device 200 are connected to each other via a network such as the Internet, and can transmit and receive information to each other.
本開示によれば、まず撮影者１は、撮影機器１００により画像を大量に取得し、ネットワークを介して撮影依頼者２所有するサーバ装置２００へ送る。また撮影依頼者２は、サーバ装置２００における処理により画像内に所望の被写体が含まれているか判定する。ここで、撮影依頼者２の所望の被写体を撮影対象物と呼ぶこととする。撮影対象物とは、物に限られず、人や生物も含む。また撮影依頼者２は、撮影対象物が含まれているかどうかがわからない画像を撮影者１の所有する撮影機器１００に送る。また撮影者１は、画像内に撮影対象物が含まれているか否かを撮影依頼者の所有するサーバ装置２００に送る。詳しい処理の流れについては後述する。 According to the present disclosure, the photographer 1 first acquires a large amount of images by the photographing device 100 and sends them to the server device 200 owned by the photographing requester 2 via the network. Further, the shooting requester 2 determines whether or not a desired subject is included in the image by processing in the server device 200. Here, the desired subject of the shooting requester 2 is referred to as a shooting target. The object to be photographed is not limited to an object, but also includes humans and living things. Further, the shooting requester 2 sends an image of which it is not known whether or not the shooting target is included to the shooting device 100 owned by the photographer 1. Further, the photographer 1 sends whether or not the image to be photographed is included in the image to the server device 200 owned by the photographer. The detailed processing flow will be described later.
なお、撮影者１は複数名いることが望ましい。すなわち、サーバ装置２００は、複数の撮影機器１００と接続されてもよい。 It is desirable that there are a plurality of photographers 1. That is, the server device 200 may be connected to a plurality of photographing devices 100.
撮影依頼者２は、画像識別器の学習用または評価用などの目的で特定の撮影対象物を含む画像が大量に必要な個人または団体である。画像識別器の学習または評価用として画像を収集する場合、多種多様な画像が得られることが精度の向上に繋がる。 The shooting requester 2 is an individual or a group that needs a large amount of images including a specific shooting object for the purpose of learning or evaluating an image classifier. When collecting images for learning or evaluation of an image classifier, obtaining a wide variety of images leads to improved accuracy.
そこで撮影依頼者２は例えば、撮影者１により撮影された画像がレアな画像である場合、このレアな画像を取得した分、撮影者１に対して高い報酬を与えるといったサービスを提供する。 Therefore, for example, when the image taken by the photographer 1 is a rare image, the shooting requester 2 provides a service such as giving a high reward to the photographer 1 for the amount of the acquired rare image.
レアな画像とは、例えば、撮影依頼者２が既に所有している撮影対象物を含む画像と似ていないものの、撮影対象物を含むような画像である。画像がレアかどうかは、撮影依頼者２の所有するサーバ装置２００にて画像内に撮影対象物が含まれる確率を導出することで、判断する。導出された確率が低く、かつ撮影対象が含まれる画像であると判断されれば、レアな画像であると判断される。また、モバイル端末において位置情報が取得できる場合は、その情報を用いて画像がレアかどうかを判別しても良い。これにより、撮影者１はより多くの報酬を得るために、より多様な場所やシーンでの撮影対象物を含む画像を積極的に収集するようになる。なお確率導出などの処理については詳細を後述する。 The rare image is, for example, an image that does not resemble an image including a shooting object already owned by the shooting requester 2, but includes a shooting target. Whether or not the image is rare is determined by deriving the probability that the image to be photographed is included in the image by the server device 200 owned by the photographer 2. If it is determined that the image has a low probability of being derived and includes an image to be photographed, it is determined to be a rare image. Further, when the position information can be acquired on the mobile terminal, it may be determined whether or not the image is rare by using the information. As a result, the photographer 1 will actively collect images including objects to be photographed in a wider variety of places and scenes in order to obtain more rewards. The details of processing such as probability derivation will be described later.
（各装置の構成）
図２の（ａ）、（ｂ）を用いて、本実施の形態における撮影機器１００およびサーバ装置２００の構成について説明する。撮影機器１００およびサーバ装置２００の構成はさまざまな形式が考えられるが、今回は、一番単純な例を用いて説明する。(Configuration of each device)
The configurations of the photographing apparatus 100 and the server apparatus 200 according to the present embodiment will be described with reference to FIGS. 2A and 2B. There are various possible configurations for the photographing device 100 and the server device 200, but this time, the simplest example will be used for explanation.
撮影機器１００は、たとえば、スマートグラスのような装着型のもの、デジタルカメラ・スマートフォンのような持ち歩き方のもの、車やバイクのような移動手段に設置されるカメラなど、あらゆる移動可能な撮影・通信端末を含む。 The photographing device 100 includes, for example, a wearable device such as a smart glass, a portable device such as a digital camera / smartphone, and a camera installed in a means of transportation such as a car or a motorcycle. Including communication terminals.
撮影機器１００は、図２の（ａ）に示すように、撮影部１１０と、撮影機器通信部１２０と、表示部１３０と、入力部１４０とを備える。 As shown in FIG. 2A, the photographing device 100 includes a photographing unit 110, a photographing device communication unit 120, a display unit 130, and an input unit 140.
撮影部１１０は、自動または手動により周辺環境から画像を取得する。撮影部１１０は撮影機器１００に搭載される、撮像機能を有するあらゆるデバイスを含む。例えば撮影機器１００がスマートフォンである場合、スマートフォンに搭載される撮像デバイス（CCDイメージセンサやCMOSイメージセンサ）などである。 The photographing unit 110 automatically or manually acquires an image from the surrounding environment. The photographing unit 110 includes any device having an imaging function mounted on the photographing device 100. For example, when the photographing device 100 is a smartphone, it is an imaging device (CCD image sensor or CMOS image sensor) mounted on the smartphone.
撮影機器通信部１２０は、撮影機器１００とサーバ装置２００との間の通信を行う。撮影機器通信部１２０は汎用の通信モジュールを採用すればよく、特に限定しない。サーバ装置２００との間で通信を行う際の通信方式に関しても、例えば３G・LTE・WiFiなど、特に限定しない。 The photographing device communication unit 120 communicates between the photographing device 100 and the server device 200. The photographing device communication unit 120 may adopt a general-purpose communication module, and is not particularly limited. The communication method for communicating with the server device 200 is not particularly limited, for example, 3G / LTE / WiFi.
表示部１３０は、撮影画像および操作画面を表示する。表示部１３０も汎用の表示デバイスを採用すればよく、特に限定しない。 The display unit 130 displays a captured image and an operation screen. The display unit 130 may also adopt a general-purpose display device, and is not particularly limited.
入力部１４０は、表示部１３０において表示される撮影画像が撮影対象物を含むかどうかの撮影者による判別結果を受け付ける。入力部１４０はボタンの他、タッチパネル、音声入力など、あらゆるインタフェースを含む。 The input unit 140 receives a determination result by the photographer as to whether or not the photographed image displayed on the display unit 130 includes an object to be photographed. The input unit 140 includes all interfaces such as a touch panel and voice input in addition to buttons.
この撮影機器１００が上記した全ての構成（撮影部１１０、撮影機器通信部１２０、表示部１３０、入力部１４０）を含まなくてもよい。一部の構成が別の装置に含まれていてもよい。例えば、撮影部１１０はカメラ単体、撮影機器通信部１２０はスマートフォンなどの通信機器で行うという構成も可能である。撮影部１１０には、通常のカメラの他、ウェアラブルカメラ、車載カメラなど、撮影機器通信部との通信が可能な全てのカメラを採用可能である。スマートグラスやウェアラブルカメラなど、撮影部１１０が常時撮影可能な機器の場合、自動で画像を取得することにより、恣意的ではない大量の画像が取得可能となる。カメラにより取得される画像は高画質である必要性はない。 The photographing device 100 may not include all the above-described configurations (shooting unit 110, photographing device communication unit 120, display unit 130, input unit 140). Some configurations may be included in another device. For example, the photographing unit 110 may be a single camera, and the photographing device communication unit 120 may be a communication device such as a smartphone. In addition to a normal camera, all cameras capable of communicating with the communication unit of the photographing device, such as a wearable camera and an in-vehicle camera, can be adopted as the photographing unit 110. In the case of a device such as a smart glass or a wearable camera in which the photographing unit 110 can always take a picture, by automatically acquiring an image, a large amount of images that are not arbitrary can be acquired. The image acquired by the camera does not have to be of high quality.
またサーバ装置２００は、図２の（ｂ）に示すように、制御処理部２１０とサーバ装置通信部２２０とを備える。 Further, as shown in FIG. 2B, the server device 200 includes a control processing unit 210 and a server device communication unit 220.
制御処理部２１０について、図３を用いて詳細に説明する。制御処理部２１０は、確率導出手段２１１と処理判別手段２１２と画像管理手段２１３とを含む。 The control processing unit 210 will be described in detail with reference to FIG. The control processing unit 210 includes a probability deriving means 211, a processing discriminating means 212, and an image management means 213.
確率導出手段２１１は撮影機器１００において撮影されたある画像１枚に撮影対象物が含まれる確率を算出する。 The probability derivation means 211 calculates the probability that an object to be photographed is included in one image photographed by the photographing device 100.
処理判別手段２１２は確率導出手段２１１において求められた画像に撮影対象物が含まれる確率に応じて、画像のその後の処理を判別する。 The processing discriminating means 212 discriminates the subsequent processing of the image according to the probability that the image to be photographed is included in the image obtained by the probability deriving means 211.
画像管理手段２１３は、撮影部１１０において取得され、入力部１４０または処理判別手段２１２において撮影対象物を含むと判別された画像を保存する。また画像管理手段２１３は、撮影部１１０において取得され、入力部１４０または処理判別手段２１２において撮影対象物を含まないと判別された画像を破棄する。 The image management means 213 stores an image acquired by the photographing unit 110 and determined by the input unit 140 or the processing determining means 212 to include an image to be photographed. Further, the image management means 213 discards an image acquired by the photographing unit 110 and determined by the input unit 140 or the processing determining means 212 not to include the imaged object.
報酬導出手段２１４は、撮影対象物が含まれる画像について、確率導出手段２１１において求められた画像に撮影対象物が含まれる確率を用いて撮影者１が得られる報酬を導出する。なお、報酬導出手段２１４にて、もし画像に位置情報も付属していれば、その位置情報も一緒に用いて報酬を導出しても良い。 The reward deriving means 214 derives a reward obtained by the photographer 1 by using the probability that the image to be photographed is included in the image obtained by the probability deriving means 211 for the image including the object to be photographed. In addition, in the reward derivation means 214, if the position information is also attached to the image, the reward may be derived by using the position information together.
サーバ装置通信部２２０は、サーバ装置２００の内部間および撮影機器１００とサーバ装置２００との間の通信を行う。撮影機器通信部１２０と同様の通信モジュールであってもよい。 The server device communication unit 220 communicates between the inside of the server device 200 and between the photographing device 100 and the server device 200. It may be a communication module similar to the photographing device communication unit 120.
サーバ装置２００が上記した全ての構成（制御処理部２１０、サーバ装置通信部２２０）を含まなくてもよい。また、制御処理部２１０が上記した全ての機能（確率導出手段２１１、処理判別手段２１２、画像管理手段２１３、報酬導出手段２１４）を含まなくてもよい。一部の構成および機能が別の装置に含まれていてもよい。一部の構成および機能を含む装置を撮影依頼者２以外の第三者が所有していてもよい。 The server device 200 may not include all the above-described configurations (control processing unit 210, server device communication unit 220). Further, the control processing unit 210 may not include all the above-mentioned functions (probability deriving means 211, processing discriminating means 212, image management means 213, reward deriving means 214). Some configurations and functions may be included in another device. A third party other than the shooting requester 2 may own the device including some configurations and functions.
（処理の流れ）
次に図４を用いて、本実施の形態における処理の流れを説明する。(Processing flow)
Next, the flow of processing in the present embodiment will be described with reference to FIG.
図４は、撮影機器およびサーバ間で行われる処理の一例を示す図である。 FIG. 4 is a diagram showing an example of processing performed between the photographing device and the server.
撮影機器１００は、画像の撮影および画像に撮影対象物が含まれているかどうかの手動判別を行い、依頼情報の選択を受け付けるステップＳ３０４と、撮影処理を行うステップＳ３０６と、後述するステップ３１２にて送信された画像を表示するステップＳ３１３と、表示された画像が撮影対象物を含むどうかの判定入力を受け付けるステップＳ３１４とが行われる。 The photographing device 100 captures an image, manually determines whether or not the image includes an object to be captured, and accepts the selection of request information in step S304, in step S306 for performing imaging processing, and in step 312 described later. Step S313 for displaying the transmitted image and step S314 for accepting a determination input as to whether or not the displayed image includes an object to be photographed are performed.
サーバ装置２００は、画像に対象物が含まれているかどうかの確率の導出および画像の処理判別を行い、撮影者ＩＤを割り振るステップＳ３０２と、画像に対象物が含まれているかどうかの確率を導出するステップＳ３０８と、ステップＳ３０８で導出された確率に基づいてその後の処理を判別するステップＳ３０９と、後述するステップＳ３０７で取得した画像（第一画像）を保存するステップＳ３１０と、第一画像を破棄するステップＳ３１１と、ステップＳ３１４にて撮影対象物を含むと判別された画像（第二画像）保存するステップＳ３１６と、第二画像を破棄するステップＳ３１７と、画像に対する報酬を計算ステップＳ３１８が行われる。 The server device 200 derives the probability of whether or not the image contains an object, determines the processing of the image, and derives the step S302 of allocating the photographer ID and the probability of whether or not the image contains an object. Step S308 to be performed, step S309 to determine the subsequent processing based on the probability derived in step S308, step S310 to save the image (first image) acquired in step S307 described later, and discard the first image. Step S311, step S316 for saving the image (second image) determined to include the image to be photographed in step S314, step S317 for discarding the second image, and step S318 for calculating the reward for the image are performed. ..
撮影機器１００とサーバ装置２００との間ではデータの通信を行い、ユーザ登録をおこなうステップＳ３０１と、依頼情報を送信するステップＳ３０３と、選択された依頼情報を送信するステップＳ３０５と、取得した画像を送信するステップＳ３０７と、判別画像を送信するステップＳ３１２と、判別画像の判別結果を送信するステップＳ３１５と、ステップＳ３１８による計算に基づいた報酬を送信するステップＳ３１９とが行われる。 Data is communicated between the photographing device 100 and the server device 200, and user registration is performed in step S301, request information is transmitted in step S303, selected request information is transmitted in step S305, and the acquired image is displayed. A step S307 for transmitting, a step S312 for transmitting the discrimination image, a step S315 for transmitting the discrimination result of the discrimination image, and a step S319 for transmitting the reward based on the calculation according to the step S318 are performed.
上述のステップの詳細に関し、以下に説明を行う。 The details of the above steps will be described below.
ステップＳ３０１にて撮影者１は撮影機器１００を用いてサーバ装置２００に対しユーザ登録を行う。すなわちステップＳ３０１では、撮影機器１００は撮影者１から受け付けた登録情報を、サーバ装置２００に送信する。この際の登録情報は例えば、名前の他、使用端末情報、居住地、知識の範囲、年齢、性別などの情報を含んでもよい。 In step S301, the photographer 1 registers a user with the server device 200 using the photographing device 100. That is, in step S301, the photographing device 100 transmits the registration information received from the photographer 1 to the server device 200. In this case, the registered information may include, for example, information such as terminal information used, place of residence, range of knowledge, age, and gender, in addition to the name.
次に、ステップＳ３０２にて、サーバ装置２００は撮影機器１００に対して登録をおこなったユーザ（撮影者１）のＩＤである撮影者ＩＤを割り振る。 Next, in step S302, the server device 200 allocates a photographer ID, which is an ID of the user (photographer 1) who has registered with the photographing device 100.
または、ステップＳ３０２にて、サーバ装置２００は撮影機器１００に対して登録をおこなったユーザが利用する撮影機器１００のＩＤである機器ＩＤを割り振ってもよい。 Alternatively, in step S302, the server device 200 may assign a device ID which is an ID of the photographing device 100 used by the user who has registered with the photographing device 100.
または、例えば、ユーザが撮影機器１００と、サーバ装置２００と通信を行う端末装置（図示せず）とを用いる場合、端末装置は、撮影機器１００で撮影した画像を取得し、取得した画像をサーバ装置２００へ送信する場合、ステップＳ３０２では、撮影者ＩＤとこのＩＤの撮影者が利用する複数の機器（この例では、撮影機器１００と端末装置）の機器ＩＤを関連付けて割り振ってもよい。 Alternatively, for example, when the user uses the photographing device 100 and a terminal device (not shown) that communicates with the server device 200, the terminal device acquires an image captured by the photographing device 100 and uses the acquired image as a server. When transmitting to the device 200, in step S302, the photographer ID and the device IDs of a plurality of devices (in this example, the photographing device 100 and the terminal device) used by the photographer of this ID may be associated and assigned.
次に、ステップＳ３０３にてサーバ装置２００は、撮影機器１００に対して依頼情報の送信（紹介）を行う。サーバ装置２００は、ステップＳ３０２の後に、ステップＳ３０２にて登録された情報を用いて、撮影機器１００に紹介する依頼の取捨選択を行っても良い。また、ステップＳ３０３にて送信する依頼情報には、複数の依頼情報が含まれていてもよい。この複数の依頼情報には、撮影依頼者２からの依頼や、その他の事業者からの依頼が含まれていてもよい。依頼情報とは具体的に例えば「犬の画像」や「車の画像」といったように撮影対象物を指定する情報が含まれる。 Next, in step S303, the server device 200 transmits (introduces) request information to the photographing device 100. After step S302, the server device 200 may use the information registered in step S302 to select and select the request to be introduced to the photographing device 100. Further, the request information transmitted in step S303 may include a plurality of request information. The plurality of request information may include a request from the shooting requester 2 and a request from another business operator. The request information specifically includes information that specifies an object to be photographed, such as an "image of a dog" or an "image of a car".
次に、ステップＳ３０４にて、撮影機器１００は、撮影者１から依頼情報の選択を受け付ける。撮影者１は、ステップＳ３０３にて撮影機器１００が受信した依頼情報のうち所望の依頼情報の選択をすることで、実行する依頼情報を決定する。依頼情報の選択は撮影機器１００の入力部（例えばボタン・タッチパネルや音声入力）によって行う。すなわちステップＳ３０４の処理により、撮影対象物が決定されることになる。 Next, in step S304, the photographing device 100 receives the selection of the request information from the photographer 1. The photographer 1 determines the request information to be executed by selecting the desired request information from the request information received by the photographing device 100 in step S303. The request information is selected by the input unit (for example, a button / touch panel or voice input) of the photographing device 100. That is, the object to be imaged is determined by the process of step S304.
次に、ステップＳ３０５にて、撮影機器１００はステップＳ３０４にて選択された依頼情報および撮影機器１００の持つ撮影者ＩＤを、サーバ装置２００に送信する。 Next, in step S305, the photographing device 100 transmits the request information selected in step S304 and the photographer ID possessed by the photographing device 100 to the server device 200.
次に、ステップＳ３０６にて、撮影機器１００の撮影部１１０は撮影者の周囲環境より画像を取得する。撮影部１１０における画像の取得は自動または撮影者１による手動で実施される。自動の場合は予め指示されたクラウドソーシングの会社からの指示を受けて数十秒または数分に１回程度、その時点で撮影部１１０に映っている画像を取得する。また、自動の場合は撮影機器１００の位置情報に応じて撮影部１１０に映っている画像を取得してもよい。例えば、ある２つの地点X、Yがあり、X地点における写真がY地点における写真より少ない場合、X地点における画像の取得頻度をY地点における画像の取得頻度より高くすることで、より類似部分の少ない画像を多く取得することができる。取得した画像は、撮影機器１００の記録部（図示せず）に保存する。なおこの際の保存は一時的なものであって、次に説明するステップＳ３０７で送信をした後に削除をしてもよい。 Next, in step S306, the photographing unit 110 of the photographing device 100 acquires an image from the surrounding environment of the photographer. The acquisition of the image in the photographing unit 110 is automatically performed or manually performed by the photographer 1. In the case of automatic, the image displayed on the photographing unit 110 at that time is acquired about once every several tens of seconds or several minutes in response to an instruction from a crowdsourcing company instructed in advance. Further, in the case of automatic, the image displayed on the photographing unit 110 may be acquired according to the position information of the photographing device 100. For example, if there are two points X and Y and the number of pictures at point X is less than the number of pictures at point Y, the frequency of image acquisition at point X is higher than the frequency of image acquisition at point Y, so that more similar parts can be obtained. Many small images can be acquired. The acquired image is stored in a recording unit (not shown) of the photographing device 100. Note that the storage at this time is temporary, and may be deleted after transmission in step S307 described below.
次に、ステップＳ３０７にて撮影機器１００の撮影機器通信部１２０は、撮影部１１０にて取得された画像をサーバ装置通信部２２０へ送信する。すなわちステップＳ３０７にてサーバ装置通信部２２０は、撮影機器通信部１２０にてサーバ装置２００に送られる画像を受信する。なおこの際、画像と共に撮影者ＩＤまたは機器ＩＤ、撮影時の位置情報、使用端末情報などを一緒に送受信しても良い。この際、撮影機器通信部１２０がサーバ装置２００に画像を送信するタイミングは特に限定しない。ステップＳ３０６にて撮像する度に、１枚ずつ送信してもよいし、所定の枚数の画像を取得した時点で送信してもよいし、撮影者１が入力部１４０を介して指定する所望のタイミングで送信してもよい。 Next, in step S307, the photographing device communication unit 120 of the photographing device 100 transmits the image acquired by the photographing unit 110 to the server device communication unit 220. That is, in step S307, the server device communication unit 220 receives the image sent to the server device 200 by the photographing device communication unit 120. At this time, the photographer ID or device ID, the position information at the time of shooting, the terminal information used, and the like may be transmitted and received together with the image. At this time, the timing at which the photographing device communication unit 120 transmits the image to the server device 200 is not particularly limited. Each time an image is taken in step S306, the images may be transmitted one by one, or may be transmitted when a predetermined number of images have been acquired, or may be specified by the photographer 1 via the input unit 140. It may be transmitted at the timing.
次に、ステップＳ３０８にて確率導出手段２１１は、ステップＳ３０７にて受信した画像が、ステップＳ３０４にて決定された撮影対象物を含む確率を導出する。確率の導出は、例えば、制御処理部２１０に含まれるDeep Learningによって予め構築された当該撮影対象物を識別するための演算器に、ステップＳ３０７にて受信した画像を入力することで導出する。ここで当該演算器はDeep LearningのみならずHog、SVM、またはそれらの組み合わせなどを用いた画像認識手法によって構築された演算器を用いてもよい。 Next, in step S308, the probability deriving means 211 derives the probability that the image received in step S307 includes the object to be photographed determined in step S304. The probability is derived, for example, by inputting the image received in step S307 into the arithmetic unit for identifying the object to be photographed, which is built in advance by deep learning included in the control processing unit 210. Here, the arithmetic unit may use not only Deep Learning but also an arithmetic unit constructed by an image recognition method using Hog, SVM, or a combination thereof.
ステップＳ３０９にて処理判別手段２１２は、確率導出手段２１１において導出された確率に基づきその後の処理を判別する。図５を用いてステップＳ３０９における処理の詳細を説明する。ステップＳ３０９を実行する前に判別に必要な閾値に対応する確率A、Bが設定されているものとする。確率A、BはA＞Bとする。ステップＳ３０９にて処理判別手段２１２は、確率導出手段２１１において導出された確率を入力とする。入力された確率がＡより高いどうかを判断する（ステップＳ３９０１）。確率導出手段２１１において導出された確率がAより高ければ（ステップＳ３９０１でＹｅｓ）、入力された確率の導出に用いた画像が撮影対象物を含むと判断しステップＳ３１０を実行する。確率導出手段２１１において導出された確率がA以下（ステップＳ３９０１でＮｏ）であれば、ステップＳ３９０２を実行する。ステップＳ３９０２では、確率導出手段２１１において導出された確率がＢより低いかどうかを判断する。確率導出手段２１１において導出された確率がＢより低い（ステップＳ３９０２でＹｅｓ）のであれば、入力された確率の導出に用いた画像が、撮影対象物を含まないと判断しステップＳ３１１を実行する。 In step S309, the processing discriminating means 212 discriminates the subsequent processing based on the probability derived in the probability deriving means 211. The details of the process in step S309 will be described with reference to FIG. It is assumed that the probabilities A and B corresponding to the threshold values required for discrimination are set before executing step S309. Probabilities A and B are A> B. In step S309, the processing discriminating means 212 inputs the probability derived in the probability deriving means 211. It is determined whether the input probability is higher than A (step S3901). If the probability derived in the probability deriving means 211 is higher than A (Yes in step S3901), it is determined that the image used for deriving the input probability includes an object to be captured, and step S310 is executed. If the probability derived by the probability deriving means 211 is A or less (No in step S3901), step S3902 is executed. In step S3902, it is determined whether or not the probability derived by the probability deriving means 211 is lower than B. If the probability derived by the probability deriving means 211 is lower than B (Yes in step S3902), it is determined that the image used for deriving the input probability does not include the object to be photographed, and step S311 is executed.
確率導出手段２１１において導出された確率がＢ以上（ステップＳ３９０２でＮｏ）であれば、ステップＳ３１２を実行する。 If the probability derived by the probability deriving means 211 is B or more (No in step S3902), step S312 is executed.
ステップＳ３０９は、図５に示す処理が行われるので、確率導出手段２１１において導出された確率がAより大きいのであれば、入力された確率の導出に用いた画像が撮影対象物を含むと判断しステップＳ３１０を実行する。また、確率導出手段２１１において導出された確率がA以下で、かつBより小さいのであれば、この確率の導出に用いた画像が撮影対象物を含まないと判断しステップＳ３１１を実行する。また、確率導出手段２１１において導出された確率がA以下で、かつB以上であれば、ステップＳ３１２を実行する。なお、判別に必要な確率A、Bは撮影者の負担や必要な画像のレベルに応じて適宜変更しても良い。また、確率導出手段２１１にて用いられる撮影対象物を含む確率の計算機（演算器とも言う）は、収集された画像（例えば、撮影対象物のタグが付与された画像）を用いて新たに作成し（又は再構築し）、更新してもよい。確率導出手段２１１における計算機の更新にあわせて確率A、Bの値をそれぞれ変更してもよい。確率導出手段２１１における計算機は、新たに取得した画像を用いて更新することで、より精度が高くなる。より高い精度で確率を導出できる場合、確率A、Bを適切に設定することで、人手でタグ付けを行う画像を減らすことが可能となる。図６を用いて処理判別ステップＳ３０９の具体例を示す。図６は、撮影対象物が犬である場合のステップＳ３０９の具体例である。撮影機器１００にて取得した３枚の画像を画像X、画像Y、画像Zとする。この場合、ステップＳ３０８にて確率導出手段２１１は、画像に犬の含まれる確率を導出する。画像に犬の含まれる確率が、画像Xは９５％、画像Yは５０％、画像Zは５％とステップＳ３０８において求められているものとする。また判別のための確率A、Bはそれぞれ８５％、２０％と設定されているとする。この場合、ステップＳ３０９において処理判別手段２１２は、確率導出手段２１１において導出された確率を入力とする。この時、まず画像Xに犬が含まれる確率は８５％より高いため、犬であると判断され、サーバ装置２００に保存するためステップＳ３１０へ進む。次に画像Yに犬が含まれる確率は８５％以下かつ２０％以上であるため、機械では犬かどうか分からないものと判断され、手動判別を行うためステップＳ３１２へ進む。最後に画像Zに犬が含まれる確率は２０％より低いため、犬ではないと判断され、破棄するためステップＳ３１１へ進む。 Since the process shown in FIG. 5 is performed in step S309, if the probability derived by the probability deriving means 211 is larger than A, it is determined that the image used for deriving the input probability includes the object to be photographed. Step S310 is executed. If the probability derived by the probability deriving means 211 is A or less and smaller than B, it is determined that the image used for deriving this probability does not include the object to be photographed, and step S311 is executed. If the probability derived by the probability deriving means 211 is A or less and B or more, step S312 is executed. The probabilities A and B required for discrimination may be appropriately changed according to the burden on the photographer and the required image level. Further, the computer (also referred to as a calculator) of the probability including the object to be photographed used in the probability derivation means 211 is newly created by using the collected images (for example, the image to which the tag of the object to be photographed is attached). It may (or be rebuilt) and updated. The values of the probabilities A and B may be changed according to the update of the computer in the probability deriving means 211. The computer in the probability deriving means 211 is updated with the newly acquired image to improve the accuracy. If the probabilities can be derived with higher accuracy, it is possible to reduce the number of images that are manually tagged by setting the probabilities A and B appropriately. A specific example of the process determination step S309 is shown with reference to FIG. FIG. 6 is a specific example of step S309 when the object to be photographed is a dog. Let the three images acquired by the photographing apparatus 100 be image X, image Y, and image Z. In this case, in step S308, the probability deriving means 211 derives the probability that the dog is included in the image. It is assumed that the probability that the dog is included in the image is 95% for the image X, 50% for the image Y, and 5% for the image Z, which are obtained in step S308. Further, it is assumed that the probabilities A and B for discrimination are set to 85% and 20%, respectively. In this case, in step S309, the processing discriminating means 212 inputs the probability derived in the probability deriving means 211. At this time, since the probability that the dog is included in the image X is higher than 85%, it is determined that the image X is a dog, and the process proceeds to step S310 for saving in the server device 200. Next, since the probability that the dog is included in the image Y is 85% or less and 20% or more, it is determined that the machine does not know whether the dog is a dog or not, and the process proceeds to step S312 for manual determination. Finally, since the probability that the image Z contains a dog is lower than 20%, it is determined that the image Z is not a dog, and the process proceeds to step S311 for discarding.
図４に戻って処理の流れを説明する。ステップＳ３１０にて画像管理手段２１３は、ステップＳ３０９にて撮影対象物を含むと判別された（確率Aより高いと判別された）画像を、撮影対象物のタグを付与して、サーバ装置２００が備える図示しないメモリに保存する。メモリとは、例えば、ハードディスク、書き込み可能な半導体メモリなどの書き込み可能な記録媒体である。 Returning to FIG. 4, the flow of processing will be described. In step S310, the image management means 213 attaches a tag to the image to be photographed (determined to be higher than the probability A) to the image determined to include the object to be photographed in step S309, and the server device 200 Save in a memory (not shown) provided. The memory is a writable recording medium such as a hard disk or a writable semiconductor memory.
ステップＳ３１１にて画像管理手段２１３は、ステップＳ３０９にて撮影対象物を含まないと判別された（確率Bより低いと判別された）画像を、撮影対象物のタグを付与せずに破棄する。 In step S311 the image management means 213 discards the image determined not to include the image to be photographed (determined to be lower than the probability B) in step S309 without adding the tag of the object to be photographed.
ステップＳ３１２にてサーバ装置通信部２２０は、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像および、この画像への情報付与に対応するタグ付けを受付けるための依頼受付情報を撮影機器１００へ送信する。すなわちステップＳ３１２にて撮影機器通信部１２０は、サーバ装置通信部２２０にて撮影機器１００へ送られる画像を受信する。 In step S312, the server device communication unit 220 captures an image determined in step S309 to have a probability A or less and a probability B or more, and request acceptance information for accepting a tag corresponding to the addition of information to this image. It is transmitted to the device 100. That is, in step S312, the photographing device communication unit 120 receives the image sent to the photographing device 100 by the server device communication unit 220.
例えば、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像は、ステップＳ３０７において、撮影機器１００からネットワークを介して受信された画像である。 For example, the image determined in step S309 to have a probability A or less and a probability B or more is an image received from the photographing device 100 via the network in step S307.
例えば、ステップＳ３０７において、画像とともに撮影者ＩＤまたは機器ＩＤを受信した場合、であって、かつこの画像がステップＳ３０９にて確率A以下であり確率B以上と判別された場合、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した撮影者ＩＤまたは機器ＩＤを特定する。そして特定した撮影者ＩＤに対応する機器または機器ＩＤに対応する機器へこの画像と依頼受付情報を送信する。例えば、ステップＳ３０２のユーザ（この例では、撮影者１）の登録において、撮影者１の撮影者ＩＤに複数の機器を関連付けて登録した場合を考える。この場合、ステップＳ３１２では、撮影者ＩＤと対応付けたタグ付けの作業が行いやすい機器（例えば、スマートフォン、タブレット型の携帯端末）へ画像と依頼受付情報を送信するのでもよい。このようにすれば、タグ付けの作業を行うものは、タグ付けの作業がより行いやすくなる。 For example, in step S307, when the photographer ID or the device ID is received together with the image, and when this image is determined in step S309 to have a probability A or less and a probability B or more, step S312 is a step. In S307, the photographer ID or the device ID received together with this image is specified. Then, the image and the request acceptance information are transmitted to the device corresponding to the specified photographer ID or the device corresponding to the device ID. For example, in the registration of the user (photographer 1 in this example) in step S302, consider the case where a plurality of devices are associated with the photographer ID of the photographer 1 and registered. In this case, in step S312, the image and the request acceptance information may be transmitted to a device (for example, a smartphone or a tablet-type mobile terminal) that can easily perform the tagging work associated with the photographer ID. In this way, those who perform the tagging work will be able to perform the tagging work more easily.
なお、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した撮影者ＩＤとは異なる撮影者ＩＤの機器へ、画像および依頼受付情報を送ってもよい。このようにすれば、この画像をサーバ装置２００へ送信した者（画像取得者）とは別の者（撮影者）へ送っても良い。画像を画像取得者とは別の、より手の空いた撮影者へ送ることで、タグ付けがよりスピーディーになる。また、画像を複数の撮影者へ送ることで、より精度の高いタグ付けを行うことが可能となる。画像をその画像の取得者へ送り戻す場合、ステップＳ３０７にて撮影者ＩＤを画像と一緒に送ることで、同じ画像取得者へと送ることが可能となる。 In step S312, the image and the request acceptance information may be sent to the device having the photographer ID different from the photographer ID received together with the image in step S307. In this way, the image may be sent to a person (photographer) different from the person (image acquirer) who sent the image to the server device 200. Tagging becomes faster by sending the image to a photographer who is free from the image acquirer. Further, by sending the image to a plurality of photographers, it becomes possible to perform tagging with higher accuracy. When the image is sent back to the acquirer of the image, it is possible to send the image to the same image acquirer by sending the photographer ID together with the image in step S307.
なお、ステップＳ３１２では、ステップＳ３０７において、この画像とともに受信した機器ＩＤを特定し、特定した機器ＩＤとは異なる機器ＩＤの機器へ、画像および依頼受付情報送ってもよい。 In step S312, the device ID received together with this image may be specified in step S307, and the image and the request acceptance information may be sent to a device having a device ID different from the specified device ID.
ステップＳ３１３にて表示部１３０は、撮影機器通信部１２０にて受信した依頼受付情報を受け付け、受信した画像を含み、画像に撮影対象物が含まれるか否かの選択を端末から受け付ける指示画面を表示する。指示画面は、例えば、撮影対象物が含まれるか否かの選択を行うアイコン画像（例えば、「Ｙｅｓ」および「Ｎｏ」に対応するアイコン画像）を含む。 In step S313, the display unit 130 receives the request reception information received by the photographing device communication unit 120, includes the received image, and displays an instruction screen from the terminal for selecting whether or not the image includes an object to be photographed. indicate. The instruction screen includes, for example, an icon image (for example, an icon image corresponding to “Yes” and “No”) for selecting whether or not an object to be photographed is included.
ステップＳ３１４にて入力部１４０は、表示部１３０にて表示された画像が撮影対象物を含むどうかの撮影者による判別結果を受け付ける。 In step S314, the input unit 140 receives a determination result by the photographer as to whether or not the image displayed on the display unit 130 includes an object to be photographed.
図７は、ステップＳ３１３にて画像を表示する際のインタフェース例である。処理判別ステップＳ３０９にて、撮影対象物が含まれるかどうかを機械によって判別できないと判断された画像（ステップＳ３１２にて送信される、確率A以下であり確率B以上と判別された画像）は、ステップＳ３１３にて図７の例のように表示部１３０に表示される。撮影者１はステップＳ３１３にて表示された画像について、ステップＳ３１４にて撮影対象物が含まれるかどうかを判断し、入力部１４０より判断結果を入力する。 FIG. 7 is an example of an interface for displaying an image in step S313. The image determined in the process determination step S309 that the machine cannot determine whether or not the object to be photographed is included (the image transmitted in step S312 and determined to have a probability A or less and a probability B or more) is In step S313, it is displayed on the display unit 130 as in the example of FIG. The photographer 1 determines in step S314 whether or not the image to be photographed is included in the image displayed in step S313, and inputs the determination result from the input unit 140.
ステップＳ３１５にて撮影機器通信部１２０は、入力部１４０にて入力された画像が撮影対象物を含むどうかの撮影者による判別結果を、サーバ装置２００へ送信する。すなわちステップＳ３１５にてサーバ装置通信部２２０は、入力部１４０にて入力された画像が撮影対象物を含むどうかの撮影者による判別結果を受信する。画像が撮影対象物を含むという判別結果を受信した場合、ステップＳ３１６を実施する。また画像が撮影対象物を含まないという判別結果を受信した場合、ステップＳ３１７を実施する。 In step S315, the photographing device communication unit 120 transmits to the server device 200 a determination result by the photographer as to whether or not the image input by the input unit 140 includes an object to be photographed. That is, in step S315, the server device communication unit 220 receives the determination result by the photographer as to whether or not the image input by the input unit 140 includes an object to be photographed. When the determination result that the image includes the object to be photographed is received, step S316 is performed. Further, when the determination result that the image does not include the object to be photographed is received, step S317 is performed.
ステップＳ３１６にて画像管理手段２１３は、ステップＳ３１４にて撮影対象物を含むと判別された画像に撮影対象物のタグを付与し、サーバ装置２００が備える図示しないメモリに保存する。なお、画像が撮影対象物を含むという判別結果として、撮影対象物のタグが付された画像をステップＳ３１５において受信した場合、ステップＳ３１６にて画像管理手段２１３は、この画像をメモリに保存すればよい。 In step S316, the image management means 213 adds a tag of the image to be photographed to the image determined to include the object to be photographed in step S314, and stores the image in a memory (not shown) provided in the server device 200. As a result of determining that the image includes an object to be photographed, when an image tagged with the object to be photographed is received in step S315, the image management means 213 may save this image in the memory in step S316. Good.
ステップＳ３１７にて画像管理手段２１３は、ステップＳ３１４にて撮影対象物を含まないと判別された画像を破棄する。 In step S317, the image management means 213 discards the image determined not to include the object to be photographed in step S314.
ステップＳ３１８にて報酬導出手段２１４は、ステップＳ３１０にて求められた、画像に撮影対象物が含まれる確率を用いて報酬の導出を行う。ここでは例えば、ステップＳ３１２にて送信する画像が多いほど（すなわち、ステップＳ３０９にて確率A以下であり確率B以上と判別された画像が多いほど）、報酬を高く導出する。 In step S318, the reward derivation means 214 derives the reward using the probability that the image includes the object to be photographed, which is obtained in step S310. Here, for example, the more images to be transmitted in step S312 (that is, the more images are determined to have a probability A or less and a probability B or more in step S309), the higher the reward is derived.
ステップＳ３１９にてサーバ装置２００は、撮影機器１００に対して撮影者への報酬の送付を行う。報酬は、お金、ネットマネー、ゲームポイント、割引券、抽選券など、撮影者の利益となるあらゆるものを含む。 In step S319, the server device 200 sends a reward to the photographer to the photographing device 100. Rewards include money, net money, game points, discount tickets, lottery tickets, and anything else that benefits the photographer.
なお、ステップＳ３０８における確率の導出は、例えば、制御処理部２１０に含まれるDeep Learningによって予め構築された撮影対象物を識別するための演算器を用いることは前述したとおりである。より具体的には例えば、撮影対象物の認識のために予め用意された複数の学習用画像のデータセットを用いてDeep Learningによる学習が行われ、撮影対象物を識別するための演算器が予め構築される。 As described above, for the derivation of the probability in step S308, for example, an arithmetic unit for identifying a photographing object constructed in advance by deep learning included in the control processing unit 210 is used. More specifically, for example, learning by deep learning is performed using a data set of a plurality of learning images prepared in advance for recognizing the object to be photographed, and an arithmetic unit for identifying the object to be photographed is previously provided. Will be built.
例えば、ステップＳ３１０、ステップＳ３１６により保存された複数枚の画像を学習用画像のデータセットに加えて学習を行い、撮影対象物を識別するための演算器を更新（又は再構築）してもよい。このような更新を行うことで、演算器を用いて導出される確率の精度（または信頼度）がより高くなる。 For example, the plurality of images saved in step S310 and step S316 may be added to the data set of the learning images for learning, and the arithmetic unit for identifying the object to be photographed may be updated (or reconstructed). .. By performing such an update, the accuracy (or reliability) of the probability derived using the arithmetic unit becomes higher.
演算器を更新するタイミングは、例えば、ステップＳ３１０、ステップＳ３１６により画像を保存するタイミングで行ってもよいし、ステップＳ３０８を実行する前に行ってもよい。 The timing of updating the arithmetic unit may be, for example, the timing of saving the image in steps S310 and S316, or may be performed before executing step S308.
例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合と、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合とで、ステップ３０９において、判別に必要な確率A、Bの値を変更するのでもよい。 For example, there are two cases, one is to derive the probability using an arithmetic unit constructed using less than a predetermined number of images, and the other is to derive the probability using an arithmetic unit constructed using more than a predetermined number of images. At 309, the values of probabilities A and B required for discrimination may be changed.
例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Aの値は、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Aの値よりも高い値に設定してもよい。 For example, in the case of deriving a probability using an arithmetic unit constructed using less than a predetermined number of images, the value of the probability A to be set is a probability using an arithmetic unit constructed using an arithmetic unit constructed using a predetermined number of images or more. In the case of deriving, the value may be set higher than the value of the probability A to be set.
また、例えば、所定の枚数未満の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Bの値は、所定の枚数以上の画像を用いて構築した演算器を用いて確率を導出する場合において、設定する確率Bの値よりも低い値に設定してもよい。 Further, for example, in the case of deriving the probability using an arithmetic unit constructed using less than a predetermined number of images, the value of the probability B to be set uses an arithmetic unit constructed using an arithmetic unit constructed using a predetermined number of images or more. In the case of deriving the probability, the value may be set lower than the value of the probability B to be set.
所定の枚数というのは、例えば、認識すべき撮影対象物に応じて決めてもよいし、サーバ装置２００を管理する管理者が適宜決めてもよい。 The predetermined number of sheets may be determined, for example, according to the object to be photographed to be recognized, or may be appropriately determined by the administrator who manages the server device 200.
以上により、大量の画像を取得し、撮影対象物が含まれるかどうかが簡単に判別できるものは認識器により短時間で判別し、判別が難しいものは人がより高精度な判別を行う画像収集・タグ付けシステムが構築される。従来特許では、撮影対象物が含まれる大量の画像を収集する場合、撮影者の意図が含まれる画像が多く集まってしまい、画像に偏りが生じていた。また、撮影者の意図が含まれない大量の画像を収集した場合、その大量の画像に対して撮影対象物が含まれるか否かの情報を付与する具体的な手法が検討されていなかった。よって、収集した全ての画像に対して人手で撮影対象物が含まれるか否かの情報を付与する作業が必要となり、大きな手間が必要であった。しかし本開示により、所望の撮影対象物が含まれる画像であって、人の意図が含まれない多様な撮影画像を網羅的かつ大量に収集し、それら大量の画像に対して意図する情報（撮影対象物であるか否かに関する情報など）を、システム全体の人的コスト・負荷を抑えつつ効率的に付与することができる。これにより、所望の撮影対象物であるという情報が付与された大量の多様な画像データセット（似たような画像に偏らない画像データセット）を学習用画像として用いることで、より認識性能の高い画像認識器を構築することが可能となる。よって、例えばDeep Learningなどの手法を用いた画像認識システムを、従来よりも効率的かつ精度よく構築することが出来る。 Based on the above, a large number of images can be acquired, and if it is possible to easily determine whether or not an object to be photographed is included, it can be determined in a short time by a recognizer, and if it is difficult to determine, a person can make a more accurate determination. -A tagging system is built. In the conventional patent, when collecting a large number of images including an object to be photographed, many images including the intention of the photographer are collected, and the images are biased. In addition, when a large number of images that do not include the photographer's intention are collected, a specific method for giving information on whether or not a photographed object is included in the large number of images has not been studied. Therefore, it is necessary to manually add information on whether or not the object to be photographed is included in all the collected images, which requires a great deal of time and effort. However, according to the present disclosure, various photographed images that include a desired object to be photographed and do not include the intention of a person are comprehensively collected in a large amount, and the information intended for the large amount of images (photographing). Information on whether or not it is an object) can be efficiently given while suppressing the human cost and load of the entire system. As a result, by using a large amount of various image data sets (image data sets that are not biased toward similar images) as learning images to which information that the image is a desired object to be photographed is given, the recognition performance is higher. It is possible to build an image recognizer. Therefore, for example, an image recognition system using a method such as Deep Learning can be constructed more efficiently and accurately than before.
以上、実施の形態にて本開示の処理について説明したが、各処理が実施される主体や装置に関しては特に限定しない。ローカルに配置された特定の装置内に組み込まれたプロセッサなど（以下に説明）によって処理されてもよい。またローカルの装置と異なる場所に配置されているクラウドサーバなどによって処理されてもよい。また、ローカルの装置とクラウドサーバ間で情報の連携を行うことで、本開示にて説明した各処理を分担してもよい。以下本開示の実施態様を説明する。 Although the processing of the present disclosure has been described above in the embodiment, the subject and the apparatus in which each processing is performed are not particularly limited. It may be processed by a processor embedded in a specific device located locally (described below). It may also be processed by a cloud server or the like located at a location different from the local device. Further, each process described in the present disclosure may be shared by linking information between the local device and the cloud server. Hereinafter, embodiments of the present disclosure will be described.
（１）上記の装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。 (1) Specifically, the above-mentioned device is a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like. A computer program is stored in the RAM or the hard disk unit. When the microprocessor operates according to the computer program, each device achieves its function. Here, a computer program is configured by combining a plurality of instruction codes indicating commands to a computer in order to achieve a predetermined function.
（２）上記の装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。 (2) A part or all of the constituent elements constituting the above-mentioned apparatus may be composed of one system LSI (Large Scale Integration). A system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, is a computer system including a microprocessor, ROM, RAM, and the like. .. A computer program is stored in the RAM. When the microprocessor operates according to the computer program, the system LSI achieves its function.
（３）上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。 (3) Some or all of the components constituting the above device may be composed of an IC card or a single module that can be attached to and detached from each device. The IC card or the module is a computer system composed of a microprocessor, a ROM, a RAM, and the like. The IC card or the module may include the above-mentioned super multifunctional LSI. When the microprocessor operates according to a computer program, the IC card or the module achieves its function. This IC card or this module may have tamper resistance.
（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 (4) The present disclosure may be the method shown above. Further, it may be a computer program that realizes these methods by a computer, or it may be a digital signal composed of the computer program.
（５）また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。 (5) Further, the present disclosure discloses that the computer program or a recording medium capable of reading the digital signal by a computer, for example, a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD ( It may be recorded on a Blu-ray (registered trademark) Disc), a semiconductor memory, or the like. Further, it may be the digital signal recorded on these recording media.
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。 Further, in the present disclosure, the computer program or the digital signal may be transmitted via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, data broadcasting, or the like.
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。 Further, the present disclosure is a computer system including a microprocessor and a memory, in which the memory stores the computer program, and the microprocessor may operate according to the computer program.
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。 Also, by recording and transferring the program or the digital signal to the recording medium, or by transferring the program or the digital signal via the network or the like, it is carried out by another independent computer system. You may do so.
（６）上記実施の形態及びその変形例をそれぞれ組み合わせるとしてもよい。 (6) The above-described embodiment and its modifications may be combined.
本開示は、画像から、画像中に含まれる物体が何であるかを精度良く認識することができる物体認識方法及びシステムに関連し、デジタルカメラ、ムービー、監視カメラ、車載カメラ、ウェアラブルカメラなどの撮像装置として有用である。 The present disclosure relates to an object recognition method and a system capable of accurately recognizing what an object contained in an image is from an image, and images of a digital camera, a movie, a surveillance camera, an in-vehicle camera, a wearable camera, or the like. It is useful as a device.
１００ 撮影機器
１１０ 撮影部
１２０ 撮影機器通信部
１３０ 表示部
１４０ 入力部
２００ サーバ装置
２１０ 制御処理部
２１１ 確率導出手段
２１２ 処理判別手段
２１３ 画像管理手段
２１４ 報酬導出手段100 Imaging equipment 110 Imaging unit 120 Imaging equipment Communication unit 130 Display unit 140 Input unit 200 Server device 210 Control processing unit 211 Probability derivation means 212 Processing discrimination means 213 Image management means 214 Reward derivation means
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/228,334US9817471B2 (en) | 2015-09-04 | 2016-08-04 | Method for adding information and server apparatus |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562214303P | 2015-09-04 | 2015-09-04 | |
| US62/214,303 | 2015-09-04 |
| Publication Number | Publication Date |
|---|---|
| JP2017049977A JP2017049977A (en) | 2017-03-09 |
| JP6801985B2true JP6801985B2 (en) | 2020-12-16 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016106557AActiveJP6801985B2 (en) | 2015-09-04 | 2016-05-27 | Information giving method and server device |
| Country | Link |
|---|---|
| JP (1) | JP6801985B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015005172A (en)* | 2013-06-21 | 2015-01-08 | ソニー株式会社 | Information processing device, information processing system, and storage medium storing program |
| Publication number | Publication date |
|---|---|
| JP2017049977A (en) | 2017-03-09 |
| Publication | Publication Date | Title |
|---|---|---|
| JP7154678B2 (en) | Target position acquisition method, device, computer equipment and computer program | |
| JP5527423B2 (en) | Image processing system, image processing method, and storage medium storing image processing program | |
| US20130201344A1 (en) | Smart camera for taking pictures automatically | |
| CN110084153A (en) | For sharing the smart camera of picture automatically | |
| JP6098318B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP2014022970A (en) | Image transmission device, image transmission method, image transmission program, image recognition authentication system, and image reception device | |
| JP5300585B2 (en) | Information processing apparatus and information processing method | |
| JP2015111836A (en) | Image processing apparatus, camera, image processing method and program | |
| JP2010230813A (en) | Information providing device, information providing method, and program | |
| JP7001149B2 (en) | Data provision system and data collection system | |
| JP2018084861A (en) | Information processing apparatus, information processing method, and information processing program | |
| CN108989666A (en) | Image pickup method, device, mobile terminal and computer-readable storage medium | |
| US9817471B2 (en) | Method for adding information and server apparatus | |
| CN114882576A (en) | Face recognition method, electronic device, computer-readable medium, and program product | |
| CN111586295B (en) | Image generation method and device and electronic equipment | |
| CN110730326B (en) | Imaging system, imaging device, communication terminal, and computer-readable storage medium | |
| JP6801985B2 (en) | Information giving method and server device | |
| JP2015139001A (en) | Information processing apparatus, information processing method, and program | |
| JP7668203B2 (en) | Image processing device, image processing method, program, and recording medium | |
| KR20230012432A (en) | Method and apparatus managing biometric information for pet entity authentication | |
| JP2022058833A (en) | Information processing system, information processing apparatus, information processing method, and program | |
| JP2014042170A (en) | Photographing system, photographing support method, photographing device and control method of the same, management device and control method of the same, and program | |
| JP2013165481A (en) | Imaging apparatus, control method of the same, and program | |
| JP2017175453A (en) | Image processing apparatus and image processing method | |
| CN112565586A (en) | Automatic focusing method and device |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20190424 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20200629 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20200714 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20201009 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20201117 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20201126 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6801985 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |