JP4964833B2 - Information presentation control apparatus and information presentation control method - Google Patents
Information presentation control apparatus and information presentation control methodDownload PDFInfo
- Publication number
- JP4964833B2 JP4964833B2JP2008163765AJP2008163765AJP4964833B2JP 4964833 B2JP4964833 B2JP 4964833B2JP 2008163765 AJP2008163765 AJP 2008163765AJP 2008163765 AJP2008163765 AJP 2008163765AJP 4964833 B2JP4964833 B2JP 4964833B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information presentation
- optical
- information
- optical signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Description
Translated fromJapaneseこの発明は、ユーザに情報を提示するシステムで使用される情報提示制御装置及び情報提示制御方法に関する。 The present invention relates to an information presentation control device and an information presentation control method used in a system for presenting information to a user.
従来、例えば広告情報や案内情報を提示するシステムとしては、大画面ディスプレイを用いたシステムが一般的である。この種のシステムは、一度に多数の人に情報を提示できるという利点を持つ反面、個人にとっては提示された情報が自分に向けられた情報だと感じられないため、提示された情報に興味を持つまでに至らないことが多い。 Conventionally, for example, a system using a large screen display is generally used as a system for presenting advertisement information or guidance information. While this type of system has the advantage of being able to present information to many people at once, it does not feel that the information presented is personally directed to the individual, and is therefore interested in the information presented. In many cases it does not lead to holding.
そこで、例えばプロジェクタを使用してユーザの手の平に情報を光学的に投影させるシステムが提案されている（例えば、非特許文献１を参照。）。このシステムによれば、ユーザごとにそれぞれ情報を提示することができるので、ユーザにとっては提示された情報が自分に向けられた情報だと感じられ、これにより情報に対し興味を抱かせることが可能となる。
また、ユーザに対し音声等を含むオーディオ信号を送信することで、ユーザ一人ひとりに音声メッセージ等の情報を提示できるようにする提案もなされている（特許文献１を参照。）。Thus, a system that optically projects information on the palm of the user using, for example, a projector has been proposed (see, for example, Non-Patent Document 1). According to this system, information can be presented for each user, so that the user can feel that the information presented is directed to him / her, and this can make him interested in the information. It becomes.
In addition, a proposal has been made so that information such as a voice message can be presented to each user by transmitting an audio signal including voice or the like to the user (see Patent Document 1).
ところが、プロジェクタを使用するシステムはユーザに対し個々に映像を提示することは可能であるが、音声メッセージをユーザごとに提示することができない。一方、オーディオ信号を送信するものはユーザごとに音声情報を提示することは可能であるが、映像情報を提示する場合には大型ディスプレイ等に頼る以外にない。 However, a system using a projector can present an image individually to a user, but cannot present a voice message for each user. On the other hand, a device that transmits an audio signal can present audio information for each user. However, when presenting video information, there is no choice but to rely on a large display or the like.
この発明は上記事情に着目してなされたもので、その主たる目的は、映像情報と音声情報の両方を不特定多数の人に見聞きされることなくユーザごとに提示できるようにした情報提示制御装置及び情報提示制御方法を提供することにある。 The present invention has been made paying attention to the above circumstances, and its main purpose is to provide an information presentation control apparatus capable of presenting both video information and audio information for each user without being seen or heard by an unspecified number of people. And providing an information presentation control method.
上記目的を達成するためにこの発明の一観点は、ユーザを撮像する撮像ユニットと、上記ユーザの身体の一部を利用した擬似的な情報提示媒体に映像コンテンツ情報を投影するための投影ユニットと、上記ユーザが所持する、光信号を受信して音声に変換する光／音声変換ユニットに向けて光信号を送信する光送信ユニットにそれぞれ接続される情報提示制御装置にあって、
上記撮像ユニットにより撮像された上記ユーザの映像データから、上記光送信ユニットから送信される光信号の上記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに当該ユーザの情報提示媒体の動き検出し、この情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し上記投影ユニットにより映像コンテンツ情報を投影させ、かつ上記ユーザが所持する光／音声変換ユニットに向けて、上記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させるようにしたものである。In order to achieve the above object, an aspect of the present invention includes an imaging unit that images a user, a projection unit that projects video content information on a pseudo information presentation medium using a part of the user's body, and In the information presentation control device connected to each of the optical transmission units possessed by the user and transmitting the optical signal toward the optical / audio conversion unit that receives the optical signal and converts it into sound,
From the video data of the user imaged by the imaging unit, thereflected light by the information presentation medium of the optical signal transmitted from the optical transmission unit is detected, and the user information isdetected based onthe detection result of thereflected light. When the movement of the presentation medium is detected, and the movement of the information presentation medium is detected, the video content information is projected onto the information presentation medium by the projection unit, and directed to the light / sound conversion unit possessed by the user. Thus, an optical signal corresponding to the audio content information is transmitted from the optical transmission unit.
したがって、例えばユーザが予め決められた位置に手の平を差し出すと、その動きが検出されて当該手の平に映像コンテンツ情報が投影される。また、音声コンテンツ情報が光信号に変換されてユーザに向け送信され、この光信号がユーザの光／音声変換ユニットで音声コンテンツに変換されて出力される。このため、映像コンテンツ及び音声コンテンツはいずれも不特定多数の人に見聞きされることなくユーザに提示されることになる。
また、上記撮像ユニットにより撮像された上記ユーザの映像データから、上記光送信ユニットから送信される光信号の上記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに当該ユーザの情報提示媒体の動き検出するようにしているので、映像データからユーザの情報提示媒体の動きを簡単な処理でかつ正に検出することが可能となる。また、音声コンテンツ情報の光信号を送信するために使用する光送信ユニットを情報提示媒体の動き検出にも利用するため、新たな発光手段を設ける必要がなく、システム構成の複雑化及び大型化を招かずに済む利点がある。Therefore, for example, when the user presents the palm at a predetermined position, the movement is detected and the video content information is projected onto the palm. Also, the audio content information is converted into an optical signal and transmitted to the user, and this optical signal is converted into audio content by the user's optical / audio conversion unit and output. For this reason, both video content and audio content are presented to the user without being seen or heard by an unspecified number of people.
Moreover, the reflected light by the information presentation medium of the optical signal transmitted from the optical transmission unit is detected from the video data of the user captured by the imaging unit, and the user is detected based on the detection result of the reflected light. Since the movement of the information presentation medium is detected, the movement of the user's information presentation medium can be detected from the video data with simple processing. In addition, since the optical transmission unit used for transmitting the optical signal of the audio content information is also used for motion detection of the information presentation medium, it is not necessary to provide a new light emitting means, and the system configuration is complicated and enlarged. There is an advantage of not inviting.
またこの発明は、観点の異なる以下のような構成要素を備えることも特徴とする。
第１の構成要素は、上記光信号を送信させる際に、上記情報提示媒体の動きが検出された場合に、上記映像コンテンツ情報の投影動作と同期して、上記音声コンテンツ情報に対応する光信号を上記光送信ユニットから送信させるものである。
このようにすると、映像コンテンツ情報の投影動作と同期して音声コンテンツ情報がユーザに提示される。このため、例えば映像コンテンツの提示と音声コンテンツの提示が同時に開始され、かつ両コンテンツの提示動作が相互に対応付けられて進行するため、より一層ユーザの興味を惹くコンテンツ提示を実現できる。The present invention is also characterized by comprising the following components with different viewpoints.
The first component is an optical signal corresponding to the audio content information in synchronization with the projection operation of the video content information when the movement of the information presentation medium is detected when transmitting the optical signal. Are transmitted from the optical transmission unit.
In this way, the audio content information is presented to the user in synchronization with the video content information projection operation. For this reason, for example, presentation of video content and presentation of audio content are started at the same time, and the presentation operation of both contents proceeds in association with each other, so that it is possible to realize content presentation that further attracts the user's interest.
第２の構成要素は、上記ユーザが所持する固有の所持物をさらに検出し、上記光信号を送信させる際に、予め記憶された複数の音声コンテンツ情報の中から、上記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を上記光送信ユニットから送信させるようにしたものである。
このようにすると、ユーザが所持する所持物に応じて当該ユーザに対応する音声コンテンツを提示することが可能となる。また、ユーザが複数存在する場合に、これらのユーザごとにその所持物に応じて個別に音声コンテンツを提示することが可能となる。The second component further detects the inherent possession possessed by the user, and transmits the optical signal to transmit the optical signal and the detected inherent possession from among a plurality of pieces of audio content information stored in advance. Audio content information associated with an object is selected, and an optical signal corresponding to the selected audio content information is transmitted from the optical transmission unit.
If it does in this way, according to the possession which a user possesses, it becomes possible to show the audio contents corresponding to the user concerned. In addition, when there are a plurality of users, it is possible to present audio contents individually for each of these users according to their belongings.
すなわちこの発明の一観点によれば、映像情報と音声情報の両方を不特定多数の人に見聞きされることなくユーザごとに提示することを可能にした情報提示制御装置及び情報提示制御方法を提供することができる。 That is, according to one aspect of the present invention, there is provided an information presentation control device and an information presentation control method capable of presenting both video information and audio information for each user without being seen or heard by an unspecified number of people. can do.
以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示制御装置を含む情報提示システムの概略構成図である。このシステムは、天井等のユーザ４の上方位置にカメラ１、プロジェクタ２及び光送信器６を設置し、これらのカメラ１、プロジェクタ２及び光送信器６を情報提示制御装置（以後単に制御装置と呼称する）３に接続したものとなっている。Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a schematic configuration diagram of an information presentation system including an information presentation control apparatus according to the first embodiment of the present invention. In this system, a
カメラ１は、下方に存在するユーザ４とその手の平５を含む所定の範囲を撮像し、その映像信号を制御装置３へ出力する。プロジェクタ２は、制御装置３から出力される映像信号を光学像に変換し、この光学像を情報提示媒体としての上記ユーザの手の平５に投影する。光送信器６は例えばＬＥＤ（Light Emitting Diode）アレイにより構成され、制御装置３から出力される発光駆動信号に応じて発光動作を行い、その光信号を上記ユーザ４に向け送信する。ユーザ４はイヤホン７を装着している。イヤホン７には光受信器８が設けられている。光受信器８は、上記光送信器６から送信された光信号を受信してアナログ電気信号からなる音声信号に変換する。この音声信号はイヤホン７のスピーカから出力される。 The
制御装置３は、例えばパーソナル・コンピュータからなり、以下のように構成される。図２はそのハードウエア及びソフトウエアの構成を示すブロック図である。すなわち、制御装置３は、中央処理ユニット（ＣＰＵ；Central Processing Unit）を備える。そしてこのＣＰＵ１１に、バス１２を介して、プログラムメモリ１３Ａ、データベース１４、カメラインタフェース（カメラＩ／Ｆ）１５、プロジェクタインタフェース（プロジェクタＩ／Ｆ）１６、光送信器インタフェース（光送信器Ｉ／Ｆ）１７及び入出力インタフェース（入出力Ｉ／Ｆ）１８を接続したものとなっている。 The
カメラＩ／Ｆ１５は、上記カメラ１から出力された撮像信号を受信し、ディジタル化された撮像データに変換してＣＰＵ１１へ出力する。プロジェクタＩ／Ｆ１６は、データベース１４から読み出された提示対象の映像データをアナログ映像信号に変換し、このアナログ映像信号を上記プロジェクタ２へ出力する。光送信器Ｉ／Ｆ１７は、データベース１４から読み出された提示対象の音声データを発光駆動信号に変換し、この発光駆動信号を上記光送信器６へ出力する。 The camera I /
入出力Ｉ／Ｆ１８には、入力デバイス１９及び表示デバイス２０が接続されている。これらの入力デバイス１９及び表示デバイス２０は、システムの保守管理を行うために使用される。例えば、入力デバイス１９はキーボード及びマウスからなり、ユーザ又はシステムオペレータがデータベース１４に映像コンテンツ及び音声コンテンツを記憶させるための操作を行う際に使用される。表示デバイス２０は例えば液晶表示器からなり、制御装置３の動作状態を表す情報等を表示するために使用される。 An
データベース１４には、映像データ記憶領域と、音声データ記憶領域と、制御データ記憶領域が設けられている。映像データ記憶領域には、ユーザに提示すべき映像コンテンツのデータが記憶される。音声データ記憶領域には、ユーザに提示すべき音声コンテンツのデータが記憶される。これらの映像コンテンツ及び音声コンテンツは、相互に対応付けられて１つのマルチメディアコンテンツを構成する。
なお、映像コンテンツと音声コンテンツを別ファイルとせずに、映像コンテンツに音声コンテンツを含めたタイプのファイルとして記憶させるようにしてもよい。また、映像コンテンツ及び音声コンテンツに、さらにテキストデータ等のデータを含めるようにしてもよい。この種のタイプのコンテンツファイルを再生する場合は、読み出したコンテンツファイルを映像コンテンツと音声コンテンツ、さらにはデータに分離し、この分離したメディアごとに再生する。制御データ記憶領域には、ユーザ４の手の平５の特徴を表す情報が記憶されている。手の平５の特徴を表す情報は、例えば形状、大きさ及び色を表す情報からなる。The
Note that the video content and the audio content may be stored as a file of a type including the audio content in the video content, instead of being separate files. Further, data such as text data may be further included in the video content and the audio content. When reproducing this type of content file, the read content file is separated into video content, audio content, and data, and is reproduced for each of the separated media. Information representing the characteristics of the
プログラムメモリ１３Ａには、この発明の第１の実施形態を実施するためのアプリケーション・プログラムとして、ユーザ動作検出プログラム１３１ａと、映像生成提示制御プログラム１３２ａと、音声提示制御プログラム１３３が格納されている。
ユーザ動作検出プログラム１３１ａは、予め設定された周期でカメラ１から出力された映像信号をカメラＩ／Ｆ１５を介して映像データとして取り込み、この映像データに対し画像処理を行ってユーザ４の手の平５を認識し、その位置を検出する処理を、上記ＣＰＵ１１に実行させる。The
The user operation detection program 131a takes in a video signal output from the
映像生成提示制御プログラム１３２ａは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、データベース１４から予め記憶してある映像コンテンツのデータを読み出す。そして、この読み出された映像コンテンツのデータをプロジェクトＩ／Ｆ１６に供給して、プロジェクタ２からユーザ４の手の平５に対し上記映像コンテンツに対応する光学像を投影させるための処理を、上記ＣＰＵ１１に実行させる。 The video generation /
音声提示制御プログラム１３３は、ユーザの有無に関係なく、データベース１４から予め記憶された音声コンテンツのデータを周期的に繰り返し読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。 The audio
次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。なお、情報提示媒体の種類はユーザ４の手の平５とし、その形状、大きさ及び色を表す情報がデータベース１４に予め記憶されているものとして説明を行う。図３は制御装置３の制御手順と制御内容を示すフローチャートである。 Next, the operation of the information presentation system configured as described above will be described according to the control procedure of the
制御装置１のＣＰＵ１１は、先ずステップＳ３１において音声提示制御プログラム１３３を起動し、データベース１４から提示対象の音声コンテンツのデータを周期的に繰り返し読み出す。そして、この読み出された音声コンテンツのデータを復号したのち、光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７は、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。 First, in step S31, the
この送信された光信号は、例えば図４に示すようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは音声コンテンツを聞くことが可能となる。 The transmitted optical signal is received by an optical receiver 8 provided in the
また、制御装置１のＣＰＵ１１はステップＳ３２においてユーザ動作検出プログラム１３１ａを起動し、情報提示対象であるユーザ４の手の平５の動きを検出する処理を以下のように実行する。
すなわち、先ずステップＳ３２により、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ３３において、上記取り込んだ映像データと、予めデータベース１４に記憶しておいたユーザ４が存在しないときの映像データとの差分処理を行う。そして、その差分情報から、撮像データ内に存在するユーザ４の人体領域を検出する。このとき、ユーザ４の人体領域のサイズがしきい値を超えている場合には、当該人体領域に対し縮小処理を行う。なお、この縮小処理の結果、人体領域を分割できる場合には、複数のユーザ４の人体の重なり合いが起きていると認識し、その領域の数を撮像データ内に存在するユーザ４の人数として認識する。Moreover, CPU11 of the
That is, first, in step S32, the image pickup signal output from the
続いてＣＰＵ１１は、上記検出された人体領域の重心点を検出し、さらに上記縮小処理前の人体領域について肌色抽出処理を行う。そして、この抽出された肌色領域の中から、手の平の大きさに当てはまる大きさの領域を抽出し、これを手の平候補領域とする。続いて、先に求めた人体領域の重心点に近い肌色領域を上記手の平候補領域から選択し、この選択した手の平候補領域を手の平５の領域と認識する。次に、この認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ３４で判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。 Subsequently, the
一方、認識した手の平５の位置が、予め設定した情報提示エリアに入っていると判定されたとする。そうするとＣＰＵ１１は、ステップＳ３５により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ３６により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これによりプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。
図４はその様子の一例を示すもので、この例では箱形をなす物体の映像Ｖａが提示された場合を示している。かくして、ユーザ４は自身の手の平５において映像コンテンツを確認することができる。On the other hand, it is assumed that the recognized position of the
FIG. 4 shows an example of such a situation, and in this example, a case where an image Va of a box-shaped object is presented. Thus, the
なお、上記映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る際に、上記検出された手の平４の領域の位置を表す座標情報を送り、プロジェクタＩ／Ｆ１６により、上記検出された手の平４の領域の位置を表す座標情報に基づいてプロジェクタ２による光学像の投影方向が手の平５の位置に正確に向くように制御するようにしてもよい。また、ユーザ動作検出プログラム１３１により手の平５の領域のサイズを検出し、この検出した手の平５の領域のサイズに応じて光学像の投影サイズを制御するようにしてもよく、さらにはユーザ動作検出プログラム１３１により手の平５の向きを検出し、この向きに応じて光学像の投影向きを制御するようにしてもよい。 When the video content data is sent to the projector I /
さらに、提示対象の映像コンテンツのデータは、データベース１４に記憶されている複数の映像コンテンツのデータの中から、ランダム又は手の平５の領域のサイズに対応するものを少なくとも１つ選択すればよい。その他、図示しないウエブサイトから通信ネットワークを介して上記手の平のサイズに対応する映像コンテンツのデータをダウンロードし、この映像コンテンツのデータを投影させるようにしてもよい。また、複数の映像コンテンツのデータを提示する場合には、これらの映像コンテンツのデータをＣＰＵ１１において二次元平面上に並ぶように編集してプロジェクタ２に送ったり、複数の映像コンテンツのデータを一定の時間間隔で順次プロジェクタ２に送信するようにすればよい。 Furthermore, as the data of the video content to be presented, at least one data corresponding to the size of the region of the palm or the
以上述べたように第１の実施形態では、音声コンテンツのデータを光送信器６から光信号としてユーザ４に向けて送信し、この光信号をユーザ４が装着したイヤホン７の光受信器８で受信して音声信号に変換してスピーカから出力する。またそれと共に、ユーザ４の手の平５の動きをカメラ１の映像データをもとに検出して、手の平５が情報提示エリアに入った場合に、映像コンテンツのデータをデータベース１４から読み出してプロジェクタ２から上記手の平５に投影するようにしている。
したがって、映像コンテンツ及び音声コンテンツをいずれも不特定多数の人に見聞きされることなくユーザに提示することが可能となる。As described above, in the first embodiment, the audio content data is transmitted from the optical transmitter 6 to the
Therefore, both video content and audio content can be presented to the user without being seen or heard by an unspecified number of people.
（第２の実施形態）
この発明の第２の実施形態は、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしたものである。(Second Embodiment)
According to the second embodiment of the present invention, when it is detected that the
図５は、この発明の第２の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｂには、この発明の第２の実施形態を実施するためのアプリケーション・プログラムとして、先に述べたユーザ動作検出プログラム１３１ａ及び映像生成提示制御プログラム１３２ａに加え、音声生成提示制御プログラム１３４ａが新たに格納されている。FIG. 5 is a functional block diagram showing the hardware and software configurations of the
The program 13B includes a voice generation /
音声生成提示制御プログラム１３４ａは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、データベース１４から予め記憶してある音声コンテンツのデータを読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。 The voice generation /
次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。図６は制御装置３の制御手順と制御内容を示すフローチャートである。
制御装置１のＣＰＵ１１は、先ずステップＳ６１においてユーザ動作検出プログラム１３１ａを起動し、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ６２において、上記取り込んだ映像データをもとにユーザ４の手の平５を認識する。そして、認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ６３により判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。なお、ユーザ４の手の平５の動きの検出は、前記第１の実施形態で述べた処理手順及び処理内容と同一なので、ここでの説明は省略する。Next, the operation of the information presentation system configured as described above will be described according to the control procedure of the
First, in step S61, the
上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されたとする。そうするとＣＰＵ１１は、ステップＳ６４により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ６５により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。 Assume that it is determined that the recognized position of the
またＣＰＵ１１は、上記認識したユーザ４の手の平５の位置が情報提示エリアに入ったことが検出されると、ステップＳ６６において音声生成提示制御プログラム１３４ａを起動し、データベース１４から提示対象の音声コンテンツのデータを読み出す。このとき、音声コンテンツの読み出し動作においては、先に読み出した映像コンテンツと対応する音声コンテンツが選択され、さらに上記投影開始した映像コンテンツと時間位置が一致するように音声コンテンツの頭出しが行われる。そしてＣＰＵ１１は、ステップＳ６７により、上記読み出された音声コンテンツのデータを復号したのち光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７では、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。 In addition, when the
この送信された光信号は、例えば図４に示したようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは音声コンテンツを聞くことが可能となる。 The transmitted optical signal is received by an optical receiver 8 provided in the
以上述べたように第２の実施形態では、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしている。したがって、内容が対応する映像コンテンツと音声コンテンツの提示動作を同時に開始することができる。このため、より一層ユーザ４の興味を惹くようなコンテンツ提示が可能となる。 As described above, in the second embodiment, when it is detected that the
（第３の実施形態）
この発明の第３の実施形態は、ユーザが所持する固有の所持物、例えばＩＤカードを検出し、音声コンテンツの光信号を光送信器６から送信させる際に、予め記憶された複数の音声コンテンツ情報の中から、上記検出された固有の所持物に対応付けられた音声コンテンツを選択し、この選択された音声コンテンツに対応する光信号を上記光送信器６から送信させるようにしたものである。(Third embodiment)
In the third embodiment of the present invention, a plurality of audio contents stored in advance are detected when an optical card of an audio content is transmitted from the optical transmitter 6 by detecting a unique item possessed by the user, for example, an ID card. The audio content associated with the detected unique possession is selected from the information, and the optical signal corresponding to the selected audio content is transmitted from the optical transmitter 6. .
図７は、この発明の第３の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｃには、この発明の第３の実施形態を実施するためのアプリケーション・プログラムとして、先に述べたユーザ動作検出プログラム１３１ａ及び映像生成提示制御プログラム１３２ａに加え、音声生成提示制御プログラム１３４ｂと、装置検出プログラム１３５が格納されている。FIG. 7 is a functional block diagram showing the hardware and software configurations of the
The
装置検出プログラム１３５は、カメラ１により得られたユーザの映像データに対し画像処理を行ってユーザ４が所持している装置、例えばＩＤカードを検出してそのＩＤ番号を認識する処理を、上記ＣＰＵ１１に実行させる。なお、ＩＤ番号は例えばバーコード又は二次元コードにより表される。 The
音声生成提示制御プログラム１３４ｂは、上記ユーザ動作検出プログラム１３１ａにより、ユーザ４の手の平５の位置が予め定められた情報提示エリア内に移動したことが検出された場合に、上記装置検出プログラム１３５からＩＤ番号の認識データを取り込み、データベース１４から上記ＩＤ番号に対応する音声コンテンツのデータを読み出す。そして、この読み出された音声コンテンツのデータを光送信器Ｉ／Ｆ１７に供給して、光送信器６から上記音声コンテンツに対応する光信号を出力させる処理を、上記ＣＰＵ１１に実行させる。 When the user motion detection program 131a detects that the position of the
次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。図８は制御装置３の制御手順と制御内容を示すフローチャートである。なお、同図において前記図６と同一部分には同一符号を付してある。
制御装置１のＣＰＵ１１は、先ずステップＳ６１においてユーザ動作検出プログラム１３１ａを起動し、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して映像データとして取り込む。そして、ステップＳ６２において、上記取り込んだ映像データをもとにユーザ４の手の平５を認識する。そして、認識した手の平５の位置が、予め設定した情報提示エリアに入っているか否かをステップＳ６３により判定し、入っていなければ映像コンテンツの提示を行わずにそのまま処理を終了する。なお、ユーザ４の手の平５の動きの検出は、前記第１の実施形態で述べた処理手順及び処理内容と同一なので、ここでの説明は省略する。Next, the operation of the information presentation system configured as described above will be described according to the control procedure of the
First, in step S61, the
上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されたとする。そうするとＣＰＵ１１は、ステップＳ６４により映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、ステップＳ６５により、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。 Assume that it is determined that the recognized position of the
またＣＰＵ１１は、上記認識したユーザ４の手の平５の位置が情報提示エリアに入ったことが検出されると、ステップＳ８１において装置検出プログラム１３５を起動する。そして、先にステップＳ６１により取り込んだカメラ１の映像データから、ユーザ４が例えば首から下げるか又は胸ポケットに止めているＩＤカードの画像を認識し、さらにこの画像からＩＤ番号を読み取る。続いてステップＳ８２において音声生成提示制御プログラム１３４ａを起動し、上記読み取ったＩＤ番号に対応する音声コンテンツのデータをデータベース１４から選択的に読み出す。そして、上記投影を開始した映像コンテンツと時間位置を一致させるように音声コンテンツの頭出しをする。 Further, when detecting that the recognized position of the
続いてステップＳ８３において、上記音声コンテンツのデータを復号したのち光送信器Ｉ／Ｆ１７に供給する。光送信器Ｉ／Ｆ１７では、上記供給された音声コンテンツの復号データを発光駆動信号に変換し、この変換された発光駆動信号を光送信器６に供給する。この結果、光送信器６からは上記音声コンテンツに対応する光信号が送信される。 In step S83, the audio content data is decoded and then supplied to the optical transmitter I /
この送信された光信号は、例えば図４に示したようにユーザ４のイヤホン７に設けられた光受信器８で受信され、アナログ音声信号に変換される。そして、このアナログ音声信号はイヤホン７のスピーカから出力される。かくして、ユーザは自身宛の音声コンテンツを、手の平５に投影された上記映像コンテンツの映像と同期する状態で聞くことが可能となる。 The transmitted optical signal is received by an optical receiver 8 provided in the
なお、複数のユーザ４，４，…に同時に音声コンテンツの光信号を送信する場合には、複数の光送信器６，６，…を設けてこれらの光送信器６，６，…をそれぞれ発光駆動するか、或いは１個の光送信器６を時分割に発光駆動することにより、複数のユーザ４，４，…に向け見かけ上並行して送信することにより、実現できる。 When simultaneously transmitting optical signals of audio contents to a plurality of
以上述べたように第３の実施形態では、ユーザ４の手の平５が情報提示エリアに移動したことが検出された場合に、プロジェクタ２による映像コンテンツの投影動作を開始すると共に、この映像コンテンツの投影動作と同期して、音声コンテンツデータの光信号を光送信器６から送信させるようにしている。しかも、ユーザ４が所持するＩＤカードのＩＤ番号をカメラ１の映像データをもとに読み取り、このＩＤ番号に対応する音声コンテンツを選択してユーザ４に提示するようにしている。
このため、ユーザが所持するＩＤカードの番号に応じて当該ユーザに対応する音声コンテンツを選択して提示することが可能となる。また、ユーザが複数存在する場合に、これらのユーザごとにそのＩＤカードの番号に応じて個別に音声コンテンツを提示することが可能となる。As described above, in the third embodiment, when it is detected that the
For this reason, it becomes possible to select and present the audio content corresponding to the user according to the number of the ID card possessed by the user. In addition, when there are a plurality of users, it is possible to present audio contents individually for each of these users according to the ID card number.
なお、以上の説明ではユーザ４が所持する装置としてＩＤカードを使用し、このＩＤカードの番号をカメラ１の映像データから認識する場合を例にとって説明した。しかし、それに限らず、ＩＤカードの色をもとにユーザを特定するようにしてもよい。また、ＩＤカードにＲＦＩＤ（Radio Frequency IDentification）タグを埋め込んでおき、このＲＦＩＤタグをリーダにより読み取ることによりユーザを特定するようにしてもよい。さらには、ユーザ４が所持する装置として携帯電話機等の携帯端末を使用し、この携帯端末との間で通信を行うか、又は当該携帯端末に内蔵されたＲＦＩＤタグを読み取ることによりユーザを特定するようにしてもよい。 In the above description, an example has been described in which an ID card is used as the device possessed by the
また、ＩＤカードの代わりに、既にユーザ４が身につけているイヤホン７を利用し、このイヤホン７の固有の形状や色を映像データから認識することによりユーザを特定してもよい。さらに、イヤホン７にバーコードや二次元コード、マーク等の固有の識別コードまたは記号を付してこれを読み取るようにしたり、イヤホン７にＲＦＩＤタグを埋め込んでおいて、このＲＦＩＤタグをリーダにより読み取ることによりユーザを特定するようにしてもよい。 Further, instead of the ID card, the
（第４の実施形態）
この発明の第４の実施形態は、ユーザ４の手の平５の動きを検出する際に、カメラ１により撮像された上記ユーザ４の映像データから、上記光送信器６から送信される光信号の上記手の平５による反射光を検出して、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出するようにしたものである。(Fourth embodiment)
In the fourth embodiment of the present invention, when detecting the movement of the
図９は、この発明の第４の実施形態に係わる制御装置３のハードウエア及びソフトウエアの構成を示す機能ブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
プログラム１３Ｄには、この発明の第４の実施形態を実施するためのアプリケーション・プログラムとして、光信号動作検出プログラム１３６を有するユーザ動作検出プログラム１３１ｂと、映像生成提示制御プログラム１３２ａと、音声提示制御プログラム１３３が格納されている。FIG. 9 is a functional block diagram showing the hardware and software configurations of the
The
光信号動作検出プログラム１３６は、カメラ１により撮像されたユーザ４の映像データから、光送信器６から送信された光信号の上記手の平５による反射光を検出し、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出する処理を、上記ＣＰＵ１１に実行させる。 The optical signal
次に、このような制御装置３を用いた情報提示動作を説明する。
例えばユーザ４の手の平５には、光を反射するシール等を貼付するか又は手袋をしておく。或いは、ユーザ４の手に光を反射する情報提示用のシートを持たせる。そして、カメラ１の映像データからユーザ４が検出されると、ＣＰＵ１１は光信号動作検出プログラム１３６を起動し、光送信器Ｉ／Ｆを介して光送信器６を発光駆動させてユーザ４に対し光を発光させる。Next, an information presentation operation using such a
For example, a sticker or the like that reflects light is attached to the
この状態で、ＣＰＵ１１はカメラ１の映像データをカメラＩ／Ｆ１５を介して取り込み、この取り込んだ映像データ中から、上記光発光器６から発光された光の上記手の平５による反射光像を検出する。この反射光像は、その輝度が画像データ中の他の領域に比べて高くなるので、画像データをしきい値と比較することにより容易に検出可能である。ＣＰＵ１１は、上記反射光像によりユーザ４の手の平５を認識し、ユーザ４の手の平５の位置が予め設定した情報提示エリアに入ったか否かを判定する。 In this state, the
上記認識したユーザ４の手の平５の位置が、予め設定した情報提示エリアに入ったと判定されると、ＣＰＵ１１は映像生成提示制御プログラム１３２ａを起動し、データベース１４の映像データ記憶領域から提示対象の映像コンテンツのデータを読み出す。そして、上記読み出された映像コンテンツのデータをプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像コンテンツのデータがプロジェクタ２に送られ、これにより例えば図４に示すようにプロジェクタ２によりユーザ４の手の平５上に上記映像コンテンツに対応する光学像が投影される。 When it is determined that the recognized position of the
このように第４の実施形態では、ユーザ４の手の平５の動きを検出する際に、光送信器６からユーザ４の手の平５に向け光を発光し、この状態でカメラ１により撮像された上記ユーザ４の映像データから、上記光送信器６から送信される光信号の上記手の平５による反射光を検出して、この反射光の検出結果をもとに当該ユーザ４の手の平５の動き検出するようにしている。 As described above, in the fourth embodiment, when detecting the movement of the
したがって、カメラ１の映像データからユーザ４の手の平５の動きを簡単な処理でかつ正確に検出することが可能となる。しかも、音声コンテンツの光信号を送信するために使用する光送信器６を上記手の平５の動き検出にも利用するため、新たな発光手段を設ける必要がなく、これによりシステム構成を安価にすることができる。 Therefore, it is possible to detect the movement of the
（その他の実施形態）
前記第４の実施形態において、光送信器６をカメラ１によりユーザを撮像する際の照明としても使用するようにしてもよい。その他、制御装置の構成と、その処理手順及び処理内容、撮像ユニット、投影ユニット、光送信ユニットの種類やその構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。(Other embodiments)
In the fourth embodiment, the optical transmitter 6 may be used as illumination when the
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。 In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine suitably the component covering different embodiment.
１…カメラ、２…プロジェクタ、３…制御装置、４…ユーザ、５…手の平、６…光送信器、７…イヤホン、８…光受信器、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１４…データベース、１５…カメラＩ／Ｆ、１６…プロジェクタＩ／Ｆ、１７…光送信器Ｉ／Ｆ、１８…入出力Ｉ／Ｆ、１９…入力デバイス、２０…表示デバイス、１３１ａ，１３１ｂ…ユーザ動作検出プログラム、１３２ａ…映像生成提示制御プログラム、１３３…音声提示制御プログラム、１３４ａ，１３４ｂ…音声生成提示制御プログラム、１３５…装置検出プログラム、１３６…光信号動作検出プログラム。 DESCRIPTION OF
Claims (6)
Translated fromJapanese前記撮像ユニットにより撮像された前記ユーザの映像データから、前記光送信ユニットから送信される光信号の前記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに、当該ユーザの情報提示媒体の動きを検出する手段と、
前記情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し前記投影ユニットにより映像コンテンツ情報を投影させる手段と、
前記ユーザが所持する光／音声変換ユニットに向けて、前記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させる手段と
を具備することを特徴とする情報提示制御装置。An imaging unit for imaging a user, a projection unit for projecting video content information onto a pseudo information presentation medium using a part of the user's body, and an audio signal received by the user to receive sound An information presentation control device connected to each of the optical transmission units for transmitting an optical signal toward the optical / sound conversion unit for conversion to
From the video data of the user imaged by the imaging unit, thereflected light by the information presentation medium of the optical signal transmitted from the optical transmission unit is detected, and based onthe detection result of thereflected light , the user's Meansfor detecting movementof the information presentation medium;
Means for projecting video content information by the projection unit onto the information presentation medium when movement of the information presentation medium is detected;
An information presentation control apparatus comprising: means for transmitting an optical signal corresponding to audio content information from the optical transmission unit toward an optical / audio conversion unit possessed by the user.
前記光信号を送信させる手段は、予め記憶された複数の音声コンテンツ情報の中から、前記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項１又は２記載の情報提示制御装置。A means for detecting a unique belonging possessed by the user;
The means for transmitting the optical signal selects audio content information associated with the detected unique belonging from a plurality of pieces of audio content information stored in advance, and selects the selected audio content information. 3. The information presentation control apparatus according to claim 1, wherein a corresponding optical signal is transmitted from the optical transmission unit.
前記撮像ユニットにより撮像された前記ユーザの映像データから、前記光送信ユニットから送信される光信号の前記情報提示媒体による反射光を検出し、この反射光の検出結果をもとに、当該ユーザの情報提示媒体の動きを検出する過程と、
前記情報提示媒体の動きが検出された場合に、当該情報提示媒体に対し前記投影ユニットにより映像コンテンツ情報を投影させる過程と、
前記ユーザが所持する光／音声変換ユニットに向けて、前記光送信ユニットから音声コンテンツ情報に対応する光信号を送信させる過程と
を具備することを特徴とする情報提示制御方法。An imaging unit for imaging a user, a projection unit for projecting video content information onto a pseudo information presentation medium using a part of the user's body, and an audio signal received by the user to receive sound An information presentation control method used for an information presentation control device connected to an optical transmission unit that transmits an optical signal toward an optical / sound conversion unit that converts to
From the video data of the user imaged by the imaging unit, thereflected light by the information presentation medium of the optical signal transmitted from the optical transmission unit is detected, and based onthe detection result of thereflected light , the user's Detecting the movementof the information presentation medium;
Projecting video content information by the projection unit onto the information presentation medium when movement of the information presentation medium is detected;
And a step of transmitting an optical signal corresponding to the audio content information from the optical transmission unit to an optical / audio conversion unit possessed by the user.
前記ユーザが固有の所持物を検出する過程を、さらに具備し、
前記光信号を送信させる過程は、予め記憶された複数の音声コンテンツ情報の中から、前記検出された固有の所持物に対応付けられた音声コンテンツ情報を選択し、この選択された音声コンテンツ情報に対応する光信号を前記光送信ユニットから送信させることを特徴とする請求項４又は５記載の情報提示制御方法。If the user has his / her own personal belongings,
Further comprising the step of detecting the unique belongings of the user;
In the process of transmitting the optical signal, audio content information associated with the detected unique belonging is selected from a plurality of audio content information stored in advance, and the selected audio content information is selected. 6. The information presentation control method according to claim4 , wherein a corresponding optical signal is transmitted from the optical transmission unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163765AJP4964833B2 (en) | 2008-06-23 | 2008-06-23 | Information presentation control apparatus and information presentation control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008163765AJP4964833B2 (en) | 2008-06-23 | 2008-06-23 | Information presentation control apparatus and information presentation control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010003264A JP2010003264A (en) | 2010-01-07 |
| JP4964833B2true JP4964833B2 (en) | 2012-07-04 |
Family
ID=41584906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008163765AExpired - Fee RelatedJP4964833B2 (en) | 2008-06-23 | 2008-06-23 | Information presentation control apparatus and information presentation control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4964833B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5550670B2 (en)* | 2012-03-28 | 2014-07-16 | 株式会社デンソーアイティーラボラトリ | Information processing device |
| JP2015018485A (en)* | 2013-07-12 | 2015-01-29 | 株式会社ニコン | Electronic control apparatus, control method, and control program |
| JP6349886B2 (en)* | 2014-01-30 | 2018-07-04 | 株式会社リコー | Image projection apparatus, control method for image projection apparatus, and control program for image projection apparatus |
| JP6931757B2 (en)* | 2016-09-23 | 2021-09-08 | 株式会社インテロール | Signage devices, display methods, and programs |
| CN111093066A (en)* | 2019-12-03 | 2020-05-01 | 耀灵人工智能(浙江)有限公司 | Dynamic plane projection method and system |
| JP7436829B2 (en) | 2020-04-06 | 2024-02-22 | 株式会社デンソーウェーブ | optical reading system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4256850B2 (en)* | 2005-02-04 | 2009-04-22 | 日本電信電話株式会社 | Information presenting apparatus, information presenting method, and information presenting program |
| JP2007081719A (en)* | 2005-09-13 | 2007-03-29 | Onkyo Corp | Network type content playback system and its controller and client |
| JP4352409B2 (en)* | 2005-09-28 | 2009-10-28 | 日本ビクター株式会社 | Multimedia coded data separation and transmission device |
- 2008
- 2008-06-23JPJP2008163765Apatent/JP4964833B2/ennot_activeExpired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010003264A (en) | 2010-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102498725B (en) | Mobile device which automatically determines operating mode | |
| US11880410B2 (en) | Systems and methods for proactive information discovery with multiple senses | |
| JP4964833B2 (en) | Information presentation control apparatus and information presentation control method | |
| US11165728B2 (en) | Electronic device and method for delivering message by to recipient based on emotion of sender | |
| CN104813642A (en) | Methods, apparatuses and computer readable medium for triggering a gesture recognition mode and device pairing and sharing via non-touch gestures | |
| US8169469B2 (en) | Information processing device, information processing method and computer readable medium | |
| JP5605725B2 (en) | Information notification system, information notification method, information processing apparatus, control method thereof, and control program | |
| KR102330637B1 (en) | System, server, method and recording medium for providing augmented reality photocard | |
| US11978007B2 (en) | System, apparatus and method for compressing and storing data based on the amount of change in the sensed data used for state management of logistics | |
| US20160373165A1 (en) | Method for communication between electronic devices through interaction of users with objects | |
| CN114512132B (en) | Content display method, device and electronic device | |
| KR20110018343A (en) | Generate message to be sent | |
| US8620113B2 (en) | Laser diode modes | |
| US10593077B2 (en) | Associating digital ink markups with annotated content | |
| JP4268667B2 (en) | Audio information recording device | |
| JP6048475B2 (en) | Content output apparatus and program | |
| KR20170129045A (en) | Electronic pen for contents streaming service, system and method for providing contents streaming service using the electronic pen | |
| US10541006B2 (en) | Information processor, information processing method, and program | |
| KR102167588B1 (en) | Video producing service device based on contents received from a plurality of user equipments, video producing method based on contents received from a plurality of user equipments and computer readable medium having computer program recorded therefor | |
| JP2017090918A (en) | Content output apparatus and program | |
| KR102527585B1 (en) | Mobile terminal and method for controlling the same | |
| JP4248589B2 (en) | Speech recognition system | |
| JP2018165879A (en) | Electronic blackboard system and display method | |
| KR20120101206A (en) | System and method for providing real-time gquestion and answer using image recognition | |
| KR20210141235A (en) | Electronic device for transmitting or receiving signal to or from devices in communication group based on information obtained from external device and controlling method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20100805 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20111007 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20111025 | |
| A521 | Written amendment | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20111226 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20120228 | |
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20120328 | |
| R150 | Certificate of patent or registration of utility model | Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| FPAY | Renewal fee payment (event date is renewal date of database) | Free format text:PAYMENT UNTIL: 20150406 Year of fee payment:3 | |
| S531 | Written request for registration of change of domicile | Free format text:JAPANESE INTERMEDIATE CODE: R313531 | |
| R350 | Written notification of registration of transfer | Free format text:JAPANESE INTERMEDIATE CODE: R350 | |
| LAPS | Cancellation because of no payment of annual fees |