JP2005128884A

Movatterモバイル変換

Info

Publication number: JP2005128884A
Application number: JP2003365081A
Authority: JP
Inventors: Hiroteru Matsuyama; 博輝松山; Satoru Sasa; 哲佐々; Chisato Kitsukawa; 千里橘川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-10-24
Filing date: 2003-10-24
Publication date: 2005-05-19

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and a method for editing information contents in such a way as to create summaries of information contents such as images or voice on the basis of emotions analyzed from biological information. <P>SOLUTION: An emotion parameter that indicates the degree of emotion is output using information derived from biological information. A summary of information contents data is created using a command for detecting a desired state of emotion according to the level of emotion obtained by digitizing the emotion parameter. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

Translated fromJapanese

本発明は、映像や音声などの情報コンテンツの要約を作成する情報コンテンツの編集装置及び編集方法に関する。 The present invention relates to an information content editing apparatus and editing method for creating a summary of information content such as video and audio.

映像コンテンツの編集方法には、シーンの切り替わりや映像内のオブジェクトを追跡することによりコンテンツを分け、管理する方法がある。そこでは、コンテンツを分ける編集ポイントを音声情報による音圧レベルで検出したり、映像内容のキーワードに基づいて検出したりする。しかし、音声情報は必ずしも映像情報に対応しているとは限らず、また、説明の記述は、個人の体験映像のような場合にはシナリオが存在しないため、情報量が限られ、意図している場面を効率よく抽出できない。 The video content editing method includes a method of dividing and managing content by switching scenes and tracking objects in the video. There, an edit point that divides content is detected based on a sound pressure level based on audio information, or is detected based on a keyword of video content. However, audio information does not necessarily correspond to video information, and there is no scenario in the case of description of personal experience video, so the amount of information is limited and intentionally The scenes that are present cannot be extracted efficiently.

このような問題に対して、映像、音声、脳波を同時記録し、記録された脳波から体験時に興味のあった場面を検索する技術がある（例えば、特許文献１参照。）。しかし、この技術では、抽出結果として興味のある場面は得られるが、それ以外の感情を評価していないため、例えば喜怒哀楽などの感情における場面検索を行うことができない。 In order to solve such a problem, there is a technique for simultaneously recording video, audio, and brain waves, and searching for a scene of interest from the recorded brain waves during the experience (see, for example, Patent Document 1). However, with this technique, an interesting scene can be obtained as an extraction result, but since other emotions are not evaluated, it is not possible to perform a scene search for emotions such as emotions.

特開２００２−２０４４１９号公報JP 2002-204419 A

本発明は、上記問題点を解決するためになされたものであり、生体情報から解析された感情に基づいて映像や音声などの情報コンテンツの要約を作成する情報コンテンツの編集装置及び編集方法を提供することを目的とする。 The present invention has been made to solve the above problems, and provides an information content editing apparatus and editing method for creating a summary of information content such as video and audio based on emotions analyzed from biological information. The purpose is to do.

そこで、上述した目的を達成するために、本発明に係る情報コンテンツの編集装置は、情報コンテンツデータを入力する情報コンテンツデータ入力手段と、生体情報を入力する生体情報入力手段と、生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析手段と、生体情報又は感情解析手段からの感情パラメータを情報コンテンツデータと対応付けて記録する記録手段と、所望の感情状態を感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈手段とを備える。 In order to achieve the above-described object, an information content editing apparatus according to the present invention is based on information content data input means for inputting information content data, biometric information input means for inputting biometric information, and biometric information. Emotion analysis means for performing emotion analysis and outputting emotion parameters, recording means for recording biometric information or emotion parameters from emotion analysis means in association with information content data, and detecting a desired emotion state based on the emotion parameters Command interpreting means for interpreting and executing a command string including at least a command to be executed.

また、本発明に係る情報コンテンツの編集方法は、情報コンテンツデータを入力する情報コンテンツデータ入力工程と、生体情報を入力する生体情報入力工程と、生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析工程と、生体情報又は感情解析工程からの感情パラメータを情報コンテンツデータと対応付けて記録する記録工程と、所望の感情状態を感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈工程とを備える。 The information content editing method according to the present invention includes an information content data input step for inputting information content data, a biometric information input step for inputting biometric information, and emotion analysis based on the biometric information and outputting emotion parameters. Interpreting a command sequence including at least a command for detecting a desired emotion state based on the emotion parameter, a recording step for recording the emotion information from the biological information or emotion analysis step in association with the information content data, and recording And a command interpretation step to be executed.

本発明によれば、情報コンテンツデータの要約作成を生体情報から求められた感情パラメータに応じて作成することにより、ユーザ固有の特徴的な要約コンテンツを簡単に作成することができる。 According to the present invention, it is possible to easily create a characteristic summary content unique to a user by creating a summary of information content data according to emotion parameters obtained from biometric information.

また、所望の感情状態を上記感情パラメータに基づいて検出する命令文を時系列に並べることにより、特徴ある場面を一覧表示させることができ、内容を効率よく把握することができる。 In addition, by arranging commands that detect a desired emotion state based on the emotion parameter in time series, a list of characteristic scenes can be displayed, and the contents can be efficiently grasped.

また、テンプレートは、ＸＭＬファイルで作成することにより、ネットワーク上での共有が可能となり互換性の高いアプリケーションを提供することができる。 Further, by creating a template as an XML file, it is possible to share on the network and provide a highly compatible application.

本発明の具体例として示す情報コンテンツの編集装置及び編集方法は、生体情報に基づく情報を用いて感情の度合いを示す感情パラメータを出力し、所望の感情状態を感情パラメータに基づいて検出するコマンドを用いて情報コンテンツデータの要約作成を行うものである。 An information content editing apparatus and editing method shown as a specific example of the present invention outputs an emotion parameter indicating the degree of emotion using information based on biological information, and a command for detecting a desired emotion state based on the emotion parameter. It is used to create a summary of information content data.

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.

図１は、情報コンテンツの編集装置１の構成例を示す図である。映像・音声信号入力部２には、例えばＣＣＤ（Charge Coupled Device）のようなイメージセンサやマイクから得られた映像信号及び音声信号が入力される。ここで入力される映像・音声信号は、情報コンテンツであっても、感情パラメータを求めるための生体情報であってもよい。情報コンテンツは、ユーザの体験を記録した映像・音声データやユーザが視聴した映画、音楽等の映像・音声データなどである。入力された映像信号及び音声信号はＡ／Ｄコンバータ３によってディジタル信号に変換され、映像・音声信号入力部コントローラ４に送られる。送られたディジタル信号は、映像・音声信号入力部コントローラ４、ＲＡＭ９及びＣＰＵ１０によって、例えばＭＰＥＧ（Moving Picture Experts Group）のような画像圧縮処理や音声信号の波形符号化などの信号処理が行われ、適切なフォーマットに変換される。 FIG. 1 is a diagram illustrating a configuration example of an informationcontent editing apparatus 1. The video / audiosignal input unit 2 receives a video signal and an audio signal obtained from an image sensor such as a CCD (Charge Coupled Device) or a microphone. The video / audio signal input here may be information content or biometric information for obtaining an emotion parameter. The information content is video / audio data recording the user's experience, video / audio data such as a movie or music viewed by the user, and the like. The input video signal and audio signal are converted into digital signals by the A /D converter 3 and sent to the video / audio signalinput unit controller 4. The sent digital signal is subjected to signal processing such as image compression processing such as MPEG (Moving Picture Experts Group) and waveform coding of the audio signal by the video / audiosignal input controller 4, RAM 9 andCPU 10. Converted to an appropriate format.

生体信号入力部５には、人間が自発的・誘発的に発する生体信号、例えば脳波、心拍、血圧などの生体信号が入力される。入力された生体信号は増幅され、Ａ／Ｄコンバータ６によってディジタル信号に変換され、生体信号入力部コントローラ７に送られる。生体信号入力部コントローラ７では、例えば、ニューラルネットやカオス解析をはじめとする非線形解析などの信号処理が行われる。 The biologicalsignal input unit 5 is input with biological signals spontaneously and inductively generated by humans, for example, biological signals such as brain waves, heartbeats, and blood pressure. The input biological signal is amplified, converted into a digital signal by the A / D converter 6, and sent to the biologicalsignal input controller 7. The biological signalinput unit controller 7 performs signal processing such as nonlinear analysis including neural network and chaos analysis, for example.

映像・音声信号入力部２及び生体信号入力部５に入力される生体情報としては、心拍、脈拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、凝視時間などの少なくとも１つ又はこれらの組み合わせから得られる情報が用いられる。なお、これらの生体情報は腕時計などのような常に身に付けている機器によって、常時測定、記録されていることが好ましい。 The biological information input to the video / audiosignal input unit 2 and the biologicalsignal input unit 5 includes heartbeat, pulse, blood pressure, brain wave, breathing, sweating, myoelectric potential, skin temperature, skin electrical resistance, facial expression, voice Information obtained from at least one of a prosody, blink, eye movement, pupil size, gaze time, or a combination thereof is used. In addition, it is preferable that such biological information is constantly measured and recorded by a device that is always worn such as a wristwatch.

感情解析処理部８は、映像・音声信号入力部２及び生体信号入力部５で入力され、適切なフォーマットに変換された生体情報に基づいて、後述する方法で感情パラメータを出力する。 The emotionanalysis processing unit 8 outputs emotion parameters by a method described later based on the biological information input by the video / audiosignal input unit 2 and the biologicalsignal input unit 5 and converted into an appropriate format.

表示部１１は、例えばＬＣＤ（Liquid Crystal Display：液晶表示装置）のようなディスプレイであって、表示部コントローラ１２によって、映像データを出力する。 The display unit 11 is a display such as an LCD (Liquid Crystal Display), and thedisplay unit controller 12 outputs video data.

また、情報コンテンツの編集装置１は、記録部１３を備え、記録部コントローラ１４を介して映像・音声信号入力部１及び生体信号入力部４に入力された信号を記録する。記録部１３は、例えばＨＤＤや、大容量記録型光ディスクであって、記録部コントローラ１４により、そのデバイスに適切な信号フォーマットに変換されたデータを記録する。また、感情解析処理部８から出力された感情パラメータを記録する。なお、記録部１３に記録されたデータは、ネットワークインターフェイス１７を介して共有することができる。 The informationcontent editing apparatus 1 includes arecording unit 13 and records signals input to the video / audiosignal input unit 1 and the biologicalsignal input unit 4 via therecording unit controller 14. Therecording unit 13 is, for example, an HDD or a large-capacity recording type optical disc, and records data converted by therecording unit controller 14 into a signal format suitable for the device. Further, the emotion parameter output from the emotionanalysis processing unit 8 is recorded. The data recorded in therecording unit 13 can be shared via thenetwork interface 17.

再生処理部１５は、感情解析処理部８で出力された感情パラメータを数値化した感情レベルに応じて要約作成する命令文に基づいて情報コンテンツデータを表示部コントローラ１２に出力する。命令文の１つであるテンプレートの内容は、記録部１３に記録された映像・音声信号と関連付けられている。 Thereproduction processing unit 15 outputs information content data to thedisplay unit controller 12 based on a command sentence that is summarized according to the emotion level obtained by quantifying the emotion parameter output from the emotionanalysis processing unit 8. The content of the template, which is one of the command statements, is associated with the video / audio signal recorded in therecording unit 13.

入力部１８は、ユーザからの入力を電気信号に変換する。入力部１８は、例えば、キーボードであって、ユーザは、入力部１８によりテンプレートに記述されたコマンドなどを定義することができる。 Theinput unit 18 converts an input from a user into an electric signal. Theinput unit 18 is, for example, a keyboard, and the user can define commands described in the template by theinput unit 18.

なお、ＣＰＵ１０は、作業領域としてのＲＡＭ９などを用いてプログラムを実行し、これら各部を制御する。 TheCPU 10 executes a program using the RAM 9 or the like as a work area and controls these units.

次に、感情解析処理部８における処理について説明する。感情解析処理部８は、映像・音声信号入力部２及び生体信号入力部５から入力された複数の生体情報に基づいて、例えば学習済み、或いはユーザ個別に再学習を行った３層バックプロパゲーション、自己組織化マップ（ＳＯＭ）等のニューラルネットワークを利用して解析処理を行い、感情モデルで定義される複数の感情パラメータを求める。 Next, processing in the emotionanalysis processing unit 8 will be described. The emotionanalysis processing unit 8 is based on a plurality of pieces of biological information input from the video / audiosignal input unit 2 and the biologicalsignal input unit 5, for example, has been learned or has been re-learned individually for each user. Analysis processing is performed using a neural network such as a self-organizing map (SOM) to obtain a plurality of emotion parameters defined by the emotion model.

図２に示すようにして感情解析処理部８は、複数入力された生体情報から感情パラメータを出力する。感情パラメータとは、感情を数値化した値のことである。感情パラメータは、感情モデルを構成する軸に応じて算出される。感情モデルは、感情を基本要素に分解したものである。感情モデルの代表的なものには、２軸モデル、３軸モデル、４軸モデルなどがある。２軸モデルは、感情を快適（受け入れ）−不快（拒否）、興奮，緊張−リラックスの２つの軸に分解する。Ｗｕｎｄｔによる３軸モデルは、感情を快−不快、興奮−沈静、緊張−弛緩の３つの軸で表現する。また、Ｐｌｕｔｃｈｉｋのモデルは、感情を憧憬−憎悪、歓喜−悲嘆、警戒−驚嘆、激怒−恐怖の４つの軸で表現する。ここでは感情モデルの例として、Ｗｕｎｄｔのモデルを用いて説明する。 As shown in FIG. 2, the emotionanalysis processing unit 8 outputs an emotion parameter from a plurality of pieces of biometric information input. The emotion parameter is a numerical value of emotion. The emotion parameter is calculated according to the axis constituting the emotion model. The emotion model is a decomposition of emotion into basic elements. Typical emotion models include a 2-axis model, a 3-axis model, and a 4-axis model. The 2-axis model decomposes emotions into two axes: comfort (acceptance)-uncomfortable (rejection), excitement, tension-relaxation. The Wundt three-axis model expresses emotions with three axes: pleasant-uncomfortable, excited-sedated, and tension-relaxed. Plutchik's model expresses emotions on four axes: longing-hate, joy-grief, vigilance-marvel, and rage-fear. Here, a Wundt model will be used as an example of the emotion model.

感情解析処理部８は、生体情報をもとに快−不快、興奮−沈静、緊張−弛緩の３つの基本感情の感情パラメータを求める。例えば、心拍数は興奮−沈静、緊張−弛緩軸上では興奮、緊張のレベルとともに変化する。感情解析処理部８は、このような生体情報の変化を３層バックプロパゲーション、自己組織化マップ等のニューラルネットワークに当てはめ感情パラメータを求める。 The emotionanalysis processing unit 8 obtains emotion parameters of three basic emotions of pleasant-discomfort, excitement-sedation, and tension-relaxation based on the biological information. For example, the heart rate varies with the level of excitement and tension on the excitement-sedation and tension-relaxation axes. The emotionanalysis processing unit 8 obtains emotion parameters by applying such changes in biological information to neural networks such as three-layer backpropagation and self-organizing maps.

音声による感情解析では、例えば一般に興奮している場合は喉頭原音の振動を表す振動周波数が上がり、悲しみの表現や愛情の表現では低くなるなどの音声分析により感情パラメータを求める。 In the emotion analysis by voice, for example, the emotional parameter is obtained by voice analysis in which, for example, when the person is excited, the vibration frequency representing the vibration of the laryngeal original sound is increased, and the sadness expression or the love expression is decreased.

また、生体情報が画像による表情認識であれば、Ｅｋｍａｎらの怒り、恐れ、悲しみ、喜び、嫌悪、驚きの基本６表情を用いるとよい。例えば、驚きでは額に水平の皺ができ、眉は全体的に持ち上げられ、目は大きく見開かれるなどの表情により驚きの感情モデリングを行い、顔面の筋肉の伸縮などによって感情パラメータを求める。 If the biological information is facial expression recognition by an image, the basic six facial expressions of anger, fear, sadness, joy, disgust, and surprise of Ekman et al. For example, surprise emotions are modeled with facial expressions such as a horizontal wrinkle on the forehead, the eyebrows being lifted as a whole, and eyes wide open, and emotion parameters are obtained by stretching and contracting the facial muscles.

次に、要約作成アプリケーションについて説明する。要約作成アプリケーションは、ＸＭＬ（Extensible Markup Language）で記述されており、ユーザが撮り溜めた映像や音声の要約を作成するものである。要約作成アプリケーションでは、ユーザが映像を撮影したときの感情状態を基に必要な映像や音声を編集する。編集の処理単位をコマンドと呼び、<Command>タグの間に処理方法が記述される。そして、複数のコマンドを時系列配列し、このコマンド列の各コマンドを時系列に従って順次実行することにより、編集を行う。 Next, the summary creation application will be described. The summary creation application is described in XML (Extensible Markup Language) and creates a summary of video and audio collected by the user. In the summary creation application, necessary video and audio are edited based on the emotional state when the user takes a video. The editing processing unit is called a command, and the processing method is described between <Command> tags. Then, editing is performed by arranging a plurality of commands in time series and sequentially executing each command in the command sequence in time series.

図３（Ａ）はタイトル挿入、図３（Ｂ）は体験映像からの喜び場面の抽出、図３（Ｃ）は画面のフェードアウト処理、図３（Ｄ）及び（Ｅ）は指定区間の映像及び音の切り出しをそれぞれ処理単位としてコマンドに割り当てたものである。 3A is a title insertion, FIG. 3B is a joy scene extraction from experience video, FIG. 3C is a screen fade-out process, and FIGS. 3D and 3E are images of a specified section and Sound cutouts are assigned to commands as processing units.

例えば図３（Ａ）は、<Command>タグのｎａｍｅ属性値として「タイトル」をとることでそのコマンドがタイトルコマンドであることを示す。<Proc>タグは、そのコマンドを実行するときに内部の処理プログラムがコールするＡＰＩ（Application Program Interface）の関数名である。<Param>タグは、コールする関数に渡す引数を表し、<Result>タグは、コールした関数の型を表している。 For example, FIG. 3A shows that the command is a title command by taking “title” as the name attribute value of the <Command> tag. The <Proc> tag is an API (Application Program Interface) function name that an internal processing program calls when executing the command. The <Param> tag represents an argument passed to the function to be called, and the <Result> tag represents the type of the called function.

ここで、<Param>タグや<Result>タグは、必要数だけ列挙して定義されていてもよい。例えば図３（Ｂ）のように、戻り値として抽出する場面の開始時刻と終了時刻の２つをとる定義がされていてもよい。また、必要のないタグについては省略されたコマンドを定義するようにしてもよい。 Here, <Param> tags and <Result> tags may be defined by enumerating as many as necessary. For example, as shown in FIG. 3B, a definition that takes two of a start time and an end time of a scene to be extracted as a return value may be defined. Further, omitted commands may be defined for unnecessary tags.

図３（Ｂ）には、<Level>タグがあるが、これは、上述した感情の度合いを示す感情レベル値をとるものであり、この値を調節することで、例えば大きな喜びや小さな喜びといった喜びの度合いによる処理の実行が可能となる。以降この値を抽出レベルと呼ぶ。この値はユーザが任意に設定できる。ユーザの指定した値による場面抽出が行われなかった場合は、場面抽出が行われるまでこの設定値を段階的に下げる。また、候補となる場面抽出の数が多い場合には、この値を段階的に上げながら候補を絞り込む。コマンドＡＰＩ関数は、要約作成アプリケーションとして記録部に記録される。 In FIG. 3B, there is a <Level> tag, which takes an emotion level value indicating the degree of emotion described above. By adjusting this value, for example, a big joy or a small joy. It is possible to execute processing according to the degree of joy. Hereinafter, this value is called an extraction level. This value can be arbitrarily set by the user. If the scene extraction based on the value designated by the user has not been performed, the set value is lowered step by step until the scene extraction is performed. If there are a large number of candidate scene extractions, the candidates are narrowed down while gradually increasing this value. The command API function is recorded in the recording unit as a summary creation application.

これらのコマンドは、ユーザが記述してもよいし、あらかじめ記述されているコマンドを用いてもよい。 These commands may be described by the user, or previously described commands may be used.

図４は、コマンドの実行シーケンスの例を示す図である。シーケンスは、コマンドを時系列に並べたものであり、処理したいコマンドを上から下に並べ、時間の流れに対応付けている。 FIG. 4 is a diagram illustrating an example of a command execution sequence. The sequence is a sequence of commands in time series, and commands to be processed are arranged from the top to the bottom and associated with the flow of time.

図４（Ａ）は、タイトルコマンドを実行するシーケンスであり、<Sequence>タグのｎａｍｅ属性値として「タイトル」をとることで、そのシーケンスがタイトルコマンドシーケンスであることを示す。<Title>タグは、<Command>タグで実行するコマンドに渡す引数であり、生成する要約につけるための任意の文字列をとる。 FIG. 4A shows a sequence for executing a title command. By taking “title” as the name attribute value of the <Sequence> tag, the sequence is a title command sequence. The <Title> tag is an argument passed to the command to be executed by the <Command> tag, and takes an arbitrary character string to be attached to the generated summary.

図４（Ｂ）は、２００３年４月1日の要約作成を定義するシーケンスであり、<Date>タグで指定された日付（２００３０４０１）で、<Source>タグで管理されているソース（２００３年４月４月1日の体験）に対して、不安コマンド、映像切り出しコマンドなどを実行することが定義されている。 FIG. 4B is a sequence for defining the creation of the summary on April 1, 2003. The source (2003) managed by the <Source> tag on the date (20030301) specified by the <Date> tag. It is defined that an anxiety command, a video cutout command, etc. are executed for the experience of April 1st April.

図４（Ｃ）は、図４（Ｂ）と同様に、２００３年４月７日に起きた悲しみの場面と喜びの場面との要約を作成するシーケンスである。 FIG. 4C is a sequence for creating a summary of a scene of sadness and a scene of joy that occurred on April 7, 2003, as in FIG. 4B.

これらのシーケンスは、ユーザが作成してもよいし、あらかじめ作成されているシーケンスを用いてもよい。また、要約作成時に、日時情報が必要となる場合は、ＧＵＩ（Graphical User Interface）などを介してユーザに設定させてもよい。 These sequences may be created by the user, or sequences created in advance may be used. In addition, when date and time information is necessary at the time of creating a summary, the user may set it via a GUI (Graphical User Interface) or the like.

図５は、シーケンスの集合であるテンプレート例を示す図である。例えば図５（Ａ）に示すように、1週間の要約を作成する場合に、２００３年４月1日から２００３年４月７日までのシーケンスを上から並べて書くことで、１つのテンプレートが定義される。また、図５（Ｂ）に示すように、自動的な要約作成のためのテンプレートを定義することもできる。 FIG. 5 is a diagram illustrating an example of a template that is a set of sequences. For example, as shown in Fig. 5 (A), when creating a one-week summary, one template is defined by writing the sequence from April 1, 2003 to April 7, 2003 side by side. Is done. Further, as shown in FIG. 5B, a template for automatically creating a summary can be defined.

<Name>タグは、テンプレートの名称であり、ＧＵＩなどを介して設定される。<Type>タグは、作成する要約の時間範囲であり、1週間の要約を作成する場合はｗｅｅｋを、1ヶ月の要約を作成する場合はｍｏｎｔｈを、1年の要約を作成する場合はｙｅａｒを設定する。<Start>タグは、要約対象の開始日時情報であり、<End>タグは、要約対象の終了日時情報である。これらのタグはｆｏｒｍａｔ属性に対応した値を設定する。例えば、ｆｏｒｍａｔ属性値がｙｙｙｙｍｍｄｄであれば、値として２００３０４０１のような形式で設定する。また、時刻情報としてｆｏｒｍａｔ属性をｈｈｍｍｓｓに、値を０８００００や２０００００とすることで、<Type>タグで指定された範囲内のすべての蓄積データに対して、０８時００分００秒から２０時００分００秒までを対象として要約を作成することができる。<TotalTime>タグは、要約されるコンテンツの再生時間長である。例えば、ｕｎｉｔ属性にｍｉｎｕｔｅｓを指定し、値として６０が設定されている場合、要約されたコンテンツの再生時間長は６０分となる。ｕｎｉｔ属性は、ｈｏｕｒｓやｓｅｃｏｎｄｓなど他の指定をすることもできる。 The <Name> tag is the name of the template and is set via a GUI or the like. The <Type> tag is the time range of the summary to be created. Week is used to create a one-week summary, month is used to create a one-month summary, and year is used to create a one-year summary. Set. The <Start> tag is start date / time information to be summarized, and the <End> tag is end date / time information to be summarized. These tags set values corresponding to the format attribute. For example, if the format attribute value is yyyymmdd, the value is set in a format such as 20030401. Also, by setting the format attribute as hhmmss and the values as 080000 and 200000 as time information, all the accumulated data within the range specified by the <Type> tag is set from 08:00:00 to 20:00. Summaries can be created for minutes up to 00 seconds. The <TotalTime> tag is the playback time length of the content to be summarized. For example, if mines is specified in the unit attribute and 60 is set as the value, the playback time length of the summarized content is 60 minutes. In the unit attribute, other designations such as hours and seconds can be made.

なお、図５（Ｂ）のようにテンプレートに具体的な値が入力されていない場合、汎用的に使いまわせるため、後述のような方法でサーバ装置に登録しておき、必要時に参照したり、複数ユーザ間で共有したりすることができる。 If no specific value is entered in the template as shown in FIG. 5B, it is registered in the server device by a method as described below for general use. It can be shared among multiple users.

このように、感情情報を抽出条件に利用したテンプレートを用いることにより、ユーザ固有の要約コンテンツを簡単に作成することできる。 Thus, by using a template that uses emotion information as an extraction condition, user-specific summary content can be easily created.

次に、情報コンテンツの編集作業について図６〜８のフローチャートを用いて説明する。 Next, information content editing work will be described with reference to the flowcharts of FIGS.

図６は、生体情報の記録処理の手順を示すフローチャートである。記録処理では、映像・音声信号入力部２及び生体信号入力部５の初期化を実行する。また、初期化処理では、複合情報データベース１１４の初期化も行う。複合情報データベース１１４は、映像・音声データの記録時刻と、映像・音声データの記録アドレスとを格納したデータベースである。複合情報データベース１１４は、図１０に示すように複合情報データベースのキーとなる複合情報ＩＤ、映像・音声信号が記録された日付、映像・音声信号の記録開始時刻、記録終了時刻、映像・音声信号が格納されたアドレスが記録されている。（ステップＳ６−１）。初期化が完了すると、生体信号入力部５は生体情報の入力を開始し、映像・音声信号入力部２は映像・音声信号の入力を開始する（ステップＳ６−２）。記録部コントローラ１４は、生体信号入力部５から入力した生体情報と、映像・音声信号入力部２から入力した映像・音声データを記録部１３に記録する。（ステップＳ６−３）。記録処理を継続する場合は、Ｓ６−２、Ｓ６−３を繰り返す（ステップＳ６−４）。記録を終了する場合は、終了処理を行う（ステップＳ６−５）。終了処理では、複合情報データベース１１４に記録終了時刻を記録する。なお、ここでは、入力された生体情報を記録するようにしたが、入力された生体情報に基づいて感情解析を行い、その結果を記録するようにしてもよい。 FIG. 6 is a flowchart showing the procedure of the biometric information recording process. In the recording process, the video / audiosignal input unit 2 and the biologicalsignal input unit 5 are initialized. In the initialization process, the composite information database 114 is also initialized. The composite information database 114 is a database storing video / audio data recording times and video / audio data recording addresses. As shown in FIG. 10, the composite information database 114 includes a composite information ID that is a key of the composite information database, a date when the video / audio signal is recorded, a recording start time of the video / audio signal, a recording end time, a video / audio signal Is stored. (Step S6-1). When the initialization is completed, the biologicalsignal input unit 5 starts inputting biological information, and the video / audiosignal input unit 2 starts inputting video / audio signals (step S6-2). Therecording unit controller 14 records the biological information input from the biologicalsignal input unit 5 and the video / audio data input from the video / audiosignal input unit 2 in therecording unit 13. (Step S6-3). When the recording process is continued, S6-2 and S6-3 are repeated (step S6-4). When the recording is to be ended, an end process is performed (step S6-5). In the end process, the recording end time is recorded in the composite information database 114. Although the input biological information is recorded here, emotion analysis may be performed based on the input biological information and the result may be recorded.

図７は、感情解析処理の手順を示すフローチャートである。感情解析処理は、まず感情解析処理部８などの初期化を行う（ステップＳ７−１）。Ｓ７−２では感情解析を行う日時、時刻の設定を行い、設定された解析区間の生体情報を記録処理（図６）で記録された記録部１３から読み出す（ステップＳ７−３）。読み出した生体情報は感情解析処理部８に入力され、上述した方法で感情パラメータを求める（ステップＳ７−４）。求められた感情パラメータは感情レベルとして数値化され、記録部１３に記録される（ステップＳ７−５）。 FIG. 7 is a flowchart showing a procedure of emotion analysis processing. In the emotion analysis process, first, the emotionanalysis processing unit 8 and the like are initialized (step S7-1). In S7-2, the date and time for emotion analysis are set, and the biological information of the set analysis section is read from therecording unit 13 recorded in the recording process (FIG. 6) (step S7-3). The read biometric information is input to the emotionanalysis processing unit 8, and the emotion parameter is obtained by the method described above (step S7-4). The obtained emotion parameter is digitized as an emotion level and recorded in the recording unit 13 (step S7-5).

図８は、テンプレートを用いた編集処理の手順を示すフローチャートである。まず、定義されたテンプレートを読み込み（ステップＳ８−１）、テンプレートに記述されたシーケンスを順次解析していく（ステップＳ８−２）。ステップＳ８−３において、要約を自動で作成する場合は、抽出レベルを初期値に設定する（ステップＳ８−４）。この初期値は、アプリケーションで設定されている値を用いても、ユーザが設定した値を用いてもよい。次に、各シーケンスに記述されたコマンドを順次解析し（ステップＳ８−５）、解析されたコマンドを実行する（ステップＳ８−６）。 FIG. 8 is a flowchart showing a procedure of editing processing using a template. First, the defined template is read (step S8-1), and the sequence described in the template is sequentially analyzed (step S8-2). In step S8-3, when the summary is automatically created, the extraction level is set to the initial value (step S8-4). The initial value may be a value set by the application or a value set by the user. Next, the commands described in each sequence are sequentially analyzed (step S8-5), and the analyzed commands are executed (step S8-6).

コマンド実行後、ステップＳ８−７にて抽出レベルが最小値に達し、場面抽出が行われなかった場合は、ステップＳ８−１１に進む。また、ステップＳ８−８にて抽出された場面数が多かった場合は、抽出レベルを調整し（ステップＳ８−９）、コマンドを再解析して（ステップＳ８−１０）、コマンドを実行する（ステップＳ８−５）。なお、抽出される場面数は、アプリケーションで設定されている値を用いても、ユーザが設定した値を用いてもよい。 After the command is executed, if the extraction level reaches the minimum value in step S8-7 and no scene extraction is performed, the process proceeds to step S8-11. If the number of scenes extracted in step S8-8 is large, the extraction level is adjusted (step S8-9), the command is reanalyzed (step S8-10), and the command is executed (step S8-8). S8-5). The number of scenes to be extracted may be a value set by the application or a value set by the user.

ステップＳ８−１１にて継続してコマンドを処理する場合は、ステップＳ８−２〜Ｓ８−１０を繰り返す。ステップＳ８−１２にて継続してシーケンスを処理する場合は、ステップＳ８−３からＳ８−１１を繰り返す。 When processing the command continuously in step S8-11, steps S8-2 to S8-10 are repeated. When processing the sequence continuously at step S8-12, steps S8-3 to S8-11 are repeated.

コマンド及びシーケンスが終了すると、抽出された場面が提示されるため、ユーザは必要な場面を選択し、要約コンテンツとする（Ｓ８−１３）。 When the command and sequence are completed, the extracted scene is presented, so the user selects the necessary scene and sets it as summary content (S8-13).

本実施形態における情報コンテンツの編集装置によれば、感情抽出を定義した命令文を用意することで、情報コンテンツに対して容易に検索することができる。また、感情の度合いを数値でレベル付けすることにより、個人に応じた場面抽出を柔軟に行うことができる。 According to the information content editing apparatus of this embodiment, it is possible to easily search for information content by preparing a command statement defining emotion extraction. In addition, by leveling the degree of emotion numerically, it is possible to flexibly perform scene extraction according to the individual.

次に、感情抽出のための定義文を、ネットワークを介して複数のユーザで共有する例について説明する。 Next, an example in which a definition sentence for emotion extraction is shared by a plurality of users via a network will be described.

図９は、本実施形態におけるネットワークシステムを示す概略図である。情報コンテンツの編集装置１であるクライアント端末１０１は、クライアントアプリケーション１０５を実行するユーザにより使用され、ネットワーク１０４を介して、他のクライアント端末１０１ａ、１０１ｂやサーバ装置１０２と通信する。また、ネットワーク１０４には認証局１０３が存在する。認証局１０３はクライアント端末１０１とサーバ装置１０２との通信を制御する。なお、図９では認証局１０３とサーバ装置１０２とを別の構成として示したが、サーバ装置１０２に認証局１０３を備えるようにしてもよい。 FIG. 9 is a schematic diagram showing a network system in the present embodiment. Theclient terminal 101 which is the informationcontent editing apparatus 1 is used by a user who executes theclient application 105 and communicates with other client terminals 101 a and 101 b and theserver apparatus 102 via thenetwork 104. In addition, thecertificate authority 103 exists in thenetwork 104. Thecertificate authority 103 controls communication between theclient terminal 101 and theserver apparatus 102. In FIG. 9, thecertificate authority 103 and theserver device 102 are shown as different configurations, but theserver device 102 may include thecertificate authority 103.

クライアントアプリケーション１０５は、ユーザからの入力を受ける入力部１０６と、入力が生体信号である場合にそれらの生体信号の増幅やA/D変換、サンプリングを行う生体情報収集手段１０７と、生体信号を感情モデルに入力し感情解析を行う感情情報評価手段１０８と、感情情報評価手段の解析結果を表示するための表示部１０９と、インターネットを通じてサーバ装置との情報交換を行う通信部１１０と、撮像装置や再生装置といった機器などと接続する外部機器接続部１１１と、要約作成のためのコマンドを実行及び解釈するコマンド解析部１１２と、時系列に並んだコマンドの流れを処理するシーケンス制御部１１３とを制御する。 Theclient application 105 includes aninput unit 106 that receives input from the user, biometric information collection means 107 that performs amplification, A / D conversion, and sampling of the biosignal when the input is a biosignal, and emotions of the biosignal. Emotion information evaluation means 108 that inputs to the model and performs emotion analysis, adisplay section 109 for displaying the analysis result of the emotion information evaluation means, acommunication section 110 that exchanges information with the server device via the Internet, an imaging device, Controls an external device connection unit 111 connected to a device such as a playback device, a command analysis unit 112 that executes and interprets a command for creating a summary, and asequence control unit 113 that processes a flow of commands arranged in time series To do.

入力部１０６は、ユーザが設定する要約作成期間や表示形式情報などを入力するキーボードなどのインターフェイスであり、入力手段は文字入力やボタン選択などのＧＵＩであることが好ましい。 Theinput unit 106 is an interface such as a keyboard for inputting a summary creation period and display format information set by the user, and the input means is preferably a GUI for character input, button selection, or the like.

生体情報収集手段１０７は、図１に示す情報コンテンツの編集装置１の映像信号入力部２や生体信号入力部５で実行され、それらを構成するＡ／Ｄコンバータ３、６や入力部コントローラ４、７などで脳波、心拍数、血圧、表情、姿勢などの情報を収集する。 The biological information collecting means 107 is executed by the videosignal input unit 2 and the biologicalsignal input unit 5 of the informationcontent editing apparatus 1 shown in FIG. 1, and the A /D converters 3 and 6 and theinput unit controller 4 constituting them. Collect information such as EEG, heart rate, blood pressure, facial expression, posture, etc.

感情情報評価手段１０８は、感情解析処理部８、ＲＡＭ９、ＣＰＵ１０などで実行され、感情情報を求める。なお、視覚的、聴覚的情報については画像認識、音声認識などの認識処理により感情情報を求める。 The emotion information evaluation unit 108 is executed by the emotionanalysis processing unit 8, the RAM 9, theCPU 10, and the like to obtain emotion information. For visual and auditory information, emotion information is obtained by recognition processing such as image recognition and voice recognition.

表示部１０９は、ユーザに対し必要な情報を表示する部分である。表示される情報は、例えば要約作成完了や作成時に発生したエラーなどの情報、作成された要約のプレビュー映像などであり、表示部１１に表示される。 Thedisplay unit 109 is a part that displays necessary information for the user. The displayed information is, for example, information such as completion of the summary creation or an error that occurred during creation, a preview video of the created summary, and the like, which are displayed on the display unit 11.

通信部１１０は、クライアント端末が発信する要求をサーバ装置１０２に送信し、サーバ装置１０２からの応答を受け付ける部分であり、ネットワークインターフェイス１７で実行される。 Thecommunication unit 110 is a part that transmits a request transmitted by the client terminal to theserver apparatus 102 and receives a response from theserver apparatus 102, and is executed by thenetwork interface 17.

外部機器接続部１１１は、撮像装置や再生装置などと接続する映像・音声信号入力部２や大容量の記録情報を格納するためのハードディスク、位置情報を検出するためのＧＰＳ（Global Positioning System）センサなどを接続するインターフェイス（図１に図示せず）である。 The external device connection unit 111 includes a video / audiosignal input unit 2 connected to an imaging device, a reproduction device, etc., a hard disk for storing large-capacity recording information, and a GPS (Global Positioning System) sensor for detecting position information. Etc. are interfaces (not shown in FIG. 1).

コマンド解析部１１２及びシーケンス制御部１１３は、上述したようにクライアントアプリケーション１０５に従い、ＣＰＵ１０などで実行される。 The command analysis unit 112 and thesequence control unit 113 are executed by theCPU 10 or the like according to theclient application 105 as described above.

また、クライアント端末１０１は、記録部１３に複合情報データベース１１４を有しており、図１０に示すように、複合情報ID、タイトル、日付、開始時刻、終了時刻及びデータ参照先が登録されている。 Further, theclient terminal 101 has a composite information database 114 in therecording unit 13, and as shown in FIG. 10, composite information ID, title, date, start time, end time, and data reference destination are registered. .

複合情報IDは、クライアント端末１０１で記録され蓄積されるデータファイルに割り当てられる固有の識別子である。タイトルは、データファイルのタイトルを表すものであり、例えば再生時にユーザに対しデータの内容を示す場合などに用いられる。日付は、クライアント端末１０１が記録を開始した日付を表す。開始時刻は、クライアント端末１０１が記録を開始した時刻を表す。終了時刻は、クライアント端末１０１が記録を終了した時刻を表す。なお、日付と開始時刻、終了時刻がデータファイル内に記述されている場合はその値を用いてもよい。データ参照先は、クライアント端末１０１で記録され蓄積されているデータファイルのファイル名などの参照先を表す。 The composite information ID is a unique identifier assigned to a data file recorded and stored by theclient terminal 101. The title represents the title of the data file, and is used, for example, when the content of data is shown to the user during reproduction. The date represents the date when theclient terminal 101 starts recording. The start time represents the time when theclient terminal 101 starts recording. The end time represents the time when theclient terminal 101 ends the recording. If the date, start time, and end time are described in the data file, the values may be used. The data reference destination represents a reference destination such as a file name of a data file recorded and accumulated in theclient terminal 101.

サーバ装置１０２は、処理部１１６と通信部１１７とを制御するサーバアプリケーション１１５とユーザ情報データベース１１８を有する。 Theserver apparatus 102 includes aserver application 115 that controls theprocessing unit 116 and thecommunication unit 117 and auser information database 118.

処理部１１６は、サーバ装置１０２側のサービスの制御や情報の処理を行う部分であり、通信部１１７は、クライアント端末１０１からの要求を受信し、要求処理を行ったあとにクライアント端末１０１に対し応答を送信する部分である。 Theprocessing unit 116 is a part that performs service control and information processing on theserver apparatus 102 side. Thecommunication unit 117 receives a request from theclient terminal 101 and performs request processing on theclient terminal 101. This is the part that sends the response.

ユーザ情報データベース１１８には、図１０に示されるように、ユーザID、時刻、利用種別、バージョン及びユーザ拡張エリアが登録されている。 In theuser information database 118, as shown in FIG. 10, the user ID, time, usage type, version, and user extension area are registered.

ユーザIDは、ユーザに割り当てられた固有の識別子であり、アクセスしてきたクライアントアプリケーション１０５に登録されていたものである。時刻は、クライアント端末からのアクセスに応答した時刻である。利用種別は、例えばログイン、ログアウト、コマンド登録、コマンド検索などといったクライアントアプリケーション１０５の動作状態の識別子を格納するための領域である。この領域には、図１１に示すような利用種別IDが記録される。バージョンは、ユーザが使用しているクライアントアプリケーション１０５のバージョン番号を表し、サーバ装置１０２がクライアント端末１０１に対しバージョンアップ通知を行うために用いられる。ユーザ拡張エリアは、ユーザが任意に使用可能な領域である。例えば、作成したテンプレート、シーケンス、コマンドをサーバ装置１０２に登録し、他のユーザと共有するためのものである。 The user ID is a unique identifier assigned to the user and is registered in the accessingclient application 105. The time is a time in response to an access from the client terminal. The usage type is an area for storing an identifier of the operation state of theclient application 105 such as login, logout, command registration, command search, and the like. In this area, a usage type ID as shown in FIG. 11 is recorded. The version represents the version number of theclient application 105 used by the user, and is used for theserver apparatus 102 to notify theclient terminal 101 of an upgrade. The user expansion area is an area that can be arbitrarily used by the user. For example, the created template, sequence, and command are registered in theserver apparatus 102 and shared with other users.

次に、クライアントアプリケーション１０５及びサーバアプリケーション１１５による初期化・記録時、要約処理時及び終了時の動作について説明する。ネットワーク１０４を介したクライアント端末１０１とサーバ装置１０２との動作は、図１２〜図１４に示すような手順で行われる。 Next, operations at the time of initialization / recording, summary processing, and termination by theclient application 105 and theserver application 115 will be described. The operations of theclient terminal 101 and theserver apparatus 102 via thenetwork 104 are performed according to procedures as shown in FIGS.

図１２は、初期化・記録時における処理の流れを示す図である。まず、編集機器の日時、画質、音質などの初期化処理を行い、複合情報データベース１１４への記録準備を行う（ステップＳ１２−１〜Ｓ１２−５）。クライアントアプリケーション１０５は、クライアント端末１０１である情報コンテンツの編集装置１の記録部１３に初期化を命じる。記録部１３は、初期化の命令に対し応答し（ステップＳ１２−２）、複合情報データベース１１４に記録要求する（ステップＳ１２−３）。それに対し、複合情報データベース１１４は応答し（ステップＳ１２−４）、空き容量不足などによりエラーが発生した場合には、記録部１３はクライアントアプリケーション１０５に通知する（ステップＳ１２−５）。 FIG. 12 is a diagram showing the flow of processing during initialization and recording. First, initialization processing such as date and time, image quality, and sound quality of the editing device is performed to prepare for recording in the composite information database 114 (steps S12-1 to S12-5). Theclient application 105 commands therecording unit 13 of the informationcontent editing apparatus 1 serving as theclient terminal 101 to perform initialization. Therecording unit 13 responds to the initialization command (step S12-2), and requests recording to the composite information database 114 (step S12-3). On the other hand, the composite information database 114 responds (step S12-4), and if an error occurs due to insufficient free space or the like, therecording unit 13 notifies the client application 105 (step S12-5).

複合情報データベース１１４の初期化処理の終了後、クライアントアプリケーション１０５は、サーバ装置１０２に対し、ログインのためのサービス要求を送信する（ステップＳ１２−６）。このとき同時にユーザIDを送信する。ログイン要求を受信したサーバ装置１０２は、認証局１０３でユーザ認証を行い（ステップＳ１２−７）、その結果を受信する（ステップＳ１２−８）。サーバ装置１０２は、ログインを許可しない場合はクライアントアプリケーション１０５に通知する（ステップＳ１２−９）。ログインが成功した場合は、サーバアプリケーション１１５は、ユーザ情報データベース１１８に対しログインの履歴を残す（ステップＳ１２−１０）。このとき、図１１に示す利用種別ＩＤ（ここでは、ログイン）が送信され、ユーザ情報データベース１１８に記録される。ログインＩＤを受信、記録したユーザ情報データベース１１８は、サーバアプリケーション１１５に応答送信し（ステップＳ１２−１１）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１２−１２）。 After the initialization process of the composite information database 114 is completed, theclient application 105 transmits a service request for login to the server apparatus 102 (step S12-6). At this time, the user ID is transmitted at the same time. Receiving the login request, theserver apparatus 102 performs user authentication at the certificate authority 103 (step S12-7) and receives the result (step S12-8). Theserver apparatus 102 notifies theclient application 105 when login is not permitted (step S12-9). If the login is successful, theserver application 115 leaves a login history in the user information database 118 (step S12-10). At this time, the usage type ID (here, login) shown in FIG. 11 is transmitted and recorded in theuser information database 118. Theuser information database 118 that has received and recorded the login ID transmits a response to the server application 115 (step S12-11), and theserver application 115 transmits a response to the client application 105 (step S12-12).

次に、要約処理時の動作について説明する。クライアントアプリケーション１０５は、コマンドの定義、コマンドを時系列に並べたシーケンス、シーケンスを時系列に並べたテンプレートを構成することで要約作成のための処理命令を定義する。ここで、ユーザはこれらの命令を図３〜図５に示したような形式で定義する。また、定義自体がサーバ装置に登録されている場合は、既存の定義を検索し、利用することができる。また、作成した定義はサーバ装置に登録することもできる。 Next, the operation during the summary process will be described. Theclient application 105 defines a processing instruction for creating a summary by configuring a command definition, a sequence in which commands are arranged in time series, and a template in which sequences are arranged in time series. Here, the user defines these instructions in the format as shown in FIGS. If the definition itself is registered in the server device, the existing definition can be retrieved and used. The created definition can also be registered in the server device.

図１３は、コマンド検索とシーケンス登録をサーバ装置１０２に対し行う場合における処理の流れを示す図である。クライアントアプリケーション１０５はサーバアプリケーション１１５に対し、コマンド検索のためのサービス要求を送信する（ステップＳ１３−１）。コマンド検索要求を受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対し登録されているコマンドを検索する（ステップＳ１３−２）。検索結果は、サーバアプリケーション１１５を経て（ステップＳ１３−３）、クライアントアプリケーション１０５に送信される（ステップＳ１３−４）。また、クライアントアプリケーション１０５とサーバアプリケーション１１５との一連のやり取りは、ユーザ情報データベース１１８に履歴として記録される。 FIG. 13 is a diagram showing the flow of processing when command search and sequence registration are performed for theserver apparatus 102. Theclient application 105 transmits a service request for command search to the server application 115 (step S13-1). Theserver application 115 that has received the command search request searches for a command registered in the user information database 118 (step S13-2). The search result is transmitted to theclient application 105 through the server application 115 (step S13-3) (step S13-4). A series of exchanges between theclient application 105 and theserver application 115 is recorded as a history in theuser information database 118.

コマンド検索によって得られたコマンド定義を用いてテンプレートを作成した後、クライアントアプリケーション１０５は、複合情報データベース１１４に登録されている体験記録に対し、要約作成処理を行う（ステップＳ１３−５）。具体的には、クライアントアプリケーション１０５のシーケンス制御部１１３がテンプレート内のシーケンスを解析し、各シーケンスに対して、コマンド解析部１１２が逐次的に記述されているコマンドを解釈し処理する。 After creating a template using the command definition obtained by command search, theclient application 105 performs a summary creation process on the experience record registered in the composite information database 114 (step S13-5). Specifically, thesequence control unit 113 of theclient application 105 analyzes the sequence in the template, and the command analysis unit 112 interprets and processes the commands sequentially described for each sequence.

また、図１３には示していないが、クライアントアプリケーション１０５は、要約処理時にユーザに対して複数のシナリオを提示するようにしてもよい。例えば、自動処理で感情の度合いの大きい場面を複数種類抽出し、ユーザに対して好みの場面を選択させてもよい。また、ユーザが独自にテンプレートを記述した場合でも、ユーザの指定した要約と並行に自動処理をバックグラウンドで行い、ユーザの指定した処理結果の提示の際に、同時に自動処理結果の一覧を提示するようにしてもよい。このようにして作成された要約の中から、ユーザが必要な場面を選択することにより最終的な要約が作成される。 Although not shown in FIG. 13, theclient application 105 may present a plurality of scenarios to the user during the summary process. For example, multiple types of scenes with a high degree of emotion may be extracted by automatic processing, and the user may select a favorite scene. In addition, even if the user writes a template independently, automatic processing is performed in the background in parallel with the summary specified by the user, and when the processing result specified by the user is presented, a list of automatic processing results is presented at the same time. You may do it. A final summary is created by the user selecting a necessary scene from the created summaries.

また、作成した定義をサーバ装置１０２に登録するようにしてもよい。例えば図１２に示すように、作成したシーケンスをサーバ装置１０２に登録する場合は、サーバアプリケーション１１５に対しシーケンス登録のためのサービス要求を送信し（ステップＳ１３−７）、それを受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対しシーケンスを登録する（ステップＳ１３−８）。シーケンス及び利用種別ＩＤを受信、記録したユーザ情報データベース１１８はサーバアプリケーション１１５に応答送信し（ステップＳ１２−９）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１３−１０）。 Further, the created definition may be registered in theserver apparatus 102. For example, as shown in FIG. 12, when registering the created sequence in theserver apparatus 102, a service request for sequence registration is transmitted to the server application 115 (step S13-7), and theserver application 115 that has received it is received. Registers a sequence in the user information database 118 (step S13-8). Theuser information database 118 that has received and recorded the sequence and usage type ID sends a response to the server application 115 (step S12-9), and theserver application 115 sends a response to the client application 105 (step S13-10).

図１４は、終了時における処理の流れを示す図である。クライアントアプリケーション１０５は、記録部１３に対し記録終了処理を行う（ステップＳ１４−１〜Ｓ１４−５）。クライアントアプリケーション１０５は、情報コンテンツの編集装置１の記録部１３に終了処理を命じる（ステップＳ１４−１）。記録部１３は、終了処理の命令に対し応答し（ステップＳ１４−２）、複合情報データベース１１４に終了要求する（ステップＳ１４−３）。それに対し、複合情報データベース１１４は応答し（ステップＳ１４−４）、書き込み途中などによりエラーが発生した場合には、記録部１３はクライアントアプリケーション１０５に通知する（ステップＳ１４−５）。 FIG. 14 is a diagram showing the flow of processing at the end. Theclient application 105 performs a recording end process on the recording unit 13 (steps S14-1 to S14-5). Theclient application 105 instructs therecording unit 13 of the informationcontent editing apparatus 1 to perform end processing (step S14-1). Therecording unit 13 responds to the end processing command (step S14-2), and requests the composite information database 114 to end (step S14-3). On the other hand, the composite information database 114 responds (step S14-4), and when an error occurs during writing or the like, therecording unit 13 notifies the client application 105 (step S14-5).

記録終了処理が成功した場合には、クライアントアプリケーション１０５は、サーバ装置１０２に対し、ログアウトのためのサービス要求を送信する（ステップＳ１４−６）。ログアウト要求を受信したサーバアプリケーション１１５は、ユーザ情報データベース１１８に対しログアウトの履歴を残す（ステップＳ１４−７）。このとき、ログアウトを示す利用種別ＩＤが送信され、ユーザ情報データベース１１８に記録される。ログアウトＩＤを受信、記録したユーザ情報データベース１１８は、サーバアプリケーション１１５に応答送信し（ステップＳ１４−８）、サーバアプリケーション１１５はクライアントアプリケーション１０５に応答送信する（ステップＳ１４−９）。 When the recording end process is successful, theclient application 105 transmits a service request for logout to the server apparatus 102 (step S14-6). Theserver application 115 that has received the logout request leaves a logout history in the user information database 118 (step S14-7). At this time, a usage type ID indicating logout is transmitted and recorded in theuser information database 118. Theuser information database 118 that has received and recorded the logout ID transmits a response to the server application 115 (step S14-8), and theserver application 115 transmits a response to the client application 105 (step S14-9).

このように、ネットワークを介して共通に利用することが可能な記述形態をとることにより、例えば同じ情報コンテンツでも個人ごとに異なるポイントをもつ要約コンテンツを
テンプレートを交換することで容易に得ることができる。In this way, by adopting a description form that can be used in common via the network, for example, even the same information content can be easily obtained by exchanging templates with summary content having different points for each individual. .

また、配布された情報コンテンツの視聴時に生体情報を同時計測して、テンプレートを作成し、配布先に送信することで、配布先は視聴者の反応を知ることができる。 In addition, when the distributed information content is viewed, biometric information is simultaneously measured, a template is created, and transmitted to the distribution destination, so that the distribution destination can know the reaction of the viewer.

なお、上記一実施例では生体情報に基づく感情パラメータに基づいて、情報コンテンツの編集処理を行ったが、感情情報以外にも、位置情報や時間情報などによる場面抽出を行い、同位置、同時刻における要約コンテンツ集を作成することもできる。これにより例えば日々蓄積されている体験映像から、さまざま情報に基づく体験履歴を作成し、振り返ることができる。 In the above embodiment, information content editing processing is performed based on emotion parameters based on biometric information. However, in addition to emotion information, scene extraction based on position information and time information is performed, and the same position and same time A summary content collection can also be created. Thereby, for example, an experience history based on various information can be created from the experience videos accumulated every day and looked back.

また、コマンドは上記一実施形態に限定されるものではなく、ユーザが定義することができるので、感情的に大きく影響を受けた場面に特殊な再生効果を与えることができる。例えば、興味を持ったものが映っている場合にはズーム効果を与えたり、暗く落ち込んだ場面では画面のコントラストを落としたりする。 Further, the command is not limited to the above-described embodiment, and can be defined by the user, so that a special reproduction effect can be given to a scene that is greatly influenced emotionally. For example, if something interesting is shown, a zoom effect is applied, or the screen contrast is reduced in a darkened scene.

以上、本実施形態によれば、ユーザの生体情報に基づいて感情解析を行い、その感情パラメータを数値化した感情レベルに応じて要約を作成するようにすることにより、時間とともに変化する感情状態や記憶の風化などに制約されず、情報コンテンツを記録時又は視聴時の感情の状態に基づいた要約コンテンツを作成することができる。 As described above, according to the present embodiment, emotion analysis is performed based on the user's biometric information, and a summary is created according to the emotion level obtained by quantifying the emotion parameter. Without being restricted by weathering of memory or the like, it is possible to create summary content based on the emotional state at the time of recording or viewing information content.

また、例えば継続的に蓄積されている日常の体験映像に対し、コマンド、シーケンス、テンプレートを定義することで、或いはあらかじめ定義されたものを用いることで、簡単に要約を作成することができる。これにより、効率的な検索や情報の管理を行うことができる。 In addition, for example, a summary can be easily created by defining commands, sequences, and templates for daily experience videos that are continuously stored, or by using predefined ones. Thereby, efficient search and information management can be performed.

また、同じ体験でも個人により注目するポイントや興味を持つポイントは異なるが、生体情報に基づき要約を作成することで、個人ごとに異なるポイントでの要約作成ができる。 In addition, although the points of interest and points of interest differ among individuals even in the same experience, it is possible to create summaries at different points for each individual by creating summaries based on biological information.

また、関心を示した場面や驚いた場面などを一覧表示することが可能となり、例えば日々の体験でどのような印象深い場面があったかを簡単に把握することができる。 In addition, it is possible to display a list of scenes showing interest or surprised scenes, and for example, it is possible to easily grasp what impressive scenes existed in daily experiences.

本発明を適用した情報コンテンツの編集装置の構成例を示す図である。It is a figure which shows the structural example of the editing apparatus of the information content to which this invention is applied.本発明を適用した感情パラメータを求める方法を説明する図である。It is a figure explaining the method of calculating | requiring the emotion parameter to which this invention is applied.本発明を適用したコマンド例を示す図である。It is a figure which shows the example of a command to which this invention is applied.本発明を適用したシーケンス例を示す図である。It is a figure which shows the example of a sequence to which this invention is applied.本発明を適用したテンプレート例を示す図である。It is a figure which shows the example of a template to which this invention is applied.本発明を適用したた生体情報の記録処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the recording process of the biometric information to which this invention is applied.本発明を適用した感情解析処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the emotion analysis process to which this invention is applied.本発明を適用した要約処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the summary process to which this invention is applied.本発明を適用したネットワークシステムを示す概略図である。It is the schematic which shows the network system to which this invention is applied.本発明を適用したデータベース構成を説明する図である。It is a figure explaining the database structure to which this invention is applied.本発明を適用した利用種別ＩＤを説明する図である。It is a figure explaining the utilization classification ID to which this invention is applied.本発明を適用した初期化・記録時における処理の流れを示す図である。It is a figure which shows the flow of the process at the time of initialization and recording which applied this invention.本発明を適用した要約処理時における処理の流れを示す図である。It is a figure which shows the flow of the process at the time of the summary process to which this invention is applied.本発明を適用した終了時における処理の流れを示す図である。It is a figure which shows the flow of the process at the time of completion | finish which applied this invention.

符号の説明Explanation of symbols

１情報コンテンツの編集装置、２映像・音声信号入力部、３Ａ／Ｄコンバータ、４映像・音声信号入力部コントローラ、５生体信号入力部、６Ａ／Ｄコンバータ、７生体信号入力部コントローラ、８感情解析処理部、９ＲＡＭ、１０ＣＰＵ、１１表示部、１２表示部コントローラ、１３記録部、１４記録部コントローラ、１５再生処理部、１６Ｂｕｓ、１７ネットワークインターフェイス、１８入力部、１０１クライアント端末、１０２サーバ装置、１０３認証局、１０４ネットワーク、１０５クライアントアプリケーション、１０６入力部、１０７生体情報収集手段、１０８感情情報評価手段、１０９表示部、１１０通信部、１１１外部機器接続部、１１２コマンド解析部、１１３シーケンス制御部、１１４複合情報データベース、１１５サーバアプリケーション、１１６処理部、１１７通信部、１１８ユーザ情報データベース
1 information content editing device, 2 video / audio signal input unit, 3 A / D converter, 4 video / audio signal input unit controller, 5 biological signal input unit, 6 A / D converter, 7 biological signal input unit controller, 8 Emotion analysis processing unit, 9 RAM, 10 CPU, 11 display unit, 12 display unit controller, 13 recording unit, 14 recording unit controller, 15 playback processing unit, 16 Bus, 17 network interface, 18 input unit, 101 client terminal, 102 Server device, 103 certificate authority, 104 network, 105 client application, 106 input unit, 107 biometric information collection unit, 108 emotion information evaluation unit, 109 display unit, 110 communication unit, 111 external device connection unit, 112 command analysis unit, 113 Sequence system Control unit, 114 composite information database, 115 server application, 116 processing unit, 117 communication unit, 118 user information database

Claims

Translated fromJapanese

情報コンテンツデータを入力する情報コンテンツデータ入力手段と、
生体情報を入力する生体情報入力手段と、
上記生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析手段と、
上記生体情報又は上記感情解析手段からの感情パラメータを上記情報コンテンツデータと対応付けて記録する記録手段と、
所望の感情状態を上記感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈手段とを備え、
上記コマンド解釈手段により上記情報コンテンツデータを編集することを特徴とする情報コンテンツの編集装置。Information content data input means for inputting information content data;
Biometric information input means for inputting biometric information;
Emotion analysis means for performing emotion analysis based on the biological information and outputting emotion parameters;
Recording means for recording the biometric information or the emotion parameter from the emotion analysis means in association with the information content data;
Command interpreting means for interpreting and executing a command sequence including at least a command for detecting a desired emotion state based on the emotion parameter;
An information content editing apparatus, wherein the information content data is edited by the command interpretation means.

上記コマンドの時系列は、複数の上記コマンドを時系列配列されたものから成り、このコマンド列の各コマンドを時系列に従って順次実行することにより上記情報コンテンツデータを編集することを特徴とする請求項１記載の情報コンテンツの編集装置。 The time series of the commands includes a plurality of the commands arranged in time series, and the information content data is edited by sequentially executing the commands in the command sequence according to the time series. 1. An information content editing apparatus according to 1.

上記感情パラメータに基づく感情レベルを所定の抽出レベルと比較することにより情報コンテンツデータを抽出し、該情報コンテンツデータの要約を作成することを特徴とする請求項１記載の情報コンテンツの編集装置。 2. The information content editing apparatus according to claim 1, wherein information content data is extracted by comparing an emotion level based on the emotion parameter with a predetermined extraction level, and a summary of the information content data is created.

上記コンテンツデータの抽出結果に応じて上記抽出レベルを変更することを特徴とする請求項３記載の情報コンテンツの編集装置。 4. The information content editing apparatus according to claim 3, wherein the extraction level is changed in accordance with the extraction result of the content data.

上記コマンドは、ＸＭＬによって記述されていることを特徴とする請求項１記載の情報コンテンツの編集装置。 2. The information content editing apparatus according to claim 1, wherein the command is described in XML.

上記生体情報は、心拍、血圧、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、顔の表情、声の韻律、瞬目、眼球運動、瞳孔径の大きさ、凝視時間の少なくとも１つ又はこれらの組み合わせから得られる情報であることを特徴とする請求項１記載の情報コンテンツの編集装置。 The biological information includes at least one of heart rate, blood pressure, electroencephalogram, breathing, sweating, myoelectric potential, skin temperature, skin electrical resistance, facial expression, voice prosody, blink, eye movement, pupil diameter, and gaze time. The information content editing apparatus according to claim 1, wherein the information content is obtained from one or a combination thereof.

情報コンテンツデータを入力する情報コンテンツデータ入力工程と、
生体情報を入力する生体情報入力工程と、
上記生体情報に基づいて感情解析を行い感情パラメータを出力する感情解析工程と、
上記生体情報又は上記感情解析工程からの感情パラメータを上記情報コンテンツデータと対応付けて記録する記録工程と、
所望の感情状態を上記感情パラメータに基づいて検出するコマンドを少なくとも含むコマンド列を解釈し実行するコマンド解釈工程とを備え、
上記コマンド解釈工程に基づき上記情報コンテンツデータを編集することを特徴とする情報コンテンツの編集方法。An information content data input step for inputting information content data;
A biometric information input step for inputting biometric information;
An emotion analysis step of performing emotion analysis based on the biological information and outputting emotion parameters;
A recording step of recording the biometric information or the emotion parameter from the emotion analysis step in association with the information content data;
A command interpretation step of interpreting and executing a command sequence including at least a command for detecting a desired emotion state based on the emotion parameter,
An information content editing method, wherein the information content data is edited based on the command interpretation step.

上記コマンドの時系列は、複数の上記コマンドを時系列配列されたものから成り、このコマンド列の各コマンドを時系列に従って順次実行することにより上記情報コンテンツデータを編集することを特徴とする請求項７記載の情報コンテンツの編集方法。 The time series of the commands includes a plurality of the commands arranged in time series, and the information content data is edited by sequentially executing the commands in the command sequence according to the time series. 7. An information content editing method according to 7.

上記感情パラメータに基づく感情レベルを所定の抽出レベルと比較することにより情報コンテンツデータを抽出し、該情報コンテンツデータの要約を作成することを特徴とする請求項７記載の情報コンテンツの編集方法。 8. The information content editing method according to claim 7, wherein information content data is extracted by comparing an emotion level based on the emotion parameter with a predetermined extraction level, and a summary of the information content data is created.

上記コンテンツデータの抽出結果に応じて上記抽出レベルを変更することを特徴とする請求項９記載の情報コンテンツの編集方法。
10. The information content editing method according to claim 9, wherein the extraction level is changed in accordance with the extraction result of the content data.