JP2019082982A - Cooking support device, cooking information generation device, cooking support system, cooking support method, and program - Google Patents
Cooking support device, cooking information generation device, cooking support system, cooking support method, and programDownload PDFInfo
- Publication number
- JP2019082982A JP2019082982AJP2018077129AJP2018077129AJP2019082982AJP 2019082982 AJP2019082982 AJP 2019082982AJP 2018077129 AJP2018077129 AJP 2018077129AJP 2018077129 AJP2018077129 AJP 2018077129AJP 2019082982 AJP2019082982 AJP 2019082982A
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- information
- recipe
- feature
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010411cookingMethods0.000titleclaimsabstractdescription731
- 238000000034methodMethods0.000titleclaimsdescription133
- 238000003860storageMethods0.000claimsabstractdescription83
- 238000001514detection methodMethods0.000claimsabstractdescription56
- 230000008569processEffects0.000claimsdescription104
- 238000000605extractionMethods0.000claimsdescription44
- 230000010365information processingEffects0.000claimsdescription43
- 238000012805post-processingMethods0.000claimsdescription27
- 230000009471actionEffects0.000claimsdescription19
- 239000000284extractSubstances0.000claimsdescription16
- 230000008859changeEffects0.000claimsdescription10
- 238000010586diagramMethods0.000abstractdescription20
- 230000002452interceptive effectEffects0.000abstractdescription2
- 238000003384imaging methodMethods0.000description33
- 230000006399behaviorEffects0.000description30
- 238000012545processingMethods0.000description21
- 235000013305foodNutrition0.000description19
- 238000004891communicationMethods0.000description12
- 230000006870functionEffects0.000description10
- 238000001228spectrumMethods0.000description7
- 238000010025steamingMethods0.000description6
- 230000000007visual effectEffects0.000description5
- 239000000203mixtureSubstances0.000description4
- 235000002017Zea mays subsp maysNutrition0.000description3
- 241000482268Zea mays subsp. maysSpecies0.000description3
- 239000000463materialSubstances0.000description3
- 239000002245particleSubstances0.000description3
- 238000002360preparation methodMethods0.000description3
- 239000000047productSubstances0.000description3
- 239000002994raw materialSubstances0.000description3
- 230000004044responseEffects0.000description3
- 238000003825pressingMethods0.000description2
- 125000002066L-histidyl groupChemical group[H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H]0.000description1
- 230000005540biological transmissionEffects0.000description1
- 230000009172burstingEffects0.000description1
- 238000013461designMethods0.000description1
- 230000000694effectsEffects0.000description1
- 239000013067intermediate productSubstances0.000description1
- 238000004519manufacturing processMethods0.000description1
- 230000004048modificationEffects0.000description1
- 238000012986modificationMethods0.000description1
- 230000003287optical effectEffects0.000description1
- 239000007787solidSubstances0.000description1
- 230000007480spreadingEffects0.000description1
- 238000003892spreadingMethods0.000description1
Images
Landscapes
- Electric Ovens (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Translated fromJapaneseDescription
Translated fromJapanese本発明は、調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムに関する。 The present invention relates to a cooking support device, a cooking information generation device, a cooking support system, a cooking support method, and a program.
従来から調理に関する情報をユーザの端末装置に対してインターネットを介して提供する機器やシステムが提案されている。例えば、特許文献１に記載の制御方法は、レシピサイトのレシピに含まれる調理手順を受信する。ディスプレイにおいて調理にかかるレシピサイトの表示が開始されたこと、かつディスプレイにおけるレシピサイトの表示が終了されたことを示す状態情報に基づいて、調理手順の中で現在行われている第１調理手順を特定する。また、特定された第１調理手順の次の手順である第２調理手順に関する情報をユーザへ通知する。 There have conventionally been proposed devices and systems for providing information on cooking to a user's terminal device via the Internet. For example, the control method described in Patent Document 1 receives the cooking procedure included in the recipe of the recipe site. The first cooking procedure currently performed in the cooking procedure is based on status information indicating that display of the recipe site for cooking has been started on the display and display of the recipe site on the display has ended. Identify. In addition, the user is notified of information on a second cooking procedure which is a procedure following the specified first cooking procedure.
特許文献２に記載の調理支援システムは、表示手段に表示した調理手順の実施完了の旨を入力し、入力があると次の調理手順に進行し、表示手段に表示させたタイムテーブルにしたがって調理作業を進行させる場合に被調理物の調理状態を検知するセンサが調理機器の所定の加熱調理状態を検知して報知手段により報知動作を行う。
特許文献３に記載のポップコーン調理機は、原料粒の調理の進行に伴って発生する物理現象を検出するセンサと、検出結果に基づいて入力部に対する指示の入力時期をユーザに通知する通知部を備える。当該センサは、原料粒の破裂に伴うポップコーンの移動を所定の検出範囲内にて検出する光センサである。もしくは、当該センサは、原料粒の破裂に伴うポップコーンの音を検出する。The cooking support system described in Patent Document 2 inputs the completion of the execution of the cooking procedure displayed on the display means, and proceeds to the next cooking procedure when there is an input, and cooks according to the time table displayed on the display means When the work is to be advanced, a sensor that detects the cooking state of the food to be cooked detects a predetermined cooking state of the cooking device and performs a notification operation by the notification unit.
The popcorn cooking device described in Patent Document 3 includes a sensor that detects a physical phenomenon that occurs with the progress of cooking of raw material particles, and a notification unit that notifies the user of an input timing of an instruction to the input unit based on the detection result. Prepare. The said sensor is an optical sensor which detects the movement of the popcorn accompanying bursting of a raw material particle within the predetermined | prescribed detection range. Or the said sensor detects the sound of the popcorn accompanying burst of raw material particle | grains.
しかしながら、調理中では食材や器具の準備、操作など各種の作業が発生するため、調理行動を妨げずに調理支援に係る機器の操作が容易でないことがある。他方、所望の料理が得られるように調理の状況に応じた助言が望まれていた。 However, since various operations such as preparation of food and appliances and operations occur during cooking, there are cases where the operation of the equipment related to the cooking support is not easy without interrupting the cooking behavior. On the other hand, the advice according to the condition of cooking was desired so that a desired dish could be obtained.
本発明の一態様は、上記の点に鑑みてなされたものであり、調理行動を妨げずに調理の状況に応じた助言を提供することができる調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムを提供することを目的の一つとする。 One aspect of the present invention is made in view of the above-mentioned point, and a cooking support device, a cooking information generation device, and a cooking support system which can provide advice according to the situation of cooking without disturbing the cooking behavior. The purpose is to provide a cooking support method and program.
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にする調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラムを提供することを目的の一つとする。 Further, another aspect of the present invention is to provide a cooking support device, a cooking information generation device, a cooking support system, a cooking support method, and a program that can achieve the effects described in the embodiments described later. It is one of the purposes.
上述した課題を解決するために、本発明の一態様は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部と、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、前記通知を行う通知部と、備える調理支援装置である。 In order to solve the problems described above, according to one aspect of the present invention, a storage unit stores cooking feature information indicating a feature of a predetermined image to be cooked or a feature of a sound, for each recipe information indicating a recipe; When cooking is performed based on the detection unit that detects a stream indicating the image or sound of the object to be cooked, and the feature information indicating the feature of the image of the object to be detected detected from the stream or the feature of the sound of the object to be cooked It is a cooking assistance device provided with the notice control part which performs the notice showing the advice of cooking action, and the notice part which performs the notice, when it adapts to the cooking characteristic information.
また、本発明の一態様は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備える調理情報生成装置である。 Further, according to an aspect of the present invention, when cooking based on a recipe is performed, a detection unit that detects a stream indicating a video or sound of the food to be cooked, and the cooking object from the stream at a time specified according to an operation Cooking information comprising: an extraction control unit for extracting cooking feature information indicating a feature of the image of the image or the feature of the sound to be cooked; and a storage unit for storing the cooking feature information in association with recipe information indicating the recipe It is a generator.
また、本発明の一態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。 Further, one aspect of the present invention is a cooking support system including a cooking information generation device and a cooking information processing device, wherein the cooking information generation device is configured to generate an image or sound of a cooking object when cooking based on a recipe is performed. A detection unit that detects a stream to be shown, and an extraction control unit that extracts, from the stream, cooking feature information indicating the feature of the image of the cooking object or the feature of the sound of the cooking object from the stream at a time point specified according to the operation; And the cooking information processing apparatus causes the cooking information generation apparatus to post the cooking characteristic information corresponding to the recipe information indicating the recipe, and information for providing the cooking characteristic information to the cooking support apparatus. It is a cooking assistance system provided with a provision part.
本発明の一態様によれば、調理行動を妨げずに調理の状況に応じた助言を提供することができる。 According to one aspect of the present invention, it is possible to provide advice according to the situation of cooking without disturbing the cooking behavior.
以下、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
〔調理支援装置の概要〕
本発明の第１の実施形態に係る調理支援装置の概要について説明する。
図１は、本実施形態に係る調理支援装置の概要の説明図である。
本実施形態に係る調理支援装置１０は、ユーザの操作に応じて選択されたレシピ情報に基づくユーザに提示する。ユーザは調理支援装置１０が提示したレシピを閲覧し、レシピに記述された手順に従って調理を行う。調理支援装置１０は、調理が行われているとき調理対象の映像を撮像し、撮像した映像を示すストリームを検出する（ステップＳ１０）。調理支援装置１０は、調理対象が発する音を収音し、収音した音を示すストリームを検出してもよい。調理対象とは、主に調理の対象となる食材や調理工程毎の中間生産物など、調理工程全体の生産物である料理の完成までに得られる物である。Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First Embodiment
[Overview of the cooking support device]
The outline | summary of the cooking assistance apparatus which concerns on the 1st Embodiment of this invention is demonstrated.
FIG. 1 is an explanatory view of the outline of the cooking assistance device according to the present embodiment.
The
調理支援装置１０は、検出したストリームから映像又は音の特徴情報Ｃｈ１を抽出する（ステップＳ２０）。映像の特徴情報は、色やその変化など映像から抽出された調理対象やその状態を特徴づける情報である。映像の特徴情報として、例えば、フライパンＰｎ上で焼かれる食材Ｏｂの色などが適用可能である。音の特徴情報は、調理に伴って発される音から抽出された調理対象やその状態を特徴づける情報である。音の特徴情報として、例えば、フライパンＰｎ上で焼かれる食材Ｏｂから発される音の音色などが適用可能である。 The
他方、調理支援装置１０は、レシピを示すレシピ情報毎に調理対象の映像の特徴情報又は音の特徴情報Ｃｈ２を対応付けてなる調理特徴情報を予め取得し、記憶しておく。特徴情報Ｃｈ２には、さらに通知情報Ａｄが対応付けられてもよい。通知情報Ａｄは、その特徴情報Ｃｈ２が対応付けられている時点において実行することが望ましい行動を調理行動の助言を表す情報が含まれる。例えば、助言には、焼かれている食材Ｏｂの色が所定の色になるとき、焼く工程を停止し、蒸らす工程の開始の案内が含まれてもよい。
調理支援装置１０は、抽出した特徴情報をその時点で提供されているレシピ情報に対応付けられた特徴情報と照合する（ステップＳ３０）。調理支援装置１０は、抽出した特徴情報がレシピ情報に対応付けられた特徴情報と適合するか否かを判定する。調理支援装置１０は、対応する特徴情報を検出するとき、検出した特徴情報に対応付けられた通知情報Ａｄを読み出す（ステップＳ４０）。調理支援装置１０は、読み出した通知情報Ａｄを提示することにより、ユーザに通知する（ステップＳ５０）。On the other hand, the
The
なお、図１に示す例では、調理支援装置１０は、ユーザの頭部に装着可能とする眼鏡型筐体と一体となる端末装置である。調理支援装置１０は、外景と重ねて視認可能とする視覚情報を表示可能とする表示部（ディスプレイ）と、周囲の被写体の映像を撮像する撮像部（カメラ）と、周囲の音を収音する収音部（マイクロホン）とを備えるコンピュータである。その構成により、ユーザは、表示部に表示されたレシピを閲覧しながら調理を行うことができる。また、調理支援装置１０は、調理中において調理対象の映像を撮像し、調理対象が発する音を収音することができる。従って、調理支援装置１０は、調理中に得られた映像又は音の特徴情報に応じた通知情報をユーザに提供することができる。例えば、調理対象である食材Ｏｂとして餃子を焼く工程において、調理支援装置１０が食材Ｏｂの映像を撮像し、レシピ情報と対応付けられている特徴情報が所定の色である場合を仮定する。その工程において食材Ｏｂの色が所定の色になるとき、その所定の色と対応付けられた通知情報Ａｄとして、焼く工程を停止し、蒸らす工程の開始が助言としてユーザに通知される。従って、ユーザには通知された助言によって、とるべき調理行動が適時に案内されるので、調理の成功もしくは失敗の回避を支援することができる。 In addition, in the example shown in FIG. 1, the
〔調理支援装置の構成〕
次に、本実施形態に係る調理支援装置１０の構成例について説明する。
図２は、本実施形態に係る調理支援装置１０のハードウェア構成の一例を示すブロック図である。
調理支援装置１０は、制御部１０１、表示部１０２、再生部１０３、撮像部１０４、収音部１０５、操作部１０６、電源１０７、電源制御部１０８、通信部１０９、ＲＯＭ（Read only Memory）１１１、ＲＡＭ（Random Access Memory）１１２、及びＳＳＤ（Solid State Drive）１１３を備え、それらの機能部が筐体に収納されている。[Configuration of cooking support device]
Next, a configuration example of the
FIG. 2 is a block diagram showing an example of the hardware configuration of the
The
制御部１０１は、アプリケーションプログラム（以下、「アプリ」と呼ぶ）に記述された命令で指示される処理を実行する制御デバイスを含んで構成される。制御部１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）などのいずれであってもよい。
表示部１０２は、制御部１０１から入力された映像データが示す映像を表示する透過型ディスプレイを含んで構成される。制御部１０１から入力される映像データが示す映像には、撮像部１０４が撮像した映像（以下、「カメラ画像」と呼ぶことがある）、制御部１０１が生成したユーザインタフェース（ＵＩ：User Interface）画像（以下、「ＵＩ画像」と呼ぶことがある）などが含まれうる。透過型ディスプレイは、調理支援装置１０の筐体に装着され、光を透過する。調理支援装置１０を装着したユーザは、透過した光により表される周囲の被写体（外景）を確認するとともに、カメラ画像やＵＩ画像を視認することができる。The
The
再生部１０３は、制御部１０１から入力された音響データが示す音を再生する。再生部１０３は、例えば、マイクロホンである。制御部１０１から入力される音響データが示す音には、収音部１０５が収音した音（以下、「マイク音」と呼ぶことがある）、制御部１０１が生成した各種の案内音声などが含まれうる。再生部１０３は、調理支援装置１０の筐体に設置され、調理支援装置１０を装着した状態でユーザの耳の近傍に配置される。調理支援装置１０を装着したユーザは、マイク音声や案内音声受聴することができる。
撮像部１０４は、調理支援装置１０の筐体に設置され、表示部１０２を介してユーザが視認可能とする視野の一部もしくは全部の範囲内の被写体を表す映像を撮像する。撮像部１０４は、例えば、ＣＣＤ（Charge coupled Device）カメラである。撮像部１０４は、撮像した映像を示す映像データを生成し、生成した映像データを制御部１０１に出力する。The
The
収音部１０５は、調理支援装置１０の筐体に設置され、その周囲から到来する音を収音する。収音部１０５は、例えば、マイクロホンである。収音部１０５は、収音した音を示す音響データを生成し、生成した音響データを制御部１０１に出力する。
操作部１０６は、ユーザの手、指の動きによる操作を検出し、検出した操作を示す操作信号を制御部１０１に出力する。操作部１０６は、例えば、タッチセンサ、赤外線深度センサなどである。The
The
電源１０７は、調理支援装置１０の各部の動作に要する電力の供給元である。電源１０７は、例えば、バッテリである。
電源制御部１０８は、電源１０７から供給される電力を上記の各機能部に供給する。
通信部１０９は、他の機器と無線で接続し、各種のデータを送信及び受信可能とする。通信部１０９は、例えば、通信モジュールである。
ＲＯＭ１１１、ＲＡＭ１１２、ＳＳＤ１１３は、それぞれ各種のデータを記憶する記憶媒体である。The
The power
The
The
次に、調理支援装置１０の機能構成の一例について説明する。
図３は、本実施形態に係る調理支援装置１０の機能構成の一例を示すブロック図である。
調理支援装置１０は、提示制御部１２１、検出部１２２、通知制御部１２３、通知部１３１、及び記憶部１３２を、少なくとも備える。制御部１０１（図２）は、ＳＳＤ１１３などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、提示制御部１２１、検出部１２２、通知制御部１２３、通知部１３１、及び記憶部１３２の機能を実現してもよい。Next, an example of a functional configuration of the
FIG. 3 is a block diagram showing an example of a functional configuration of the
The
提示制御部１２１は、レシピ情報の取得及び表示を制御する。調理情報処理装置３０と接続し、レシピ情報とそのレシピ情報に対応する調理特徴情報を取得し、取得した調理特徴情報とレシピ情報を対応付けて記憶部１３２に記憶する。調理特徴情報を取得する際、提示制御部１２１は、例えば、操作部１０６（図１）から入力される操作信号で指示されるレシピ検索条件とユーザＩＤならびに認証情報を調理情報処理装置３０（後述）に送信する。レシピ検索条件として、レシピ属性データ（後述）の要素情報であるレシピ名、レシピカテゴリ、調理時間、対象人数情報などを示す語句がキーワードとして利用可能である。
ユーザＩＤは、調理支援装置１０及び調理情報生成装置２０（後述）のユーザを一意に識別する情報である。認証情報は、個々のユーザの認証に用いられる情報、例えば、パスワードである。
提示制御部１２１は、レシピ検索条件に対する応答としてレシピ検索条件に対応した１個又は複数のレシピ情報と、個々のレシピ情報に対応付けられた調理特徴情報、通知情報及びレシピ属性データを受信する。提示制御部１２１は、受信したレシピ情報毎に、レシピ情報と、そのレシピ情報に対応する調理特徴情報、通知情報及びレシピ属性データを対応付けて記憶部１３２に記憶する。The
The user ID is information for uniquely identifying the user of the
The
提示制御部１２１は、受信したレシピ情報に係るレシピ属性データを用いて、個々のレシピ情報を示すレシピリストを生成する。提示制御部１２１は、生成したレシピリストを表示部１０２に出力する。これにより、提示制御部１２１は、表示部１０２にレシピリストを表示させることができる。
提示制御部１２１は、レシピリストに表示されたレシピ情報のうち、操作部１０６から入力される操作信号で指示されるレシピ情報を選択し、選択したレシピ情報を表示部１０２に出力する。表示部１０２は、提示制御部１２１から入力されたレシピ情報を表示する。レシピ情報は、調理の一部又は全部の工程を順次示すレシピ映像（動画）、一部の工程又は全部の工程を示すレシピ記事（静止画像、テキスト）などのいずれであってもよい。The
The
検出部１２２は、撮像部１０４から入力される映像データが示す映像について公知の画像認識処理を行って調理対象の映像を示すストリーム（以下、「調理対象映像ストリーム」と呼ぶ）を検出する。検出部１２２は、例えば、映像を構成する各フレームの画像から被写体毎の特徴を示す画像特徴量を解析する。被写体の特徴を示す画像特徴量として、例えば、形状を示す輪郭情報、色を示す色信号値のいずれか、またはその組が利用可能である。検出部１２２は、解析した映像特徴量と予め記憶部１３２に記憶させておいた調理対象の候補（以下、「調理対象候補」と呼ぶ）毎の画像特徴量とを比較する。調理対象候補となる食材は、レシピ情報毎に予め定められ、その画像特徴量とレシピ情報が予め対応付けられてもよい。検出部１２２は、画像特徴量を比較する際、両者の類似度を示す指標値として、例えば、内積、差分二乗和、尤度などを算出する。内積、尤度は、それぞれの値が大きいほど類似度が高いことを示す指標値である。差分二乗和は、その値が小さいほど類似度が高いことを示す指標値である。検出部１２２は、調理対象候補のうち最も類似度が高く、かつ、その最も高い類似度が所定の第１の類似度の閾値よりも高い調理対象候補を調理対象として特定する。検出部１２２は、各フレームの画像から調理対象として特定した部分の画像特徴量を順次取得し、取得した画像特徴量からなる調理対象映像ストリームを通知制御部１２３に出力する。 The
通知制御部１２３は、検出部１２２から入力された調理対象映像ストリームが示すフレーム毎の画像特徴量と、提示制御部１２１が提示させているレシピ情報と対応付けて記憶部１３２に予め記憶された調理特徴情報の画像特徴量とを比較し、両者が適合（マッチ）するか否かを判定する。通知制御部１２３は、フレーム毎の画像特徴量と調理特徴情報の画像特徴量との類似度を示す指標値を算出し、算出した指標値が示す類似度が所定の第２の類似度の閾値よりも高いとき両者が適合すると判定し、算出した指標値が示す類似度が所定の第２の類似度の閾値以下であるとき両者が適合しないと判定する。第２の類似度の閾値は、第１の類似度の閾値よりも高い類似度を示す指標値であればよい。これにより、調理対象の検出漏れを防止するとともに、映像による調理対象の外観の状態が所定の状態になることを的確に判定できる。また、画像特徴量が適合するか否かの判定において、調理対象の特定に用いられ一部の画像特徴量、例えば、色信号値が用いられてもよいし、調理対象の特定に用いられた画像特徴量と異なる種別の画像特徴量が用いられてもよい。通知制御部１２３は、適合すると判定するとき、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。これにより、通知制御部１２３は、調理行動の助言を表す通知を通知部１３１に行わせることができる。 The
通知部１３１は、通知制御部１２３から通知情報が入力されるとき、入力された通知情報を表示部１０２に出力する。従って、通知部１３１は、表示部１０２を介して調理行動の助言を表す通知を行うことができる。調理行動の助言とは、画像特徴量によって表される調理対象の状態に応じて調理に役立つ行動を示す情報であればよく、その通知は、映像（動画）、静止画、テキストもしくはそれらの組み合わせのいずれでなされてもよい。また、通知情報の一部又は全部が音声データで表されている場合には、通知部１３１は、その音声データを再生部１０３に出力してもよい。 When the notification information is input from the
なお、検出部１２２は、収音部１０５（図２）から入力される音響データが示す音について公知の音声認識処理を行って調理対象の音を示すストリーム（以下、「調理対象音響ストリーム」と呼ぶ）を検出してもよい。検出部１２２は、例えば、所定期間毎の音響データから音響特徴量を算出する。音響特徴量として、例えば、その音色を示す音響特徴量としてスペクトル、ケプストラムのいずれか、またはその組が利用可能である。検出部１２２は、算出した音響特徴量と予め記憶部１３２に記憶させておいた調理対象候補毎の音響特徴量との類似度を示す指標値を算出する。調理対象候補となる食材は、レシピ情報毎に予め定められていてもよい。検出部１２２は、調理対象候補のうち最も類似度が高く、かつ、その最も高い類似度が所定の類似度の閾値よりも高い調理対象候補を調理対象として特定する。検出部１２２は、調理対象を特定した期間内に順次取得された音響特徴量からなる調理対象音響ストリームを形成し、形成した調理対象音響ストリームを通知制御部１２３に出力する。 Note that the
通知制御部１２３は、検出部１２２から入力された調理対象音響ストリームが示す音響特徴量と、記憶部１３２にレシピ情報と対応付けて予め記憶された調理特徴情報の音響特徴量とを比較し、両者が適合するか否かを判定する。このレシピ情報は、提示制御部１２１が提示させているレシピ情報である。通知制御部１２３は、期間毎の音響特徴量と調理特徴情報の音響特徴量との類似度を示す指標値を算出し、算出した指標値が示す類似度が所定の第２の類似度の閾値よりも高いとき両者が適合すると判定し、算出した指標値が示す類似度が所定の第２の類似度の閾値以下であるとき両者が適合しないと判定する。この場合も、第２の類似度の閾値は、第１の類似度の閾値よりも高い類似度を示す指標値であればよい。これにより、調理対象の検出漏れを防止するとともに、音による調理対象の状態が所定の状態になることを的確に判定できる。通知制御部１２３は、適合すると判定するとき、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。
記憶部１３２は、各種の処理に用いるデータを記憶する。記憶部１３２は、上述したように、レシピ情報、調理特徴情報、レシピ属性データ及び通知情報を対応付けて記憶する。The
The
図４は、本実施形態に係るレシピ映像データの一例を示す図である。レシピ映像データは、レシピ情報の一形態であるレシピ映像を示すデータである。レシピ映像は、調理における各調理工程を表す動画である。レシピ映像には、各工程の前後の食材の状態を表す画像や、調理により完成する料理の画像が含まれてもよい。
レシピ映像データは、レシピＩＤ（Identifier）と、映像ＩＤと、映像データと、を対応付けてなるデータである。
レシピＩＤは、レシピを一意に識別する情報である。映像ＩＤは、映像を一意に識別する情報である。映像データは、対応する映像ＩＤで示される映像、つまりそのレシピのレシピ映像を表すデータである。FIG. 4 is a diagram showing an example of recipe video data according to the present embodiment. The recipe video data is data indicating a recipe video that is one form of recipe information. The recipe image is a moving image representing each cooking process in cooking. The recipe image may include an image representing the state of the food before and after each process, and an image of a dish completed by cooking.
The recipe video data is data in which a recipe ID (Identifier), a video ID, and video data are associated with each other.
The recipe ID is information for uniquely identifying a recipe. The video ID is information that uniquely identifies a video. The video data is a video represented by the corresponding video ID, that is, data representing a recipe video of the recipe.
図５は、本実施形態に係るレシピ属性データの一例を示す図である。レシピ属性データは、レシピ情報の属性を示すデータである。レシピ属性データは、レシピＩＤと、料理ＩＤと、レシピ名情報と、対象人数情報と、レシピ投稿者情報と、レシピ登録日時情報と、料理画像情報と、投稿者コメント情報と、調理時間情報と、レシピカテゴリ情報と、を対応付けてなるデータである。 FIG. 5 is a diagram showing an example of recipe attribute data according to the present embodiment. The recipe attribute data is data indicating an attribute of recipe information. The recipe attribute data includes recipe ID, dish ID, recipe name information, target number information, recipe poster information, recipe registration date information, cooking image information, poster comment information, cooking time information, and the like. , And recipe category information.
料理ＩＤは、料理を一意に識別する情報である。
レシピ名情報は、レシピの名称を示す情報である。レシピの名称には、レシピに基づいて作成される料理の名称、調理に用いられる食材の名称の一方又は両方が含まれてもよい。
対象人数情報は、レシピが示す料理の分量を示す情報である。対象人数情報には、例えば、１人分、２−３人分、等の情報が記述される。
レシピ投稿者情報は、レシピの投稿者（作成者）を示す情報である。レシピ投稿者情報には、例えば、個々のユーザを識別するユーザＩＤが記述される。本明細書では、「投稿」とは、あるユーザが編集した情報を、他のユーザが参照可能にすること、即ち、その情報を公開することを意味する。「編集」とは、新規に情報を生成すること、既存の情報の一部もしくは全部を修正もしくは削除すること、又は追加することが含まれる。The cooking ID is information uniquely identifying a dish.
The recipe name information is information indicating the name of a recipe. The name of the recipe may include one or both of the name of a dish prepared based on the recipe and the name of a food used for cooking.
The target number of people information is information indicating the amount of food indicated by the recipe. In the target number-of-people information, for example, information of one person, 2-3 people, etc. is described.
The recipe poster information is information indicating a recipe poster (creator). The recipe poster information describes, for example, a user ID for identifying an individual user. As used herein, “posting” means making information edited by one user available to other users, that is, making the information public. "Editing" includes generating information newly, modifying or deleting some or all of existing information, or adding.
レシピ登録日時情報は、投稿されたレシピが登録された日時を示す情報である。
料理画像情報は、レシピに従って調理された料理の画像を示す情報である。
投稿者コメント情報は、投稿者がそのレシピに対して付したコメント（例えば、概要、背景、等）を示す情報である。
調理時間情報は、調理に要するおおよその時間を示す情報である。調理時間情報は、各調理工程に要する時間の総和を示してもよいし、別途、料理の作成に関して設定される時間が含まれてもよい。調理時間情報には、例えば、下ごしらえ、盛り付け等に要する時間が含まれてもよい。
レシピカテゴリ情報は、レシピの種別（例えば、料理の種別、費用、カロリー、目的、用途、など）を示す情報である。The recipe registration date and time information is information indicating the date and time when the posted recipe was registered.
The cooking image information is information indicating an image of a dish prepared according to the recipe.
The poster comment information is information indicating a comment (for example, an outline, a background, and the like) that the poster added to the recipe.
The cooking time information is information indicating an approximate time required for cooking. The cooking time information may indicate the total time required for each cooking step, or may separately include a time set for preparation of a dish. The cooking time information may include, for example, the time required for preparation, serving, and the like.
The recipe category information is information indicating the type of recipe (for example, the type of food, cost, calorie, purpose, use, etc.).
レシピ属性データを参照することにより、提示制御部１２１（図３）は、個々のレシピＩＤに対応付けられたレシピ情報の属性を示すレシピリストを生成することができる。また、提示制御部１２１は、レシピリストが示すレシピ情報のうち、操作信号で指示されるレシピＩＤに対応付けられた映像データを特定することができる。 By referring to the recipe attribute data, the presentation control unit 121 (FIG. 3) can generate a recipe list indicating attributes of recipe information associated with each recipe ID. Further, the
図６は、本実施形態に係る調理特徴情報と通知情報の一例を示す図である。
図６に示す例では、あるレシピ映像に係る映像ＩＤに、調理特徴情報と通知情報が対応付けられている。
調理特徴情報は、調理対象の特徴を示す情報である。調理対象として、調理に用いられる食材、もとの食材から作成された中間物、食材や中間物から作成される料理などに適用できる。調理特徴情報には、上記の画像特徴量と音響特徴量のいずれか一方又は両方が含まれる。画像特徴量として、例えば、特定の調理行動をとるべき状態において調理対象の外観として表れる画像の特徴として、特定の色を示す色信号値が用いられる。つまり、その調理行動を行うべきタイミングに出現する画像の特徴を示す画像特徴量が調理特徴情報として含まれる。音響特徴量として、例えば、特定の調理行動をとるべき状態において発される音の特徴として、特定の音色を示すスペクトルもしくはケプストラムが用いられてもよい。つまり、その調理行動を行うべきタイミングに出現する音の特徴を示す音響特徴量が調理特徴情報として含まれる。
通知情報は、ある調理工程において、その調理特徴情報に適合する特徴情報が検出される時点において、とるべき調理行動に関する助言を表す情報である。FIG. 6 is a diagram showing an example of cooking feature information and notification information according to the present embodiment.
In the example shown in FIG. 6, cooking feature information and notification information are associated with a video image ID related to a certain recipe video.
The cooking feature information is information indicating the feature of the cooking target. It can apply to the foodstuff used for cooking, the intermediate created from the original foodstuff, and the food etc. which are created from an foodstuff and an intermediate as cooking object. The cooking feature information includes one or both of the image feature amount and the acoustic feature amount described above. As an image feature amount, for example, a color signal value indicating a specific color is used as a feature of an image appearing as an appearance of a cooking object in a state where a specific cooking action is to be taken. That is, the image feature amount indicating the feature of the image appearing at the timing when the cooking action should be performed is included as the cooking feature information. As an acoustic feature, for example, a spectrum or cepstrum indicating a specific timbre may be used as a feature of sound emitted in a state where a specific cooking action is to be taken. That is, the acoustic feature quantity which shows the feature of the sound which appears at the timing which should perform the cooking action is contained as cooking feature information.
The notification information is information representing advice on cooking behavior to be taken when feature information matching the cooking feature information is detected in a certain cooking process.
調理特徴情報を参照することにより、通知制御部１２３（図３）は、調理対象映像ストリーム又は調理対象音響ストリームが示す特徴情報と比較して、いずれかの調理特徴情報に適合する特徴情報を検出することができる。また、通知制御部１２３は、検出した特徴情報に適合する調理特徴情報に対応付けられた通知情報を通知部１３１（図３）に通知させることができる。
例えば、天ぷらの作成を示すレシピに係る調理特徴情報として、天ぷらを表す部分の色として茶褐色を示す色信号値と、天ぷらの鍋からの引き上げを助言として示す通知情報が記憶部１３２（図３）に対応付けて記憶されている場合を仮定する。通知制御部１２３が、天ぷらを揚げる工程を表す映像の映像データから得られた天ぷらを表す部分の色信号値で示される色が茶褐色となるとき、その調理特徴情報と適合すると判定し、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２（図２）を介して、天ぷらの鍋からの引き上げをユーザに通知することができる。By referring to the cooking characteristic information, the notification control unit 123 (FIG. 3) detects the characteristic information that matches any of the cooking characteristic information, as compared with the characteristic information indicated by the cooking target video stream or the cooking target acoustic stream. can do. Further, the
For example, as cooking feature information relating to a recipe indicating creation of tempura, a color signal value indicating brown as the color of a portion representing tempura, and notification information indicating as pulling up from the pan of the tempura as an advice are storage units 132 (FIG. 3) It is assumed that it is stored in association with. When the color indicated by the color signal value of the portion representing the tempura obtained from the image data of the image representing the step of frying the tempura turns out to be brown, the
なお、図６に示す例では、調理特徴情報と通知情報が映像ＩＤに直接対応付けられ、レシピＩＤに間接的に対応付けられているが、レシピＩＤに直接対応付けられてもよい。
また、調理特徴情報には、１フレームの画像の画像特徴量に限られず、互いに異なる時点の複数のフレームの画像の画像特徴量が含まれてもよい。通知制御部１２３は、調理特徴情報に含まれる各時点の画像特徴量と、フレーム毎に入力される調理対象映像ストリームに含まれる画像特徴量とを比較し、適合するか否かを判定してもよい。そして、通知制御部１２３は、各フレームいずれも画像特徴量が適合すると判定するとき、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知情報には、複数のフレームのうち、最後の時点においてとるべき調理行動に関する助言を表す情報が含まれればよい。
これにより、通知制御部１２３は、調理対象映像ストリームから調理対象の特徴において特定の変化を検出するとき、通知部１３１にその変化に応じた通知を行わせることができる。In the example illustrated in FIG. 6, the cooking feature information and the notification information are directly associated with the video ID and indirectly associated with the recipe ID, but may be directly associated with the recipe ID.
Further, the cooking feature information is not limited to the image feature amount of the image of one frame, and may include the image feature amounts of the images of a plurality of frames at different points in time. The
Thus, when detecting a specific change in the feature of the cooking object from the cooking target video stream, the
例えば、調理特徴情報に、例えば、天ぷらの作成を示すレシピに係る調理特徴情報に、揚げる工程の初期における天ぷらを表す部分の色として黄色を示す色信号値と、揚げる工程の終期における天ぷらを表す部分の色として茶褐色を示す色信号値とが含まれる場合を仮定する。通知制御部１２３が、天ぷらを揚げる工程の場面を撮像した映像の映像データから得られた天ぷらを表す部分の色信号値で示される色が黄色から茶褐色となるとき、その調理特徴情報と適合すると判定する。そして、通知制御部１２３は、調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２を介して、天ぷらの鍋からの引き上げをユーザに通知することができる。
このようにして、調理工程における調理対象の特徴の変化が検出されるとき、調理対象の状態の変化に応じた調理行動の助言がユーザに通知される。For example, in the cooking feature information, for example, in the cooking feature information according to the recipe indicating the creation of tempura, a color signal value indicating yellow as a color of a portion representing the tempura in the initial stage of the frying step; It is assumed that the color of the portion includes a color signal value indicating brown. When the color indicated by the color signal value of the portion representing the tempura obtained from the video data of the image obtained by imaging the scene of the step of fried tempura changes from yellow to brown when the
In this manner, when a change in the feature of the cooking target in the cooking process is detected, the user is notified of advice on cooking behavior according to the change in the state of the cooking target.
なお、調理特徴情報には、複数の互いに異なる期間の音響特徴量が含まれてもよい。通知制御部１２３は、調理特徴情報に含まれる各期間内の音響特徴量と、入力される調理対象映像ストリームに含まれる音響特徴量とを比較し、適合するか否かを判定してもよい。そして、通知制御部１２３は、音響特徴量が適合すると判定する期間について、その期間に調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知情報には、適合すると判定した複数の期間のうち、少なくとも最後の期間の終了時においてとるべき調理行動に関する助言を表す情報が含まれればよい。 The cooking feature information may include acoustic feature quantities of a plurality of different periods. The
例えば、焼き餃子の作成を示すレシピに係る調理特徴情報として、蒸し焼きの工程の初期において餃子から発される音の第１の音響特徴量と、その工程の終期において餃子から発される音の第２の音響特徴量を含む調理特徴情報が記憶部１３２に対応付けて記憶されている場合を仮定する。また、記憶部１３２には、鍋からの蓋の開放と蒸し焼きの工程の停止を助言として示す通知情報が調理特徴情報と対応付けて記憶されているものとする。第１の音響特徴量、第２の音響特徴量は、それぞれ「ジュウジュウ」という音色を示す第１のスペクトル、「パチパチ」という音色を示す第２のスペクトルである。通知制御部１２３が、餃子の蒸し焼きの工程において収録された音を表す音響データから得られたスペクトルが「ジュウジュウ」という音色を示すスペクトルから「パチパチ」という音色を示すスペクトルとなるとき、その調理特徴情報と適合すると判定する。その後、通知制御部１２３は、適合すると判定した調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。通知部１３１は、表示部１０２を介して、鍋を覆う蓋の開放と蒸し焼きの工程の停止を助言としてユーザに通知することができる。 For example, as cooking feature information relating to a recipe indicating creation of baked gyoza, the first acoustic feature value of the sound emitted from the gyoza in the early stage of the steaming process and the first acoustic feature of the sound emitted from the gyoza at the end of the process It is assumed that cooking feature information including two acoustic features is stored in association with the
なお、調理特徴情報と通知情報は、レシピ情報が示す調理工程毎に対応付けられてもよい。例えば、複数の調理工程を示すレシピ映像について、各調理工程の工程ＩＤと、調理特徴情報と通知情報とが対応付けられてもよい。
図７は、本実施形態に係るレシピ映像構成データの一例を示す図である。
レシピ映像構成データは、複数の調理工程を示すレシピ映像の構成を示すデータである。レシピ映像構成データは、複数の工程ＩＤと、工程ＩＤと同じ数の開始時刻情報とを含んで構成される。個々の工程ＩＤは、それぞれ開始時刻情報と対応付けられている。
工程ＩＤは、調理工程を一意に識別する情報である。
開始時刻情報は、調理工程を表す区間の開始時刻を示す情報である。開始時刻は、レシピ映像全体の冒頭から、その調理工程を表す区間の冒頭までの経過時間に相当する。The cooking feature information and the notification information may be associated with each cooking process indicated by the recipe information. For example, with respect to recipe images indicating a plurality of cooking processes, the process ID of each cooking process, the cooking feature information, and the notification information may be associated with each other.
FIG. 7 is a diagram showing an example of recipe image configuration data according to the present embodiment.
The recipe image configuration data is data indicating the configuration of a recipe image showing a plurality of cooking steps. The recipe image configuration data is configured to include a plurality of process IDs and start time information of the same number as the process IDs. Each process ID is respectively matched with start time information.
Process ID is information which identifies a cooking process uniquely.
Start time information is information which shows the start time of the section showing a cooking process. The start time corresponds to the elapsed time from the beginning of the entire recipe image to the beginning of the section representing the cooking process.
図８は、本実施形態に係る調理特徴情報と通知情報の他の例を示す図である。
図８に示す例では、１つの工程ＩＤに調理特徴情報と通知情報とが対応付けられている。記憶部１３２には、調理工程毎に、その調理工程の工程ＩＤに調理特徴情報と通知情報を対応付けて記憶される。FIG. 8 is a diagram showing another example of the cooking feature information and the notification information according to the present embodiment.
In the example shown in FIG. 8, the cooking feature information and the notification information are associated with one process ID. In the
調理工程毎に記憶された調理特徴情報を参照することにより、通知制御部１２３（図３）は、調理対象映像ストリーム又は調理対象音響ストリームが示す特徴情報と比較して、調理工程毎の調理特徴情報に適合する特徴情報を検出したか否かを監視することができる。そして、通知制御部１２３は、検出した特徴情報に適合する調理特徴情報に対応付けられた通知情報を記憶部１３２（図３）から読み出し、読み出した通知情報を通知部１３１に出力する。言い換えれば、通知制御部１２３は、通知部１３１（図３）に所定の特徴情報を検出した調理工程に係る通知を行わせることができる。
例えば、通知制御部１２３が、調理対象映像ストリームが示す特徴情報として天ぷらを表す部分の色信号値が、天ぷらの作成に係る複数の調理工程のそれぞれに係る調理特徴情報と適合するか否かを判定する。そして、通知制御部１２３は、色信号値で示される色が茶褐色であるとき揚げる工程に係る調理特徴情報と適合すると判定し、適合すると判定した揚げる工程に係る調理特徴情報に対応付けられた通知情報を通知部１３１に出力する。これにより、通知部１３１は、その調理工程に係る助言を表す通知として鍋からの天ぷらの引き上げを助言としてユーザに通知することができる。By referring to the cooking feature information stored for each cooking process, the notification control unit 123 (FIG. 3) compares the cooking information for each cooking process with the feature information indicated by the video stream to be cooked or the acoustic stream to be cooked. It can be monitored whether or not feature information matching the information has been detected. Then, the
For example, the
なお、図６、図８は、レシピ映像もしくは調理工程毎に１つの調理特徴情報と通知情報が対応付けられている場合を例にしたが、これには限られない。レシピ映像もしくは調理工程毎に複数の調理特徴情報と通知情報の組が対応付けられてもよい。その場合には、通知制御部１２３は、複数の調理特徴情報と調理対象映像ストリームもしくは調理対象音響ストリームが示す特徴情報に適合するか否かを判定し、適合すると判定した特徴情報に対応する通知情報を通知部１３１に出力してもよい。
また、複数の調理特徴情報に対応付けられる通知情報の一部又は全部である複数の通知情報は互いに同一であってもよいし、異なっていてもよい。また、複数の調理工程のうち全部の調理工程について調理特徴情報と通知情報が対応付けられていなくてもよい。
また、調理特徴情報と通知情報は、レシピ映像もしくはレシピ映像の一部としての調理工程に限らず、他の形態のレシピ情報、例えば、静止画で表される１個又は複数のレシピ情報に対応付けられてもよい。In addition, although FIG. 6, FIG. 8 made the example the case where one cooking characteristic information and notification information are matched for every recipe image or a cooking process, it is not restricted to this. A plurality of sets of cooking feature information and notification information may be associated with each recipe image or cooking process. In that case, the
In addition, a plurality of pieces of notification information that is a part or all of pieces of notification information associated with a plurality of pieces of cooking characteristic information may be the same as or different from each other. In addition, the cooking characteristic information and the notification information may not be associated with all the cooking processes among the plurality of cooking processes.
In addition, the cooking feature information and the notification information are not limited to the recipe image or the cooking process as a part of the recipe image, and correspond to other forms of recipe information, for example, one or more recipe information represented by a still image It may be attached.
（調理支援処理）
次に、本実施形態に係る調理支援処理の一例について説明する。
図９は、本実施形態に係る調理支援処理の一例を示すフローチャートである。
（ステップＳ１０２）提示制御部１２１は、操作部１０６が受け付けた操作に応じて指示されるレシピ検索条件に適合したレシピ情報と、そのレシピ情報に対応する調理特徴情報、通知情報及びレシピ属性データを受信する。提示制御部１２１は、受信したレシピ情報、調理特徴情報、通知情報及びレシピ属性データを対応付けて記憶部１３２に記憶する。
提示制御部１２１は、操作部１０６が受け付けた操作に応じて選択したレシピ情報を表示部１０２に表示させる。その後、ステップＳ１０４の処理に進む。ユーザが表示されたレシピ情報を参照しながら調理を行うとき、撮像部１０４は調理対象を被写体とする映像を撮像する。(Cooking support processing)
Next, an example of the cooking assistance processing according to the present embodiment will be described.
FIG. 9 is a flowchart showing an example of the cooking support processing according to the present embodiment.
(Step S102) The
The
（ステップＳ１０４）検出部１２２は、撮像部１０４が撮像した映像について画像認識処理を行って調理対象映像ストリームを検出し、通知制御部１２３に出力する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）通知制御部１２３は、調理対象映像ストリームが示す特徴情報と、レシピ情報と対応付けられた調理特徴情報が示す特定の特徴情報とを比較し、両者が適合するか否か、即ち特定の特徴情報を検出したか否かを判定する。特定の特徴情報を検出したと判定するとき（ステップＳ１０６ ＹＥＳ）、ステップＳ１０８の処理に進む。特定の特徴情報を検出していないと判定するとき（ステップＳ１０６ ＮＯ）、ステップＳ１１０の処理に進む。(Step S104) The
(Step S106) The
（ステップＳ１０８）通知制御部１２３は、適合すると判定した特徴情報に対応する通知情報を記憶部１３２から読み出し、読み出した通知情報を通知部１３１に出力する。通知部１３１は、通知制御部１２３から入力される通知情報に基づいて調理行動に係る助言をユーザに表示部１０２を介して通知する。その後、ステップＳ１１０の処理に進む。
（ステップＳ１１０）通知制御部１２３は、操作部１０６が受け付けた操作に応じて終了が指示されたか否かを判定する。終了が指示されたとき（ステップＳ１１０ ＹＥＳ）、図９に示す処理を終了する。終了が指示されていないとき（ステップＳ１１０ ＮＯ）、ステップＳ１０４に戻り、以降のステップの処理を繰り返す。(Step S108) The
(Step S110) The
なお、ステップＳ１０４において、収音部１０５は、調理対象から発される音を収音してもよい。その場合、検出部１２２は、収音部１０５が収音した音について音声認識処理を行って調理対象音響ストリームを検出し、通知制御部１２３に出力する。ステップＳ１０６において特定の特徴情報を検出したか否かを判定する際、通知制御部１２３は、調理対象音響ストリームが示す特徴情報と、レシピ情報と対応付けられた調理特徴情報が示す特定の特徴情報とを比較して両者が適合するか否かを判定してもよい。 In step S104, the
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態と同一の構成については、同一の符号を付してその説明を援用する。
本実施形態に係る調理支援システム１（図１４）は、調理支援装置１０と、調理情報生成装置２０と、調理情報処理装置３０と、を含んで構成される。Second Embodiment
Next, a second embodiment of the present invention will be described. About the same composition as a 1st embodiment, the same numerals are attached and the explanation is used.
The cooking assistance system 1 (FIG. 14) which concerns on this embodiment is comprised including the
〔調理情報生成装置〕
まず、本実施形態に係る調理情報生成装置２０について説明する。調理情報生成装置２０は、あるレシピに従って行われている調理において調理対象を被写体とする映像から調理対象映像ストリームを検出する。調理情報生成装置２０は、その調理対象から発される音を収音し、収音した音から調理対象音響ストリームを検出してもよい。ユーザは被写体の状況を観察しながら所定の調理行動を行うべきタイミングを判定し、調理情報生成装置２０に対してそのタイミングを指示するための操作を行う。調理情報生成装置２０は、検出した調理対象映像ストリーム又は調理対象音響ストリームから操作に応じて特定されたタイミングにおける特徴情報を抽出し、抽出した特徴情報を調理特徴情報として、そのレシピを示すレシピ情報と対応付けて記憶する。調理情報生成装置２０は、操作に応じて特定されたタイミングにおいてとるべき調理行動の助言を示す通知情報を編集し、編集により得られた通知情報を調理特徴情報と対応付けて記憶してもよい。調理情報生成装置２０は、そのレシピを示すレシピ情報と、抽出した調理特徴情報と、編集により得られた通知情報を対応付けて調理情報処理装置３０に送信（投稿）してもよい。[Cooking information generation device]
First, the cooking
次に、本実施形態に係る調理情報生成装置２０の構成例について説明する。
図１０は、本実施形態に係る調理情報生成装置２０のハードウェア構成の一例を示すブロック図である。
調理情報生成装置２０は、制御部２０１、表示部２０２、再生部２０３、撮像部２０４、収音部２０５、操作部２０６、電源２０７、電源制御部２０８、通信部２０９、ＲＯＭ２１１、ＲＡＭ２１２、及びＳＳＤ２１３を備え、それらの機能部が筐体に収納されている。
制御部２０１、表示部２０２、再生部２０３、撮像部２０４、収音部２０５、操作部２０６、電源２０７、電源制御部２０８、通信部２０９、ＲＯＭ２１１、ＲＡＭ２１２、及びＳＳＤ２１３は、調理支援装置１０（図２）の制御部１０１、表示部１０２、再生部１０３、撮像部１０４、収音部１０５、操作部１０６、電源１０７、電源制御部１０８、通信部１０９、ＲＯＭ１１１、ＲＡＭ１１２、及びＳＳＤ１１３とそれぞれ同様であってもよい。調理情報生成装置２０の各機能部の説明について、調理支援装置１０の対応する機能部の説明を援用する。Next, a configuration example of the cooking
FIG. 10 is a block diagram showing an example of the hardware configuration of the cooking
The cooking
The
次に、調理情報生成装置２０の機能構成の一例について説明する。
図１１は、本実施形態に係る調理情報生成装置２０の機能構成の一例を示すブロック図である。
調理情報生成装置２０は、提示制御部２２１、検出部２２２、抽出制御部２２４、通知情報編集部２２５、投稿制御部２２６、記憶部２３２を、少なくとも備える。制御部２０１（図１０）は、ＳＳＤ２１３（図１０）などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、提示制御部２２１、検出部２２２、抽出制御部２２４、通知情報編集部２２５、投稿制御部２２６、及び記憶部２３２の機能を実現してもよい。Next, an example of a functional configuration of the cooking
FIG. 11 is a block diagram showing an example of a functional configuration of the cooking
The cooking
提示制御部２２１は、提示制御部１２１（図３）と同様の手法でレシピ情報の取得及び表示を制御する。提示制御部２２１は、例えば、操作部２０６（図１０）から入力される操作信号で指示されるレシピ情報として選択したレシピ映像を表示部２０２（図１０）に出力する。選択したレシピ映像に音響データが付加されている場合には、提示制御部２２１は、その音響データを再生部２０３（図１０）に出力してもよい。但し、本実施形態では、提示制御部２２１がレシピ情報を取得した時点では、（その既存の）レシピ情報に対応する調理特徴情報と通知情報が存在していなくてもよい。また、本実施形態では、既存のレシピ映像に対応する調理特徴情報と通知情報を生成する際、提示制御部２２１は、表示部２０２にレシピ映像を出力するとき、そのレシピ映像を検出部２２２に並行して出力する。ユーザは、表示部２０２に表示されるレシピ映像を見ながら調理を行うことができる。 The
検出部２２２は、提示制御部２２１から既存のレシピ映像が入力されるとき、入力されるレシピ映像から調理対象映像ストリームを検出する。調理対象映像ストリームを検出する手法は、検出部１２２（図３）が撮像部１０４（図３）から入力される映像データから調理対象映像ストリームを検出する手法と同様であってよい。
検出部２２２は、検出部１２２（図３）と同様の手法を用いて撮像部２０４（図１０）から入力される映像データから調理対象映像ストリームを検出してもよいし、収音部２０５から入力される音響データから調理対象音響ストリームを検出してもよい。
検出部２２２は、検出した調理対象映像ストリームを抽出制御部２２４に出力する。また、検出部２２２は、検出した調理対象音響ストリームを抽出制御部２２４に出力する。
検出部２２２は、撮像部２０４から入力される映像データを新たに投稿しようとするレシピ映像として採用し、検出した調理対象ストリームを抽出制御部２２４に出力してもよい。その場合、記憶部２３２は、撮像部２０４から入力される映像データをレシピ映像として記憶する。When the existing recipe video is input from the
The
The
The
抽出制御部２２４は、検出部２２２が検出した調理対象映像ストリーム又は調理対象音響ストリームに係るレシピ情報について、操作部２０６から入力される操作信号に基づいて指示される時点における調理特徴情報を抽出する。
抽出制御部２２４は、例えば、調理対象映像ストリームが検出部２２２から入力され、かつ特徴情報の抽出を示す操作信号が操作部２０６から入力されるとき、その時点におけるフレームの画像特徴量を調理対象映像ストリームから抽出する。操作信号が時刻を示す信号である場合には、抽出制御部２２４は、操作信号が示す時刻を抽出時刻として特定し、抽出時刻におけるフレームの画像特徴量を調理対象映像ストリームから抽出してもよい。抽出制御部２２４は、抽出した画像特徴量を調理特徴情報としてレシピ映像と対応付けて記憶部２３２に記憶する。
抽出制御部２２４は、調理対象音響ストリームが検出部２２２から入力され、かつ特徴情報の抽出を示す操作信号が操作部２０６から入力されるとき、その時点を含む期間の音響特徴量を調理対象映像ストリームから抽出する。操作信号が抽出時刻を示す信号である場合には、抽出制御部２２４は、操作信号が示す抽出時刻を含む期間の音響特徴量を調理対象映像ストリームから抽出してもよい。抽出制御部２２４は、抽出した音響特徴量を調理特徴情報としてレシピ映像と対応付けて記憶部２３２に記憶する。The
For example, when an image signal to be cooked is input from the
When the cooking target acoustic stream is input from the
なお、抽出制御部２２４は、調理特徴情報を抽出した時刻を抽出時刻として特定し、特定した抽出時刻を示す抽出時刻情報、もしくは操作信号が示す抽出時刻を示す抽出時刻情報を調理特徴情報と対応付けて記憶部２３２に記憶してもよい。抽出時刻は、その時点における時刻に限られず、レシピ映像の冒頭からの経過時間で表された時刻であってもよい。
また、レシピ情報が複数の調理工程を示すレシピ映像であって、記憶部２３２にレシピ映像構成データが記憶されている場合には、抽出制御部２２４は、レシピ映像構成データを参照して、特定した抽出時刻が属する調理工程を特定し、特定した調理工程と対応付けて調理特徴情報を記憶部２３２に記憶してもよい。
調理特徴情報の抽出に係るレシピ情報は、提示制御部２２１が取得したレシピ情報（レシピ映像を含む）であってもよいし、撮像部２０４が撮像した映像、即ち、新たに投稿しようとするレシピ映像であってもよい。The
In addition, when the recipe information is a recipe image indicating a plurality of cooking steps, and the recipe image configuration data is stored in the
The recipe information related to the extraction of the cooking characteristic information may be recipe information (including a recipe image) acquired by the
通知情報編集部２２５は、操作部２０６（図１０）から入力される操作信号に基づいて特定されたタイミングにおいて行うべき調理行動の助言を示す通知情報を編集し、編集により得られた通知情報を調理特徴情報と対応付けて記憶部２３２に記憶する。
通知情報を編集する際、通知情報編集部２２５は、例えば、編集画面を示す編集画面データを生成し、生成した編集画面データを表示部２０２に出力してもよい。編集画面には、例えば、操作により入力されるテキストを表示する入力欄と、レシピ映像を表す表示欄が含まれる。通知情報編集部２２５は、調理特徴情報と対応付けて記憶された抽出時刻情報を参照し、抽出時刻を含む所定の長さ（例えば、５〜１０秒）の区間のレシピ映像の表示領域を表示欄に配置する。よって、ユーザは、抽出時刻又はその前後の区間内のレシピ映像を見ながら通知情報を編集することができる。
なお、調理工程と対応付けて調理特徴情報が記憶部２３２に記憶されている場合には、通知情報編集部２２５は、その調理特徴情報に対応する通知情報を編集し、編集により得られた通知情報を、その調理特徴情報に対応付けて記憶部２３２に記憶してもよい。The notification
When editing the notification information, for example, the notification
When the cooking feature information is stored in the
投稿制御部２２６は、レシピ情報に対応付けて記憶された調理特徴情報を投稿する。
調理特徴情報を投稿する際、投稿制御部２２６は、例えば、次に説明する処理を行う。操作部２０６から投稿要求を示す操作信号が入力されるとき、投稿制御部２２６は、投稿要求信号を調理情報処理装置３０（図１４）に送信する。投稿制御部２２６は、投稿要求信号に対する応答として投稿画面データを調理情報処理装置３０から受信する。投稿制御部２２６は、投稿画面データを表示部２０２に出力し投稿画面を表示する。投稿画面には、例えば、投稿を案内するためのメッセージ、投稿対象とする調理特徴情報に係る既存のレシピ情報を特定する情報を入力及び表示するための入力欄、投稿を指示するための投稿ボタンが含まれる。レシピ情報を特定する情報として、例えば、レシピＩＤ、レシピ名、そのレシピ映像の映像ＩＤのいずれも利用可能である。The
When posting the cooking feature information, the posting
投稿制御部２２６は、投稿ボタンの押下を検出するとき、入力欄に表示させている情報に係るレシピ情報と対応付けられた調理特徴情報及び通知情報を記憶部２３２から読み出す。ここで、「押下」とは、現実の押下に限られず、その表示領域内の座標を指示する操作信号が入力されるという意味を含む。投稿制御部２２６は、読み出した調理特徴情報と、通知情報と、そのレシピ情報に係るレシピＩＤもしくは映像ＩＤと、ユーザＩＤならびに認証情報と対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。
なお、既存のレシピ映像に係る調理工程毎に調理特徴情報と通知情報が対応付けられている場合には、投稿制御部２２６は、レシピＩＤもしくは映像ＩＤに、レシピ映像に係る調理工程の工程ＩＤを対応付けるとともに、さらに個々の調理工程の工程ＩＤに調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。When the
When the cooking characteristic information and the notification information are associated with each cooking process related to the existing recipe image, the
なお、新たなレシピ情報として撮像部２０４が生成した映像データを投稿する場合には、投稿制御部２２６は、操作部２０６から入力される操作信号に基づいてレシピ属性データを生成する。新たに生成されるレシピ属性データの要素として、レシピ名、対象人数情報、調理時間情報、投稿者コメント、調理時間情報及びレシピカテゴリのいずれか又はそれらの組が含まれる。この要素の入力を促すため、投稿画面データの入力欄には、要素毎の欄が設けられ、投稿制御部２２６は、入力された要素をその欄に表示させてもよい。投稿制御部２２６は、映像データから生成された料理を表す料理画像を抽出し、抽出した料理画像をレシピ属性データに含めてもよい。投稿制御部２２６は、撮像部２０４から入力されるレシピ映像、調理特徴情報、通知情報及びレシピ属性データを対応付けてなる投稿情報を調理情報処理装置３０に通信部２０９を介して送信する。
なお、新たなレシピ情報としての映像データが複数の調理工程を表すレシピ映像である場合には、投稿制御部２２６は、各調理工程の開始時刻情報を含むレシピ映像構成データをさらに生成する。そして、投稿制御部２２６は、レシピ映像、レシピ属性データ、レシピ映像構成データ、及び個々の調理工程に対応する調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報処理装置３０に送信（投稿）する。When posting video data generated by the
When the video data as new recipe information is a recipe video representing a plurality of cooking processes, the
〔調理情報処理装置〕
次に、本実施形態に係る調理情報処理装置３０について説明する。
調理情報処理装置３０は、調理情報生成装置２０（図１４）に対してレシピ情報に対応する調理特徴情報を投稿させ、調理支援装置１０（図１４）に調理特徴情報を提供する。調理情報処理装置３０は、調理支援装置１０からのレシピ検索条件の受信に応じてレシピ情報を提供する機能を備えたウェブサーバ装置として構成されてもよい。[Cooking information processing device]
Next, the cooking
The cooking
〔調理情報処理装置の構成〕
次に、本実施形態に係る調理情報処理装置３０の構成例について説明する。
図１２は、本実施形態に係る調理情報処理装置３０のハードウェア構成の一例を示すブロック図である。
調理情報処理装置３０は、制御部３０１、通信部３０９、ＲＯＭ３１１、ＲＡＭ３１２、及びＳＳＤ３１３を備え、それらの機能部が筐体に収納されている。
制御部３０１は、アプリに記述された命令で指示される処理を実行する制御デバイスを含んで構成される。制御部３０１は、例えば、ＣＰＵである。
通信部３０９は、他の機器と有線又は無線で接続し、各種のデータを送信及び受信可能とする。通信部３０９は、例えば、通信モジュールである。
ＲＯＭ３１１、ＲＡＭ３１２、ＳＳＤ３１３は、それぞれ各種のデータを記憶する記憶媒体である。[Configuration of Cooking Information Processing Apparatus]
Next, a configuration example of the cooking
FIG. 12 is a block diagram showing an example of the hardware configuration of the cooking
The cooking
The
The
The
次に、本実施形態に係る調理情報処理装置３０の機能構成の一例について説明する。
図１３は、本実施形態に係る調理情報処理装置３０の機能構成の一例を示すブロック図である。
調理情報処理装置３０は、投稿処理部３２１、情報提供部３２２、及び記憶部３３２を、少なくとも備える。制御部３０１（図１２）は、ＳＳＤ３１３などの記憶媒体に予め記憶されたアプリを読み出し、読み出したアプリに記述された命令で指示される処理を実行し、上記の各機能部の動作を制御することにより、投稿処理部３２１、情報提供部３２２、及び記憶部３３２の機能を実現してもよい。Next, an example of a functional configuration of the cooking
FIG. 13 is a block diagram showing an example of a functional configuration of the cooking
The cooking
投稿処理部３２１は、調理情報処理装置３０にアクセスした調理情報生成装置２０（図１４）にレシピ情報に対応する調理特徴情報を通知情報と対応付けて投稿させる。投稿処理部３２１は、例えば、調理情報生成装置２０から投稿要求信号を受信するとき記憶部３３２に予め記憶させておいた投稿画面データを読み出し、読み出した投稿画面データを調理情報生成装置２０に送信する。 The
投稿処理部３２１は、調理情報生成装置２０から投稿情報を受信する。投稿処理部３２１は、投稿情報からユーザＩＤと認証情報を抽出する。投稿処理部３２１は、抽出したユーザＩＤと認証情報の組と同一のユーザＩＤと認証情報の組が予め記憶部３３２に記憶されたユーザデータに含まれるか否かにより、ユーザＩＤで示されるユーザが正当なユーザであるか否かを判定する（ユーザ認証）。記憶部３３２には、ユーザ毎のユーザＩＤと認証情報を示すユーザデータを予め記憶させておく。正当なユーザと判定するとき、投稿処理部３２１は以下に説明する処理を行い、正当なユーザと判定しないとき、投稿処理部３２１は以降の処理を行わない。 The
投稿処理部３２１は、投稿情報にレシピＩＤもしくは映像ＩＤが含まれているか否かにより、受信した既存のレシピ情報に係る投稿情報であるか、新たなレシピ情報を伴う投稿情報であるかを判定する。投稿情報が既存のレシピ情報に係る投稿情報である場合、投稿処理部３２１は、投稿情報からレシピＩＤもしくは映像ＩＤ、調理特徴情報及び通知情報を抽出する。投稿処理部３２１は、抽出した調理特徴情報及び通知情報を、抽出したレシピＩＤもしくは映像ＩＤと一致するレシピＩＤもしくは映像ＩＤと対応付けて記憶部３３２に記憶する。 The
投稿情報からレシピＩＤを抽出する場合には、投稿処理部３２１は、予め記憶部３３２にレシピ情報毎に記憶されたレシピ属性データのうち、そのレシピＩＤを含むレシピ属性データを特定してもよい。また、投稿情報から映像ＩＤを抽出する場合には、投稿処理部３２１は、予め記憶部３３２にレシピ情報毎に記憶されたレシピ映像データのうち、その映像ＩＤを含むレシピ映像データを参照して、その映像ＩＤに対応付けられたレシピＩＤを特定したうえで、特定したレシピＩＤを含むレシピ属性データを特定してもよい。そして、投稿処理部３２１は、特定したレシピ属性データに含まれるレシピ投稿者情報を、投稿情報から抽出したユーザＩＤに更新してもよい。投稿処理部３２１は、レシピ登録日時を調理特徴情報及び通知情報を記憶部３３２に記憶した日時に更新してもよい。 In the case of extracting the recipe ID from the post information, the
投稿情報が新たなレシピ情報としてレシピ映像データを伴う投稿情報である場合、投稿処理部３２１は、既存のレシピＩＤとは異なる新たなレシピＩＤと、既存の映像ＩＤとは異なる新たな映像ＩＤを生成する。投稿処理部３２１は、生成したレシピＩＤと映像ＩＤと投稿情報に含まれるレシピ映像データに付加して記憶部３３２に記憶する。投稿処理部３２１は、生成したレシピＩＤ又は映像ＩＤを投稿情報に含まれる調理特徴情報と対応付けて記憶部３３２に記憶する。また、投稿処理部３２１は、生成したレシピＩＤと、投稿情報に含まれるユーザＩＤと投稿情報を受信した日時を示すレシピ登録情報を受信したレシピ属性データに付加して記憶部３３２に記憶する。よって、レシピ情報、レシピ属性データ、調理特徴情報及び通知情報は、互いに対応付けられて記憶部３３２に記憶される。 When the post information is post information accompanied by recipe video data as new recipe information, the
なお、新たなレシピ情報としての映像データが複数の調理工程を表すレシピ映像である場合には、投稿処理部３２１は、レシピ映像、レシピ属性データ、各調理工程の開始時刻情報を含むレシピ映像構成データ、及び個々の調理工程に対応する調理特徴情報と通知情報を対応付けてなる投稿情報を調理情報生成装置２０から受信する。投稿処理部３２１は、投稿情報に含まれるレシピ映像構成データが示す各調理工程について互いに異なる工程ＩＤを生成し、生成した個々の工程ＩＤとその工程の開始時刻情報の組を映像ＩＤと対応付けてレシピ映像構成データを生成して記憶部３３２に記憶する。そして、個々の工程ＩＤとその工程ＩＤの調理特徴情報と通知情報とを対応付けて記憶部３３２に記憶する。よって、記憶部３３２には、受信したレシピ映像データに、レシピ属性データ、レシピ映像構成データと、さらに個々の調理工程に対応する調理特徴情報と通知情報を対応付けて記憶される。 When the video data as new recipe information is a recipe video representing a plurality of cooking processes, the
情報提供部３２２は、レシピ情報を要求する調理支援装置１０（図１４）に対してレシピ情報と対応付けて調理特徴情報と通知情報を提供する。
情報提供部３２２は、調理特徴情報と通知情報を提供する際、例えば、次の処理を行う。情報提供部３２２は、調理支援装置１０からレシピ検索条件を受信するとき、受信したレシピ検索情報からユーザＩＤと認証情報の組を抽出する。情報提供部３２２は、抽出したユーザＩＤと認証情報の組と同一のユーザＩＤと認証情報の組が予め記憶部３３２に記憶されたユーザデータに含まれるか否かにより、ユーザＩＤで示されるユーザが正当なユーザであるか否かを判定する（ユーザ認証）。正当なユーザと判定するとき、情報提供部３２２は、以下に説明する処理を行い、正当なユーザと判定しないとき、情報提供部３２２は、以降の処理を行わない。The
The
情報提供部３２２は、記憶部３３２に予めレシピ情報毎に記憶されたレシピ属性データを参照し、受信したレシピ検索条件に適合したレシピ情報を特定する。情報提供部３２２は、例えば、レシピ検索条件として指定された語句を含む情報要素を有するレシピ属性データに対応付けられたレシピ情報を特定する。情報提供部３２２は、特定したレシピ情報と、そのレシピ情報の各々に対応付けられたレシピ属性データと、各々のレシピ情報のレシピＩＤ又は対応する映像ＩＤに対応付けられた調理特徴情報と通知情報を記憶部３３２から読み出す。情報提供部３２２は、読み出したレシピ情報、調理特徴情報、通知情報及びレシピ属性データを対応付けて調理支援装置１０に送信する。 The
なお、調理支援装置１０から受信するレシピ情報が複数の調理工程を表すレシピ映像である場合には、情報提供部３２２は、そのレシピ映像に、レシピ属性データ、各調理工程の開始時刻情報を含むレシピ映像構成データと、さらに個々の調理工程に対応する調理特徴情報と通知情報を対応付けて調理支援装置１０に送信する。 When the recipe information received from the
（調理支援処理）
次に、本実施形態に係る調理支援処理の一例について説明する。
図１４は、本実施形態に係る調理支援処理の一例を示すシーケンス図である。図１４に示す例では、調理情報生成装置２０が、撮像部２０４が新たに撮像した映像から調理対象の特徴を示す調理特徴情報を生成し、生成した調理特徴情報を撮像した映像を示す映像データをレシピ情報として対応付けて投稿する場合を例にする。(Cooking support processing)
Next, an example of the cooking assistance processing according to the present embodiment will be described.
FIG. 14 is a sequence diagram showing an example of the cooking support processing according to the present embodiment. In the example illustrated in FIG. 14, the cooking
（ステップＳ２０２）調理情報生成装置２０の検出部２２２は、撮像部２０４から入力される調理中の映像を示す映像データについて画像認識処理を行って調理対象の画像特徴量を含む調理対象映像ストリームを検出する。その後、ステップＳ２０４の処理に進む。
（ステップＳ２０４）調理情報生成装置２０の抽出制御部２２４は、検出部２２２が検出した調理対象映像ストリームから、操作部２０６から入力される操作信号に基づいて指示される時点における画像特徴量を調理特徴情報として抽出する。その後、ステップＳ２０６の処理に進む。
（ステップＳ２０６）調理情報生成装置２０の抽出制御部２２４は、抽出した調理特徴情報をレシピ情報となる映像データと対応付けて記憶部２３２に記憶する。その後、ステップＳ２０８の処理に進む。(Step S202) The
(Step S204) The
(Step S206) The
（ステップＳ２０８）調理情報生成装置２０の投稿制御部２２６は、操作部２０６から投稿要求を示す操作信号が入力されるとき、投稿要求信号を調理情報処理装置３０に送信する。その後、ステップＳ２１０の処理に進む。
（ステップＳ２１０）調理情報処理装置３０の投稿処理部３２１は、調理情報生成装置２０から投稿要求信号を受信する。その後、投稿処理部３２１は、記憶部３３２から投稿画面データを読み出し、読み出した投稿画面データを調理情報生成装置２０に送信する。その後、ステップＳ２１２の処理に進む。
（ステップＳ２１２）調理情報生成装置２０の投稿制御部２２６は、調理情報処理装置３０から受信した投稿画面データを表示部２０２に出力し、投稿画面を表示させる。その後、ステップＳ２１４の処理に進む。なお、この段階までに、通知情報編集部２２５は、その調理特徴情報に係る通知情報を編集し、編集により生成された通知情報をレシピ情報と対応付けて記憶部２３２に予め記憶しておく。また、投稿制御部２２６は、そのレシピ情報に係るレシピ属性データを生成し、生成したレシピ属性データをレシピ情報と対応付けて記憶部２３２に予め記憶しておく。(Step S208) When an operation signal indicating a posting request is input from the
(Step S210) The
(Step S212) The
（ステップＳ２１４）調理情報生成装置２０の投稿制御部２２６は、操作部２０６から投稿要求を示す操作信号が入力されるとき、そのレシピ情報と、レシピ情報と対応付けて記憶されたレシピ属性データ、調理特徴情報及び通知情報を記憶部２３２から読み出す。投稿制御部２２６は、読み出したレシピ情報、レシピ属性データ、調理特徴情報及び通知情報を対応付けて調理情報処理装置３０に送信する。その後、ステップＳ２１６の処理に進む。(Step S214) When an operation signal indicating a request for posting is input from the
（ステップＳ２１６）調理情報処理装置３０の投稿処理部３２１は、調理情報生成装置２０からレシピ情報、レシピ属性データ、調理特徴情報及び通知情報を受信し、それらを対応付けて記憶部３３２に記憶する。その後、ステップＳ２２２の処理に進む。
（ステップＳ２２２）調理支援装置１０の提示制御部１２１は、操作部１０６から入力される操作信号で指示されるレシピ検索条件を調理情報処理装置３０に送信する。その後、ステップＳ２２４の処理に進む。
（ステップＳ２２４）調理情報処理装置３０の情報提供部３２２は、記憶部３３２に記憶されたレシピ属性データを参照し、調理支援装置１０から受信するレシピ検索条件に適合するレシピ情報を特定する。情報提供部３２２は、特定したレシピ情報と、そのレシピ情報に対応付けられたレシピ属性データ、調理特徴情報及び通知情報を記憶部３３２から読み出し、読み出したレシピ属性データ、調理特徴情報及び通知情報を調理支援装置１０に送信する。その後、図１４に示す処理を終了する。(Step S216) The
(Step S222) The
(Step S224) The
よって、調理支援装置１０は、調理情報処理装置３０から受信したレシピ情報のいずれかを選択し、選択したレシピ情報に係る調理特徴情報と適合する映像又は音の特徴情報を検出するとき、その調理特徴情報に対応付けられた通知情報を提示することができる。 Therefore, when the
以上に説明したように、調理支援装置１０は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部１３２を備える。また、調理支援装置１０は、レシピに基づいて調理が行われるとき、調理対象の調理対象映像ストリーム又は音に係る調理対象音響ストリームを検出する検出部１２２を備える。また、調理支援装置１０は、調理対象映像ストリーム又は音に係る調理対象音響ストリームから検出される調理対象の映像の特徴又は調理対象の音の特徴を示す特徴情報が調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部１２３と、その通知を行う通知部１３１を備える。
この構成によれば、調理中に取得される映像又は音の特徴が、そのレシピ情報の調理特徴情報に適合するとき、調理特徴情報に応じた調理行動の助言が特段の操作を行わずに通知される。そのため、ユーザの調理行動を妨げずに調理対象の状況に応じた調理行動の助言が得られるので、調理の成功が促される。As described above, the
According to this configuration, when the feature of the video or sound acquired during the cooking conforms to the cooking feature information of the recipe information, the advice of the cooking behavior according to the cooking feature information is notified without performing the special operation. Be done. Therefore, since the advice of the cooking behavior according to the condition of cooking object is obtained without interfering with the user's cooking behavior, the success of the cooking is promoted.
また、通知制御部１２３は、調理対象映像ストリームにおいて、所定の色を検出した場合、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の色が所定の色になるとき、そのときにふさわしい助言がユーザに通知される。たとえ調理に不慣れなユーザであっても、調理対象の色が所定の色になるときに望まれる調理行動の助言が得られる。In addition, when detecting a predetermined color in the cooking target video stream, the
According to this configuration, when the color of the food to be cooked becomes a predetermined color, the user is notified of appropriate advice at that time. Even if the user is not accustomed to cooking, advice on the desired cooking behavior can be obtained when the color to be cooked becomes a predetermined color.
また、通知制御部１２３は、調理対象音響ストリームにおいて、所定の音色を検出した場合、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の音色が所定の音色になるとき、そのときにふさわしい助言が通知される。たとえ調理に不慣れなユーザであっても、調理対象の音色が所定の音色になるときに望まれる調理行動の助言が得られる。The
According to this configuration, when the timbre of the food to be cooked becomes a predetermined timbre, appropriate advice at that time is notified. Even if the user is not accustomed to cooking, advice on the desired cooking behavior can be obtained when the tone of the food to be cooked becomes a predetermined tone.
また、通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて、所定の特徴の変化を検出したとき、調理行動の助言を表す通知を行わせる。
この構成によれば、調理対象の特徴の変化が所定の変化となるとき、そのときにふさわしい調理行動の助言が通知される。そのため、個々の時点において所定の特徴を検出するよりも、調理行動の助言を通知する契機を適切に判定することができる。Further, the
According to this configuration, when the change in the feature of the cooking target is a predetermined change, advice of cooking behavior appropriate for that time is notified. Therefore, rather than detecting a predetermined feature at each point in time, it is possible to appropriately determine an opportunity for notifying cooking behavior advice.
また、記憶部１３２は、レシピの調理工程毎に調理対象の特徴を示す調理特徴情報を記憶する。通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて、調理工程毎に調理特徴情報と適合する特徴情報を検出し、その特徴情報を検出した調理工程に係る調理行動の助言の通知を行わせる。
この構成によれば、取得された音の特徴又は映像の特徴が適合する調理特徴情報の調理工程が判定され、調理工程に応じた調理行動の助言が得られる。そのため、ユーザは調理工程を指示するための操作を行わなくても、判定された調理工程における調理対象の状況にふさわしい調理行動の助言が得られる。In addition, the
According to this configuration, the cooking process of the cooking feature information to which the acquired sound feature or the image feature matches is determined, and advice on cooking behavior according to the cooking process is obtained. Therefore, even if the user does not perform an operation for instructing the cooking process, advice of cooking behavior appropriate for the situation of the cooking object in the determined cooking process can be obtained.
また、調理特徴情報は、所定の調理行動を行う時点で現われる映像の特徴又は音の特徴を示す特徴情報を含む。また、通知制御部１２３は、調理対象映像ストリーム又は調理対象音響ストリームにおいて調理特徴情報に適合する特徴情報を検出する時点において、調理行動の助言の通知を行わせる。
この構成によれば、所定の調理行動を行うことで、調理対象を表す映像の特徴又は音の特徴が所定の特徴となる時点で、調理行動の助言が通知される。そのため、ユーザは自己の行動を意識しなくても、所定の調理行動を行って調理対象が所定の特徴を有する状況になる時点にふさわしい調理行動の助言が得られる。Also, the cooking feature information includes feature information indicating the feature of the image or the feature of the sound appearing at the time of performing the predetermined cooking action. Further, the
According to this configuration, by performing the predetermined cooking action, the advice of the cooking action is notified when the feature of the image representing the object to be cooked or the feature of the sound becomes the predetermined feature. Therefore, even if the user is not aware of his / her own behavior, he / she can obtain advice on the cooking behavior suitable for the time when the cooking target is in a situation having a predetermined feature.
また、調理情報生成装置２０は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部２２２を備える。また、調理情報生成装置２０は、操作に応じて特定される時点において、調理対象映像ストリーム又は調理対象音響ストリームから、調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部２２４を備える。また、調理情報生成装置２０は、そのレシピを示すレシピ情報と対応付けて調理特徴情報を記憶する記憶部２３２を備える。
また、調理情報処理装置３０は、調理情報生成装置２０から、レシピを示すレシピ情報に対応する調理特徴情報を投稿させる投稿処理部３２１と、調理支援装置１０に、そのレシピ情報に対応する調理特徴情報を提供する情報提供部３２２と、を備える。
この構成によれば、操作に応じて指示されたタイミングにおいて検出された調理対象の特徴を示す調理特徴情報が抽出され、そのレシピのレシピ情報と対応付けて記憶部２３２に記憶され、記憶されたレシピ情報が調理情報処理装置３０に投稿される。調理支援装置１０は、投稿されたレシピ情報と対応付けられた調理特徴情報に基づいて調理行動の助言を表す通知を行うことでユーザに対する調理の成功を促すことができる。そのため、レシピ情報の投稿と普及が促進される。Moreover, the cooking
In addition, the cooking
According to this configuration, the cooking feature information indicating the feature of the cooking object detected at the timing instructed according to the operation is extracted, stored in the
（変形例）
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。また、上述の実施形態において説明した各構成は、特定の機能を発揮するために不要である場合には、省略することができる。(Modification)
Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to the above-described embodiments, and includes design and the like within the scope of the present invention. For example, each configuration described in the above-described embodiment can be arbitrarily combined. Moreover, each structure demonstrated in the above-mentioned embodiment can be abbreviate | omitted, in order to exhibit a specific function.
より具体的には、調理支援装置１０は、さらに調理情報生成装置２０の抽出制御部２２４、通知情報編集部２２５及び投稿制御部２２６に相当する機能部を備え、調理情報生成装置２０としての機能を有してもよい。かかる調理支援装置１０は、別の見方では調理支援装置１０としての機能を有する調理情報生成装置２０とみることもできる。従って、調理支援システム１は、少なくとも調理情報生成装置２０として機能する１台の調理支援装置１０を有していれば、専用の調理情報生成装置２０を有していなくてもよい。また、調理情報生成装置２０としての機能を有する調理支援装置１０が調理情報処理装置３０に送信する投稿情報に付加されるユーザＩＤと、レシピ検索条件に付加されるユーザＩＤとが異なりうる。このことは、投稿に係るユーザとレシピ情報の検索、閲覧に係るユーザとが異なることを示す。 More specifically, the
また、調理支援装置１０、調理情報生成装置２０は、眼鏡型の筐体を備える眼鏡型端末装置に限られず、人体に装着可能とする他の形態の端末装置であってもよいし、必ずしも装着可能としない端末装置であってもよい。
また、上記の編集画面、投稿画面は、それぞれ専用の画面でなくてもよく、他の情報の提示もしくは他の機能の提供を目的とする画面（例えば、調理情報提提供画面、ユーザ機能画面など）と一体に構成されていてもよい。Moreover, the
In addition, the editing screen and the posting screen described above may not be dedicated screens, and screens for the purpose of presenting other information or providing other functions (for example, a cooking information presentation screen, a user function screen, etc.) And may be integrated.
以上の記載から本発明の複数の態様は例えば以下のように把握される。なお、理解を容易にするために添付図面の参照符号を付記するが、それにより本発明の態様が図示の態様に限定されるものではない。 From the above description, a plurality of aspects of the present invention can be understood, for example, as follows. Although reference numerals in the attached drawings are appended to facilitate understanding, the aspects of the present invention are not limited to the illustrated aspects.
（付記１）
本発明の一態様は、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報を記憶する記憶部と、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、前記通知を行う通知部と、を備える調理支援装置である。(Supplementary Note 1)
According to one aspect of the present invention, when cooking is performed based on a recipe, a storage unit that stores cooking feature information indicating a feature of a predetermined feature or sound of an image to be cooked for each piece of recipe information indicating a recipe; When a detection unit that detects a stream indicating a target image or sound and feature information indicating a feature of the cooking target image detected from the stream or feature information indicating the feature of the cooking target sound match the cooking feature information It is a cooking assistance device provided with the notice control part which performs the notice showing the advice of cooking behavior, and the notice part which performs the notice.
（付記２）本発明の他の態様は、付記１に記載の調理支援装置であって、前記通知制御部は、前記映像を示すストリームにおいて、所定の色を検出した場合、前記助言を表す通知を行わせる。(Supplementary Note 2) Another aspect of the present invention is the cooking assistance device according to Supplementary Note 1, wherein the notification control unit detects the predetermined color when detecting a predetermined color in the stream representing the video. Let me do it.
（付記３）本発明の他の態様は、付記１に記載の調理支援装置であって、前記通知制御部は、前記音を示すストリームにおいて、所定の音色を検出した場合、前記通知を行わせる。(Supplementary Note 3) Another aspect of the present invention is the cooking assistance device according to Supplementary Note 1, wherein the notification control unit causes the notification to be performed when a predetermined timbre is detected in the stream indicating the sound. .
（付記４）本発明の他の態様は、付記１から付記３のいずれかに記載の調理支援装置であって、前記通知制御部は、前記ストリームにおいて、所定の特徴の変化を検出した場合、前記通知を行わせる。(Supplementary Note 4) Another aspect of the present invention is the cooking assistance device according to any one of Supplementary Notes 1 to 3, wherein the notification control unit detects a change of a predetermined feature in the stream, Make the notification.
（付記５）本発明の他の態様は、付記１から付記４のいずれかに記載の調理支援装置であって、前記記憶部は、前記レシピの調理工程毎に前記特徴を示す調理特徴情報を記憶し、前記通知制御部は、前記ストリームにおいて前記調理工程毎に前記調理特徴情報と適合する特徴情報を検出し、当該特徴情報を検出した調理工程に係る前記通知を行わせる。(Supplementary Note 5) Another aspect of the present invention is the cooking assistance device according to any one of Supplementary Notes 1 to 4, wherein the storage unit prepares the cooking characteristic information indicating the characteristic for each cooking process of the recipe. The notification control unit stores feature information matching the cooking feature information in each of the cooking steps in the stream, and causes the notification according to the cooking step in which the feature information is detected.
（付記６）本発明の他の態様は、付記１から付記５のいずれかに記載の調理支援装置であって、前記調理特徴情報は、所定の調理行動を行う時点で現われる前記特徴情報を含み、前記通知制御部は、前記ストリームにおいて前記調理特徴情報に適合する特徴情報を検出する時点において、前記通知を行わせる。(Supplementary Note 6) Another aspect of the present invention is the cooking assistance device according to any one of supplementary notes 1 to 5, wherein the cooking characteristic information includes the characteristic information that appears when a predetermined cooking action is performed. The notification control unit causes the notification to be performed at the time of detecting feature information matching the cooking feature information in the stream.
（付記７）本発明の他の態様は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備える調理情報生成装置である。(Supplementary Note 7) Another aspect of the present invention is that when cooking is performed based on a recipe, a detection unit that detects a stream indicating an image or sound of the cooking object, and a point from the stream when identified according to the operation An extraction control unit that extracts cooking feature information that indicates the feature of the image to be cooked or the feature of the sound to be cooked; and a storage unit that stores the cooking feature information in association with recipe information that indicates the recipe. It is a cooking information generating device provided.
（付記８）本発明の他の態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。(Supplementary Note 8) Another aspect of the present invention is a cooking assistance system including a cooking information generation device and a cooking information processing device, wherein the cooking information generation device is an image of a cooking object when cooking based on a recipe is performed. Alternatively, a detection unit for detecting a stream indicating sound and extraction control for extracting cooking feature information indicating the feature of the image of the cooking object or the feature of the sound of the cooking object from the stream at the time specified according to the operation The cooking information processing apparatus causes the cooking information generation apparatus to post the cooking characteristic information corresponding to the recipe information indicating the recipe and the cooking characteristic information to the cooking support apparatus. It is a cooking assistance system provided with the information provision part to provide.
（付記９）本発明の他の態様は、調理支援装置の調理支援方法であって、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出過程と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御過程と、前記通知を行う通知過程と、を有する調理支援方法である。(Supplementary Note 9) Another aspect of the present invention is a cooking assistance method of the cooking assistance device, wherein when cooking is performed based on a recipe, a detection process of detecting a stream indicating an image or a sound of the cooking object, The feature of the image of the predetermined cooking object stored in the storage unit in association with the recipe information indicating the feature of the image of the cooking object detected or the feature of the sound of the cooking object detected from the stream Alternatively, it is a cooking support method including a notification control process of giving a notification representing advice on cooking behavior and a notification process of giving the notification when it conforms to cooking feature information indicating a feature of sound.
（付記１０）本発明の他の態様は、調理支援装置の調理支援方法であって、調理支援装置のコンピュータに、レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出手順と、前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御手順と、前記通知を行う通知手順と、を実行させるためのプログラムである。(Supplementary Note 10) Another aspect of the present invention is a cooking assistance method of the cooking assistance device, wherein when the cooking is performed based on the recipe, the computer of the cooking assistance device displays a stream indicating a video or sound of the cooking object. The detection procedure to be detected, the feature information indicating the feature of the image to be cooked detected from the stream or the feature of the sound to be cooked are stored in the storage unit in association with the recipe information indicating the recipe A program for executing a notification control procedure for giving a notification representing advice on cooking behavior and a notification procedure for giving the notification, when it conforms to cooking feature information indicating the feature of the image to be cooked or the feature of the sound It is.
１０…調理支援装置、１２１…提示制御部、１２２…検出部、１２３…通知制御部、１３１…通知部、１３２…記憶部、２０…調理情報生成装置、２２１…提示制御部、２２２…検出部、２２４…抽出制御部、２２５…通知情報編集部、２２６…投稿制御部、２３２…記憶部、３０…調理情報処理装置、３２１…投稿処理部、３２２…情報提供部、３３２…記憶部DESCRIPTION OF
上述した課題を解決するために、本発明の一態様は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピを示すレシピ情報毎に、所定の調理対象の映像の特徴を示す調理特徴情報を記憶する記憶部と、前記レシピを前記表示部に表示させる提示制御部と、前記レシピに基づいて調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、前記ストリームから検出される前記調理対象の映像の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を前記表示部に表示させる通知制御部と、を備え、前記表示部と前記撮像部は、前記筐体に設置される調理支援装置である。In order to solve the problems described above, according to one aspect of the present invention, there is providedan imaging device for capturing an image within the field of view of aglasses-type housing, a display unit capable of displaying visual information superimposed on an external view, and and parts, each recipe information indicating a recipe, a storage unit for storing cooking feature information indicatinga feature of a predetermined cooking target image,and a presentation control unit for displaying the recipe on the display unit, based onthe recipe when cooking Te is performed, a detectionunit wherein the imaging unit detects the stream indicatingthe moviesimage of the cooking objectfrom the image obtained by imaging, feature information indicatingthe feature of the cooking object image detected from the stream the if it conforms to the cooking feature information, anda notification control unit that Ruis displayed on the display unit a notification representing advice of the cookingactions, the display unit and the imaging unit, a cooking support device thatwill be installed in the housing It is.
また、本発明の一態様は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、を備え、前記表示部と前記撮像部は、前記筐体に設置される調理情報生成装置である。Further, according to one aspect of the present invention, there is provided aneyeglass-type housing, a display unit capable of displaying visual information superimposed on an external view, an imaging unit for capturing an image within the field of view of the display unit, and cooking based on a recipe. when is performed, a detectionunit wherein the imaging unit detects the stream indicatingthe moviesimage of the cooking objectfrom the image captured at the time specified in accordance with the operation,the features of the cooking object image from the stream An extraction control unit for extracting cooking feature information to be shown; and a storage unit for storing the cooking feature information in association with recipe information indicating the recipe, andthe display unit and the imaging unit are installed in the housing a cooking information generating device thatwill be.
また、本発明の一態様は、調理情報生成装置と調理情報処理装置を備える調理支援システムであって、前記調理情報生成装置は、眼鏡型の筐体と、外景と重ねて視覚情報を表示可能とする表示部と、前記表示部の視野内の映像を撮像する撮像部と、レシピに基づく調理が行われるとき、前記撮像部が撮像した映像から調理対象の映像を示すストリームを検出する検出部と、操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴を示す調理特徴情報を抽出する抽出制御部と、を備え、前記表示部と前記撮像部は、前記筐体に設置され、前記調理情報処理装置は、前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、調理支援装置に、前記調理特徴情報を提供する情報提供部と、を備える調理支援システムである。Further, one aspect of the present invention is a cooking support system including a cooking information generation device and a cooking information processing device, wherein the cooking information generation devicecan display visual information by overlapping with an eyeglass-type housing and an outside view. a display unit to an imaging unit that captures an image of the field of view of the display unit, when the cooking based on the recipe is performed,detection the imaging unit detects the stream indicatingthe moviesimage of the cooking objectfrom the image captured and parts, at the time specified in accordance with the operation, and an extraction control unit for extracting cooking feature information indicatinga feature of the cooking object picture from thestream, the imaging unit and the display unit, the is installed in a housing, the cooking information processing apparatus, from said cooking information generating apparatus, and a post processing unit for post the cooking feature information corresponding to the recipe information indicating the recipe, cooking support apparatus, the cooking feature information An information providing unit that provides a cooking support system comprising a.
Claims (10)
Translated fromJapaneseレシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が前記調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御部と、
前記通知を行う通知部と、
を備える調理支援装置。A storage unit for storing cooking feature information indicating a feature of a predetermined cooking target image or a feature of sound for each of the recipe information indicating a recipe;
When cooking is performed based on a recipe, a detection unit that detects a stream indicating an image or sound of the cooking object;
A notification control unit that performs notification representing advice on cooking behavior when the feature of the image of the cooking object detected from the stream or the feature information indicating the feature of the sound of the cooking object matches the cooking feature information;
A notification unit that performs the notification;
A cooking assistance device comprising:
請求項１に記載の調理支援装置。The cooking assistance device according to claim 1, wherein the notification control unit performs notification representing the advice when a predetermined color is detected in the stream indicating the video.
請求項１又は請求項２に記載の調理支援装置。The cooking assistance device according to claim 1 or 2, wherein the notification control unit performs the notification when a predetermined tone color is detected in the stream indicating the sound.
請求項１から請求項３のいずれか一項に記載の調理支援装置。The cooking assistance device according to any one of claims 1 to 3, wherein the notification control unit performs the notification when a change in a predetermined feature is detected in the stream.
前記通知制御部は、前記ストリームにおいて前記調理工程毎に前記調理特徴情報と適合する特徴情報を検出し、当該特徴情報を検出した調理工程に係る前記通知を行わせる
請求項１から請求項４のいずれか一項に記載の調理支援装置。The storage unit stores cooking feature information indicating the feature for each cooking process of the recipe,
The notification control unit detects, in the stream, feature information that matches the cooking feature information for each of the cooking steps, and performs the notification related to the cooking step in which the feature information is detected. The cooking assistance apparatus as described in any one.
前記通知制御部は、前記ストリームにおいて前記調理特徴情報に適合する特徴情報を検出する時点において、前記通知を行わせる
請求項１から請求項５のいずれか一項に記載の調理支援装置。The cooking feature information includes the feature information that appears when performing a predetermined cooking action,
The cooking assistance device according to any one of claims 1 to 5, wherein the notification control unit causes the notification to be performed at the time of detecting feature information matching the cooking feature information in the stream.
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、
前記レシピを示すレシピ情報と対応付けて前記調理特徴情報を記憶する記憶部と、
を備える調理情報生成装置。A detection unit that detects a stream indicating an image or sound of a cooking object when cooking based on a recipe is performed;
An extraction control unit that extracts, from the stream, cooking feature information indicating the feature of the image to be cooked or the feature of the sound to be cooked from the stream at a time point specified according to an operation;
A storage unit that stores the cooking feature information in association with recipe information indicating the recipe;
A cooking information generating apparatus comprising:
前記調理情報生成装置は、
レシピに基づく調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出部と、
操作に応じて特定される時点において、前記ストリームから前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す調理特徴情報を抽出する抽出制御部と、
を備え、
前記調理情報処理装置は、
前記調理情報生成装置から、前記レシピを示すレシピ情報に対応する前記調理特徴情報を投稿させる投稿処理部と、
調理支援装置に、前記調理特徴情報を提供する情報提供部と、
を備える調理支援システム。A cooking support system including a cooking information generation device and a cooking information processing device,
The cooking information generating device is
A detection unit that detects a stream indicating an image or sound of a cooking object when cooking based on a recipe is performed;
An extraction control unit that extracts, from the stream, cooking feature information indicating the feature of the image to be cooked or the feature of the sound to be cooked from the stream at a time point specified according to an operation;
Equipped with
The cooking information processing apparatus is
A post processing unit that causes the cooking information generation device to post the cooking characteristic information corresponding to recipe information indicating the recipe;
An information providing unit for providing the cooking characteristic information to the cooking assistance device;
Cooking support system provided with.
レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出過程と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御過程と、
前記通知を行う通知過程と、
を有する調理支援方法。It is a cooking assistance method of a cooking assistance device, and
When cooking is performed based on a recipe, a detection process for detecting a stream indicating an image or sound of the object to be cooked;
The feature of the image of the cooking object detected from the stream or the feature information indicating the feature of the sound of the cooking object is associated with the recipe information indicating the recipe and of the image of the cooking object stored in the storage unit A notification control process for giving a notification representing advice on cooking behavior when adapted to cooking feature information indicating a feature or sound feature;
A notification process for performing the notification;
Cooking support method having.
レシピに基づいて調理が行われるとき、調理対象の映像又は音を示すストリームを検出する検出手順と、
前記ストリームから検出される前記調理対象の映像の特徴又は前記調理対象の音の特徴を示す特徴情報が、前記レシピを示すレシピ情報と対応付けて記憶部に記憶された所定の調理対象の映像の特徴又は音の特徴を示す調理特徴情報に適合する場合、調理行動の助言を表す通知を行わせる通知制御手順と、
前記通知を行う通知手順と、
を実行させるためのプログラム。In the computer of the cooking support device,
A detection procedure for detecting a stream indicating an image or sound of a cooking object when cooking is performed based on a recipe;
The feature of the image of the cooking object detected from the stream or the feature information indicating the feature of the sound of the cooking object is associated with the recipe information indicating the recipe and of the image of the cooking object stored in the storage unit A notification control procedure for giving a notification representing advice on cooking behavior when it conforms to cooking feature information indicating a feature or sound feature;
A notification procedure for performing the notification;
A program to run a program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018077129AJP2019082982A (en) | 2018-04-12 | 2018-04-12 | Cooking support device, cooking information generation device, cooking support system, cooking support method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018077129AJP2019082982A (en) | 2018-04-12 | 2018-04-12 | Cooking support device, cooking information generation device, cooking support system, cooking support method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019082982Atrue JP2019082982A (en) | 2019-05-30 |
Family
ID=66670492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018077129APendingJP2019082982A (en) | 2018-04-12 | 2018-04-12 | Cooking support device, cooking information generation device, cooking support system, cooking support method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019082982A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112056945A (en)* | 2020-08-12 | 2020-12-11 | 华帝股份有限公司 | Method for reminding food cooking state of cooking equipment |
| WO2021064823A1 (en)* | 2019-09-30 | 2021-04-08 | マクセル株式会社 | Linked display system and head-mounted display |
| WO2022180946A1 (en)* | 2021-02-26 | 2022-09-01 | クックパッド株式会社 | Recipe search support device, recipe search support method, and recipe search support program |
| JP7641122B2 (en) | 2021-01-15 | 2025-03-06 | シャープ株式会社 | Cooking device and trained model generation method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002288359A (en)* | 2001-03-26 | 2002-10-04 | Osaka Gas Co Ltd | Cooking information system |
| WO2005088542A1 (en)* | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | System for recognizing cooking operation of foodstuff and program for recognizing cooking operation of foodstuff |
| JP2011058782A (en)* | 2009-09-14 | 2011-03-24 | Keio Gijuku | Cooking system, cooking utensil used for the cooking system and cooking system set |
| JP2016218306A (en)* | 2015-05-22 | 2016-12-22 | セイコーエプソン株式会社 | Head-mounted display device, display system, head-mounted display device control method, and computer program |
| JP2017005522A (en)* | 2015-06-11 | 2017-01-05 | パナソニックＩｐマネジメント株式会社 | Control method, apparatus and program for associating image with cooking information |
| JP2017120329A (en)* | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | Head-mounted display for cooking and program for head-mounted display for cooking |
- 2018
- 2018-04-12JPJP2018077129Apatent/JP2019082982A/enactivePending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002288359A (en)* | 2001-03-26 | 2002-10-04 | Osaka Gas Co Ltd | Cooking information system |
| WO2005088542A1 (en)* | 2004-03-17 | 2005-09-22 | Matsushita Electric Industrial Co., Ltd. | System for recognizing cooking operation of foodstuff and program for recognizing cooking operation of foodstuff |
| US20070114224A1 (en)* | 2004-03-17 | 2007-05-24 | Sachio Nagamitsu | Ingredient cooking-operation recognition system and ingredient cooking-operation recognition program |
| JP2011058782A (en)* | 2009-09-14 | 2011-03-24 | Keio Gijuku | Cooking system, cooking utensil used for the cooking system and cooking system set |
| JP2016218306A (en)* | 2015-05-22 | 2016-12-22 | セイコーエプソン株式会社 | Head-mounted display device, display system, head-mounted display device control method, and computer program |
| JP2017005522A (en)* | 2015-06-11 | 2017-01-05 | パナソニックＩｐマネジメント株式会社 | Control method, apparatus and program for associating image with cooking information |
| JP2017120329A (en)* | 2015-12-28 | 2017-07-06 | 株式会社ブリリアントサービス | Head-mounted display for cooking and program for head-mounted display for cooking |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021064823A1 (en)* | 2019-09-30 | 2021-04-08 | マクセル株式会社 | Linked display system and head-mounted display |
| JPWO2021064823A1 (en)* | 2019-09-30 | 2021-04-08 | ||
| US20220252880A1 (en)* | 2019-09-30 | 2022-08-11 | Maxell, Ltd. | Linked display system and head-mounted display |
| JP7331120B2 (en) | 2019-09-30 | 2023-08-22 | マクセル株式会社 | Linked display system |
| JP2023147291A (en)* | 2019-09-30 | 2023-10-12 | マクセル株式会社 | Cooperative display system and head-mounted display |
| US11852811B2 (en) | 2019-09-30 | 2023-12-26 | Maxell, Ltd. | Linked display system and head-mounted display |
| US20240077722A1 (en)* | 2019-09-30 | 2024-03-07 | Maxell, Ltd. | Linked display system and head-mounted display |
| JP7505088B2 (en) | 2019-09-30 | 2024-06-24 | マクセル株式会社 | Linked display system |
| US12235444B2 (en)* | 2019-09-30 | 2025-02-25 | Maxell, Ltd. | Linked display system and head-mounted display |
| CN112056945A (en)* | 2020-08-12 | 2020-12-11 | 华帝股份有限公司 | Method for reminding food cooking state of cooking equipment |
| JP7641122B2 (en) | 2021-01-15 | 2025-03-06 | シャープ株式会社 | Cooking device and trained model generation method |
| WO2022180946A1 (en)* | 2021-02-26 | 2022-09-01 | クックパッド株式会社 | Recipe search support device, recipe search support method, and recipe search support program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8704760B2 (en) | Image display apparatus capable of recommending contents according to emotional information | |
| EP2333778A1 (en) | Digital data reproducing apparatus and method for controlling the same | |
| JP7440020B2 (en) | Information processing method, terminal device, information processing device, and information processing system | |
| KR101978743B1 (en) | Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device | |
| JP2019082982A (en) | Cooking support device, cooking information generation device, cooking support system, cooking support method, and program | |
| JP4538756B2 (en) | Information processing apparatus, information processing terminal, information processing method, and program | |
| US9264770B2 (en) | Systems and methods for generating media asset representations based on user emotional responses | |
| US9747902B2 (en) | Method and system for assisting patients | |
| US9467673B2 (en) | Method, system, and computer-readable memory for rhythm visualization | |
| WO2014192457A1 (en) | Client device, control method, system and program | |
| JP5715390B2 (en) | Viewing terminal device, viewing statistics device, viewing statistics processing system, and viewing statistics processing method | |
| CN103229174B (en) | Display control unit, integrated circuit and display control method | |
| CN109982124A (en) | User's scene intelligent analysis method, device and storage medium | |
| CN105163139B (en) | Information-pushing method, Information Push Server and smart television | |
| JP2011138492A (en) | Lifestyle collection apparatus, user interface apparatus and lifestyle collection method | |
| CN109327737A (en) | TV program recommendation method, terminal, system and storage medium | |
| CN110970105A (en) | Physical examination report broadcasting method and device, electronic equipment and storage medium | |
| KR20180017821A (en) | Broadcasting service apparatus for delivering live audience reaction | |
| CN103945140B (en) | The generation method and system of video caption | |
| CN107809654A (en) | System for TV set and TV set control method | |
| JP6641386B2 (en) | Head-mounted display cooperation display system, system including display device and head-mounted display, and display device thereof | |
| CN110391017A (en) | Information processing unit and information processing method | |
| JP7206741B2 (en) | HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM | |
| JP2009042671A (en) | Method for judging emotion | |
| JP2014238712A (en) | Content analysis device, content analysis method and content analysis program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20180412 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20180412 | |
| A975 | Report on accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A971005 Effective date:20180509 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20180813 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20180904 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20181024 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20190122 |