JP2020003207A - Food control method, food control system and refrigerator - Google Patents
Food control method, food control system and refrigeratorDownload PDFInfo
- Publication number
- JP2020003207A JP2020003207AJP2019181324AJP2019181324AJP2020003207AJP 2020003207 AJP2020003207 AJP 2020003207AJP 2019181324 AJP2019181324 AJP 2019181324AJP 2019181324 AJP2019181324 AJP 2019181324AJP 2020003207 AJP2020003207 AJP 2020003207A
- Authority
- JP
- Japan
- Prior art keywords
- food
- refrigerator
- cloud server
- period
- storage area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000013305foodNutrition0.000titleclaimsabstractdescription215
- 238000000034methodMethods0.000titleclaimsabstractdescription40
- 238000003384imaging methodMethods0.000claimsabstractdescription49
- 238000001514detection methodMethods0.000claimsdescription31
- 238000007726management methodMethods0.000claimsdescription19
- 235000013601eggsNutrition0.000description48
- 238000004458analytical methodMethods0.000description37
- 235000013311vegetablesNutrition0.000description32
- 240000007124Brassica oleraceaSpecies0.000description30
- 235000003899Brassica oleracea var acephalaNutrition0.000description30
- 235000011301Brassica oleracea var capitataNutrition0.000description30
- 235000001169Brassica oleracea var oleraceaNutrition0.000description30
- 235000010746mayonnaiseNutrition0.000description27
- 239000008268mayonnaiseSubstances0.000description27
- 241000234282AlliumSpecies0.000description25
- 235000002732Allium cepa var. cepaNutrition0.000description25
- 235000013361beverageNutrition0.000description24
- 239000008267milkSubstances0.000description17
- 235000013336milkNutrition0.000description17
- 210000004080milkAnatomy0.000description17
- 238000010586diagramMethods0.000description14
- 235000013557nattōNutrition0.000description13
- 240000008067Cucumis sativusSpecies0.000description12
- 235000010799Cucumis sativus var sativusNutrition0.000description12
- 235000013405beerNutrition0.000description10
- 238000004364calculation methodMethods0.000description10
- 230000000694effectsEffects0.000description9
- 238000010191image analysisMethods0.000description7
- 238000004167beer analysisMethods0.000description4
- 230000005540biological transmissionEffects0.000description4
- 238000004891communicationMethods0.000description4
- 240000006108Allium ampeloprasumSpecies0.000description2
- 235000005254Allium ampeloprasumNutrition0.000description2
- 235000010149Brassica rapa subsp chinensisNutrition0.000description2
- 235000000536Brassica rapa subsp pekinensisNutrition0.000description2
- 241000499436Brassica rapa subsp. pekinensisSpecies0.000description2
- 244000088415Raphanus sativusSpecies0.000description2
- 235000006140Raphanus sativus var sativusNutrition0.000description2
- 230000007423decreaseEffects0.000description2
- 235000011194food seasoning agentNutrition0.000description2
- 235000011389fruit/vegetable juiceNutrition0.000description2
- 238000005286illuminationMethods0.000description2
- 241000251468ActinopterygiiSpecies0.000description1
- 239000004278EU approved seasoningSubstances0.000description1
- FFBHFFJDDLITSX-UHFFFAOYSA-Nbenzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamateChemical compoundOC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=OFFBHFFJDDLITSX-UHFFFAOYSA-N0.000description1
- 239000013256coordination polymerSubstances0.000description1
- 230000003203everyday effectEffects0.000description1
- 238000000605extractionMethods0.000description1
- 230000012447hatchingEffects0.000description1
- 230000010365information processingEffects0.000description1
- 239000004615ingredientSubstances0.000description1
- 235000008960ketchupNutrition0.000description1
- 235000013372meatNutrition0.000description1
- 238000012986modificationMethods0.000description1
- 230000004048modificationEffects0.000description1
- 238000005057refrigerationMethods0.000description1
- 235000015067saucesNutrition0.000description1
- 235000012046side dishNutrition0.000description1
- 235000013555soy sauceNutrition0.000description1
- 238000006467substitution reactionMethods0.000description1
Images
Landscapes
- Devices That Are Associated With Refrigeration Equipment (AREA)
- Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
Abstract
Description
Translated fromJapanese実施例は、食品管理方法、食品管理システム、冷蔵庫に関する。 Embodiments relate to a food management method, a food management system, and a refrigerator.
従来では冷蔵庫内の食品の在庫期間を管理する場合に使用者が自ら在庫期間を入力したり、バーコード等を読取らせたり、食品に専用のＩＣタグを付加していた。 Conventionally, when managing the stock period of food in a refrigerator, the user himself inputs the stock period, reads a bar code, or adds a dedicated IC tag to the food.
上記従来の食品管理方法では在庫期間の更新に手間がかかる問題がある。 The conventional food management method has a problem that it takes time to update the stock period.
実施例の食品管理方法は、実施例の食品管理方法は、冷蔵庫内を撮像し、冷蔵庫内の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出し、所定よりも食品が大きくなっていた場合に新たな食品が投入されたと判断することで食品の在庫期間を管理する。 In the food management method according to the embodiment, the food management method according to the embodiment captures an image of the inside of the refrigerator, detects an aspect of each type of food as inventory information of the food stored in the refrigerator from the imaging result of the refrigerator, and performs a predetermined process. If the food has become larger than it is, it is determined that a new food has been introduced, and the stock period of the food is managed.
実施例の食品管理システムは、冷蔵庫内を撮像する撮像器と、撮像器の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、所定よりも食品が大きくなっていた場合に新たな食品が投入されたと判断することで食品の在庫期間を管理する在庫期間管理手段と、を備える。 The food management system according to the embodiment includes an imager that captures an image of a refrigerator, an inventory information detector that detects an aspect of each type of food as inventory information of the food stored in the refrigerator from an imaging result of the imager, And a stock period management means for managing the stock period of the food by judging that a new food has been introduced when the food is larger than the food.
実施例の冷蔵庫は、冷蔵庫内を撮像する撮像器と、撮像器の撮像結果から冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、所定よりも食品が大きくなっていた場合に新たな食品が投入されたと判断することで食品の在庫期間を管理する在庫期間管理手段と、を備える。 The refrigerator of the embodiment has an imager that captures an image of the inside of the refrigerator, inventory information detecting means that detects an aspect of each type of food as inventory information of the food stored in the refrigerator from an imaging result of the imager, A stock period management unit that manages a stock period of the food by judging that a new food has been introduced when the food has become larger.
（実施例１）
図１の冷蔵庫１は家屋内に設置されたものであり、断熱性のキャビネット２を有している。このキャビネット２は前面が開口する縦長な箱状をなすものであり、キャビネット１内には上から下に向けて順に冷蔵室３と野菜室４と冷凍室５が形成されている。このキャビネット１にはＦ扉６が装着されており、冷凍室５の前面はＦ扉６が操作されることに応じて開閉される。(Example 1)
The
冷蔵室３内には、図２に示すように、無色透明な複数の棚板７が装着されている。これら複数の棚板７は上下方向に間隔を置いて配置されたものであり、複数の棚板７のそれぞれの上面には食品が載置される。この冷蔵室３内には無色透明なチルドケース８が収納されている。このチルドケース８は上面が開口するものであり、最下段の棚板７の下方に配置されている。このチルドケース８は肉および魚等の生鮮食料品が収納されるものであり、冷蔵室３内に収納された収納状態および収納状態に比べて前へ引出された引出し状態間で前後方向へ移動可能にされている。 As shown in FIG. 2, a plurality of colorless and
キャビネット２には、図１に示すように、ＬＲ扉９およびＲＲ扉１０が装着されている。ＬＲ扉９は左端部の垂直な軸１１を中心に閉鎖状態および開放状態間で回転可能にされたものであり、ＲＲ扉１０は右端部の垂直な軸１２を中心に閉鎖状態および開放状態間で回転可能にされたものであり、冷蔵室３の前面はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で閉鎖される。 An
ＬＲ扉９には、図２に示すように、複数のＬポケット１３が固定されている。これら複数のＬポケット１３のそれぞれは無色透明なものであり、上面が開口している。これら複数のＬポケット１３は上下方向に間隔を置いて配置されたものであり、複数のＬポケット１３内のそれぞれには食品が収納される。これら複数のＬポケット１３はＬＲ扉９の閉鎖状態での後面に配置されたものであり、ＬＲ扉９の閉鎖状態で冷蔵室３内に収納される。 As shown in FIG. 2, a plurality of
ＲＲ扉１０には、図２に示すように、複数のＲポケット１４が固定されている。これら複数のＲポケット１４のそれぞれは無色透明なものであり、上面が開口している。これら複数のＲポケット１４は上下方向に間隔を置いて配置されたものであり、複数のＲポケット１４内のそれぞれには食品が収納される。これら複数のＲポケット１４はＲＲ扉１０の閉鎖状態での後面に配置されたものであり、ＲＲ扉１０の閉鎖状態で冷蔵室３内に収納される。 As shown in FIG. 2, a plurality of
冷蔵室３内には、図２に示すように、庫内灯１５が固定されている。この庫内灯１５は冷蔵室３の天井面に配置されたものであり、上から下に向けて光を照射するＬＥＤを有している。この庫内灯１５はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で消灯状態とされるものであり、ＬＲ扉９およびＲＲ扉１０の少なくとも一方の開放状態で点灯状態とされる。 As shown in FIG. 2, a
キャビネット１には、図１に示すように、Ｖ扉１６が装着されている。このＶ扉１６は閉鎖状態および閉鎖状態に比べて前の開放状態間で前後方向へ移動可能にされたものであり、野菜室４の前面はＶ扉１６が操作されることに応じて開閉される。このＶ扉１６には、図３に示すように、上面が開口する野菜容器１７が装着されている。この野菜容器１７はＶ扉１６と共に移動するものであり、Ｖ扉１６の閉鎖状態で野菜室４内に収納され、Ｖ扉１６の開放状態で野菜室４内から前へ引出される。 A V-
キャビネット２には、図４に示すように、ＬＲ扉スイッチ１８とＲＲ扉スイッチ１９とＶ扉スイッチ２０が装着されている。ＬＲ扉スイッチ１８はＬＲ扉９が開閉されることに応じて電気的な状態が変化するものであり、ＲＲ扉スイッチ１９はＲＲ扉１０が開閉されることに応じて電気的な状態が変化するものであり、Ｖ扉スイッチ２０はＶ扉１６が開閉されることに応じて電気的な状態が変化するものである。 As shown in FIG. 4, the
図４の主制御装置２１はＣＰＵとＲＯＭとＲＡＭを有するものである。この主制御装置２１はＲＲ扉１０内に装着されたものであり、庫内灯１５を電気的に制御することで点灯状態および消灯状態間で切換え、冷凍サイクル２２を電気的に制御することで冷蔵室３内と野菜室４内と冷凍室５内を温度コントロールする。この主制御装置２１はＶ扉スイッチ２０の電気的な状態に応じてＶ扉１６の開閉を検出するものであり、Ｖ扉１６が閉鎖状態から開放状態とされたことを検出した場合に撮像指令Ｖを出力する。 4 has a CPU, a ROM, and a RAM. The
主制御装置２１はＬＲ扉スイッチ１８の電気的な状態に応じてＬＲ扉９の開閉を検出し、ＲＲ扉スイッチ１９の電気的な状態に応じてＲＲ扉１０の開閉を検出するものであり、次の１）〜３）のいずれかを検出した場合には冷蔵室３が開放状態から閉鎖状態にされたと判断する。
１）ＲＲ扉１０の閉鎖状態でＬＲ扉９が開放状態から閉鎖状態とされたこと。
２）ＬＲ扉９の閉鎖状態でＲＲ扉１０が開放状態から閉鎖状態とされたこと。
３）ＬＲ扉９およびＲＲ扉１０の双方の開放状態でＬＲ扉９およびＲＲ扉１０の双方が閉鎖状態とされたこと。The
1) The
2) When the
3) Both the
主制御装置２１は冷蔵室３が開放状態から閉鎖状態にされたと判断した場合に庫内灯１５を消灯状態から点灯状態に切換えるものである。この主制御装置２１は庫内灯１５を点灯状態に切換えた場合に撮像指令Ｒを出力するものであり、撮像指令Ｒを出力したことを基準に一定時間が経過した場合に庫内灯１５を点灯状態から消灯状態に切換える。 The
ＲＲ扉１０には、図２に示すように、Ｒカメラ２３が固定されている。このＲカメラ２３はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、ＲＲ扉１０の閉鎖状態での後面に配置されている。このＲカメラ２３は庫内灯１５からの光を照明としてＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で冷蔵室３内を前からカラーで撮像するものであり、撮像器に相当する。 An
野菜容器１７内には、図３に示すように、Ｖカメラ２４が固定されている。このＶカメラ２４はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、野菜容器１７内の前端部に配置されている。このＶカメラ２４はＶ扉１６の開放状態で家屋内の照明器からの光を照明として野菜容器１７内を前からカラーで撮像するものであり、撮像器に相当する。 As shown in FIG. 3, a
図４の撮像制御装置２５はＣＰＵとＲＯＭとＲＡＭを有するものである。この撮像制御装置２５はＲＲ扉１０内に装着されたものであり、主制御装置２１との間で送受信を行う。この撮像制御装置２５はＲカメラ２３およびＶカメラ２４のそれぞれを電気的に制御するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。このクラウドサーバ２８は在庫情報検出手段および在庫期間管理手段に相当する。 4 has a CPU, a ROM, and a RAM. The
図４のパソコン２９は家屋内に設置されたものである。このパソコン２９はディスプレイ３０および操作パネル３１を有するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。携帯端末３２は冷蔵庫１の所有者が携帯するものである。この携帯端末３２はタッチパネルディスプレイ３３を有するものであり、インターネット２７を通してクラウドサーバ２８との間で送受信を行う。
［１］撮像制御装置２５の処理内容The
[1] Processing content of
図５の撮像処理は撮像制御装置２５のＣＰＵが行うものであり、ＣＰＵはステップＳ１で主制御装置２１からの撮像指令Ｒがあるか否かを判断する。ここで撮像指令Ｒがあると判断した場合にはステップＳ２でＲカメラ２３をオンすることで冷蔵室３内を撮像し、ステップＳ３でＲカメラ２３から画像データＲを検出する。そして、ステップＳ４で画像データＲの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。即ち、冷蔵室３が開放状態から閉鎖状態にされた場合にはＲカメラ２３が庫内灯１５の点灯状態でオンされ、冷蔵室３内の画像データＲが撮像制御装置２５からクラウドサーバ２８に送信される。 The imaging process of FIG. 5 is performed by the CPU of the
図６の（ａ）はＲカメラ２３の画像データＲを説明するものである。ここで食品画像Ｎは白色のトレイに入れられた納豆であり、食品画像ＥＧは卵であり、食品画像Ｐは不透明な紙パック入り牛乳であり、食品画像Ｂは缶ビールである。 FIG. 6A illustrates the image data R of the
ＣＰＵは図５のステップＳ１で撮像指令Ｒがないと判断すると、ステップＳ５で主制御装置２１からの撮像指令Ｖがあるか否かを判断する。ここで撮像指令Ｖがあると判断した場合にはステップＳ６でＶカメラ２４をオンすることで野菜容器１７内を撮像し、ステップＳ３でＶカメラ２５から画像データＶを検出する。そして、ステップＳ４で画像データＶの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。 When the CPU determines in step S1 of FIG. 5 that there is no imaging command R, it determines whether there is an imaging command V from the
即ち、野菜容器１７が野菜室４内から前へ引出された場合にはＶカメラ２４がオンされ、野菜容器１７内の画像データＶが撮像制御装置２５からクラウドサーバ２８に送信される。図６の（ｂ）はＶカメラ２５の画像データＶを説明するものである。ここ食品画像ＣＡはキャベツであり、食品画像Ｇは長ネギであり、食品画像ＣＵはキュウリである。
［２］クラウドサーバ２８の処理内容That is, when the
[2] Processing contents of the
クラウドサーバ２８は撮像制御装置２５から画像データＲおよび画像データＶのそれぞれが送信された場合に画像データＲおよび画像データＶのそれぞれの送信結果を記憶するものであり、画像データＶを記憶した場合に画像データ処理１を起動し、画像データＲを記憶した場合に画像データ処理２を起動する。
［２−１］画像データ処理１The
[2-1]
クラウドサーバ２８は画像データ処理１を起動すると、図７のステップＳ１１で画像データＶの記憶結果を検出し、ステップＳ１２で画像データＶの検出結果から食品データを切取る。この処理は色彩または濃度等に急な変化があるところを辿ることで食品データの輪郭線を抽出し、輪郭線の抽出結果に沿って画像データＶを切取るものであり、クラウドサーバ２８はステップＳ１２で画像データＶから食品データを切取った場合にはステップＳ１３へ移行する。 When the
クラウドサーバ２８は、図８に示すように、今回記憶領域Ｖおよび前回記憶領域Ｖを有している。今回記憶領域Ｖは今回の画像データ処理１で画像データＶから切取った食品データと共に現在月日および現在時分からなる日付データが記憶される領域であり、前回記憶領域Ｖは今回記憶領域Ｖから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図７のステップＳ１３へ移行した場合には今回記憶領域Ｖの全ての食品データを日付データと共に前回記憶領域Ｖにシフトし、ステップＳ１４で画像データＶから切取った全ての食品データを日付データと共に今回記憶領域Ｖに記憶する。
［２−２］画像データ処理２The
[2-2]
クラウドサーバ２８は画像データ処理２を起動すると、図９のステップＳ２１で画像データＲの記憶結果を検出し、ステップＳ２２で画像データＲの検出結果から食品データを切取る。この処理は画像データ処理１と同様のプロセスで行われるものであり、クラウドサーバ２８はステップＳ２２で画像データＲから食品データを切取った場合にはステップＳ２３へ移行する。 When the
クラウドサーバ２８は、図１０に示すように、今回記憶領域Ｒおよび前回記憶領域Ｒを有している。今回記憶領域Ｒは今回の画像データ処理２で画像データＲから切取った食品データと共に現在の月日および現在の時分からなる日付データが記憶される領域であり、前回記憶領域Ｒは今回記憶領域Ｒから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図９のステップＳ２３へ移行した場合には今回記憶領域Ｒの全ての食品データを日付データと共に前回記憶領域Ｒにシフトし、ステップＳ２４で画像データＲから切取った全ての食品データを日付データと共に今回記憶領域Ｒに記憶する。 The
［２−２］画像解析処理１
図１１の画像解析処理１はクラウドサーバ２８が画像データ処理１を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理１を起動した場合にはステップＳ３１のキャベツ解析処理とステップＳ３２の長ネギ解析処理とステップＳ３３のキュウリ解析処理へ順に移行する。[2-2]
11 is started when the
［２−２−１］キャベツ解析処理
クラウドサーバ２８はステップＳ３１のキャベツ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域ＶのみにキャベツＣＡの食品データが記憶されていると判断した場合にはキャベツＣＡの在庫期間ＣＡを（０）にリセットする。即ち、使用者が野菜容器１７内にキャベツＣＡを新たに投入した場合には在庫期間ＣＡがリセットされる。[2-2-1] Cabbage Analysis Processing When the
クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されていると判断すると、今回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、前回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で大きさの判定結果を比較する。このキャベツＣＡの大きさは食品の在庫情報に相当する。 When the
１）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて小さいまたは同じと判断した場合には経過期間Ｔを算出する。この経過期間Ｔは今回記憶領域Ｖの日付データおよび前回記憶領域Ｖの日付データ間の差分であり、クラウドサーバ２８は経過期間Ｔを算出した場合に在庫期間ＣＡに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキャベツＣＡを全く使わなかった場合には在庫期間ＣＡが加算され、野菜容器１７内のキャベツＣＡを一部だけ使って野菜容器１７内に使いかけのキャベツＣＡを戻した場合にも在庫期間ＣＡが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて大きいと判断した場合には在庫期間ＣＡをリセットする。即ち、使用者が野菜容器１７内のキャベツＣＡを使い切って新たなキャベツＣＡを野菜容器１７内に投入した場合には在庫期間ＣＡがリセットされる。2) If the
［２−２−２］長ネギ解析処理
クラウドサーバ２８は図１１のステップＳ３２の長ネギ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域Ｖのみに長ネギＧの食品データが記憶されていると判断した場合には長ネギＧの在庫期間Ｇを（０）にリセットする。即ち、使用者が野菜容器１７内に長ネギＧを新たに投入した場合には在庫期間Ｇがリセットされる。[2-2-2] Leek analysis processing When the
クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されていると判断すると、今回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、前回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で長さの判定結果を比較する。この長ネギＧの長さは食品の在庫情報に相当する。 When the
１）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）≧（今回記憶領域Ｖの長さの判定結果）≧（前回記憶領域Ｖの長さの判定結果）」と判定した場合には経過期間Ｔを算出し、在庫期間Ｇに経過期間Ｔの算出結果を加算する。この成長量は長ネギＧが野菜容器１７内で成長することを考慮して決められたものであり、使用者が野菜容器１７内の長ネギＧを一部だけ使って野菜容器１７内に使いかけの長ネギＧを戻した場合には在庫期間Ｇが更新され、使用者が野菜容器１７内の長ネギＧを全く使わなかった場合にも在庫期間Ｇが更新される。1) The
２）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）＜（今回記憶領域Ｖの長さの判定結果）」と判定した場合には在庫期間Ｇをリセットする。即ち、使用者が野菜容器１７内の長ネギＧを全て使って新たな長ネギＧを野菜容器１７内に投入した場合には在庫期間Ｇがリセットされる。
［２−２−３］キュウリ解析処理2) When the
[2-2-3] Cucumber analysis processing
クラウドサーバ２８は図１１のステップＳ３３のキュウリ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキュウリＣＵの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はキュウリＣＵの食品データの数を判定した場合には今回記憶領域Ｖおよび前回記憶領域Ｖ間で数の判定結果を比較する。このキュウリＣＵの数は食品の在庫情報に相当する。 When the
１）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、キュウリＣＵの在庫期間ＣＵに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキュウリＣＵを全く消費しなかった場合には在庫期間ＣＵが更新され、野菜容器１７内のキュウリＣＵを一部だけ消費した場合にも在庫期間ＣＵが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて多いと判断した場合には在庫期間ＣＵを（０）にリセットする。即ち、使用者が野菜容器１７内のキュウリＣＵを全て消費した後に野菜容器１７内にキュウリＣＵを新たに投入した場合には在庫期間ＣＵがリセットされる。2) If the
［２−３］画像解析処理２
図１２の画像解析処理２はクラウドサーバ２８が画像データ処理２を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理２を起動した場合にはステップＳ４１の納豆解析処理とステップＳ４２の紙パック解析処理とステップＳ４３のビール解析処理とステップＳ４４の卵解析処理へ順に移行する。[2-3]
The
［２−３−１］納豆解析処理
クラウドサーバ２８は図１２のステップＳ４１の納豆解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに納豆Ｎの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は納豆Ｎの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この納豆Ｎの数は食品の在庫情報に相当する。[2-3-1] Natto Analysis Process When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、納豆Ｎの在庫期間Ｎに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の納豆Ｎを全く消費しなかった場合には在庫期間Ｎが更新され、冷蔵室３内の納豆Ｎを一部だけ消費した場合にも在庫期間Ｔが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判定した場合には在庫期間Ｎを（０）にリセットする。即ち、使用者が冷蔵室３内の納豆Ｎを全て消費した後に冷蔵室３内に納豆Ｎを投入した場合には在庫期間Ｎがリセットされる。2) If the
［２−３−２］紙パック解析処理
クラウドサーバ２８は図１２のステップＳ４２の紙パック解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに紙パック入り牛乳ＰＭの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は紙パック入り牛乳ＰＭの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この紙パック入り牛乳ＰＭの数は在庫情報に相当する。[2-3-2] Paper Pack Analysis Processing When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、紙パック入り牛乳ＰＭの在庫期間ＰＭに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全く消費しなかった場合には在庫期間ＰＭが更新され、冷蔵室３内の紙パック入り牛乳ＰＭを一部だけ消費した場合にも在庫期間ＰＭが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＰＭを（０）にリセットする。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全て消費した後に冷蔵室３内に紙パック入り牛乳ＰＭを投入した場合には在庫期間ＰＭがリセットされる。2) When the
［２−３−３］ビール解析処理
クラウドサーバ２８は図１２のステップＳ４３のビール解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにビールＢの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はビールＢの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。このビールＢの数は食品の在庫情報に相当する。[2-3-3] Beer Analysis Processing When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判断した場合には経過期間Ｔを算出し、ビールＢの在庫期間Ｂに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内のビールＢを全く消費しなかった場合には在庫期間Ｂが更新され、冷蔵室３内のビールＢを一部だけ消費した場合にも在庫期間Ｂが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間Ｂを（０）にリセットする。即ち、使用者が冷蔵室３内のビールＢを全て消費した後に冷蔵室３内にビールＢを投入した場合には在庫期間Ｂがリセットされる。2) If the
［２−３−４］卵解析処理
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに卵ＥＧの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は卵ＥＧの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この卵ＥＧの数は食品の在庫情報に相当する。[2-3-4] Egg Analysis Process When the
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、卵ＥＧの在庫期間ＥＧに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の卵ＥＧを全く消費しなかった場合には在庫期間ＥＧが更新され、冷蔵室３内の卵ＥＧを一部だけ消費した場合にも在庫期間ＥＧが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＥＧを（０）にリセットする。即ち、使用者が冷蔵室３内の卵ＥＧを全て消費した後に冷蔵室３内に新たに卵ＥＧを投入した場合には在庫期間ＥＧがリセットされる。2) If the
［２−４］食品情報処理
クラウドサーバ２８はパソコン２９からの情報要求指令を受信した場合にパソコン２９に在庫情報を送信するものであり、携帯端末３２からの情報要求指令を受信した場合には携帯端末３２に在庫情報を送信する。パソコン２９はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてディスプレイ３０に在庫一覧画面を表示するものであり、携帯端末３２はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてタッチパネルディスプレイ３３に在庫一覧画面を表示する。[2-4] Food Information Processing The
図１３は携帯端末３２のタッチパネルディスプレイ３３に表示される在庫一覧画面である。この在庫一覧画面は今回記憶領域Ｖに記憶されている食品データの名称および今回記憶領域Ｒに記憶されている食品データの名称を上下方向に並べて表示したものであり（左列参照）、食品データの名称の右側には当該食品データに応じた数の判定結果（中列参照）および在庫期間の検出結果（右列参照）が左右方向に並べて表示される。この食品データの名称は下から上に向けて在庫期間が長くなるように配列されるものであり、在庫期間が所定期間１に比べて長い食品データについては名称と数と在庫期間のそれぞれが黄色の色彩で表示され（納豆参照）、在庫期間が所定期間２（＞所定期間１）に比べて長い食品データについては名称と数と在庫期間のそれぞれが赤色の色彩で表示される（たまご参照）。 FIG. 13 shows an inventory list screen displayed on the
携帯端末３２は在庫一覧画面の表示状態で赤色の食品データの名称がタッチされると、クラウドサーバ２８に食品データの名称に応じた種類の画像要求指令を送信する。このクラウドサーバ２８は画像要求指令を受信した場合に最新の画像データＲおよび最新の画像データＶのうちから画像要求指令の受信結果に応じた１つを検出し、画像データの検出結果から画像要求指令の種類に応じた食品データを検出する。そして、画像データの検出結果のうちの食品データの検出結果を赤枠で囲み、画像データの検出結果を携帯端末３２に送信する。 When the name of the red food data is touched in the display state of the inventory list screen, the
携帯端末３２はクラウドサーバ２８からの画像データを受信すると、画像データの受信結果を在庫一覧画面の上に重ねて表示する。図１３の（ｂ）は食品データの名称（たまご）がタッチされた場合である。この場合にはクラウドサーバ２８が最新の画像データＲを検出し、画像データＲのうち卵ＥＧの食品データを赤枠で囲むことで卵ＥＧの在庫期間ＥＧが所定期間２に比べて長いことを使用者に報知する。 When the
上記実施例１によれば次の効果を奏する。
冷蔵庫１内の撮像結果から冷蔵庫１内に収納された食品の在庫情報として数または大きさまたは長さを検出し、当該食品についての今回の在庫情報の検出結果を前回の検出結果と比較することに応じて当該食品の在庫期間を管理した。従って、使用者が在庫期間を入力する手間とバーコード等を読取らせる手間と食品に専用のＩＣタグを付加する手間が不要になるので、在庫期間の管理が簡単になる。According to the first embodiment, the following effects can be obtained.
Detecting the number, size, or length of the food stored in the
納豆Ｎと紙パック入り牛乳ＰとビールＢと卵ＥＧのそれぞれについて、食品の数の今回の検出結果が前回の検出結果に比べて多い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たな食品の入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。 For each of the natto N, the milk P in the paper pack, the beer B, and the egg EG, if the current detection result of the number of foods is larger than the previous detection result, a new food is stored in the
キャベツＣＡについて、食品の大きさの今回の検出結果が前回の検出結果に比べて大きい場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たなキャベツＣＡの入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。しかも、一度に全てが消費されずに徐々に消費されるキャベツＣＡの実際の消費形態に合わせてキャベツＣＡの在庫期間を正確に更新できる。 For the cabbage CA, if the current detection result of the food size is larger than the previous detection result, it is determined that a new food item has been stored in the
長ネギＧについて、食品の長さの今回の検出結果が前回の検出結果に比べて長い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。しかも、長ネギＧが萎れることで長さが短くなった場合に新たな長ネギＧと認識されないので、在庫期間Ｇを正確に更新できる。しかも、長ネギＧの長さを比較する場合に長ネギＧの冷蔵庫１内での成長量を補正したので、長ネギＧが冷蔵庫１内で成長することに影響されずに在庫期間を正確に管理できる。 For the green onion G, if the current detection result of the length of the food is longer than the previous detection result, it is determined that a new food item has been stored in the
食品の在庫期間が所定期間２に比べて長い場合には冷蔵庫１内の撮像結果を表示する場合に当該食品を赤枠で囲むことで当該食品の在庫期間が所定期間２に比べて長いことを表示したので、どの食品の保存期間が長くて早く消費するべきかを使用者が一目で知ることができる。 When the stock period of the food is longer than the
（実施例２）
図１４はクラウドサーバ２８に予め記憶された紙パック入り牛乳ＰＭ用の判定データである。図１４の（ａ）は「未開封」の紙パック入り牛乳ＰＭに関するものであり、図１４の（ｂ）は「開封済」の紙パック入り牛乳ＰＭに関するものであり、両者は注ぎ口の形状が相違する。(Example 2)
FIG. 14 shows determination data for milk PM in a paper pack stored in the
クラウドサーバ２８は図１２のステップＳ４２で紙パック入り牛乳ＰＭの食品データを図１４の（ａ）および（ｂ）のそれぞれの判定データと比較することに応じて当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに「未開封」および「開封済」の判定結果を記憶する。このクラウドサーバ２８は前回記憶領域Ｒの判定結果が「未開封」で今回記憶領域Ｒの判定結果が「開封済」と判断した場合に紙パック入り牛乳ＰＭの在庫期間ＰＭをリセットする。 The
上記実施例２によれば次の効果を奏する。
紙パック入り牛乳ＰＭが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＭをリセットしたので、紙パック入り牛乳ＰＭが開封されたことを基準に在庫期間ＰＭを正確に管理できる。According to the second embodiment, the following effects can be obtained.
It was determined whether the milk PM in the paper pack was “unopened” or “opened”, and when it was determined that the status changed from “unopened” to “opened”, the inventory period PM was reset. The stock period PM can be accurately managed based on the fact that the packed milk PM has been opened.
（実施例３）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、チューブ解析処理へ移行する。このチューブ解析処理は、図１５に示すように、冷蔵室３の左ポケット１３内に透明なチューブ入りマヨネーズＴＢが縦向きに入れられている場合にチューブ入りマヨネーズＴＢの在庫期間ＴＢを検出するものであり、クラウドサーバ２８はチューブ解析処理で今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれにチューブ入りマヨネーズＴＢの食品データが記憶されているか否かを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較するものであり、チューブの輪郭形状を検出することで行われる。(Example 3)
When the
クラウドサーバ２８は今回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定すると、当該食品データからチューブ内のマヨネーズの残量を判定する。この残量はチューブの上端からマヨネーズの上面までの距離に応じて判定されるものであり、クラウドサーバ２８は前回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定した場合には当該食品データからチューブ内のマヨネーズの残量を判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の判定結果を比較する。このマヨネーズの残量は食品の在庫情報に相当し、チューブは容器に相当する。 If the
１）クラウドサーバ２８は開封済フラグのオフ状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないと判断した場合には開封済フラグをオン状態に設定し、チューブ入りマヨネーズＴＢの在庫期間ＴＢを（０）にリセットする。即ち、使用者が冷蔵室３内の新品のチューブ入りマヨネーズＴＢを開封して消費し、使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合には在庫期間ＴＢがリセットされる。1) When the
２）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、在庫期間ＴＢに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを全く使用しなかった場合には在庫期間ＴＢが更新され、冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使った後に使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合にも在庫期間ＴＢが更新される。2) When the
３）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて多いと判定した場合には開封済フラグをオフ状態に設定し、在庫期間ＴＢをリセットする。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使い切り、冷蔵室３内に未開封のチューブ入りマヨネーズＴＢを新たに投入した場合には在庫期間ＴＢがリセットされる。3) When the
上記実施例３によれば次の効果を奏する。
冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢの在庫情報として残量を検出し、チューブ入りマヨネーズＴＢについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなチューブ入りマヨネーズＴＢが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。According to the third embodiment, the following effects can be obtained.
The remaining amount is detected as the stock information of the tubed mayonnaise TB from the imaging result in the
冷蔵庫１内の撮像結果から食品として透光性のチューブに入れられたマヨネーズを検出した。従って、マヨネーズの残量をチューブに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。 Mayonnaise placed in a translucent tube as food was detected from the imaging result in the
冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢが「未開封」および「開封済」のいずれであるかを判定し、判定結果が「未開封」から「開封済」に変化した場合に在庫期間をリセットした。従って、チューブ入りマヨネーズＴＢが開封されたことを基準に在庫期間を正確に管理できる。 It is determined whether the tubed mayonnaise TB is “unopened” or “opened” from the imaging result in the
（実施例４）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、ペットボトル解析処理へ移行する。このペットボトル解析処理は、図１６に示すように、冷蔵室３の右ポケット１４内に透明なペットボトル入り飲料ＰＥが縦向きに保存されている場合にペットボトル入り飲料ＰＥの在庫期間ＰＥを検出するものであり、クラウドサーバ２８は今回記憶領域Ｒおよび前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されているか否かを判断する。この処理はペットボトルの輪郭形状を判断することで行われるものである。(Example 4)
When the
クラウドサーバ２８は今回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、チューブ解析処理と同様に今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の検出結果を比較することに応じて在庫期間ＴＢを検出する。このペットボトル入り飲料ＰＥの残量は在庫情報に相当し、ペットボトルは容器に相当する。
上記実施例４によれば次の効果を奏する。When the
According to the fourth embodiment, the following effects can be obtained.
冷蔵庫１内の撮像結果からペットボトル入り飲料ＰＥの在庫情報として残量を検出し、ペットボトル入り飲料ＰＥについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなペットボトル入り飲料ＰＥが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。 The remaining amount is detected as the stock information of the bottled beverage PE from the imaging result in the
冷蔵庫１内の撮像結果から食品として透光性のペットボトルに入れられた飲料を検出した。従って、飲料の残量をペットボトルに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。 A beverage contained in a translucent plastic bottle as food was detected from the imaging result in the
（実施例５）
図１７はクラウドサーバ２８に予め記憶されたペットボトル入り飲料ＰＥ用の判定データである。図１７の（ａ）は「未開封」のペットボトル入り飲料ＰＥに関するものであり、図１７の（ｂ）は「開封済」のペットボトル入り飲料ＰＥに関するものであり、両者はキャップＣＰおよびフランジＦ間に隙間があるか否かで相違する。(Example 5)
FIG. 17 shows determination data for a beverage PE in a PET bottle stored in the
クラウドサーバ２８はペットボトル解析処理でペットボトル入り飲料ＰＥの食品データを図１７の（ａ）および（ｂ）のそれぞれの判定データと比較することで当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「開封済」で前回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「未開封」であると判断した場合に在庫期間ＰＥをリセットする。 The
上記実施例５によれば次の効果を奏する。
ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＥをリセットしたので、ペットボトル入り飲料ＰＥが開封されたことを基準に在庫期間ＰＥを管理できる。According to the fifth embodiment, the following effects can be obtained.
Since it is determined whether the beverage PE in the PET bottle is “unopened” or “opened”, and if it is determined that the state has changed from “unopened” to “opened”, the stock period PE has been reset. The stock period PE can be managed based on the fact that the bottled beverage PE has been opened.
（実施例６）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、トレイ解析処理へ移行する。このトレイ解析処理は、図１８に示すように、冷蔵室３内に白色のトレイＴが保存されている場合にトレイＴに盛られた中身Ｓの種類を判定し、中身Ｓの在庫期間Ｓを計測するものであり、クラウドサーバ２８はトレイ解析処理へ移行した場合には今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにトレイＴの食品データが記憶されているか否かを判断する。(Example 6)
When the
クラウドサーバ２８は今回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取り、前回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取る。そして、今回記憶領域Ｒの中身Ｓの食品データおよび前回記憶領域Ｒの中身Ｓの食品データのそれぞれについて大きさを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で大きさの判定結果を比較する。 When the
１）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて小さいまたは同じと判定した場合には経過期間Ｔを算出し、中身Ｓの在庫期間Ｓに経過期間Ｔの算出結果を加算する。即ち、使用者がトレイＴの中身Ｓを全く使わなかった場合には在庫期間Ｓが更新され、トレイＴの中身Ｓを一部だけ使って冷蔵室３内にトレイＴを戻した場合にも在庫期間Ｓが更新される。1) When the
２）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて大きいと判定した場合には在庫期間Ｓを（０）にリセットする。即ち、使用者がトレイＴの中身Ｓを使い切って新たなトレイＴを冷蔵室３内に投入した場合には在庫期間Ｓがリセットされ、使用者が冷蔵室３内にトレイＴを新たに投入した場合にも在庫期間Ｓがリセットされる。2) If the
上記実施例６によれば次の効果を奏する。
冷蔵庫１内の撮像結果から食品としてトレイＴに入れられた中身Ｓを検出した。従って、中身Ｓの大きさをトレイＴに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。According to the sixth embodiment, the following effects can be obtained.
The contents S put in the tray T as foods were detected from the imaging result in the
（実施例７）
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理で今回記憶領域Ｒの卵ＥＧの食品データの数が前回記憶領域Ｒの卵ＥＧの食品データの数に比べて多いと判断すると、前回記憶領域Ｒの卵ＥＧの食品データについて輪郭線および色彩等を個別に今回記憶領域Ｒの卵ＥＧの食品データと比較する。このクラウドサーバ２８は今回記憶領域Ｒの卵ＥＧの食品データ毎に在庫期間ＥＧを計測するものであり、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと同一のものについては在庫期間ＥＧに経過期間Ｔの算出結果を加算することで在庫期間ＥＧを更新し、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと異なるものについては在庫期間ＥＧをリセットする。(Example 7)
When the
図１９の（ａ）は携帯端末３２がタッチパネルディスプレイ３３に表示する在庫一覧画面であり、「たまご」は在庫期間ＥＧが更新された古いもの（下段参照）および、在庫期間ＥＧがリセットされた新しいもの（上段参照）に分けて個数が表示される。図１９の（ｂ）は携帯端末３２がクラウドサーバ２８からの画像データＲを受信することに応じて在庫一覧画面の上に重ねて表示する画像であり、卵ＥＧの食品画像のうち在庫期間ＥＧが更新された古いものは赤色の色彩で表示される（ハッチング参照）。 FIG. 19A shows an inventory list screen displayed on the
上記実施例７によれば次の効果を奏する。
複数の卵ＥＧを個別に認識し、卵ＥＧ毎に在庫期間ＥＧを管理したので、冷蔵庫１内に卵ＥＧが残っている状態で卵ＥＧが足された場合にどの卵ＥＧが古くてどの卵ＥＧが新しいかを検出できる。従って、古い卵ＥＧを新しい卵ＥＧとは異なる色彩で携帯端末３２に表示することができるので、どの卵ＥＧの保存期間が長くて早く消費するべきかを使用者に簡単に知らせることができる。According to the seventh embodiment, the following effects can be obtained.
Since the plurality of eggs EG are individually recognized and the stock period EG is managed for each egg EG, when the egg EG is added while the egg EG remains in the
上記実施例７においては、図１１のステップＳ３１のキャベツ解析処理でキャベツＣＡの食品データから輪郭線を抽出する等の個体認識を行っても良い。この場合には今回記憶領域ＲのキャベツＣＡの食品データの大きさが前回記憶領域ＲのキャベツＣＡの食品データの大きさ以下であっても輪郭線の相違に応じて冷蔵室３内にキャベツＣＡが新たに投入されたと判定し、在庫期間ＣＡをリセットすることができる。 In the seventh embodiment, individual recognition such as extraction of an outline from the food data of the cabbage CA may be performed in the cabbage analysis processing in step S31 of FIG. In this case, even if the size of the food data of the cabbage CA in the current storage area R is smaller than the size of the food data of the cabbage CA in the previous storage area R, the cabbage CA is stored in the
（実施例８）
冷蔵室３内には、図２０に示すように、マーキング３４が施されている。このマーキング３４は使用者に卵ＥＧを置く場所を報知するものであり、最下段の棚板７の左端部に設定されている。(Example 8)
As shown in FIG. 20, a marking 34 is provided in the
クラウドサーバ２８は図９のステップＳ２２でＲカメラ２３の画像データＲから食品データを切取る場合に特定領域を残りの領域に比べて高解像度で処理する。この特定領域は予め決められたものであり、画像データＲのうちマーキング３４が施された領域に設定されている。 When cutting out the food data from the image data R of the
上記実施例８によれば次の効果を奏する。
卵ＥＧを冷蔵庫１内のどこに置くかをマーキング３４で指定したので、使用者が卵ＥＧをマーキング３４上に載せることで画像データＲのうち高解像度で処理される領域内に配置できる。従って、卵ＥＧを個別に認識する場合に解像度が高まるので、卵ＥＧの認識精度が向上する。According to the eighth embodiment, the following effects can be obtained.
Since the marking 34 specifies where the egg EG is to be placed in the
上記実施例８においては、ペットボトル入り飲料ＰＥを冷蔵庫１内のどこに置くかをマーキング等で指定しても良い。この場合には画像データＲのうちマーキング等で指定された領域を高解像度で処理することができるので、ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを正確に判別できる。 In the eighth embodiment, where the beverage PE in the PET bottle is to be placed in the
（実施例９）
冷蔵室３内には、図２１に示すように、庫内カメラ３５が固定されている。この庫内カメラ３５は冷蔵室３内を後から前に向けて撮像するものであり、撮像制御装置２５は図５のステップＳ１で主制御装置２１からの撮像指令Ｒを検出した場合に庫内カメラ３５を庫内灯１５の点灯状態でオンすることに応じて冷蔵室３内を撮像し、庫内カメラ３５からの画像データＤの検出結果をクラウドサーバ２８に送信する。この庫内カメラ３５は撮像器に相当する。(Example 9)
As shown in FIG. 21, a
クラウドサーバ２８は図９のステップＳ２２で画像データＲおよび画像データＤのそれぞれから食品データを切取り、ステップＳ２３で前回記憶領域Ｒに画像データＲおよびＤ毎に食品データをシフトし、ステップＳ２４で今回記憶領域Ｒに画像データＲおよびＤ毎に食品データを記憶する。このクラウドサーバ２８は図１２のステップＳ４１〜Ｓ４４のそれぞれで同種の食品データの数が画像データＲおよび画像データＤ間で相違する場合には多数を有効なものとし、チューブ入りマヨネーズ解析処理でマヨネーズの残量が画像データＲおよび画像データＤ間で相違する場合には多量を有効なものとする。 The
上記実施例９によれば次の効果を奏する。
冷蔵庫１の冷蔵室３内をＲカメラ２３および庫内カメラ３５によって複数の位置から撮像し、Ｒカメラ２３の撮像結果および庫内カメラ３５の撮像結果から食品の在庫情報を検出した。従って、食品を複数のアングルで撮像できるので、食品の在庫情報を正確に検出できる。According to the ninth embodiment, the following effects can be obtained.
The inside of the
（実施例１０）
図２２の在庫変動画面は携帯端末３２のタッチパネルディスプレイ３３に表示されるであり、携帯端末３２がクラウドサーバ２８からの画像データに応じて表示する。この画像データはクラウドサーバ２８が作成するものであり、クラウドサーバ２８は携帯端末３２からの画像要求指令を受信することで携帯端末３２に画像データを送信する。この在庫変動画面は食品（卵ＥＧ）の数の検出結果を在庫期間の更新結果と共に日毎に表示するものであり、タッチパネルディスプレイ３３には食品の数の検出結果が少なくなった時点（２個／１２／６）で使用者に「残りが少なくなったので、追加して下さい」が表示される。(Example 10)
The inventory change screen of FIG. 22 is displayed on the
上記実施例１〜１０のそれぞれにおいては、キャベツＣＡは１０日間、チューブ入りマヨネーズＴＢは残量が減り始めたことを基準に３週間等、クラウドサーバ２８が食品の種類毎に所定期間１および２を記憶する構成としても良い。この場合にはクラウドサーバ２８が食品の種類毎に在庫期間を所定期間１および２と比較し、在庫期間が所定期間１または２を越えている場合にこれを在庫一覧画面で食品の種類毎に使用者に報知しても良い。 In each of the above Examples 1 to 10, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＶカメラ２４の画像データＶから大根または白菜の食品データを切取って記憶し、キャベツ解析処理と同様のプロセスで大根または白菜の在庫期間を管理しても良い。 In each of the first to tenth embodiments, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから缶ジュースの食品データを切取って記憶し、ビール解析処理と同様のプロセスで缶ジュースの在庫期間を管理しても良い。 In each of the first to tenth embodiments, the
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明な容器入りのケチャップ、ソース、しょう油等の調味料の食品データを切取って記憶し、チューブ解析処理と同様のプロセスで調味料の在庫期間を管理しても良い。 In each of
上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明なタッパ入りの食材（あんこ、惣菜）の食品データを切取って記憶し、トレイ解析処理と同様のプロセスで食材の在庫期間を管理しても良い。 In each of the first to tenth embodiments, the
上記実施例１〜１０のそれぞれにおいては、主制御装置２１または撮像制御装置２５にクラウドサーバ２８と同一の機能を持たせ、主制御装置２１または撮像制御装置２５が在庫期間を管理する構成としても良い。 In each of the first to tenth embodiments, the
上記実施例１〜１０のそれぞれにおいては、携帯端末３２にクラウドサーバ２８からの画像データを表示する場合に特定の色彩を食品に付与または食品を矢印で指すことで食品の在庫期間が所定期間１または２に比べて長いことを使用者に報知しても良い。 In each of the first to tenth embodiments, when displaying the image data from the
以上、本発明のいくつかの実施例を示したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施例はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置換、変更を行うことができる。これらの実施例や変形例は発明の範囲や要旨に含まれると共に特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described above, they have been presented by way of example only, and are not intended to limit the scope of the inventions. These new embodiments can be implemented in other various forms, and various omissions, substitutions, and changes can be made without departing from the spirit of the invention. These embodiments and modifications are included in the scope and spirit of the invention and are also included in the invention described in the claims and the equivalents thereof.
１は冷蔵庫、２３はＲカメラ（撮像器）、２４はＶカメラ（撮像器）、２８はクラウドサーバ（在庫情報検出手段，在庫期間管理手段）、３５は庫内カメラ（撮像器）である。 1 is a refrigerator, 23 is an R camera (imaging device), 24 is a V camera (imaging device), 28 is a cloud server (inventory information detecting means, inventory period managing means), and 35 is an in-compartment camera (imaging device).
Claims (9)
Translated fromJapanese前記冷蔵庫内の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出し、
所定よりも前記食品が大きくなっていた場合に新たな食品が投入されたと判断することで前記食品の在庫期間を管理する食品管理方法。Image the inside of the refrigerator,
Detecting the mode for each type of food as inventory information of food stored in the refrigerator from the imaging results in the refrigerator,
A food management method for managing a stock period of the food by determining that a new food has been introduced when the food has become larger than a predetermined value.
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。Detecting the number as stock information of the food from the imaging result in the refrigerator,
2. The food management method according to claim 1, wherein a new food is stored in the refrigerator when a detection result of the inventory information on the food is larger than a detection result before the detection result. 3.
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて長い場合または多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。Detect the length or amount as the food inventory information from the imaging result in the refrigerator,
The food management according to claim 1, wherein a new food is stored in the refrigerator when a detection result of the inventory information about the food is longer or more than a detection result before the detection result. Method.
前記冷蔵庫内の複数の撮像結果から前記食品の在庫情報を検出する請求項１から５のいずれか一項に記載の食品管理方法。Image a predetermined area in the refrigerator from a plurality of positions,
The food management method according to any one of claims 1 to 5, wherein inventory information of the food is detected from a plurality of imaging results in the refrigerator.
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、
所定よりも前記食品が大きくなっていた場合に新たな食品が投入されたと判断することで前記食品の在庫期間を管理する在庫期間管理手段と、を備えた食品管理システム。An imager for imaging the inside of the refrigerator;
Inventory information detecting means for detecting an aspect of each type of food as inventory information of food stored in the refrigerator from the imaging result of the imager,
A food management system comprising: a stock period management unit that manages a stock period of the food by judging that a new food has been inserted when the food has become larger than a predetermined value.
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の態様を検出する在庫情報検出手段と、
所定よりも前記食品が大きくなっていた場合に新たな食品が投入されたと判断することで前記食品の在庫期間を管理する在庫期間管理手段と、を備えた冷蔵庫。An imager for imaging the inside of the refrigerator;
Inventory information detecting means for detecting an aspect of each type of food as inventory information of food stored in the refrigerator from the imaging result of the imager,
A stock period management means for managing the stock period of the food by judging that a new food has been inserted when the food has become larger than a predetermined value;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019181324AJP6850330B2 (en) | 2019-10-01 | 2019-10-01 | Food management method, food management system, refrigerator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019181324AJP6850330B2 (en) | 2019-10-01 | 2019-10-01 | Food management method, food management system, refrigerator |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015062538ADivisionJP6600145B2 (en) | 2015-03-25 | 2015-03-25 | Food management method and food management system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021028652ADivisionJP7084517B2 (en) | 2021-02-25 | 2021-02-25 | Food management method, food management system, refrigerator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020003207Atrue JP2020003207A (en) | 2020-01-09 |
| JP6850330B2 JP6850330B2 (en) | 2021-03-31 |
Family
ID=69099626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019181324AActiveJP6850330B2 (en) | 2019-10-01 | 2019-10-01 | Food management method, food management system, refrigerator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6850330B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112413989A (en)* | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | Object monitoring method, refrigerator, storage medium and electronic device |
| JP2021196111A (en)* | 2020-06-15 | 2021-12-27 | 三菱電機株式会社 | refrigerator |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015072109A (en)* | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | Refrigerator |
- 2019
- 2019-10-01JPJP2019181324Apatent/JP6850330B2/enactiveActive
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015072109A (en)* | 2013-03-29 | 2015-04-16 | パナソニックＩｐマネジメント株式会社 | Refrigerator |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021196111A (en)* | 2020-06-15 | 2021-12-27 | 三菱電機株式会社 | refrigerator |
| CN112413989A (en)* | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | Object monitoring method, refrigerator, storage medium and electronic device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6850330B2 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3675022B1 (en) | Augmented reality feedback of inventory for an appliance | |
| US20250029058A1 (en) | Object recognition system for an appliance and method for managing household inventory of consumables | |
| CN112984913B (en) | Article display system | |
| JP6600145B2 (en) | Food management method and food management system | |
| JP6570898B2 (en) | Ingredient position presentation method and refrigerator | |
| WO2018086502A1 (en) | Refrigerator control method and refrigerator | |
| JP6157822B2 (en) | refrigerator | |
| US20160217417A1 (en) | Object recognition for a storage structure | |
| US20080052001A1 (en) | Method and apparatus for generating policy driven meal plans | |
| CN114270124B (en) | Method for viewing and tracking stored items | |
| KR20140139736A (en) | Refrigerator and method for controlling the same | |
| CN108224896A (en) | Refrigerator management equipment, system, refrigerator and mobile terminal | |
| CN204115391U (en) | A kind of intelligent thermoregulating refrigerator | |
| JP7281755B2 (en) | refrigerator | |
| JP2016196981A (en) | Storage shed management system and storage shed management method | |
| WO2019029442A1 (en) | Item storage method for shared refrigerator, and shared refrigerator | |
| CN104197632A (en) | Intelligent temperature regulating refrigerator | |
| JP2020003207A (en) | Food control method, food control system and refrigerator | |
| CN113487804B (en) | Temperature control method of meal taking cabinet, meal taking cabinet and computer readable storage medium | |
| KR20190090290A (en) | Refrigerator with displaying image by identifying goods and method of displaying thereof | |
| JP2019109026A (en) | refrigerator | |
| KR101812524B1 (en) | Crouding management system of controlling home appliance and driving method thereof for refrigerator having artificial intelligence | |
| KR101988827B1 (en) | Refrigerator integrated with label printer | |
| CN111707034A (en) | Food taking management method, device and equipment and storage medium | |
| KR20170054761A (en) | A smart refrigerator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20191001 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20200811 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20200818 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20201006 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20201027 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20201210 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20210209 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20210305 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6850330 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |