JP7533133B2 - Information processing device, lighting device, and lighting system - Google Patents
Information processing device, lighting device, and lighting systemDownload PDFInfo
- Publication number
- JP7533133B2 JP7533133B2JP2020183539AJP2020183539AJP7533133B2JP 7533133 B2JP7533133 B2JP 7533133B2JP 2020183539 AJP2020183539 AJP 2020183539AJP 2020183539 AJP2020183539 AJP 2020183539AJP 7533133 B2JP7533133 B2JP 7533133B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- unit
- information processing
- camera
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
Translated fromJapanese本発明の実施形態は、情報処理装置、照明装置、および照明システムに関する。Embodiments of the present invention relate to an information processing device, a lighting device, and a lighting system.
照明装置およびカメラを備える照明システムが知られている。Lighting systems that include a lighting device and a camera are known.
しかしながら、従来技術では、エリアに人がいるか否かを判定するためにカメラによって撮像を行っており、カメラによって撮像した画像の活用方法について改善の余地がある。However, in conventional technology, images are captured using a camera to determine whether or not a person is present in the area, and there is room for improvement in how the images captured by the camera are utilized.
本発明が解決しようとする課題は、カメラによって撮像された動画像を有効に活用させる情報処理装置、照明装置、および照明システムを提供することである。The problem that the present invention aims to solve is to provide an information processing device, a lighting device, and a lighting system that effectively utilize video images captured by a camera.
実施形態に係る情報処理装置は、検出部と、付与部と、生成部とを具備する。検出部は、カメラによって撮像された動画像から人および人の移動態様に関する属性を検出する。付与部は、検出部によって検出された人にＩＤを付与する。生成部は、ＩＤが付与された人の移動経路を、属性と紐付けて生成する。属性は、人によるワークの搬送方法を含む。 The information processing device according to the embodiment includes a detection unit, an assignment unit, and a generation unit. The detection unit detects attributes related to people and their movement patterns from a video captured by a camera. The assignment unit assigns an ID to the person detected by the detection unit. The generation unit generates a movement route of the person to which the ID has been assigned by linking the attribute.The attribute includes a method of transporting a workpiece by the person.
本発明によれば、カメラによって撮像された動画像を有効に活用することができる。The present invention makes it possible to effectively utilize video images captured by a camera.
以下に説明する実施形態に係る情報処理装置２０は、検出部２３２と、付与部２３３と、生成部２３４とを具備する。検出部２３２は、カメラ１３２によって撮像された動画像から人および人の移動態様に関する属性を検出する。付与部２３３は、検出部２３２によって検出された人にＩＤを付与する。生成部２３４は、ＩＤが付与された人の移動経路を、属性と紐付けて生成する。The
また、以下に説明する実施形態に係る生成部２３４は、通路画像に移動経路を重畳させる。In addition, the
また、以下に説明する実施形態に係る情報処理装置２０は、算出部２３５を具備する。算出部２３５は、移動経路および属性に基づいて、通路画像の所定領域を通行した人の数を属性毎にカウントする。The
また、以下に説明する実施形態に係る算出部２３５は、人の数を所定時間帯毎にカウントする。In addition, the calculation unit 235 in the embodiment described below counts the number of people for each specified time period.
また、以下に説明する実施形態に係る属性は、人がワークを搬送しているか否かの状態を含む。In addition, the attributes in the embodiment described below include the state of whether or not a person is transporting the work.
また、以下に説明する実施形態に係る属性は、人によるワークの搬送方法を含む。Furthermore, the attributes in the embodiments described below include the method of transporting the work by humans.
また、以下に説明する実施形態に係る生成部２３４は、動画像を撮像するカメラ１３２とは異なる他のカメラ１５０によって撮像された画像に基づいて識別された人の識別情報を、移動経路に紐付ける。カメラ１３２は、天井付近に設けられる。他のカメラ１５０は、カメラ１３２よりも低い位置に設けられる。The
また、以下に説明する実施形態に係る照明装置１０は、情報処理装置２０と、カメラ１３２とを具備する。カメラ１３２は、動画像を撮像する。The
また、以下に説明する実施形態に係る照明システム１は、情報処理装置２０と、照明装置１０とを具備する。照明装置１０は、動画像を撮像するカメラ１３２を有する。The
［実施形態］
図１は、実施形態に係る照明システム１の概略構成の例を示すブロック図である。照明システム１は、照明装置１０と、情報処理装置２０とを有する。この例では、照明システム１は、工場に導入される。複数の照明装置１０が、製造ライン等が存在する作業現場に設けられる。[Embodiment]
1 is a block diagram showing an example of a schematic configuration of a
照明装置１０は、カメラ１３２（図３参照）を有する照明装置である。照明装置１０について、図２および図３も参照して説明する。The
図２は、実施形態に係る照明装置１０の外観例を示す斜視図である。照明装置１０は、照明部１１と、撮像ユニット１３と、本体部１４とを有する。照明装置１０は、本体部１４が天井面へ設置され、照明部１１から出力される光が照射面の一例である床面へと照射される天井直付けタイプの（天井に設けられる）照明装置１０である。照明装置１０は、例えば上述の工場での生産ラインの監視やオフィス内での従業員の状態監視などの用途で主に屋内で使用される。Figure 2 is a perspective view showing an example of the exterior of the
説明を分かりやすくするために、図２には、鉛直下向きを正方向とし、鉛直上向きを負方向とするＺ軸を含む３次元の直交座標系が示される。Ｘ軸は照明装置１０の長さ方向に、Ｙ軸は照明装置１０の幅方向に、それぞれ沿うように図示している。For ease of understanding, FIG. 2 shows a three-dimensional Cartesian coordinate system including a Z-axis with the positive direction being vertically downward and the negative direction being vertically upward. The X-axis is illustrated as running along the length direction of the
照明部１１は、Ｘ軸方向に沿って延びるように配置された長尺状のシャーシまたは基板（不図示）上に所定の間隔で配置された複数の発光素子１１１（図３参照）を有し、シャーシとの間に発光素子１１１が収容されるように床面側、すなわちＺ軸正方向側に拡散カバー１２が設けられた照明バーである。The
拡散カバー１２は、例えば、アクリルやポリカーボネート等の透光性の材料から作られている。拡散カバー１２は、フロスト処理が施されて複数の発光素子１１１から出射される光を拡散する機能を有するようになっている。拡散カバー１２に適宜拡散材や着色剤が混入されてもよい。The
撮像ユニット１３は、遮光カバー１５と、カメラ１３２（図３参照）とを有し、照明部１１のＸ軸負方向側に隣り合うように並んで配置される。The
本体部１４は、照明部１１および撮像ユニット１３を保持する。本体部１４は、照明装置１０を天井その他の所定の位置に取り付けるための取付部材を兼ねる。The
遮光カバー１５は、本体部１４との間にカメラ１３２を覆うように本体部１４のＺ軸正方向側に配設される。遮光カバー１５は、カメラ１３２のレンズと対向する位置に設けられた貫通口を有する。このような遮光カバー１５を配設することで、照明部１１の拡散カバー１２から照射された光をカメラ１３２のレンズに入り込みにくくすることができる。The light-
図３は、実施形態に係る照明装置１０の概略構成の例を示すブロック図である。照明装置１０は、上述の照明部１１、撮像ユニット１３および本体部１４の他に、接続部１６を有する。接続部１６は、照明装置１０を動作させる各種ケーブルの接続用の端子が配置された端子台である。Figure 3 is a block diagram showing an example of a schematic configuration of the
本体部１４は、電源制御部１４１と、記憶部１４２とを有する。電源制御部１４１は、電源部１４１ａおよび制御マイコン１４１ｂを有する。The
電源部１４１ａは、接続部１６を介して交流電源４０から供給された交流電力を直流電力に変換して出力する電源回路を有する。交流電源４０は、例えば商用電源である。The power supply unit 141a has a power supply circuit that converts AC power supplied from the
電源部１４１ａは、直流電流を所定の電圧（例えば、５０Ｖ）で照明部１１へ給電し、後述する発光素子１１１の点灯（発光）を制御する。さらに、電源部１４１ａは、直流電流を所定の電圧（例えば、５Ｖ）に変換し、撮像ユニット１３へ給電する。The power supply unit 141a supplies direct current at a predetermined voltage (e.g., 50 V) to the
制御マイコン１４１ｂは、記憶部１４２に予め設定された制御信号を生成し、電源部１４１ａ、および後述する撮像制御部１３１にそれぞれ出力する処理部である。The
照明部１１は、複数の発光素子１１１を有する。発光素子１１１は、シャーシ上の配線パターンにそれぞれ接続されており、電源部１４１ａから直流出力が供給され、点灯制御される。発光素子１１１は、例えばセラミックスで形成された本体に配設されたＬＥＤチップと、このＬＥＤチップを封止するエポキシ系樹脂やシリコーン樹脂等のモールド用の透光性樹脂とを含む。The
ＬＥＤチップは、例えば、青色光を発する青色のＬＥＤチップである。透光性樹脂には、蛍光体が混入されており、白色光を出射できるようにするために、青色の光とは補色の関係にある黄色系の光を放射する黄色蛍光体が使用されている。なお、ＬＥＤチップは、例えば赤色光や緑色光、あるいは白色光を発するものであってもよい。また、透光性樹脂は、乳白色を有し、光を拡散させる拡散部材であってもよい。The LED chip is, for example, a blue LED chip that emits blue light. A phosphor is mixed into the translucent resin, and a yellow phosphor that emits yellow light, which is a complementary color to blue light, is used to enable the emission of white light. The LED chip may be one that emits, for example, red light, green light, or white light. The translucent resin may also be a diffusion material that has a milky white color and diffuses light.
ＬＥＤは、ＬＥＤチップを直接照明部１１が有するシャーシまたは基板に実装するようにしてもよく、また、砲弾型のＬＥＤを実装するようにしてもよく、実装方式や形式は、特に限定されるものではない。The LED may be mounted as an LED chip directly on the chassis or substrate of the
撮像ユニット１３は、撮像制御部１３１およびカメラ１３２を有する。撮像制御部１３１は、カメラ１３２による撮像を制御する。The
カメラ１３２は、天井付近に設けられる。カメラ１３２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）など、電子的に画像を取得する撮像素子と、レンズとを備え、撮像素子およびレンズ等に応じた所定の画角を撮像する。撮像ユニット１３は、カメラ１３２で撮像された画像を記録させるための記憶部（図示せず）を有してもよい。カメラ１３２は、所定の画角の動画像を撮像する。カメラ１３２は、天井付近に設けられているため、広い範囲を所定の画角とすることができる。また、カメラ１３２は、照明装置１０と一体に設けられているため、配線が容易となる。また、カメラ１３２は、照明装置１０と一体となっているため、天井が高い場合であっても、照明装置１０が天井に取り付けられる際に、天井付近に容易に取り付けられる。The
図１に戻り、情報処理装置２０は、ネットワークＮを介して、照明装置１０をリモート制御する。この例では、ネットワークＮは、インターネット等の広域ネットワークであり、情報処理装置２０は、工場の外部に設けられる外部サーバ装置等である。なお、情報処理装置２０は、工場内に設けられてもよい。情報処理装置２０の機能は、工場内に設けられた装置（例えば管理装置）と、工場外に設けられた外部サーバ装置とに分散して備えられてもよい。外部サーバ装置は、クラウドシステム上に実現されていてもよい。Returning to FIG. 1, the
情報処理装置２０による照明装置１０の制御は、照明動作の制御および撮像動作の制御を含む。照明動作の制御の例は、発光素子１１１の発光動作（発光態様）の制御である。撮像動作の制御の例は、カメラ１３２の向きおよび倍率等の制御である。情報処理装置２０について、図４も参照して説明する。The control of the
図４は、実施形態に係る情報処理装置２０の概略構成の例を示すブロック図である。情報処理装置２０は、通信部２１と、記憶部２２と、制御部２３とを有する。FIG. 4 is a block diagram showing an example of a schematic configuration of an
通信部２１は、照明装置１０とデータ通信を行う通信モジュールである。The communication unit 21 is a communication module that performs data communication with the
記憶部２２は、例えば、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ、光ディスク等の記憶装置である。この例では、記憶部２２は、撮像データデータベース２２１および学習済みモデル２２２を有する。撮像データデータベース２２１は、カメラ１３２によって撮像された動画などの撮像データを記憶するデータベースである。学習済みモデル２２２は、必要に応じて、後述の制御部２３の検出部２３２による検出に用いられる。The storage unit 22 is, for example, a semiconductor memory element such as a flash memory, or a storage device such as a HDD or an optical disk. In this example, the storage unit 22 has an
制御部２３は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。The
この例では、制御部２３は、取得部２３１と、検出部２３２と、付与部２３３と、生成部２３４と、算出部２３５と、提供部２３６とを有する。これらの機能は、例えば、ＣＰＵが制御部２３のＲＡＭ、ＲＯＭ、または記憶部２２に記憶されているプログラムを読み出して実行することにより実現される。取得部２３１、検出部２３２、付与部２３３、生成部２３４、算出部２３５、および提供部２３６それぞれの一部又は全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。In this example, the
取得部２３１は、照明装置１０のカメラ１３２によって撮像された動画像を取得する。例えば、取得部２３１は、取得した動画像を記憶部２２に格納する。取得部２３１は、ユーザから後述する経路画像の提供を指示する信号や、後述するカウント結果の提供を指示する信号の入力を受け付ける。これらの信号は、キーボードや、マウスや、タッチパネルなどの入力装置を介して受け付けられてもよく、通信部２１を介して受け付けられてもよい。The
検出部２３２は、取得部２３１によって取得された動画像中の人、人の移動態様に関する属性、および人の状態を検出する。具体的には、検出部２３２は、所定の画角内の人、人の移動態様に関する属性、および人の状態を検出する。検出部２３２は、所定の画角内を移動する人を検出体として検出する。The
人の移動態様に関する属性は、人がワークを搬送しているか否かの状態を含む。人の移動態様に関する属性は、人がワークを持たずに移動している手ぶら状態や、人がワークを搬送している搬送状態を含む。また、人の移動態様に関する属性は、ワークの種類によって分けられてもよい。Attributes related to a person's movement mode include whether or not the person is carrying a workpiece. Attributes related to a person's movement mode include an empty-handed state in which the person is moving without carrying a workpiece, and a transport state in which the person is carrying a workpiece. In addition, attributes related to a person's movement mode may be divided according to the type of workpiece.
ワークは、製造ラインに投入するための部品、製造ラインから取り出される完成品等であり、梱包されて運ばれる部品であってもよい。ワークは、台車を含んでもよい。The work may be a part to be put into a production line, a finished product to be removed from a production line, or a part to be packaged and transported. The work may also include a cart.
搬送状態は、人によるワークの搬送方法を含む。すなわち、人の移動態様に関する属性は、人によるワークの搬送方法を含む。搬送状態は、人がワークを手に持って搬送するハンドリフト状態や、人が台車によってワークを搬送する台車搬送状態を含む。The transport state includes the method by which a person transports a workpiece. In other words, the attributes related to the person's movement mode include the method by which a person transports a workpiece. The transport state includes a hand lift state in which a person transports a workpiece by holding it in their hands, and a cart transport state in which a person transports a workpiece using a cart.
以下では、人の移動態様に関する属性として、手ぶら状態、ハンドリフト状態、および台車搬送状態を一例として説明するが、人の移動態様に関する属性がこれに限られることはない。Below, we will explain the empty-handed state, hand-lift state, and cart transport state as examples of attributes related to a person's movement mode, but the attributes related to a person's movement mode are not limited to these.
人の状態は、人の位置、移動速度、移動方向などである。人の位置は、動画像中の位置であってもよく、工場のレイアウトを示すマップ上の位置（座標等）であってもよい。The state of a person includes the person's position, moving speed, moving direction, etc. The position of the person may be a position in a moving image, or a position (coordinates, etc.) on a map showing the layout of the factory.
人、人の移動態様に関する属性、および人の状態の検出には、学習済みモデル２２２が用いられてよい。その場合、検出部２３２は、取得部２３１によって取得された動画像と、記憶部２２に記憶された学習済みモデル２２２とを用いて、動画像中の人、人の移動態様に関する属性、および人の状態を検出する。The trained
学習済みモデル２２２は、動画像が入力されると、人、人の移動態様に関する属性、および人の状態の検出結果を出力するように、訓練データを用いて予め生成されてよい。訓練の例は、ディープラーニングである。訓練データの例は、照明システム１が設けられた作業現場若しくは他の作業現場において取得された撮像画像と、動画像中の人、人の移動態様に関する属性、人の状態の検出結果とを対応づけたデータ群である。学習済みモデル２２２は、適時アップデートされてよい。The trained
上記の検出手法は一例に過ぎず、動画像から人、人の移動態様に関する属性、および人の状態を検出することが可能なあらゆる検出手法が用いられてよい。例えば、検出部２３２は、学習済みモデル２２２を用いずに、所与のアルゴリズム等を用いて、動画像中の人、人の移動態様に関する属性、および人の状態を検出してよい。アルゴリズムと、学習済みモデル２２２とが組み合わされて用いられてもよい。例えば、学習済みモデル２２２を用いて人の位置を検出し、その検出結果から、アルゴリズムを用いて移動速度および移動方向等を検出するといった組み合わせも可能である。The above detection methods are merely examples, and any detection method capable of detecting people, attributes related to the way people move, and the state of people from video may be used. For example, the
付与部２３３は、検出部２３２によって検出された人にＩＤを付与する。所定の画角内に複数の人が検出された場合には、付与部２３３は、人毎に異なるＩＤを付与する。The assigning
例えば、付与部２３３は、図５に示すように、３人の人Ａ～Ｃが検出された場合には、人Ａに対し「ａ０１」のＩＤを付与し、人Ｂに対し「ｂ０１」のＩＤを付与し、人Ｃに対し「ｃ０１」のＩＤを付与する。図５は、動画像の例を示す図である。For example, as shown in FIG. 5, when three people A to C are detected, the assigning
図５における例では、人Ａは、手ぶら状態であり、人Ｂは、ワークＷ１を手に持って移動しているハンドリフト状態である。人Ｃは、台車ＤにワークＷ２、Ｗ３を載せて搬送している台車搬送状態である。なお、ＩＤは、人の移動態様に関する属性に応じて付与されてもよい。In the example in FIG. 5, person A is empty-handed, and person B is in a hand-lift state, moving with workpiece W1 in his/her hand. Person C is in a cart transport state, transporting workpieces W2 and W3 on cart D. The ID may be assigned according to attributes related to the person's movement mode.
所定の画角内で或る人が連続して検出されている場合には、或る人には、同じＩＤが付与される。例えば、図５に示した３人の人Ａ～Ｃが、図６に示すように移動した場合には、人Ａには「ａ０１」のＩＤが付与され、人Ｂには「ｂ０１」のＩＤが付与され、人Ｃには「ｃ０１」のＩＤが付与される。図６は、図５に示す状態から人が移動した例を示す図である。When a person is detected continuously within a specified angle of view, the person is assigned the same ID. For example, when three people A to C shown in FIG. 5 move as shown in FIG. 6, person A is assigned the ID "a01", person B is assigned the ID "b01", and person C is assigned the ID "c01". FIG. 6 shows an example where people have moved from the state shown in FIG. 5.
付与部２３３は、所定の画角内で検出されていた人が、所定の画角外に出て検出されなくなるとＩＤを解除する。すなわち、付与部２３３は、検出されていた人が検出されなくなったか否かを判定し、未検出となった人に対応するＩＤを解除する。解除されたＩＤは、所定の画角内で新たに検出された人に付与される。The assigning
なお、例えば、所定の画角外に人が出た後に、同じ人が再び所定の画角内に入り、検出部２３２によって新たに検出された場合には、付与部２３３は、前回付与されたＩＤとは関係なく、検出された人にＩＤを付与する。この場合、新たに検出された人は、前回と異なるＩＤが付与されることがあり、前回と同じＩＤが付与されることがある。ＩＤは、所定の画角内で連続して検出される人に同じＩＤが付与されればよい。For example, if a person leaves the predetermined angle of view and then re-enters the predetermined angle of view and is newly detected by the
付与部２３３は、検出された人にＩＤを付与し、また検出されなくなった人からＩＤを解除することで、使用するＩＤの数を少なくすることができる。The
生成部２３４は、ＩＤが付与された人の移動経路を、人の移動態様に関する属性と紐付けて生成する。生成部２３４は、検出部２３２によって検出された人の位置、移動速度、移動方向などに基づいて、動画像から人の移動をトラッキングし、人の移動経路を生成する。検出部２３２によって検出された人は、付与部２３３によってＩＤが付与されているため、生成部２３４によって生成される人の移動経路は、ＩＤが付与された人の移動経路である。The
例えば、図６に示すように３人の人Ａ～Ｃが移動した場合には、３つの移動経路Ｌ１～Ｌ３が生成される。また、各移動経路Ｌ１～Ｌ３には、人の移動態様に関する属性が紐付けられている。例えば、移動経路Ｌ１には、人の移動態様に関する属性として、手ぶら状態が紐付けられる。移動経路Ｌ２には、人の移動態様に関する属性として、ハンドリフト状態が紐付けられる。移動経路Ｌ３には、人の移動態様に関する属性として、台車搬送状態が紐付けられる。For example, when three people A to C move as shown in FIG. 6, three movement routes L1 to L3 are generated. Each of the movement routes L1 to L3 is associated with an attribute related to the person's movement mode. For example, the empty-handed state is associated with movement route L1 as an attribute related to the person's movement mode. The hand-lift state is associated with movement route L2 as an attribute related to the person's movement mode. The cart transport state is associated with movement route L3 as an attribute related to the person's movement mode.
生成部２３４は、人の位置が検出された時間を紐付けて人の移動経路を生成する。生成部２３４は、所定の画角における通路画像に、人の移動態様に関する属性が紐付けられた移動経路を重畳させた経路画像を生成し、記憶部２２に格納する。通路画像は、所定の画角における工場の通路が示された画像である。例えば、通路画像は、予め記憶部２２に格納されている。生成部２３４は、記憶部２２から通路画像を読み出して、経路画像を生成し、生成した経路画像を記憶部２２に格納する。なお、通路画像は、カメラ１３２によって撮像された動画像から取得された画像であってもよい。The
生成部２３４は、人の移動態様に関する属性に応じて、移動経路の線の種類や、線の太さや、線の色などを変更して通路画像に重畳してもよい。生成部２３４は、複数の人が検出されている場合には、複数の人の各移動経路を、同じ通路画像に重畳させて経路画像を生成する。生成部２３４は、日時に応じて経路画像を生成してもよい。生成部２３４は、例えば、日毎に経路画像を生成してもよく、１日の中で時間を分けて複数の経路画像を生成してもよい。The generating
算出部２３５は、カウント結果の提供を指示する信号が取得部２３１によって受け付けられると、通路画像の所定領域を通行した人の数を、人の移動態様に関する属性毎、および所定時間帯毎にカウントする。カウント結果の提供を指示する信号には、所定領域、および日時を指定する信号が含まれる。When the
所定領域は、予め設定された領域であり、例えば、所定の画角である。所定領域は、所定の画角の一部の領域であってもよく、所定の画角内の通路を含む領域であってもよい。所定領域は、ユーザによって設定される領域であってもよい。所定領域は、複数設定可能であってもよい。The specified area is an area that is set in advance, for example, a specified angle of view. The specified area may be a part of the specified angle of view, or may be an area that includes a passageway within the specified angle of view. The specified area may be an area that is set by the user. Multiple specified areas may be set.
所定時間帯は、予め設定された時間帯であり、例えば、１５分間隔である。所定時間帯、ユーザによって設定されてもよい。The specified time period is a time period that is set in advance, for example, every 15 minutes. The specified time period may also be set by the user.
算出部２３５は、経路画像を読み出し、経路画像から、人の移動経路、および人の移動態様に関する属性に基づいて、通路画像の所定領域を通行した人の数を、人の移動態様に関する属性毎、および所定時間帯毎にカウントする。The calculation unit 235 reads the route image and, based on the attributes related to the movement path of people and the movement patterns of people from the route image, counts the number of people who have passed through a specified area of the passage image for each attribute related to the movement patterns of people and for each specified time period.
算出部２３５は、カウント結果として、例えば、図７に示すグラフを生成する。図７は、通路画像の所定領域を通行した人の数がカウントされた結果の例を示すグラフである。例えば、算出部２３５は、１５分間隔で、人の移動態様に関する属性毎に、通路画像の所定領域を通行した人の数をカウントする。そして、算出部２３５は、人の移動態様に関する属性毎の数を区切って積み上げた棒グラフを生成する。The calculation unit 235 generates, for example, a graph as shown in FIG. 7 as a counting result. FIG. 7 is a graph showing an example of the result of counting the number of people who have passed through a specified area of the corridor image. For example, the calculation unit 235 counts the number of people who have passed through a specified area of the corridor image for each attribute related to the movement patterns of people at 15-minute intervals. Then, the calculation unit 235 generates a bar graph in which the numbers for each attribute related to the movement patterns of people are separated and stacked.
なお、算出部２３５は、カウント結果として、表などを生成してもよい。すなわち、カウント結果は、グラフや、表を含む様々な形式を含む。The calculation unit 235 may generate a table or the like as the counting result. That is, the counting result may be in various formats including a graph or a table.
提供部２３６は、ユーザの要求に応じて、経路画像を提供する。提供部２３６は、経路画像の提供を指示する信号が取得部２３１によって受け付けられると、記憶部２２から経路画像を読み出し、モニタなどに経路画像を出力する。経路画像の提供を指示する信号には、日時を指定する信号が含まれる。すなわち、提供部２３６は、日時に応じた経路画像を提供する。The providing
提供部２３６は、ユーザの要求に応じて、カウント結果を提供する。提供部２３６は、カウント結果の提供を指示する信号が取得部２３１によって受け付けられると、算出部２３５によって生成されたカウント結果を、モニタなどに出力する。例えば、提供部２３６は、算出部２３５によって生成されたグラフを、カウント結果としてモニタなどに出力する。The providing
次に、実施形態に係る移動経路生成処理について図８を参照し説明する。図８は、実施形態に係る移動経路生成処理を説明するフローチャートである。この処理手順は、繰り返し実行される。なお、移動経路生成処理は、検出される人毎に行われる。Next, the movement route generation process according to the embodiment will be described with reference to FIG. 8. FIG. 8 is a flowchart illustrating the movement route generation process according to the embodiment. This processing procedure is executed repeatedly. Note that the movement route generation process is performed for each person detected.
情報処理装置２０は、動画像を取得する（Ｓ１００）。情報処理装置２０は、動画像の中から、人および人の移動態様に関する属性を検出する（Ｓ１０１）。The
情報処理装置２０は、検出した人にＩＤを付与する（Ｓ１０２）。情報処理装置２０は、ＩＤを付与した人の移動経路を生成する（Ｓ１０３）。具体的には、情報処理装置２０は、人の移動経路を、人の移動態様に関する属性と紐付けて生成する。The
情報処理装置２０は、人が未検出となったか否かを判定し（Ｓ１０４）、人が検出されている場合には（Ｓ１０４：Ｎｏ）、移動経路を生成する（Ｓ１０３）。情報処理装置２０は、人が未検出になると（Ｓ１０４：Ｙｅｓ）、ＩＤを解除する（Ｓ１０５）。The
情報処理装置２０は、生成した移動経路を通路画像に重畳して経路画像を生成し（Ｓ１０６）、経路画像を記憶部２２に格納する（Ｓ１０７）。The
次に、実施形態に係る経路画像提供処理について図９を参照し説明する。図９は、実施形態に係る経路画像提供処理を説明するフローチャートである。Next, the route image provision process according to the embodiment will be described with reference to FIG. 9. FIG. 9 is a flowchart illustrating the route image provision process according to the embodiment.
情報処理装置２０は、経路画像の提供を指示する信号を受け付ける（Ｓ２００）。情報処理装置２０は、経路画像の提供を指示する信号に基づいて、経路画像を記憶部２２から読み出し（Ｓ２０１）、読み出した経路画像を提供する（Ｓ２０２）。The
次に、実施形態に係るカウント結果提供処理について図１０を参照し説明する。図１０は、実施形態に係るカウント結果提供処理を説明するフローチャートである。Next, the count result provision process according to the embodiment will be described with reference to FIG. 10. FIG. 10 is a flowchart illustrating the count result provision process according to the embodiment.
情報処理装置２０は、カウント結果の提供を指示する信号を受け付ける（Ｓ３００）。情報処理装置２０は、経路画像を読み出し（Ｓ３０１）、経路画像から、通路画像の所定領域を通行した人の数を、人の移動態様に関する属性毎、および所定時間帯毎にカウントする（Ｓ３０２）。例えば、情報処理装置２０は、カウント結果としてグラフを生成する。情報処理装置２０は、カウント結果を提供する（Ｓ３０３）。The
情報処理装置２０は、検出部２３２と、付与部２３３と、生成部２３４とを具備する。検出部２３２は、カメラ１３２によって撮像された動画像から人および人の移動態様に関する属性を検出する。付与部２３３は、検出部２３２によって検出された人にＩＤを付与する。生成部２３４は、ＩＤが付与された人の移動経路を、人の移動態様に関する属性と紐付けて生成する。The
これにより、例えば、工場内における人の移動経路が、人の移動態様に関する属性と共に格納される。そのため、ユーザは、移動経路に基づいて、どうような移動態様の人が、工場内でどのような動きをしているかを把握することができる。例えば、ユーザは、台車搬送状態の人が多く通る通路の幅を広くするように、工場のレイアウトを変更することができる。また、例えば、ユーザは、ハンドリフト状態、および台車搬送状態の人が多く通る箇所に注意喚起をする看板などを設置することができる。これらの対策は、工場内の安全性を向上させ、生産効率を向上させることができる。すなわち、情報処理装置２０は、カメラ１３２によって撮像された動画像を有効に活用させることができる。As a result, for example, the movement paths of people within a factory are stored together with attributes related to the person's movement patterns. Therefore, the user can understand what kind of movement patterns people have and how they are moving within the factory based on their movement paths. For example, the user can change the layout of the factory to widen the aisles through which many people in the cart transport state pass. Also, for example, the user can install signs to warn people in the hand lift state and the cart transport state pass through many people. These measures can improve safety within the factory and improve production efficiency. In other words, the
生成部２３４は、通路画像に、移動経路を重畳させる。The
これにより、ユーザは、移動経路が重畳された通路画像に基づいて、工場内の通路における通行量の多さや、人の移動態様などを容易に把握することができる。そのため、ユーザは、例えば、工場のレイアウト変更などを容易に、かつ適切に行うことができる。This allows users to easily grasp the amount of traffic in the aisles within the factory and the movement patterns of people based on the aisle image with the movement path superimposed. This allows users to easily and appropriately make changes to the layout of the factory, for example.
情報処理装置２０は、算出部２３５を具備する。算出部２３５は、移動経路および人の移動態様に関する属性に基づいて、通路画像の所定領域を通行した人の数を、人の移動態様に関する属性毎にカウントする。The
これにより、ユーザは、所定領域を通行する人について、移動態様に関する属性毎に分類されたデータを得ることができる。そのため、ユーザは、工場内の所定領域における通行量の多さや、人の移動態様などを容易に把握することができる。従って、ユーザは、例えば、工場のレイアウト変更などを容易に、かつ適切に行うことができる。This allows the user to obtain data on people passing through a specified area, categorized by attributes related to their movement patterns. This allows the user to easily grasp the amount of traffic in a specified area within the factory, and the movement patterns of people. This allows the user to easily and appropriately make changes to the layout of the factory, for example.
算出部２３５は、通路画像の所定領域を通行した人の数を所定時間帯毎にカウントする。The calculation unit 235 counts the number of people who pass through a specified area of the passage image for each specified time period.
これにより、ユーザは、所定領域を通行する人について、所定時間毎に分類されたデータを得ることができる。そのため、ユーザは、工場内の所定領域における通行量の多さなどを、時間帯毎に把握することができる。従って、ユーザは、例えば、工場のレイアウト変更などを容易に、かつ適切に行うことができる。This allows the user to obtain data on people passing through a specified area, categorized by specified time period. This allows the user to ascertain the amount of traffic in a specified area of the factory for each time period. This allows the user to easily and appropriately make changes to the layout of the factory, for example.
人の移動態様に関する属性は、人がワークを搬送しているか否かの状態を含む。Attributes related to a person's movement mode include whether or not the person is transporting a workpiece.
これにより、ユーザは、工場内における人の移動、およびワークの移動を把握することができる。そのため、ユーザは、人、およびワークの移動状態を正確に把握することができる。This allows users to understand the movement of people and work within the factory. As a result, users can accurately understand the movement of people and work.
人の移動態様に関する属性は、人によるワークの搬送方法を含む。Attributes related to people's movement patterns include the method by which people transport work.
これにより、ユーザは、工場内においてワークがどうような方法によって、人に搬送されているか把握することができる。そのため、ユーザは、例えば、工場のレイアウトを変更する場合に、作業効率を向上させるレイアウトに適切に変更することができる。This allows the user to understand how work is being transported to people within the factory. Therefore, when changing the layout of the factory, the user can appropriately change it to a layout that improves work efficiency.
［変形例］
変形例に係る情報処理装置２０は、図１１に示すように、カメラ１３２とは異なる他のカメラ１５０によって撮像された画像に基づいて人を識別し、人の識別情報を、移動経路に紐付けてもよい。例えば、情報処理装置２０の生成部２３４は、人の識別情報を移動経路に紐付ける。図１１は、変形例に係る他のカメラ１５０の配置を示す模式図である。[Modification]
As shown in Fig. 11, the
他のカメラ１５０は、カメラ１３２よりも低い位置に設けられる。他のカメラ１５０は、カメラ１３２よりも人の顔を詳細に撮像することができるカメラである。すなわち、他のカメラ１５０は、人を個別に識別することができる画像を撮像可能なカメラである。他のカメラ１５０は、例えば、工場の壁に設けられる。他のカメラ１５０は、例えば、工場内の作業台１６０に設けられてもよい。他のカメラ１５０は、作業台１６０に設けられた照明装置１７０と一体であってもよい。The
これにより、情報処理装置２０は、他のカメラ１５０によって撮像された画像に基づいて人を識別し、移動経路に対応する人を特定することができる。そのため、情報処理装置２０は、人を特定した移動経路を検索可能となり、例えば、感染病に罹った人が通った経路を検索可能となる。そのため、ユーザは、例えば、消毒などの処理が必要な箇所を特定することができる。This allows the
変形例に係る情報処理装置２０は、移動経路に基づいて、例えば、感染病に罹った人と接触した可能性がある他の人を特定してもよい。The
変形例に係る情報処理装置２０は、移動経路に人の移動速度や、移動方向を紐付けてもよい。これにより、ユーザは、例えば、工場内で事故が生じやすい箇所を移動経路に基づいて把握することができ、レイアウトを変更したり、注意喚起などの看板を設定したりするなどの対策を実行することができる。The
変形例に係る情報処理装置２０は、複数のカメラ１３２によって撮像した動画像から、複数のカメラ１３２の各所定の画角内における移動経路をつなげてもよい。例えば、情報処理装置２０は、隣接する画角内において、移動経路をつなげてもよい。The
これにより、情報処理装置２０は、人の移動態様に関する属性が紐付けられた移動経路を広範囲で得ることができる。This allows the
変形例に係る情報処理装置２０は、移動経路に基づいて、立ち入り禁止エリアへの侵入を検出してもよい。また、情報処理装置２０は、人が立ち入り禁止エリアに侵入した場合に、アラートを出してもよい。The
なお、上記実施形態、および変形例において、照明装置１０は、照明部１１、撮像ユニット１３、および本体部１４に加えて、情報処理装置２０を有してもよい。すなわち、照明装置１０と情報処理装置２０とは一体に設けられてもよい。In the above embodiment and modified examples, the
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。Although an embodiment of the present invention has been described, this embodiment is presented as an example and is not intended to limit the scope of the invention. This embodiment can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the gist of the invention. These embodiments and their modifications are within the scope of the invention and its equivalents as described in the claims, as well as the scope and gist of the invention.
１ 照明システム
１０ 照明装置
１１ 照明部
１３ 撮像ユニット
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
１３２ カメラ
１５０ 他のカメラ
２３１ 取得部
２３２ 検出部
２３３ 付与部
２３４ 生成部
２３５ 算出部
２３６ 提供部
Claims (8)
Translated fromJapanese前記検出部によって検出された前記人にＩＤを付与する付与部と；
前記ＩＤが付与された前記人の移動経路を、前記属性と紐付けて生成する生成部と；
を具備し、
前記属性は、前記人によるワークの搬送方法を含む情報処理装置。 A detection unit that detects attributes related to a person and a movement pattern of the person from a video image captured by a camera;
an assigning unit that assigns an ID to the person detected by the detection unit;
a generation unit that generates a movement route of the person to which the ID is assigned by linking the movement route with the attribute;
Equipped with
The information processing device, wherein the attributes include a method of transporting a workpiece by the person .
請求項１に記載の情報処理装置。 The information processing device according to claim 1 , wherein the generating unit superimposes the travel path on a passage image.
を具備する請求項２に記載の情報処理装置。 The information processing device according to claim 2 , further comprising: a calculation unit configured to count the number of people who have passed through a predetermined area of the passage image for each attribute based on the movement route and the attribute.
請求項３に記載の情報処理装置。 The information processing device according to claim 3 , wherein the calculation unit counts the number of people for each predetermined time period.
請求項１～４のいずれか１つに記載の情報処理装置。 The information processing device according to claim 1 , wherein the attributes include a state of whether or not the person is transporting a workpiece.
前記カメラは、天井付近に設けられ、
前記他のカメラは、前記カメラよりも低い位置に設けられる
請求項１～５のいずれか１つに記載の情報処理装置。 The generation unit associates identification information of the person identified based on an image captured by a camera other than the camera capturing the moving image with the movement route;
The camera is installed near the ceiling,
The information processing device according to claim1 , wherein the other camera is provided at a lower position than the camera.
前記動画像を撮像する前記カメラと；
を具備する照明装置。 An information processing device according to any one of claims 1 to6 ;
The camera that captures the moving image;
A lighting device comprising:
前記動画像を撮像する前記カメラを有する照明装置と；
を具備する照明システム。 An information processing device according to any one of claims 1 to6 ;
a lighting device having the camera for capturing the moving image;
A lighting system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020183539AJP7533133B2 (en) | 2020-11-02 | 2020-11-02 | Information processing device, lighting device, and lighting system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020183539AJP7533133B2 (en) | 2020-11-02 | 2020-11-02 | Information processing device, lighting device, and lighting system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022073511A JP2022073511A (en) | 2022-05-17 |
| JP7533133B2true JP7533133B2 (en) | 2024-08-14 |
Family
ID=81605140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020183539AActiveJP7533133B2 (en) | 2020-11-02 | 2020-11-02 | Information processing device, lighting device, and lighting system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7533133B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011002896A (en) | 2009-06-16 | 2011-01-06 | Fujitsu Ltd | Tracking system and tracking method |
| JP2015076872A (en) | 2013-10-09 | 2015-04-20 | スリーイーサイエンス株式会社 | Illuminating device with monitoring camera |
| JP2019113976A (en) | 2017-12-22 | 2019-07-11 | キヤノンマーケティングジャパン株式会社 | Movement line analysis system, control method therefor, and program |
| JP2020009157A (en) | 2018-07-09 | 2020-01-16 | 富士ゼロックス株式会社 | Sale prediction device and program |
- 2020
- 2020-11-02JPJP2020183539Apatent/JP7533133B2/enactiveActive
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011002896A (en) | 2009-06-16 | 2011-01-06 | Fujitsu Ltd | Tracking system and tracking method |
| JP2015076872A (en) | 2013-10-09 | 2015-04-20 | スリーイーサイエンス株式会社 | Illuminating device with monitoring camera |
| JP2019113976A (en) | 2017-12-22 | 2019-07-11 | キヤノンマーケティングジャパン株式会社 | Movement line analysis system, control method therefor, and program |
| JP2020009157A (en) | 2018-07-09 | 2020-01-16 | 富士ゼロックス株式会社 | Sale prediction device and program |
Non-Patent Citations (1)
| Title |
|---|
| 城所宏行 外４名，店舗環境内の停留位置系列から推定した顧客の興味に基づく誘導の実現，電子情報通信学会技術研究報告，社団法人電子情報通信学会，2011年05月12日，第111巻 第50号，pp.49～56 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022073511A (en) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7345142B2 (en) | Risk assessment system and risk assessment method | |
| EP3613690B1 (en) | An elevator signalization apparatus | |
| US20220390927A1 (en) | Equipment control system, control method, and program | |
| US11199840B2 (en) | Mover control system, mover system, mover control method, and non-transitory storage medium | |
| WO2023277346A1 (en) | Robot-friendly building | |
| US9793990B2 (en) | Worker management device, worker management system, and workwear | |
| US20160223341A1 (en) | Graph-based navigation using lighting effects | |
| US11041617B2 (en) | Luminaire with an integrated camera | |
| KR102362935B1 (en) | Passenger guidance device and passenger guidance method | |
| CN109095309B (en) | Method and device for calibrating elevator floor by using robot and robot | |
| CN112041665B (en) | Display device, image processing device and control method | |
| JP7533133B2 (en) | Information processing device, lighting device, and lighting system | |
| CN109073208A (en) | Modular Light Panel | |
| JP7505351B2 (en) | Lighting System | |
| Kubota et al. | Snap&Nav: Smartphone-based Indoor Navigation System For Blind People via Floor Map Analysis and Intersection Detection | |
| JP2022056286A (en) | Illumination system | |
| WO2015008873A1 (en) | Apparatus and method for recognizing 3d image using heterogeneous cameras | |
| US20190356866A1 (en) | Frame Stitching And Other Functions Using Multiple Cameras | |
| JP2021028733A (en) | Object identification device and object identification system | |
| JP2023049948A (en) | Management system | |
| JP5992761B2 (en) | Vacuum cleaner, vacuum cleaner system, and control method of vacuum cleaner | |
| KR20180005165A (en) | A system for dynamically operating an environment within a station or any other public place | |
| JP7718261B2 (en) | Information processing device, lighting device, and lighting system | |
| CN111245415B (en) | A Method for Analyzing Movement Directionality of Infrared Through-beam Photoelectric Switch | |
| KR102735120B1 (en) | Method of real-time monitoring locations of indoor-things by PIR sensor-based robot and System thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20230804 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20240408 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20240423 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20240618 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20240702 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20240715 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7533133 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |