KR20210041795A - Operation method of unmanned convenience store using unmanned kiosk based on big data and internet of things - Google Patents

Abstract

The purpose of the present invention is to provide an operation method of an unmanned convenience store using an unmanned kiosk based on big data and the Internet of Things. The present invention for realizing the same recognizes an event for a plurality of items using a sensor module including a photo sensor for detecting row positions of a plurality of items displayed on a display stand, and a load cell sensor for detecting the weight of the plurality of items, and an image module acquiring image information on the plurality of items, and manages the items by comparing inventory data with change data generated by the event.

Description

Translated fromKorean

빅데이터 및 사물인터넷을 기반으로 한 무인키오스크를 활용한 무인편의점 운영방법{Operation method of unmanned convenience store using unmanned kiosk based on big data and internet of things}Operation method of unmanned convenience store using unmanned kiosk based on big data and internet of things}

본 발명은 빅데이터 및 사물인터넷을 기반으로 한 무인키오스크를 활용한 무인편의점 운영방법에 관한 것으로서, 더욱 상세하게는 진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함하는 센서 모듈, 및 복수의 아이템에 대한 이미지 정보를 획득하는 이미지 모듈을 이용하여 복수의 아이템에 대한 이벤트를 인식하고, 이벤트에 의해 발생된 변동 데이터와 인벤토리 데이터를 비교하여 아이템을 관리에 관한 것이다.The present invention relates to a method of operating an unmanned convenience store using an unmanned kiosk based on big data and IoT, and more particularly, a photo sensor that detects the row position of a plurality of items displayed on a shelf, and a plurality of items. Using a sensor module including a load cell sensor that detects the weight of and an image module that acquires image information for a plurality of items, events for a plurality of items are recognized, and fluctuation data and inventory data generated by the event are Compare and manage items.

소매업자, 도매업자 및 기타 제품의 대리점은 일반적으로 고객이나 거래처 등에 의해 주문 및 구입이 가능한 다양한 상품의 재고를 유지하고 있다. 예를 들어 일반적인 마트의 모습을 살펴보면, 사용자(고객)는 마트에 진입하여 상품을 고르고, 상품이 담긴 카트를 가지고 계산대에 줄을 선다. 이후, 마트 직원은 사용자가 선택한 상품에 대한 바코드를 인식하여 계산을 수행한다.Retailers, wholesalers, and other product agencies generally maintain an inventory of various products that can be ordered and purchased by customers or customers. For example, looking at a general mart, a user (customer) enters the mart, selects a product, and lines up at a cash register with a cart containing the product. Thereafter, the mart employee performs calculation by recognizing the barcode for the product selected by the user.

최근에 각광받는 4차 산업혁명은 빅데이터, 사물인터넷, 인공지능과 딥러닝 등의 대표 키워드를 포함한다. 4차산업혁명의 기술은 우리의 실생활에 직접적인 영향을 미칠 수 있으며, 우리의 삶에 편의적인 도구가 되는 것을 넘어 학습과 분석을 통해 진화하고 있다.이러한 기술 발전에 따라 최근에는 4차 산업혁명이 적용된 오프라인 쇼핑에 대한 관심이 증가하고 있다.아마존(Amazon)은 이러한 기술 변화에 따라 새로운 오프라인 마트인 '아마존고(Amazon Go)'를 오픈했다. 아마존고는 식료품과 잡화 등을 판매하는 일반 마트와 크게 다르지 않다. 다만, 아마존고 내의 사용자는 상품을 선택한 후, 따로 계산을 수행하지 않아도 된다. 아마존고는 사용자에 의해 선택된 상품을 자동으로 인식하고, 사용자에 대응하는 결제 수단을 이용하여 인식된 상품에 대한 결제를 청구한다.이에 아마존이 출원한 특허인 미국공개특허 US2015/0012396는 'Transitioning items from a materials handling facility'에 관한 기술로, 상품의 제거 또는 배치를 추적하여 사용자 상품 리스트의 갱신을 수행하는 방법을 개시한다.다만, 미국공개특허 US2015/0012396는 RFID(Radio Frequency IDentification)를 이용하여 상품의 움직임을 인식하고, 카메라를 이용하여 사용자의 움직임을 인식하는 방법으로, 상품(이하에서는 '아이템(item)'이라 칭함)의 제거 또는 배치를 추적하는 데 한계가 존재하였다.즉, 상기 특허는 다양한 센서를 이용함을 기재하고 있으나, 센서의 적용에 대한 실시예 또는 권리가 명시되어있지 않으며, 주로 WiFi,NFC, RFID 및 카메라를 이용한다. 나아가, 종래의 무인점포 시스템은 주로 인공지능, 컴퓨터 비전 또는 센서 등 다양한 기술을 이용하고 있으나, 실생활에서 사용자가 상품 구매 시, 발생할 수 있는 다양한 상황에서의 아이템 관리에 대한 정확도가 낮다는 한계가 존재하였다.The 4th Industrial Revolution, which has been in the spotlight recently, includes representative keywords such as big data, Internet of Things, artificial intelligence and deep learning. The technology of the 4th industrial revolution can have a direct impact on our real life, and it is evolving through learning and analysis beyond being a convenient tool in our lives. Interest in applied offline shopping is increasing. Amazon has opened a new offline mart, ``Amazon Go,'' according to these technological changes. Amazon Go is not much different from a general mart that sells groceries and miscellaneous goods. However, users in Amazon Go do not need to perform separate calculations after selecting a product. Amazon Go automatically recognizes the product selected by the user and requests payment for the recognized product using a payment method corresponding to the user. For this reason, U.S. Published Patent US2015/0012396, a patent filed by Amazon, describes ``Transitioning items from A materials handling facility' technology discloses a method of performing an update of a user product list by tracking the removal or placement of products. However, U.S. Patent Publication No. US2015/0012396 discloses a product using RFID (Radio Frequency Identification). As a method of recognizing the movement of the user and recognizing the movement of the user using a camera, there is a limitation in tracking the removal or arrangement of a product (hereinafter referred to as'item'). That is, the patent has Although it has been described that various sensors are used, embodiments or rights to the application of the sensor are not specified, and WiFi, NFC, RFID, and cameras are mainly used. Furthermore, the conventional unmanned store system mainly uses various technologies such as artificial intelligence, computer vision, or sensors, but there is a limitation in that the accuracy of item management in various situations that can occur when a user purchases a product in real life is low. I did.

미국공개특허 US2015/0012396(20150108 공개), "Transitioning items from a materials handling facility"US Patent Publication US2015/0012396 (published 20150108), "Transitioning items from a materials handling facility"

본 발명은 상술한 제반 문제점을 해결하기 위해 안출된 것으로, 진열대에 진열된 복수의 아이템 부근에 위치하는 포토 센서,카메라 및 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 보다 정확하게 인식할 수 있는 기술을 제공하고자 한다.또한, 본 발명의 목적은 이벤트가 발생된 아이템에 대한 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 활용하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하여 아이템을 관리하는 시스템을 보다 안정적이고 효율적으로 설계할 수 있는 기술을 제공함에 그 목적이 있다.The present invention has been conceived to solve the above-described problems, and uses a photo sensor, a camera, and a load cell sensor located near a plurality of items displayed on a display rack to pick up or put down according to the user's selection. An object of the present invention is to provide a technology for more accurately recognizing an item in which an event of (put down) has occurred. In addition, an object of the present invention is to utilize fluctuation data for an item in which an event has occurred and inventory data related to a plurality of items. An object thereof is to provide a technology capable of designing a system that manages items more stably and efficiently by determining whether an item is moved, whether it is opened, whether it is in the correct position, or whether it is returned.

상술한 바와 같은 목적을 구현하기 위한 본 발명의 빅데이터 및 사물인터넷을 기반으로 한 무인키오스크를 활용한 무인편의점 운영방법의 실시예에 따른 아이템 인식 시스템은 진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 상기 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함하는 센서 모듈, 상기 복수의 아이템에 대한 이미지 정보를 획득하는 이미지 모듈 및 상기 센서 모듈 및 상기 이미지 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하며, 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 인벤토리 관리부를 포함한다.상기 센서 모듈은 복수의 행들 및 복수의 열들에 의해 구획되는 상기 진열대에 복수의 열로 진열된 상기 복수의 아이템 각각에 대한 행 위치를 감지하는 상기 포토 센서 및 상기 복수의 아이템 하단에 위치하여 무게를 감지하는 상기 로드셀 센서를 포함할 수 있다.The item recognition system according to an embodiment of the method of operating an unmanned convenience store using an unmanned kiosk based on big data and IoT of the present invention for realizing the above-described object is a row position for a plurality of items displayed on a shelf. A sensor module including a photo sensor that senses a photo sensor and a load cell sensor that senses the weight of the plurality of items, an image module that acquires image information on the plurality of items, and the plurality of And an inventory manager configured to manage an item by recognizing an event for an item of, and comparing the fluctuation data generated by the event with inventory data related to the plurality of items. The sensor module includes a plurality of rows and a plurality of columns. The photosensor for detecting a row position of each of the plurality of items displayed in a plurality of columns on the display stand divided by and the load cell sensor positioned below the plurality of items to detect weight.

상기 포토 센서는 광을 조사하는 발광부 및 상기 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 이용하여 복수의 열로 진열된 상기 복수의 아이템 중 이벤트가 발생된 아이템에 대한 거리를 측정할 수 있다.상기 이미지 모듈은 카메라인 것을 특징으로 하며, 상기 카메라는 상기 진열대에 진열된 상기 복수의 아이템 중The photo sensor may measure a distance to an item in which an event has occurred among the plurality of items displayed in a plurality of rows using a light emitting unit that irradiates light and a light receiving unit spaced apart from the light emitting unit at a predetermined interval to form a pair. The image module is characterized in that the camera, the camera is a plurality of items displayed on the display

진열된 아이템의 인벤토리 데이터, 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한 상기 이미지 정보를 획득할 수 있다.상기 인벤토리 관리부는 상기 이벤트의 인식과 상기 센서 모듈 및 상기 이미지 모듈 기반의 인식 시스템을 결합하여 상기 인벤토리 데이터를 업데이트할 수 있다.상기 인벤토리 관리부는 상기 센서 모듈 및 상기 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 움직임이 발생된 이벤트를 인식할 수 있다.The inventory data of the displayed items, the item on which the event has occurred, and the image information on the body part of the user accessing the item may be obtained. The inventory management unit recognizes the event and is based on the sensor module and the image module. The inventory data may be updated by combining a recognition system. The inventory management unit generates a pick up or put down movement according to a user's selection using the sensor module and the image module. The event can be recognized.

[0018] 상기 인벤토리 관리부는 상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.[0018] The inventory management unit compares the inventory data including at least one or more of a display position, brand, category, size, weight, number, and price for the plurality of items, and the change data generated by an event Thus, it is possible to determine whether the item is moving, whether it is opened, whether it is in a correct position, or whether it is returned.

상기 인벤토리 관리부는 상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트할 수 있다.The inventory management unit may update the inventory data based on a determination result according to a comparison between the inventory data and the variation data.

본 발명의 다른 실시예에 따른 아이템 인식 시스템은 진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서, 무게를 감지하는 로드셀 센서, 및 이미지 정보를 획득하는 이미지 모듈을 이용함으로써, 이벤트가 발생된 아이템에 대한 변동 데이터와 인벤토리 데이터를 비교하여 상기 아이템을 관리하는 것을 특징으로 한다.본 발명의 실시예에 따른 아이템을 관리하는 아이템 인식 시스템의 동작 방법에 있어서, 센서 모듈 및 이미지 모듈을 이용하여 진열대에 진열된 복수의 아이템에 대한 이벤트를 인식하는 단계 및 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 단계를 포함하되,상기 센서 모듈은 상기 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 상기 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함하며, 상기 이미지 모듈을 상기 아이템에 대한 이미지 정보를 획득하는 것을 특징으로 한다.An item recognition system according to another embodiment of the present invention uses a photo sensor that detects a row position for a plurality of items displayed on a display stand, a load cell sensor that detects weight, and an image module that acquires image information. The item is managed by comparing the fluctuation data of the generated item with the inventory data. In the method of operating an item recognition system for managing items according to an embodiment of the present invention, a sensor module and an image module are used. And recognizing an event for a plurality of items displayed on the shelf and managing an item by comparing the fluctuation data generated by the event with inventory data related to the plurality of items, wherein the sensor module A photo sensor for detecting a row position for a plurality of items, and a load cell sensor for detecting a weight of the plurality of items, and the image module is characterized in that the image information on the item is obtained.

상기 복수의 아이템에 대한 이벤트를 인식하는 단계는 상기 센서 모듈 및 상기 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 움직임이 발생된 이벤트를 인식할 수 있다.상기 아이템을 관리하는 단계는 상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및Recognizing an event for the plurality of items may recognize an event in which a pick up or put down movement has occurred according to a user's selection using the sensor module and the image module. The managing of the items includes display positions, brands, categories, sizes, weights, and numbers of the plurality of items.

가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.상기 아이템을 관리하는 단계는 상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트할 수 있다.By comparing the inventory data including at least one or more of prices with the change data generated by an event, it is possible to determine whether the item is moving, whether it is opened, whether it is in a correct position, or whether the item is returned. The managing may update the inventory data based on a determination result according to a comparison between the inventory data and the variation data.

본 발명에 따른 실시예에 따르면,진열대에 진열된 복수의 아이템 부근에 위치하는 포토 센서, 카메라 및 로드셀 센서를 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 이벤트가 발생된 아이템을 보다 정확하게 인식할 수 있다.또한, 본 발명의 실시예에 따르면, 이벤트가 발생된 아이템에 대한 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 활용하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하여 아이템을 관리하는 시스템을 보다 안정적이고 효율적으로 설계할 수 있다.According to an embodiment of the present invention, an event of a pick up or put down according to a user's selection using a photo sensor, a camera, and a load cell sensor located near a plurality of items displayed on a display stand. In addition, according to an embodiment of the present invention, the movement of the item, whether the item is opened, or not, by utilizing the fluctuation data on the item in which the event has occurred and inventory data related to a plurality of items, may be performed. It is possible to design a system that manages items more stably and efficiently by determining whether it is in the correct position or returning it.

도 1은 본 발명의 실시예에 따른 아이템 인식 시스템의 세부 구성에 대한 블록도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 아이템 인식 시스템과 센서 모듈 및 이미지 모듈의 세부구성 간의 통신을 개념적으로 설명하기 위해 도시한 것이다.
도 3은 본 발명의 실시예에 따른 아이템 인식 시스템의 적용 예를 도시한 것이다.
도 4 및 5는 본 발명의 실시예에 따른 포토 센서 및 카메라를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.
도 6a 내지 도 6c는 본 발명의 실시예에 따른 로드셀 센서를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 포토 센서의 적용 예를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 로드셀 센서의 적용 예를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 카메라의 적용 예를 도시한 것이다.
도 10은 본 발명의 실시예에 따른 아이템 인식 방법의 흐름도를 도시한 것이다.1 is a block diagram showing a detailed configuration of an item recognition system according to an embodiment of the present invention.
FIG. 2 is a diagram for conceptually explaining communication between an item recognition system according to an embodiment of the present invention and a detailed configuration of a sensor module and an image module.
3 shows an example of application of an item recognition system according to an embodiment of the present invention.
4 and 5 are diagrams for explaining in detail an example of detecting an item using a photo sensor and a camera according to an embodiment of the present invention.
6A to 6C are diagrams illustrating in detail an example of detecting an item using a load cell sensor according to an embodiment of the present invention.
7A and 7B illustrate an application example of a photo sensor according to an embodiment of the present invention.
8 shows an example of application of a load cell sensor according to an embodiment of the present invention.
9 shows an example of application of a camera according to an embodiment of the present invention.
10 is a flowchart illustrating an item recognition method according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다.따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.도 1은 본 발명의 실시예에 따른 아이템 인식 시스템의 세부 구성에 대한 블록도를 도시한 것이다.도 1을 참조하면, 본 발명의 실시예에 따른 아이템 인식 시스템은 센서 모듈 및 이미지 모듈을 이용하여 진열대에 진열된 복수의 아이템(예를 들면, 상품, 물품 등)에 대한 이벤트를 인식하며, 이벤트에 따른 변동 데이터와 인벤토리 데이터에 기초하여 아이템을 관리한다.이를 위해, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 센서 모듈 (110), 이미지 모듈(120) 및 인벤토리 관리부(130)를 포함한다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 특정 공간 내 진열대 부근에 위치하는 센서 모듈(110) 및 이미지 모듈(120)을 이용하여 복수의 선반 각각에 진열된 복수의 아이템을 감지할 수 있다. 이 때, 상기 특정 공간은 쇼핑몰, 대형 마트, 매장, 음식점 또는 기타 상업 시설의 특정 공간일 수 있으며, 상품 또는 물품을 판매하는 공간을 나타낸다. 또한, 상기 진열대는 냉장고 또는 아이템(상품)을 진열하는 가구의 일종일 수 있다.센서 모듈(110)은 진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함한다.센서 모듈(110)은 복수의 행들 및 복수의 열들에 의해 구획되는 진열대에 복수의 열로 진열된 복수의 아이템 각각에 대한 행 위치를 감지하는 포토 센서 및 복수의 아이템 하단에 위치하여 무게를 감지하는 로드셀 센서를 포함할 수 있다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the embodiments. In addition, the same reference numerals shown in each drawing indicate the same member. In addition, terms used in the present specification are terms used to properly express a preferred embodiment of the present invention, which is the intention of the viewer or operator, or The present invention may vary according to customs in the field to which the present invention belongs. Accordingly, definitions of these terms should be made based on the contents throughout the present specification. FIG. 1 is a detailed configuration of an item recognition system according to an embodiment of the present invention. 1, an item recognition system according to an embodiment of the present invention uses a sensor module and an image module to display a plurality of items (e.g., goods, articles, etc.). ), and manages items based on fluctuation data and inventory data according to the event. To this end, theitem recognition system 100 according to an embodiment of the present invention includes asensor module 110 and an image module. 120) and aninventory management unit 130. Theitem recognition system 100 according to an embodiment of the present invention uses asensor module 110 and animage module 120 located near a display stand in a specific space. A plurality of items displayed on each shelf can be detected. In this case, the specific space may be a specific space of a shopping mall, a large mart, a store, a restaurant, or other commercial facility, and represents a space for selling goods or goods. In addition, the display rack may be a refrigerator or a type of furniture that displays items (products). Thesensor module 110 includes a photo sensor that detects row positions for a plurality of items displayed on the display rack, and the weight of the plurality of items. Thesensor module 110 includes a photo sensor and a plurality of items that detect a row position for each of a plurality of items displayed in a plurality of columns on a display stand divided by a plurality of rows and a plurality of columns. It may include a load cell sensor located at the bottom to sense the weight.

예를 들면, 포토 센서는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하는 발광부 및 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 포함할 수 있으며, 진열대에 진열된 복수의 아이템의 행 위치 및 열 위치 각각에 위치하여 이벤트가 발생된 아이템 또는 아이템을 선택하는 사용자의 신체 일부에 대한 거리를 측정할 수 있다. 이 때, 포토 센서는 광 센서(Photo sensor) 또는 적외선 센서일 수 있으며,실시예에 따라서는 로드셀 센서보다 포토 센서의 수가 더 많을 수 있다.이미지 모듈(120)은 복수의 아이템에 대한 이미지 정보를 획득한다. 이미지 모듈(120)은 카메라일 수 있으며,진열대에 진열된 복수의 아이템 중 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한For example, the photo sensor may include a light-emitting unit that irradiates light such as an LED (Light Emitting Diode) or a laser, and a light-receiving unit that is spaced apart from the light-emitting unit and forms a pair. It is possible to measure a distance to an item in which an event has occurred or a body part of a user selecting an item by being positioned at each of the row and column positions of the plurality of items. In this case, the photo sensor may be a photo sensor or an infrared sensor, and depending on embodiments, the number of photo sensors may be greater than that of a load cell sensor. Theimage module 120 stores image information on a plurality of items. Acquire. Theimage module 120 may be a camera, and among a plurality of items displayed on the display stand, an item in which an event has occurred and a part of the body of a user accessing the item

이미지 정보를 획득할 수 있다. 또한, 이미지 모듈(120)은 진열대에 진열된 아이템의 인벤토리 데이터에 기반하여 상기 이미지 정보를 획득할 수 있다.실시예에 따라서, 이미지 모듈(120)은 센서 모듈(110)로부터 센싱되는 신호에 기초하여 이벤트가 발생된 아이템 및 사용자의 신체 일부에 대한 이미지 정보를 획득할 수 있다. 예를 들면, 이미지 모듈(120)은 오프(off) 또는 대기모드(sleep mode) 상태인 것을 기본으로 하며, 센서 모듈(110)로부터 수신되는 센싱 신호 또는 본 발명의 실시예에 따른 아이템 인식 시스템(100)의 신호에 기초하여 활성화(wake up)되어 해당 위치에서의 이미지 정보를 획득할 수 있다. 이에 따라서, 본 발명은 주로 센서를 이용하고, 카메라 사용을 최소화하여 이미지 프로세싱 타임을 최소화하는 효과를 제공한다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 진열대 진열된 복수의 아이템 부근에 위치하는 복수의 센서 모듈(110) 및 복수의 이미지 모듈(120) 중 적어도 2개 이상을 이용하여 복수의 아이템에 대한 이벤트를 감지할 수 있으며, 센서 및 카메라의 조합을 통해 사용자의 아이템에 대한 행위를 보다 정확히 인식할 수 있고, 기기의 오작동 및 오류를 신속히 감지할 수 있다.인벤토리 관리부(130)는 센서 모듈(110) 및 이미지 모듈(120)을 이용하여 복수의 아이템에 대한 이벤트를 인식하며, 이벤트에 의해 발생된 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리한다. 또한, 인벤토리 관리부(130)는 이벤트의 인식과 센서 모듈(110) 및 이미지 모듈(120) 기반의 인식 시스템을 결합하여 인벤토리 데이터를 업데이트할 수 있다.인벤토리 관리부(130)는 센서 모듈(110) 및 이미지 모듈(120)을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down, 또는 반납)의 움직임이 발생된 이벤트를 인식할 수 있으며, 이벤트가 발생된 아이템의 선반 정보, 위치 정보 및 무게 정보를 인식할 수 있다. 이 때, 픽 업은 사용자가 아이템을 집어 올리는 동작일 수 있고, 풋 다운은 사용자가 들고 있는 아이템을 내려놓는 동작일 수 있으며, 인벤토리 관리부(130)는 포토 센서, 카메라 및 로드셀 센서로부터 센싱된 신호의 조합으로 픽 업, 풋 다운, 아이템의 선반 정보, 위치 정보 및 아이템의 무게 정보를 인식할 수 있다.실시예에 따라서, 사용자는 진열대에 진열된 복수의 아이템 중 임의의 아이템을 픽 업할 수 있으며, 아이템을Image information can be obtained. In addition, theimage module 120 may acquire the image information based on inventory data of items displayed on the shelf. According to an embodiment, theimage module 120 is based on a signal sensed from thesensor module 110. Accordingly, image information on the item on which the event has occurred and the body part of the user may be obtained. For example, theimage module 120 is basically in an off or sleep mode, and a sensing signal received from thesensor module 110 or an item recognition system according to an embodiment of the present invention ( 100) may be activated to obtain image information at a corresponding location. Accordingly, the present invention provides an effect of minimizing the image processing time by mainly using a sensor and minimizing the use of a camera. Theitem recognition system 100 according to an embodiment of the present invention is provided in the vicinity of a plurality of items displayed on a display stand. Events for a plurality of items can be detected by using at least two or more of the plurality ofsensor modules 110 and the plurality ofimage modules 120 located, and the actions of the user's items through a combination of sensors and cameras Can be more accurately recognized, and malfunctions and errors of the device can be quickly detected. Theinventory management unit 130 recognizes events for a plurality of items using thesensor module 110 and theimage module 120, Items are managed by comparing the fluctuation data generated by the event with inventory data related to a plurality of items. In addition, theinventory management unit 130 may update inventory data by combining event recognition and a recognition system based on thesensor module 110 and theimage module 120. Theinventory management unit 130 includes asensor module 110 and asensor module 110 and animage module 120. Using theimage module 120, it is possible to recognize an event in which a movement of a pick up or put down (or return) according to a user's selection has occurred, and shelf information of the item in which the event has occurred, Location information and weight information can be recognized. In this case, the pick-up may be an operation in which the user picks up an item, and the put-down may be an operation of putting down an item held by the user, and theinventory management unit 130 includes signals sensed from a photo sensor, a camera, and a load cell sensor. In combination, pick-up, put-down, item shelf information, location information, and item weight information can be recognized. Depending on the embodiment, the user can pick up any item from among a plurality of items displayed on the shelf. Item

다시 진열대에 풋 다운할 수 있다. 또한, 사용자는 진열대에 진열된 아이템을 픽 업한 뒤, 정위치에 풋 다운할 수 있으며, 정위치가 아닌 다른 위치에 풋 다운할 수도 있다. 또한, 사용자의 부주의에 의해 아이템의 움직임이 발생할 수도 있다. 즉, 인벤토리 관리부(130)는 센서 모듈(110) 및 이미지 모듈(120)을 통해 전술한 상황에 대한 이벤트를 인식할 수 있다. 이후, 인벤토리 관리부(130)는 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 인벤토리 데이터와, 이벤트에 의해 발생된 변동 데이터를 비교하여 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단할 수 있다.예를 들면, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 데이터베이스부(140)를 더 포함할 수 있으며,데이터베이스부(140)는 특정 공간 내 복수의 진열대 각각에 진열된 복수의 아이템에 대한 진열 위치, 브랜드,카테고리, 크기, 무게, 개수, 가격, 할인 정보, 유통기한, 입고일, 재고일, 식별 정보, 배급회사 정보, 관리자정보, 주의사항 정보, 개봉 전 이미지, 개봉 후 이미지 및 상/하/좌/우 이미지 중 적어도 어느 하나 이상을 포함하는 인벤토리 데이터를 저장하여 유지할 수 있다. 이 때, 데이터베이스부(140)에 저장되어 유지되는 인벤토리 데이터는 실시간 발생되는 이벤트에 의해 삭제, 변경, 추가, 경고 등의 업데이트될 수 있다.You can put it down on the shelf again. In addition, the user may pick up the items displayed on the shelf and then put them down to an original location, or put them down to a location other than the original location. In addition, movement of the item may occur due to the user's carelessness. That is, theinventory management unit 130 may recognize an event for the above-described situation through thesensor module 110 and theimage module 120. Thereafter, theinventory management unit 130 compares the inventory data including at least one of a display position, brand, category, size, weight, number, and price of a plurality of items with fluctuation data generated by the event. It is possible to determine whether or not to move, whether to open, or whether to return or not. For example, theitem recognition system 100 according to an embodiment of the present invention may further include adatabase unit 140, Thedatabase unit 140 includes display position, brand, category, size, weight, number, price, discount information, expiration date, storage date, inventory date, identification information for a plurality of items displayed on each of a plurality of display stands in a specific space. , Distribution company information, manager information, cautionary information, pre-opening image, post-opening image, and inventory data including at least one or more of top/bottom/left/right images can be stored and maintained. In this case, the inventory data stored and maintained in thedatabase unit 140 may be deleted, changed, added, or updated according to an event occurring in real time.

이에 따라서, 인벤토리 관리부(130)는 데이터베이스부(140)에 저장되어 유지되는 인벤토리 데이터와, 픽 업(pick up) 또는 풋 다운(put down)의 이벤트에 의해 발생된 해당 아이템에 대한 변동 데이터를 비교하고, 비교 결과에 따라 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부를 판단할 수 있다.일 예로, 아이템의 픽 업 이벤트가 발생하는 경우, 인벤토리 관리부(130)는 픽 업 이벤트에 따른 해당 아이템에 대한 변동 데이터와 인벤토리 데이터를 비교하여 움직임을 판단할 수 있다.다른 예로, 아이템의 풋 다운 이벤트가 발생하는 경우, 인벤토리 관리부(130)는 풋 다운 이벤트에 따른 해당 아이템의 반환 위치를 파악한 후, 반환 위치에 따른 변동 데이터와 인벤토리 데이터를 비교하여 반환을 판단하고,동시에 개봉 여부를 판단할 수 있다. 실시예에 따라서, 아이템을 생수라 가정할 때, 사용자가 생수를 개봉하여 일정 부분 섭취 후, 정위치 또는 정위치가 아닌 다른 위치에 반납할 수 있다. 이에 따라서, 인벤토리 관리부(130)는 풋 다운 이벤트가 발생하는 경우, 반환 여부와 개봉 여부 및 정위치 여부를 모두 판단할 수 있다.이후, 인벤토리 관리부(130)는 인벤토리 데이터와 변동 데이터의 비교에 따른 판단 결과에 기초하여, 인벤토리 데이터를 업데이트할 수 있다. 예를 들면, 인벤토리 관리부(130)는 비교 결과에 따른 아이템의 움직임 여부,개봉 여부, 정위치 여부 또는 반환 여부 등에 기초하여 삭제, 변경, 추가, 경고 등의 인벤토리 데이터를 업데이트할 수 있다.실시예에 따라서, 사용자가 아이템을 선택하는 경우, 인벤토리 관리부(130)는 인벤토리 데이터에서 해당 아이템을 삭제 또는 변경할 수 있으며, 사용자가 아이템을 정위치가 아닌 다른 위치에 풋 다운하는 경우, 인벤토리 관리부(130)는 인벤토리 데이터에서 해당 아이템을 추가 또는 경고할 수 있다. 아이템의 개봉 이벤트 또는 정위치가 아닌 다른 위치에 반납되는 이벤트가 발생하는 경우, 인벤토리 관리부(130)는 해당 아이템에 대한 경고 문구와 함께 데이터베이스부(140)에 인벤토리 데이터를 업데이트할 수 있으며, 특정 공간을 관리하는 관리자가 소지하는 모바일 디바이스, 특정 공간 내 서버 또는 아이템 관리 서버에 해당 아이템에 대한 경고 신호를 발송할 수 있다.이 때, 관리자가 소지하는 모바일 디바이스는 PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿 PC(tablet PC), 웨어러블 컴퓨터(wearable computer) 등의 단말 장치로, 아이템 인식 시스템(100)과 통신하여 특정 공간에 관련된 사이트의 접속 또는 서비스 전용 어플리케이션(Application)의 설치 및 실행이 가능한 모든 단말 장치를 의미할 수 있다. 상기 모바일 디바이스는 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장, 결제, 청구 등 서비스 전반의 동작을 수행할 수 있다.또한, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 통신 모듈을 통해 관리자가 소지하는 모바일 디바이스, 특정 공간 내 서버 또는 아이템 관리 서버로 업데이트되는 인벤토리 데이터에 관련된 정보 및 신호를 송신할 수 있다. 이 때, 상기 통신 모듈은 셀룰러 전화 네트워크, 무선 LAN(local area network) 및 또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있으며, 상기 무선 통신은 GSM(GlobalSystem for Mobile Communications), EDGE(Enhanced Data GSM Environment), WCDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), (IEEEAccordingly, theinventory management unit 130 compares the inventory data stored and maintained in thedatabase unit 140 with the change data for the corresponding item generated by a pick up or put down event. And, according to the comparison result, it is possible to determine whether the item is moved, whether it is opened, whether it is in a correct position, or whether it is returned. For example, when a pickup event of an item occurs, theinventory management unit 130 Movement may be determined by comparing fluctuation data for a corresponding item with inventory data. As another example, when a put-down event of an item occurs, theinventory management unit 130 determines the return position of the item according to the put-down event. Thereafter, the change data according to the return location and the inventory data are compared to determine the return, and at the same time, it is possible to determine whether or not to open. Depending on the embodiment, assuming that the item is bottled water, the user may open the bottled water, consume a certain portion of the bottled water, and then return it to the original location or a location other than the original location. Accordingly, when a put-down event occurs, theinventory management unit 130 may determine whether to return, whether to open, and whether to be in the correct position. Thereafter, theinventory management unit 130 may determine whether the inventory data and the fluctuation data are compared. Inventory data may be updated based on the determination result. For example, theinventory management unit 130 may update inventory data such as deletion, change, addition, warning, etc. based on whether the item is moved, opened, correctly positioned, or returned according to the comparison result. Accordingly, when the user selects an item, theinventory management unit 130 may delete or change the item from the inventory data, and when the user puts the item down to a location other than the original location, theinventory management unit 130 Can add or warn the item in the inventory data. When an item opening event or an event returned to a location other than the original location occurs, theinventory management unit 130 may update the inventory data in thedatabase unit 140 together with a warning phrase for the item, and a specific space A warning signal for a corresponding item can be sent to a mobile device, a server in a specific space, or an item management server owned by the administrator managing the device. In this case, the mobile device possessed by the administrator is a personal computer (PC) or a laptop computer. computer), a smart phone, a tablet PC, a wearable computer, etc., which communicates with theitem recognition system 100 to access a site related to a specific space or a service-only application ( Application) can mean all terminal devices capable of installation and execution. The mobile device may perform overall service operations such as service screen configuration, data input, data transmission/reception, data storage, payment, and billing under the control of a web/mobile site or a dedicated application. In addition, according to an embodiment of the present invention Theitem recognition system 100 may transmit information and signals related to inventory data updated to a mobile device possessed by an administrator, a server in a specific space, or an item management server through a communication module. In this case, the communication module is a cellular telephone network, a wireless network such as a wireless local area network (LAN) and a metropolitan area network (MAN), a network such as an intranet and/or the Internet, also referred to as the World Wide Web (WWW), and other devices. And wireless communication, and the wireless communication includes Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), wideband code division multiple access (WCDMA), code division multiple access (CDMA), and time division multiple access), (IEEE

80211a, IEEE 80211b, IEEE 80211g 및/또는 IEEE 80211n 등의) WiFi(WiFi (such as 80211a, IEEE 80211b, IEEE 80211g and/or IEEE 80211n)

Wireless Fidelity), VoIP(voiceover Internet Protocol), WiMAX,Wireless Fidelity), voiceover Internet Protocol (VoIP), WiMAX,

LTE(Long Term Evolution), 지그비(Zigbee), Zwave,BLE(Bluetooth LowLTE (Long Term Evolution), Zigbee, Zwave, BLE (Bluetooth Low)

Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging andEnergy), beacons, Internet Message Access Protocol (IMAP) and/or Post Office Protocol (POP) protocols for email, eXtensible Messaging and Presence Protocol (XMPP), Session Initiation Protocol for Instant Messaging and Presence Leveraging (SIMPLE) Extensions), Instant Messaging and

Presence Service), 또는 SMS(Short Message Service), 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다. 도 2는 본 발명의 실시예에 따른 아이템 인식 시스템과 센서 모듈 및 이미지 모듈의 세부구성 간의 통신을 개념적으로 설명하기 위해 도시한 것이다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 포토 센서(10), 카메라(20) [0055] 및 로드셀 센서(30)를 포함할 수 있다. 도 2에서는, 포토 센서(10), 카메라(20) 및 로드셀 센서(30)를 단수로 도시하였으나, 이는 복수 개일Presence Service), or SMS (Short Message Service), or instant messaging, or a communication protocol that was not developed at the time of filing of the present application. However, a plurality of communication standards, protocols, and technologies that are not limited to these may be used for the above-described wireless communication. 2 is a diagram conceptually illustrating communication between an item recognition system according to an embodiment of the present invention and a detailed configuration of a sensor module and an image module. Theitem recognition system 100 according to an embodiment of the present invention is a photo sensor. (10), may include acamera 20 and aload cell sensor 30. In FIG. 2, thephotosensor 10, thecamera 20, and theload cell sensor 30 are illustrated in a singular number.

수 있다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 포토 센서(10), 카메라(20) 및 로드셀 센서(30)을 이용하여 아이템의 구매 또는 반납 행위를 정확하게 인식할 수 있다.도 2를 참조하면, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 USB, USBUART(Universalasynchronous receiver/transmitter: 범용 비동기화 송수신기) 또는 블루투스(Bluetooth)의 통신 방식을 이용하여 포토 센서(10), 카메라(20) 및 로드셀 센서(30) 각각으로부터 아이템의 위치 정보, 무게 정보, 이벤트 정보 및 이미지 정보를 수신할 수 있으며, 수신된 정보를 이용하여 아이템의 이벤트 및 사용자의 신체 일부에 대한 움직임을 인식할 수 있다. 또한, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 포토 센서(10), 카메라(20) 및 로드셀 센서(30)와 유무선통신채널로 연결되어 정보를 송수신할 수도 있다.Theitem recognition system 100 according to an embodiment of the present invention can accurately recognize the purchase or return of an item using thephoto sensor 10, thecamera 20, and theload cell sensor 30. Referring to 2, theitem recognition system 100 according to an embodiment of the present invention uses aphoto sensor 10 using a communication method of USB, a universal asynchronous receiver/transmitter (USBUART), or Bluetooth, Position information, weight information, event information, and image information of the item can be received from each of thecamera 20 and theload cell sensor 30, and the event of the item and the movement of the user's body part are recognized using the received information. can do. In addition, theitem recognition system 100 according to an embodiment of the present invention may be connected to thephoto sensor 10, thecamera 20, and theload cell sensor 30 through a wired or wireless communication channel to transmit and receive information.

실시예에 따라서, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 동작 전 센서 모듈 및 이미지 모듈의 동작 여부를 미리 확인할 수 있다.일 예로, 포토 센서(10)가 동작하지 않은 경우, 아이템 인식 시스템(100)은 로드셀 센서(30)를 이용하여 특정선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식하고, 인벤토리 데이터 중 무게 정보를 활용하여 어느 아이템에 이벤트가 발생하였는지에 대한 상품군(예를 들면, 500ml 또는 350ml 등)을 인식할 수 있다. 또한, 아이템 인식 시스템(100)은 카메라(20)로부터 획득되는 이미지 정보를 이용하여 아이템의 이벤트(픽 업 또는 풋 다운)를 재인식할 수도 있다.다른 예로, 카메라(20)가 동작하지 않은 경우, 아이템 인식 시스템(100)은 포토 센서(10) 및 로드셀 센서(30)를 이용하여 특정 선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식할 수 있으며, 특히 로드셀 센서(30)를 이용하여 아이템에 대한 한 번의 이벤트 또는 두 번 이상의 이벤트를 감지할 수 있다.또한, 아이템 인식 시스템(100)은 포토 센서(10)를 이용하여 정위치가 아닌 다른 위치에 풋 다운되는 아이템을 인식할 수 있다.또 다른 예로, 로드셀 센서(30)가 동작하지 않은 경우, 아이템 인식 시스템(100)은 포토 센서(10) 및 인벤토리 데이터를 이용하여 특정 선반 및 특정 열(세로 열)에서 아이템의 이벤트(픽 업 또는 풋 다운)를 인식할 수 있으며, 카메라(20)로부터 획득되는 이미지 정보를 이용하여 아이템이 이동하는 경로를 파악하여 아이템을 선택하는 행위(픽 업) 또는 반납하는 행위(풋 다운)를 인식할 수 있다. 예를 들면, 아이템 인식 시스템(100)은 카메라(20)로부터 획득된 이미지 정보를 이용하여 아이템이 선반에서 사용자 방향으로 이동하였는지, 아니면 선반 방향으로 이동하였는지를 감지할 수 있다.도 3은 본 발명의 실시예에 따른 아이템 인식 시스템의 적용 예를 도시한 것이다.도 3을 참조하면, 본 발명의 실시예에 따른 아이템 인식 시스템은 특정 공간(1) 내의 진열대에 포함된 복수의Depending on the embodiment, theitem recognition system 100 according to the embodiment of the present invention may check in advance whether the sensor module and the image module operate before the operation. For example, when thephoto sensor 10 does not operate, the item Therecognition system 100 recognizes the event of an item (pick-up or put-down) in a specific shelf and a specific column (vertical column) using theload cell sensor 30, and uses the weight information of the inventory data to perform an event on a certain item. It is possible to recognize a product group (for example, 500ml or 350ml, etc.) as to whether or not has occurred. In addition, theitem recognition system 100 may re-recognize an item event (pick-up or put-down) by using image information obtained from thecamera 20. As another example, when thecamera 20 does not operate, Theitem recognition system 100 can recognize an event (pick-up or put-down) of an item in a specific shelf and a specific column (vertical column) using thephoto sensor 10 and theload cell sensor 30, and in particular, the load cell sensor One event or more than one event for an item can be detected using 30. In addition, theitem recognition system 100 uses thephoto sensor 10 to be put down to a location other than the original location. As another example, when theload cell sensor 30 does not operate, theitem recognition system 100 uses thephoto sensor 10 and inventory data to The event (pickup or putdown) of the item can be recognized, and the action of selecting the item (pickup) or returning the item by grasping the path of the item using image information obtained from the camera 20 ( Footdown) can be recognized. For example, theitem recognition system 100 may detect whether an item has moved from a shelf toward a user or toward a shelf by using image information obtained from thecamera 20. FIG. 3 illustrates the present invention. An example of application of the item recognition system according to the embodiment is shown. Referring to FIG. 3, the item recognition system according to the embodiment of the present invention includes a plurality of items included in a display stand in a specific space (1).

포토 센서(미도시), 카메라(20) 및 로드셀 센서(미도시)를 포함한다.예를 들면, 특정 공간(1) 내에 위치하는 진열대는 복수의 선반을 포함하며, 선반 각각에는 복수의 열로 진열된 복수의 아이템(40)을 포함할 수 있다. 이 때, 다양한 종류의 아이템(40)을 구분하는 영역은 하나의 선반 상에 복수 개로 위치할 수 있으며, 영역에 의해 복수의 아이템(40)은 종류에 따라 열로 진열될 수 있다. 이 때, 영역은 선반에서 아이템(40)을 카테고리, 종류 또는 상표 별로 구분하기 위한 트레이 또는 파티션일 수 있으며,하기의 도 8에 도시된 격벽(830)에 의해 분류된 공간을 의미할 수도 있다. 실시예에 따라서, 아이템(40)은 도 3에 도시된 바와 같이 진열된 형태일 뿐 아니라, 적층된 형태일 수도 있다.또한, 특정 공간(1) 내 진열대의 각 선반과 복수의 아이템(40) 사이 즉, 복수의 아이템(40)이 진열된 영역의 하단에는 복수의 아이템(40)의 무게를 감지하는 로드셀 센서가 위치할 수 있다. 또한, 복수의 아이템(40)이 진열된 영역의 상단에는 복수의 아이템(40)의 이미지 정보, 이벤트가 발생된 아이템(41)의 이미지 정보 및 아이템(40)을 선택하는 사용자의 신체 일부에 대한 이미지 정보를 획득하는 카메라(20)가 위치할 수 있다. 또한, 진열대의 각 선반의 측면에는 복수의 열로 진열된 복수의 아이템(40)의 첫 행 위치를 감지하고, 이벤트가 발생된 아이템(41)의 거리를 측정하는 포토 센서가 위치할 수 있다.A photo sensor (not shown), acamera 20, and a load cell sensor (not shown) are included. For example, a display stand located in aspecific space 1 includes a plurality of shelves, and each shelf is displayed in a plurality of rows. It may include a plurality of items (40). In this case, a plurality of areas for dividing the various types ofitems 40 may be located on one shelf, and the plurality ofitems 40 may be displayed in rows according to types by the areas. In this case, the area may be a tray or partition for classifying theitem 40 by category, type, or brand on the shelf, and may refer to a space classified by thepartition wall 830 shown in FIG. 8 below. Depending on the embodiment, theitems 40 may be not only in a display form, but also in a stacked form as shown in FIG. 3. In addition, each shelf and a plurality ofitems 40 on a display shelf in a specific space 1 A load cell sensor that senses the weight of the plurality ofitems 40 may be located between, that is, at a lower portion of the area in which the plurality ofitems 40 are displayed. In addition, the image information of the plurality ofitems 40, the image information of theitem 41 in which the event has occurred, and a part of the body of the user selecting theitem 40 are displayed at the top of the area where the plurality ofitems 40 are displayed. Acamera 20 that acquires image information may be located. In addition, a photo sensor may be positioned on the side of each shelf of the display stand to detect the position of the first row of the plurality ofitems 40 displayed in a plurality of columns and measure the distance of theitem 41 in which the event has occurred.

이 때, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 로드셀 센서보다 포토 센서의 수를 더 많이 포함하는 것을 특징이라 할 수 있다.도 4 및 도 5는 본 발명의 실시예에 따른 포토 센서 및 카메라를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.보다 구체적으로, 도 4는 진열대에 진열된 아이템과, 센서 모듈 및 이미지 모듈의 배치 예를 설명하기 위해 도시한 것이고, 도 5는 이벤트가 발생된 아이템에 대한 센서 모듈의 감지 예를 설명하기 위해 도시한 것이다.특정 공간 내에는 복수의 진열대가 위치하고, 진열대는 복수의 선반(410)으로 복층 형태로 구분될 수 있다. 이때, 선반(410)에는 카테고리, 종류 또는 상표 별로 복수의 아이템(40)을 분류하여 진열하기 위한 영역이 존재하며, 영역은 트레이 또는 파티션일 수 있다.도 4를 참조하여 선반(410)을 예로 들면, 복수의 아이템(40)은 서로 다른 종류, 카테고리, 상표, 개수 및 크기에 따라 분류되어 복수의 열로 진열될 수 있으며, 복수의 아이템(40)의 상단에는 복수의 카메라(20)가In this case, theitem recognition system 100 according to an embodiment of the present invention may be characterized by including a greater number of photo sensors than the load cell sensor. FIGS. 4 and 5 are photos according to an embodiment of the present invention. It is shown in order to explain in detail an example of detecting an item using a sensor and a camera. More specifically, FIG. 4 is a diagram illustrating an arrangement example of an item displayed on a display stand and a sensor module and an image module. 5 is a diagram illustrating an example of detection of a sensor module for an item in which an event has occurred. A plurality of display racks are located in a specific space, and the display racks may be divided into a double-layered form with a plurality ofshelves 410. . In this case, there is an area on theshelf 410 for classifying and displaying a plurality ofitems 40 by category, type, or brand, and the area may be a tray or a partition. Referring to FIG. 4, theshelf 410 is taken as an example. For example, a plurality ofitems 40 may be classified according to different types, categories, brands, numbers, and sizes, and displayed in a plurality of columns, and a plurality ofcameras 20 are located at the top of the plurality ofitems 40.

위치하고, 복수의 아이템(40)의 측면에는 행 위치의 포토 센서(10)가 위치할 수 있다. 이 때, 카메라(20) 및 포토 센서(10)의 위치 및 개수는 한정되지 않는다.카메라(20)는 좌측 카메라(20L), 중심 카메라(20C), 우측 카메라(20R)를 포함할 수 있으며, 선반(410)에 진열된 복수의 아이템(40)에 대한 이미지 정보, 이벤트가 발생된 아이템(41)에 대한 이미지 정보 및 아이템(40)을 선택하는 사용자의 신체 일부에 대한 이미지 정보 중 적어도 어느 하나 이상을 획득할 수 있다.나아가, 본 발명의 실시예에 따른 아이템 인식 시스템은 선반(410)의 측면에 위치하는 행 위치의 포토 센서(10)뿐 아니라, 복수의 아이템(40)의 열 위치를 감지하는 포토 센서(10)를 더 포함할 수 있으며, 행 위치의 포토센서(10) 및 열 위치의 포토 센서(10)는 행 위치 및 열 위치에서 이벤트가 발생된 아이템(41)을 감지하며, 이벤트가 발생된 아이템(41)의 거리를 측정하고, 아이템을 선택하는 사용자의 신체 일부의 움직임을 감지할 수있다.도 5를 참조하면, 포토 센서(10)는 영역에 의해 분류되어 복수의 열로 진열된 복수의 아이템(40)의 행 위치 방향에 위치하는 것을 확인할 수 있다. 실시예에 따라서, 포토 센서(10)는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하는 발광부 및 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 포함하며, 이벤트가 발생된 아이템(41)에 반사되어 수광부로 수신되는 신호를 이용하여 이벤트가 발생된 아이템(41) 및 해당 아이템을 선택하는 사용자의 신체 일부의 움직임을 감지하고, 이벤트가 발생된 아이템(41)의 거리Thephoto sensor 10 at the row position may be located on the side of the plurality ofitems 40. In this case, the location and number of thecamera 20 and thephoto sensor 10 are not limited. Thecamera 20 may include a left camera 20L, a center camera 20C, and aright camera 20R. At least one of image information on the plurality ofitems 40 displayed on theshelf 410, image information on theitem 41 on which an event has occurred, and image information on a part of the user's body selecting theitem 40 Furthermore, the item recognition system according to the embodiment of the present invention can detect not only thephoto sensor 10 at the row position located on the side of theshelf 410, but also the column positions of the plurality ofitems 40. It may further include a photosensor 10 to detect, the photosensor 10 in the row position and the photosensor 10 in the column position detects theitem 41 in which an event has occurred in the row position and the column position, It is possible to measure the distance of theitem 41 in which the event has occurred, and detect the movement of a part of the user's body selecting the item. Referring to FIG. 5, thephotosensor 10 is classified by area and divided into a plurality of rows. It can be seen that the plurality ofitems 40 displayed are located in the row position direction. Depending on the embodiment, thephoto sensor 10 includes a light emitting unit that irradiates light such as an LED (Light Emitting Diode) or a laser, and a light receiving unit spaced apart from the light emitting unit to form a pair, and the event is Using a signal reflected by the generateditem 41 and received by the light receiving unit, theitem 41 in which the event has occurred and the movement of a part of the user's body selecting the item are detected, and the movement of theitem 41 in which the event has occurred is Street

를 측정할 수 있다.본 발명의 실시예에 따른 아이템 인식 시스템은 진열대의 복수의 선반 각각과, 선반(410)에 위치하는 포토 센서(10), 카메라(20) 및 로드셀 센서(미도시)에 서로 다른 식별 정보를 부가할 수 있으며, 포토 센서(10), 카메라The item recognition system according to the exemplary embodiment of the present invention includes a plurality of shelves of a display rack, aphoto sensor 10 positioned on theshelf 410, acamera 20, and a load cell sensor (not shown). Different identification information can be added,photo sensor 10, camera

(20) 및 로드셀 센서(미도시)로부터 수신되는 정보와 각각의 식별 정보에 기초하여 아이템(40)의 이벤트 및 변동 데이터(예를 들면, 해당 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 등)를 보다 빠르고 정확하게 인지할 수 있다.Event and variation data of the item 40 (e.g., shelf information, location information, weight information, and image information of the item 40) based on information received from (20) and a load cell sensor (not shown) and respective identification information Etc.) faster and more accurately.

도 6a 내지 도 6c는 본 발명의 실시예에 따른 로드셀 센서를 이용하여 아이템을 감지하는 예를 세부적으로 설명하기 위해 도시한 것이다.본 발명의 실시예에 따른 로드셀 센서(30)는 도 4에서 선반(410)과 복수의 아이템(40) 사이 즉, 복수의 아이템6A to 6C are diagrams illustrating in detail an example of detecting an item using a load cell sensor according to an exemplary embodiment of the present invention. Theload cell sensor 30 according to an exemplary embodiment of the present invention is illustrated in FIG. 4. Between 410 and a plurality ofitems 40, that is, a plurality of items

(40)의 하단에 위치할 수 있다.로드셀 센서(30)는 무게 센서일 수 있으며, 복수의 아이템(40)의 무게를 감지할 수 있다. 예를 들면, 본 발명의 실시예에 따른 아이템 인식 시스템은 복수의 아이템에 관련된 인벤토리 데이터를 저장하여 유지하고 있으며,인벤토리 데이터에는 복수의 아이템(40) 각각에 대한 무게 정보를 포함할 수 있다. 이에 따라서, 로드셀 센서(30)는 실시간으로 복수의 아이템(40)에 대한 무게를 감지할 수 있으며, 본 발명의 실시예에 따른 아이템 인식 시스템은 실시간으로 감지된 무게 정보와 인벤토리 데이터를 비교하여 아이템(40)의 개봉 여부 또는 정위치 여부를 판단할 수 있다.본 발명의 실시예에 따른 로드셀 센서(30)는 도 6a에 도시된 바와 같이, 동일한 선반 상에 진열된 복수의 아이템(40) 하단에 위치할 수 있으며, 도 6b에 도시된 바와 같이, 카테고리, 종류 또는 상표에 따라 분류된 아이템Theload cell sensor 30 may be a weight sensor and may sense the weight of a plurality ofitems 40. For example, the item recognition system according to an embodiment of the present invention stores and maintains inventory data related to a plurality of items, and the inventory data may include weight information for each of the plurality ofitems 40. Accordingly, theload cell sensor 30 can detect the weight of the plurality ofitems 40 in real time, and the item recognition system according to an embodiment of the present invention compares the weight information detected in real time with inventory data to It is possible to determine whether the 40 is opened or in the correct position. As shown in FIG. 6A, theload cell sensor 30 according to the embodiment of the present invention is at the bottom of a plurality ofitems 40 displayed on the same shelf. Items that may be located in and classified according to category, type, or trademark, as shown in FIG. 6B

(40) 하단에 위치할 수 있다. 또한, 도 6c를 참조하면, 로드셀 센서(30)는 진열된 복수의 아이템(40)의 각 열하단에 위치할 수도 있다. 실시예에 따라서는 선반 상에 로드셀 센서(30)가 적층되고, 적층된 로드셀 센서(30) 상에 복수의 아이템(40)이 진열된 형태일 수도 있으므로, 로드셀 센서(30)의 개수 및 배열 형태는 이에 한정되지 않는다.본 발명의 실시예에 따른 아이템 인식 시스템은 로드셀 센서(30)의 수를 포토 센서 및 카메라의 수 보다 적게 포함하는 것을 특징으로 한다. 이는 로드셀 센서(30)의 수를 줄이고, 카메라 및 포토 센서를 이용하여 보다 정확한 아이템의 이벤트를 인식할 수 있는 효과를 제공하고자 한다. 도 7a 및 도 7b는 본 발명의 실시예에 따른 포토 센서의 적용 예를 도시한 것이다.보다 상세하게는, 도 7a는 포토 센서를 포함하는 센서 보드(sensor board)의 예를 도시한 것이고, 도 7b는 센서(40) Can be located at the bottom. Further, referring to FIG. 6C, theload cell sensor 30 may be located at the bottom of each column of the plurality ofitems 40 displayed. Depending on the embodiment, theload cell sensor 30 may be stacked on a shelf, and a plurality ofitems 40 may be displayed on the stackedload cell sensor 30, so the number and arrangement of theload cell sensors 30 The item recognition system according to an embodiment of the present invention is characterized in that the number ofload cell sensors 30 is less than the number of photo sensors and cameras. This is to reduce the number ofload cell sensors 30 and provide an effect of recognizing more accurate item events by using a camera and a photo sensor. 7A and 7B illustrate an application example of a photo sensor according to an embodiment of the present invention. More specifically, FIG. 7A shows an example of a sensor board including a photo sensor, and FIG. 7b sensor

보드가 적용된 진열대의 예를 도시한 것이다.도 7a를 참조하면, 센서 보드(710)는 발광부(711) 및 수광부(712)를 포함하며, 본 발명에서는 발광부(711) 및 수광 부(712)를 포함하여 포토 센서라 칭한다.발광부(711)는 LED(Light Emitting Diode, 발광 다이오드) 또는 레이저와 같은 광을 조사하고, 수광부(712)는 발광부(711)와 소정 간격으로 이격되어 한 쌍을 이루며, 발광부(711)에 의해 조사되어 아이템 또는 사용자의 신체 일부에 의해 반사되어 입사되는 광을 수신한다. 이 때,발광부(711) 및 수광부(712)는 일정 간격에 따라 반복적으로 배치될 수 있으며, 상기 일정 간격은 진열대의 크기 및 종류 또는 아이템의 종류에 따라 다양하게 적An example of a display stand to which a board is applied is shown. Referring to FIG. 7A, thesensor board 710 includes alight emitting part 711 and alight receiving part 712, and in the present invention, alight emitting part 711 and a light receiving part 712 ), and is referred to as a photo sensor. Thelight emitting unit 711 irradiates light such as an LED (Light Emitting Diode) or a laser, and thelight receiving unit 712 is spaced apart from thelight emitting unit 711 at a predetermined interval. They form a pair, and receive light that is irradiated by thelight emitting unit 711 and reflected by an item or a part of the user's body. In this case, the light-emittingunit 711 and the light-receivingunit 712 may be repeatedly arranged according to a predetermined interval, and the predetermined interval is variously appropriate according to the size and type of the display stand or the type of item.

용될 수 있다. 이 때, 발광부(711) 및 수광부(712)의 종류, 형태 및 개수는 한정되지 않으며, 센서 보드(710)의 재질, 기판 종류 및 형태 또한 한정되지 않는다.Can be used. In this case, the type, shape, and number of thelight emitting unit 711 and thelight receiving unit 712 are not limited, and the material, type and shape of thesensor board 710 are also not limited.

도 7b를 참조하면, 센서 보드(710)는 진열대의 사방에 부착될 수 있으며, 하네스(720)에 의해 연결 및 고정될 수 있다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 복수의 센서 보드(710) 각각에 포함된 포토 센서(711,712)로부터 이벤트가 발생된 아이템을 감지하고, 이벤트가 발생된 아이템의 거리를 측정하며, 아이템을 선택하고자 하는 사용자의 신체 일부에 대한 움직임 및 거리를 감지할 수 있다.실시예에 따라서, 복수의 센서 보드(710) 각각은 서로 다른 식별 정보를 포함할 수 있으며, 본 발명의 실시예에 따른 아이템 인식 시스템은 포토 센서(711, 712)로부터 수신되는 센싱 정보, 거리 정보 및 식별 정보에 기반하여 이벤트가 발생된 아이템에 대한 변동 데이터를 보다 정확히 감지할 수 있다. 상기 변동 데이터는 이벤트가 발생된 아이템의 선반 정보, 위치 정보, 무게 정보 및 이미지 정보 중 적어도 어느 하나 이상을 포함할 수 있다.도 8은 본 발명의 실시예에 따른 로드셀 센서의 적용 예를 도시한 것이다.도 8을 참조하면, 진열대는 복수의 선반(810)으로 분류되며, 복수의 선반(810) 상에는 복수의 로드셀 센서(820)가 배치될 수 있다. 이 때, 각 선반(810)에는 아이템을 분류하기 위한 격벽(830)이 포함될 수 있으며, 이는 선반(810) 상에 복수 개로 형성될 수 있다. 실시예에 따라서, 로드셀 센서(820)는 선반(810) 상에 넓은 면적으로 배치될 수 있으며, 격벽(830)에 의해 분류된 영역 하단에 배치될 수도 있다. 즉, 도 3 내지 도 5에 도시된 바와 같이Referring to FIG. 7B, thesensor board 710 may be attached to all sides of the display stand, and may be connected and fixed by aharness 720. Theitem recognition system 100 according to an embodiment of the present invention includes a plurality of item recognition systems. From thephoto sensors 711 and 712 included in each of thesensor boards 710, the event-generated item is detected, the distance of the event-generated item is measured, and the movement and distance of a part of the body of the user who wants to select an item are measured. Depending on the embodiment, each of the plurality ofsensor boards 710 may include different identification information, and the item recognition system according to the embodiment of the present invention is It is possible to more accurately detect fluctuation data on an item in which an event has occurred based on sensing information, distance information, and identification information. The change data may include at least one or more of shelf information, location information, weight information, and image information of an item in which an event has occurred. FIG. 8 is a diagram illustrating an application example of a load cell sensor according to an embodiment of the present invention. Referring to FIG. 8, the display rack is classified into a plurality ofshelves 810, and a plurality ofload cell sensors 820 may be disposed on the plurality ofshelves 810. In this case, eachshelf 810 may include apartition wall 830 for classifying items, which may be formed in a plurality on theshelf 810. Depending on the embodiment, theload cell sensor 820 may be disposed on theshelf 810 in a large area, and may be disposed below the area classified by thepartition wall 830. That is, as shown in FIGS. 3 to 5

, 복수의 열로 배열된 복수의 아이템은 격벽(830)에 의해 분류된 공간을 의미할 수 있으며, 본 발명이 적용되는 실시예에 따라 상기 영역은 포함되거나, 불포함될 수도 있다.로드셀 센서(820)는 선반(810) 상에 진열된 복수의 아이템의 무게를 감지할 수 있으며, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 해당 선반(810)에 진열된 복수의 아이템의 개수에 따른 무게를 인식할 수 있다., A plurality of items arranged in a plurality of columns may mean a space classified by thepartition wall 830, and the area may or may not be included according to an embodiment to which the present invention is applied.Load cell sensor 820 Can detect the weight of a plurality of items displayed on theshelf 810, and theitem recognition system 100 according to the embodiment of the present invention is a weight according to the number of a plurality of items displayed on theshelf 810 Can be recognized.

예를 들면, 선반(810) 아이템을 생수라 가정할 때, 사용자가 하나의 생수를 섭취한 후, 풋 다운하는 경우 또는,사용자가 두 개 이상의 생수를 동시에 픽 업하는 경우, 로드셀 센서(820)는 해당 무게의 변화를 감지하고, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 무게의 변화에 기초하여 카메라 및 포토 센서로부터 수신되는 정보를 통해 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부를 판단하며, 사용자에게 판단 결과에 따른 결제를 청구하거나, 인벤토리 데이터를 업데이트할 수 있다.로드셀 센서(820)는 사용자에 의한 아이템의 이동을 감지할 수 있다. 예를 [0096] 들면, 사용자가 최상위 선반에 진열된 생수를 픽 업하여 최하위 선반에 풋 다운하는 경우, 최상위 선반의 로드셀 센서(820)는 무게의 감소를 감지For example, assuming that the item on theshelf 810 is bottled water, when the user takes one bottled water and then puts it down, or when the user picks up two or more bottled water at the same time, theload cell sensor 820 Detects a change in the corresponding weight, and theitem recognition system 100 according to an embodiment of the present invention uses information received from a camera and a photo sensor based on the change in weight to determine whether the item is moving, whether it is opened, or whether it is in the correct position. Alternatively, it is possible to determine whether to return it, and to request payment according to the determination result to the user, or to update inventory data. Theload cell sensor 820 may detect movement of an item by the user. For example, when the user picks up bottled water displayed on the uppermost shelf and puts it down on the lowermost shelf, theload cell sensor 820 of the uppermost shelf detects a decrease in weight

하고, 최하위 선반의 로드셀 센서(820)는 무게의 증가를 감지할 수 있다. 다만, 이러한 경우, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 무게 정보 외에, 카메라 및 포토 센서로부터 수신되는 정보를 추가로 인식하여 아이템의 움직임 여부, 정위치 여부 또는 반환 여부를 판단하고, 사용자가 아이템을 소지하고 있지 않은 것으로 판단하여 구매행위로 처리하지 않을 수 있다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 로드셀 센서(820)로부터 수신되는 무게 정보 외에 카메라 및 포토 센서를 이용하여 아이템의 이벤트 여부를 판단하고, 아이템이 정위치에 진열되지 않거나, 무게에 변동이 있을 경우, 특정 공간을 관리하는 관리자 또는 서버로 해당 아이템의 정보를 전송할 수 있다.도 9는 본 발명의 실시예에 따른 카메라의 적용 예를 도시한 것이다.도 9를 참조하면, 진열대의 벽면에 복수의 카메라(910)가 배치될 수 있다. 실시예에 따라서, 카메라(910)는 마이크로소프트 (Microsoft)의 720P급 PC CAM일 수 있다.카메라(910)는 오프(off) 또는 대기 모드(sleep mode) 상태인 것을 기본으로 하며, 포토 센서 및 로드셀 센서로And, theload cell sensor 820 of the lowest shelf may detect an increase in weight. However, in this case, theitem recognition system 100 according to an embodiment of the present invention additionally recognizes information received from a camera and a photo sensor in addition to weight information to determine whether the item is moving, whether it is in its correct position, or whether it is returned. In addition to the weight information received from theload cell sensor 820, theitem recognition system 100 may not be processed as a purchase action because it is determined that the user does not possess the item. When the item is not displayed in the correct position or there is a change in weight, information on the item may be transmitted to an administrator or server managing a specific space. FIG. 9 shows the present invention. An example of application of the camera according to the embodiment is shown. Referring to FIG. 9, a plurality ofcameras 910 may be disposed on a wall surface of a display rack. Depending on the embodiment, thecamera 910 may be a 720P PC CAM of Microsoft. Thecamera 910 is basically in an off or sleep mode, and includes a photo sensor and With load cell sensor

부터 수신되는 센싱 신호 또는 본 발명의 실시예에 따른 아이템 인식 시스템(100)의 신호에 기초하여 활성화(wake up)되어 해당 위치에서의 이미지 정보를 획득할 수 있다.본 발명의 실시예에 따른 아이템 인식 시스템(100)은 카메라(910) 사용을 최소화하고, 센서 모듈(포토 센서 및 로드셀 센서)을 주로 이용함으로써, 카메라의 이미지 프로세싱 타임(Image Processing Time)을 최소화하는 효과를 제공한다.The image information at a corresponding location may be obtained by being activated based on a sensing signal received from a signal or a signal of theitem recognition system 100 according to an embodiment of the present invention. Therecognition system 100 minimizes the use of thecamera 910 and mainly uses sensor modules (photo sensors and load cell sensors), thereby providing an effect of minimizing the image processing time of the camera.

보다 상세하게는, 본 발명의 실시예에 따른 아이템 인식 시스템(100)은 포토 센서 및 로드셀 센서를 이용하여 사용자의 신체 일부에 대한 움직임 및 이벤트가 발생된 아이템을 감지하고, 이벤트가 발생된 해당 위치에서의 카메라(910)를 활성화하여 사용자의 신체 일부에 대한 움직임 및 이벤트가 발생된 아이템에 대한 이미지 정보를 획득한다. 즉, 본 발명의 실시예에 따른 카메라(910)는 아이템을 선택하는 사용자의 신체 일부에 대한 움직임 및 아이템의 이벤트가 발생되는 경우에 활성화되는 것을 특징으로 하여 이미지 처리의 속도를 향상시킬 수 있고, 처리 용량을 효율적으로 관리할 수 있다.도 10은 본 발명의 실시예에 따른 아이템 인식 방법의 흐름도를 도시한 것이다.도 10에 도시된 방법은 도 1에 도시된 본 발명의 실시예에 따른 아이템 인식 시스템에 의해 수행된다.도 10을 참조하면, 단계 1010에서, 센서 모듈 및 이미지 모듈을 이용하여 진열대에 진열된 복수의 아이템에 대한 이벤트를 인식한다.이 때, 상기 센서 모듈은 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함할 수 있다. 또한, 상기 이미지 모듈을 아이템에 대한 이미지 정보를 획득하는 카메라 일 수 있다.More specifically, theitem recognition system 100 according to an embodiment of the present invention detects a movement of a part of the user's body and an item in which an event has occurred, using a photo sensor and a load cell sensor, and a corresponding location at which the event has occurred. By activating thecamera 910 in, image information on an item in which a movement of a user's body and an event has occurred is obtained. That is, thecamera 910 according to the embodiment of the present invention is characterized in that it is activated when a movement of a part of the body of a user selecting an item and an event of the item occurs, thereby improving the speed of image processing, Processing capacity can be efficiently managed. FIG. 10 is a flowchart of an item recognition method according to an embodiment of the present invention. The method shown in FIG. 10 is an item according to the embodiment of the present invention shown in FIG. 10. Referring to FIG. 10, instep 1010, an event for a plurality of items displayed on a display rack is recognized using a sensor module and an image module. At this time, the sensor module applies to a plurality of items. It may include a photosensor for detecting the position of the row and a load cell sensor for detecting the weight of a plurality of items. In addition, the image module may be a camera that acquires image information on an item.

단계 1020에서, 이벤트에 의해 발생된 변동 데이터와 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리한다.단계 1020은 센서 모듈 및 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(putdown)의 움직임이 발생된 이벤트를 인식하고, 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게,개수 및 가격 중 적어도 어느 하나 이상을 포함하는 인벤토리 데이터와, 이벤트에 의해 발생된 변동 데이터를 비교하며, 비교 결과에 따른 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하여 인벤토리 데이터를 업데이트하는 단계일 수 있다.이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로 세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령 (instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를Instep 1020, the item is managed by comparing the fluctuation data generated by the event with inventory data related to a plurality of items. Instep 1020, a pick-up or pick-up according to a user's selection using a sensor module and an image module Recognizes the event in which the movement of the putdown has occurred, inventory data including at least one or more of display position, brand, category, size, weight, number, and price for a plurality of items, and generated by the event It may be a step of comparing the changed data and updating the inventory data by determining whether the item is moved, whether the item is opened, whether it is in the correct position, or whether it is returned according to the comparison result. The apparatus described above may include hardware components and software. It may be implemented as a combination of components and/or hardware components and software components. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. In addition, the processing device may process data in response to the execution of the software.

접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), [0114] 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로,또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서,분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media),CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를It can also be accessed, stored, manipulated, processed, and created. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor. The software includes a computer program, code, instruction, or a combination of one or more of them. The processing device may be configured to operate as desired, or the processing device may be commanded independently or collectively. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter.

포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Includes. The above-described hardware device may be configured to operate as one or more software modules to perform the operation of the embodiments, and vice versa. As described above, although the embodiments have been described with reference to limited embodiments and drawings, in the relevant technical field. Those of ordinary skill in the art can make various modifications and variations from the above description. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result may be achieved. Therefore, other implementations, other embodiments, and those equivalents to the claims fall within the scope of the claims to be described later.

10: 포토 센서
20, 910: 이미지 모듈(또는 카메라)
30, 820: 로드셀 센서
40: 아이템
41: 이벤트가 발생된 아이템
410, 810: 선반
710: 센서 보드
711: 발광부
712: 수광부
720: 하네스
830: 격벽10: photo sensor
20, 910: image module (or camera)
30, 820: load cell sensor
40: item
41: the item that the event occurred
410, 810: shelf
710: sensor board
711: light emitting unit
712: light receiving unit
720: harness
830: bulkhead

Claims (14)

Translated fromKorean

진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 상기 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함하는 센서 모듈;
상기 복수의 아이템에 대한 이미지 정보를 획득하는 이미지 모듈; 및 상기 센서 모듈 및 상기 이미지 모듈을 이용하여 상기 복수의 아이템에 대한 이벤트를 인식하며, 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 인벤토리 관리부를 포함하는 아이템 인식 시스템.A sensor module including a photo sensor for detecting a row position of a plurality of items displayed on a display shelf, and a load cell sensor for detecting a weight of the plurality of items;
An image module for obtaining image information on the plurality of items; And an inventory management unit that recognizes an event for the plurality of items using the sensor module and the image module, and manages the item by comparing the fluctuation data generated by the event with inventory data related to the plurality of items. Item recognition system.제1항에 있어서,
상기 센서 모듈은
복수의 행들 및 복수의 열들에 의해 구획되는 상기 진열대에 복수의 열로 진열된 상기 복수의 아이템 각각에 대한 행 위치를 감지하는 상기 포토 센서 및 상기 복수의 아이템 하단에 위치하여 무게를 감지하는 상기 로드셀 센서를 포함하는 아이템 인식 시스템.The method of claim 1,
The sensor module
The photosensor for sensing the row position of each of the plurality of items displayed in a plurality of columns on the display stand divided by a plurality of rows and a plurality of columns, and the load cell sensor located below the plurality of items to detect weight Item recognition system comprising a.제2항에 있어서,
상기 포토 센서는
광을 조사하는 발광부 및 상기 발광부와 소정 간격으로 이격되어 한 쌍을 이루는 수광부를 이용하여 복수의 열로 진열된 상기 복수의 아이템 중 이벤트가 발생된 아이템에 대한 거리를 측정하는 아이템 인식 시스템.The method of claim 2,
The photo sensor
An item recognition system for measuring a distance to an item in which an event has occurred among the plurality of items displayed in a plurality of rows by using a light emitting unit that irradiates light and a light receiving unit spaced apart from the light emitting unit at a predetermined interval to form a pair.제1항에 있어서,
상기 이미지 모듈은
카메라인 것을 특징으로 하며,
상기 카메라는 상기 진열대에 진열된 상기 복수의 아이템 중 진열된 아이템의 인벤토리 데이터, 이벤트가 발생된 아이템 및 아이템에 접근하는 사용자의 신체 일부에 대한 상기 이미지 정보를 획득하는 아이템 인식 시스템.The method of claim 1,
The image module
It is characterized by being a camera,
The camera is an item recognition system for acquiring the image information on the inventory data of an item displayed among the plurality of items displayed on the shelf, an item on which an event has occurred, and a part of a user's body accessing the item.제4항에 있어서,
상기 인벤토리 관리부는
상기 이벤트의 인식과 상기 센서 모듈 및 상기 이미지 모듈 기반의 인식 시스템을 결합하여 상기 인벤토리 데이터를 업데이트하는 아이템 인식 시스템.The method of claim 4,
The inventory management unit
An item recognition system for updating the inventory data by combining the recognition of the event with a recognition system based on the sensor module and the image module.제1항에 있어서,
상기 인벤토리 관리부는 상기 센서 모듈 및 상기 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 움직임이 발생된 이벤트를 인식하는 아이템 인식 시스템.The method of claim 1,
The inventory management unit uses the sensor module and the image module to recognize an event in which a pick-up or put-down movement occurs according to a user's selection.제6항에 있어서,
상기 인벤토리 관리부는
상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하는 아이템 인식 시스템.The method of claim 6,
The inventory management unit
Whether the item is moved by comparing the inventory data including at least one or more of a display position, brand, category, size, weight, number, and price of the plurality of items with the change data generated by an event, An item recognition system that determines whether it is opened, whether it is in the correct location, or whether it is returned or not.제7항에 있어서,
상기 인벤토리 관리부는
상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트하는 아이템 인식 시스템.The method of claim 7,
The inventory management unit
An item recognition system for updating the inventory data based on a determination result according to a comparison between the inventory data and the variation data.진열대에 진열된 복수의 아이템에 대한 행 위치를 감지하는 포토 센서, 무게를 감지하는 로드셀 센서, 및 이미지 정보를 획득하는 이미지 모듈을 이용함으로써, 이벤트가 발생된 아이템에 대한 변동 데이터와 인벤토리 데이터를 비교하여 상기 아이템을 관리하는 것을 특징으로 하는 아이템 인식 시스템.By using a photo sensor that detects the row position of a plurality of items displayed on the shelf, a load cell sensor that detects the weight, and an image module that acquires image information, the variation data of the item in which the event has occurred and the inventory data are compared. Item recognition system, characterized in that to manage the item.아이템을 관리하는 아이템 인식 시스템의 동작 방법에 있어서,
센서 모듈 및 이미지 모듈을 이용하여 진열대에 진열된 복수의 아이템에 대한 이벤트를 인식하는 단계; 및 상기 이벤트에 의해 발생된 변동 데이터와 상기 복수의 아이템에 관련된 인벤토리 데이터를 비교하여 아이템을 관리하는 단계를 포함하되,
상기 센서 모듈은 상기 복수의 아이템에 대한 행 위치를 감지하는 포토 센서와, 상기 복수의 아이템의 무게를 감지하는 로드셀 센서를 포함하며, 상기 이미지 모듈을 상기 아이템에 대한 이미지 정보를 획득하는 것을 특징으로 하는 아이템 인식 방법.In the method of operating an item recognition system for managing items,
Recognizing an event for a plurality of items displayed on a display shelf using a sensor module and an image module; And managing an item by comparing the variation data generated by the event with inventory data related to the plurality of items,
The sensor module includes a photo sensor that detects row positions for the plurality of items, and a load cell sensor that detects the weight of the plurality of items, and the image module acquires image information on the item. How to recognize items제10항에 있어서,
상기 복수의 아이템에 대한 이벤트를 인식하는 단계는
상기 센서 모듈 및 상기 이미지 모듈을 이용하여 사용자의 선택에 따른 픽 업(pick up) 또는 풋 다운(put down)의 움직임이 발생된 이벤트를 인식하는 아이템 인식 방법.The method of claim 10,
Recognizing an event for the plurality of items comprises:
An item recognition method for recognizing an event in which a pick-up or put-down movement has occurred according to a user's selection using the sensor module and the image module.제11항에 있어서,
상기 아이템을 관리하는 단계는
상기 복수의 아이템에 대한 진열 위치, 브랜드, 카테고리, 크기, 무게, 개수 및 가격 중 적어도 어느 하나 이상을 포함하는 상기 인벤토리 데이터와, 이벤트에 의해 발생된 상기 변동 데이터를 비교하여 상기 아이템의 움직임 여부, 개봉 여부, 정위치 여부 또는 반환 여부 등을 판단하는 아이템 인식 방법.The method of claim 11,
Managing the item is
Whether the item is moved by comparing the inventory data including at least one or more of a display position, brand, category, size, weight, number, and price of the plurality of items with the change data generated by an event, An item recognition method that determines whether it is opened, whether it is in the correct position, or whether it is returned or not.제12항에 있어서,
상기 아이템을 관리하는 단계는
상기 인벤토리 데이터와 상기 변동 데이터의 비교에 따른 판단 결과에 기초하여, 상기 인벤토리 데이터를 업데이트하는 아이템 인식 방법.The method of claim 12,
Managing the item is
An item recognition method of updating the inventory data based on a determination result according to a comparison between the inventory data and the variation data.10항 내지 제13항 중
어느 한 항의 방법을 수행하기 위하여 컴퓨터로 제판독 가능한 기록 매체에 저장된 컴퓨터프로그램.Of claims 10 to 13
A computer program stored in a computer-readable recording medium to perform any one of the methods.

Images