KR20220070170A - Method, apparatus, computer-redable storage medium and computer program for recommending image - Google Patents

Abstract

According to one embodiment of the present invention, a method for recommending an image performed by an apparatus for recommending an image may comprise: a step of extracting at least one keyword from received text data and at least one directional word related to positiveness or negativeness for the text data; and a step of determining at least one image among a plurality of pre-stored images as a recommended image candidate based on the extracted at least one keyword and at least one directional word related to positiveness or negativeness.

Description

Translated fromKorean

이미지 추천 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램{METHOD, APPARATUS, COMPUTER-REDABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR RECOMMENDING IMAGE}Image recommendation method, device, computer readable recording medium and computer program {METHOD, APPARATUS, COMPUTER-REDABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR RECOMMENDING IMAGE}

본 발명은 이미지 추천 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램에 관한 것이다.The present invention relates to an image recommendation method, an apparatus, a computer-readable recording medium, and a computer program.

최근 정보 통신 기술의 발전으로 아날로그 형식의 컨텐츠들의 대부분이 디지털 형식의 컨텐츠로 변화하고 있다.With the recent development of information and communication technology, most of analog content is being converted to digital content.

특히, 이전에는 신문 등과 같은 종이를 이용하여 인쇄된 출판물로 발급되었던 기사는 현재, 텍스트 형식의 전자 형태로 보급되는 경우가 더 많아진 상황이다.In particular, articles that were previously issued as printed publications using paper such as newspapers are now more often distributed in electronic form in text format.

이때, 텍스트 형식의 전자 형태로 보급되는 기사는 기사의 내용을 전반적으로 설명하는 이미지(또는 섬네일)가 기사를 읽는 독자들의 선택 기준이 될 수 있기 때문에 기사에 포함되는 이미지(또는 섬네일)를 중요시하고 있다.At this time, for articles that are disseminated in electronic form in text format, the image (or thumbnail) included in the article is important because the image (or thumbnail) that describes the overall content of the article can serve as a selection criterion for readers of the article. have.

하지만, 기사를 작성한 후, 기사의 내용을 전반적으로 설명하는 이미지를 찾기 위해서는 시간이 많이 소요되는 불편함이 있으며, 기사의 내용과 관련되지 않은 부적절한 이미지를 사용할 경우에는, 기사의 신뢰도가 떨어지고 부적절한 이미지를 사용한 것에 대한 금전적인 피해가 발생될 수 있다.However, after writing an article, it is inconvenient that it takes a lot of time to find an image that explains the overall content of the article. There may be financial damage to the use of

한국등록특허공보, 10-2062248호 (2019.12.27. 등록)Korean Patent Publication No. 10-2062248 (Registered on December 27, 2019)

본 발명의 해결하고자 하는 과제는, 이미지 추천 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램을 제공하는 것이다.An object of the present invention is to provide an image recommendation method, an apparatus, a computer-readable recording medium, and a computer program.

또한, 이러한 이미지 추천 방법, 장치, 컴퓨터 판독 가능한 기록매체 및 컴퓨터 프로그램을 통해 텍스트 데이터의 내용을 설명하는 이미지를 추천할 수 있는 것 등이 본 발명의 해결하고자 하는 과제에 포함될 수 있다.In addition, being able to recommend an image describing the contents of text data through such an image recommendation method and apparatus, a computer-readable recording medium and a computer program may be included in the object to be solved by the present invention.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

일 실시예에 따른 이미지 추천 방법은, 이미지 추천 장치에 의해 수행되는 이미지 추천 방법에 있어서, 수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계와, 상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정하는 단계를 포함할 수 있다.In an image recommendation method according to an embodiment, in the image recommendation method performed by an image recommendation device, at least one keyword and at least one positive or negative directional word with respect to the text data are extracted from received text data. and determining at least one image among a plurality of pre-stored images as an image recommendation candidate based on the extracted at least one keyword and the at least one positive or negative directional word. .

또한, 상기 결정된 이미지 추천 후보를 필터링하는 단계와, 상기 필터링된 이미지 추천 후보의 이미지 크기를 기 설정된 크기로 조정하는 단계와, 상기 조정된 크기의 이미지 추천 후보를 추천 이미지로 출력하는 단계를 더 포함할 수 있다.The method further includes the steps of: filtering the determined image recommendation candidate; adjusting the image size of the filtered image recommendation candidate to a preset size; and outputting the adjusted image recommendation candidate as a recommended image. can do.

또한, 상기 결정된 이미지 추천 후보를 필터링하는 단계는, 유해 이미지를 입력으로, 유해 예측 값을 정답으로 하여 기 학습된 기계학습 모델을 이용하여, 상기 이미지 추천 후보의 유해여부를 판단하는 단계와, 상기 이미지 추천 후보 중 유해하다고 판단한 이미지 추천 후보를 필터링하는 단계를 포함할 수 있다.In addition, the filtering of the determined image recommendation candidate includes: determining whether the image recommendation candidate is harmful by using a pre-learned machine learning model with a harmful image as an input and a harmful prediction value as a correct answer; The method may include filtering the image recommendation candidates determined to be harmful among the image recommendation candidates.

또한, 상기 출력된 추천 이미지 중 사용자의 입력에 의해 선택된 최종 이미지를 확인하는 단계와, 상기 확인된 최종 이미지의 가중치를 상기 확인된 최종 이미지를 제외한 상기 기 저장된 다수의 이미지보다 높게 설정하는 단계를 더 포함할 수 있다.In addition, the steps of confirming the final image selected by the user's input among the output recommended images, and setting the weight of the confirmed final image to be higher than the plurality of pre-stored images excluding the confirmed final image are further performed. may include

또한, 상기 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계는, 상기 수신한 텍스트 데이터에 자연어 처리(Natural Language Processing)를 적용하여, 상기 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출할 수 있다.In addition, the extracting of the at least one keyword and the directional word related to the at least one affirmation or negation may include applying natural language processing to the received text data to obtain the at least one keyword and the at least one keyword. Directional words related to one positive or negative may be extracted.

일 실시예에 따른 이미지 추천 장치는, 다수의 이미지가 저장되어 있는 메모리; 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하고, 상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정할 수 있다.An image recommendation apparatus according to an embodiment includes a memory in which a plurality of images are stored; and a processor electrically connected to the memory, wherein the processor extracts at least one keyword from the received text data and a directional word related to at least one affirmative or negative for the text data, and the extracted at least one At least one image among a plurality of pre-stored images may be determined as an image recommendation candidate based on the keyword of and the at least one positive or negative directional word.

본 발명의 일 측면에 따르면, 텍스트 데이터의 내용을 설명하는 이미지를 추천할 수 있다.According to an aspect of the present invention, it is possible to recommend an image that describes the content of text data.

또한, 기 저장된 다수의 이미지 중에서, 사용자의 입력에 의해 선택된 최종 이미지의 가중치를 높게 설정할 수 있으므로, 선택된 최종 이미지의 가중치를 높게 설정한 이후에, 이전에 수신된 텍스트 데이터의 내용과 유사한 텍스트 데이터를 기반으로 추천되는 이미지는 사용자가 이전에 선택한 이미지가 추천될 가능성이 높아질 수 있다.In addition, among a plurality of pre-stored images, since the weight of the final image selected by the user's input can be set to be high, after setting the weight of the selected final image to be high, text data similar to the content of the previously received text data is displayed. As for the image recommended based on the image, the possibility that the image previously selected by the user will be recommended may increase.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those of ordinary skill in the art to which the present disclosure belongs from the description below. will be able

도 1은 본 발명의 일 측면에 따른 이미지 추천 장치의 구성을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 측면에 따른 기사에 관한 텍스트 데이터에서 키워드 및 긍정 또는 부정과 관련된 방향성 단어를 추출하는 예시를 나타낸 도면이다.
도 3은 유해 이미지의 예시에 관한 이미지이다.
도 4는 본 발명의 일 측면에 따른 이미지 크기를 조정하는 것을 설명하기 위한 도면이다.
도 5는 본 발명의 일 측면에 따른 이미지 추천 방법의 절차에 대한 예시적인 순서도이다.1 is a block diagram illustrating the configuration of an image recommendation apparatus according to an aspect of the present invention.
2 is a diagram illustrating an example of extracting keywords and directional words related to affirmation or negation from text data related to an article according to an aspect of the present invention.
3 is an image related to an example of a harmful image.
4 is a diagram for explaining adjusting an image size according to an aspect of the present invention.
5 is an exemplary flowchart of a procedure of an image recommendation method according to an aspect of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 측면에 따른 이미지 추천 장치의 구성을 설명하기 위한 블록도이고, 도 2는 본 발명의 일 측면에 따른 기사에 관한 텍스트 데이터에서 키워드 및 긍정 또는 부정과 관련된 방향성 단어를 추출하는 예시를 나타낸 도면이고, 도 3은 유해 이미지의 예시에 관한 이미지이고, 도 4는 본 발명의 일 측면에 따른 이미지 크기를 조정하는 것을 설명하기 위한 도면이다.1 is a block diagram for explaining the configuration of an image recommendation apparatus according to an aspect of the present invention, and FIG. 2 is a block diagram of extracting keywords and directional words related to affirmation or negation from text data related to an article according to an aspect of the present invention. 3 is an image related to an example of a harmful image, and FIG. 4 is a diagram for explaining adjusting the image size according to an aspect of the present invention.

도 1을 참조하면, 본 발명의 일 측면에 따른 이미지 추천 장치(100)는 입출력부(101), 통신부(102), 메모리(110) 및/또는 프로세서(120)를 포함할 수 있으며, RPA(Robot Process Automation) 알고리즘을 이용하여 수신한 텍스트 데이터의 내용을 설명하는 이미지(또는 내용의 주제와 관련된 이미지 또는 내용의 맥락(context)에 맞는 이미지)를 자동으로 추천(또는 출력)할 수 있다.Referring to FIG. 1 , animage recommendation apparatus 100 according to an aspect of the present invention may include an input/output unit 101 , acommunication unit 102 , amemory 110 and/or aprocessor 120 , and an RPA ( Robot Process Automation) algorithm can be used to automatically recommend (or output) an image that describes the content of the received text data (or an image related to the subject of the content or an image that fits the context of the content).

여기서, RPA 알고리즘은 로보틱 처리 자동화, 로보틱 프로세스 자동화, 로보틱 프로세스 오토메이션, 소프트웨어 봇 또는 인공지능 워커의 개념에 기반한 비즈니스 프로세스 자동화 기술을 의미한다.Here, the RPA algorithm refers to a business process automation technology based on the concepts of robotic processing automation, robotic process automation, robotic process automation, software bots, or artificial intelligence workers.

입출력부(101)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 일 실시예에 따른 이미지 추천 장치(100)의 다른 구성요소(들)에 전달하거나, 또는 일 실시예에 따른 이미지 추천 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 외부 기기로 출력할 수 있다.The input/output unit 101 transmits, for example, a command or data input from a user or other external device to other component(s) of theimage recommendation apparatus 100 according to an embodiment, or Commands or data received from other component(s) of theimage recommendation apparatus 100 may be output to a user or an external device.

통신부(102)는 이미지 추천 장치(100)와 외부 장치와의 유선 또는 무선 통신 채널의 수립 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.Thecommunication unit 102 may support establishment of a wired or wireless communication channel between theimage recommendation apparatus 100 and an external device and performing communication through the established communication channel.

메모리(110)는 이미지 추천 장치(100)의 적어도 하나의 구성요소(프로세서(120), 입출력부(101) 및/또는 통신부(102))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(110)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.Thememory 110 includes various data used by at least one component (theprocessor 120, the input/output unit 101, and/or the communication unit 102) of theimage recommendation apparatus 100, for example, software (eg : program) and input data or output data for commands related thereto can be stored. Thememory 110 may include a volatile memory or a non-volatile memory.

일 실시예로서, 메모리(110)는 다수의 이미지가 저장되어 있을 수 있다.As an embodiment, thememory 110 may store a plurality of images.

여기서, 메모리(110)에 저장된 다수의 이미지는 외부의 다른 장치(예를 들어, 데이터베이스(DB)가 저장된 장치 또는 서버)에 저장되어 있는 다수의 이미지가 로드되어 저장된 이미지일 수 있으나, 이에 한정되는 것은 아니다.Here, the plurality of images stored in thememory 110 may be images stored by loading a plurality of images stored in another external device (eg, a device or a server in which the database DB is stored), but is not limited thereto. it is not

프로세서(120)(제어부, 제어 장치 또는 제어 회로라고도 함)는 연결된 이미지 추천 장치(100)의 적어도 하나의 다른 구성요소(예: 하드웨어 구성 요소(예: 입출력 부(101), 통신부(102) 및/또는 메모리(110)) 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다.The processor 120 (also referred to as a control unit, a control device, or a control circuit) includes at least one other component (eg, a hardware component (eg, an input/output unit 101 , a communication unit 102 ) and at least one other component of the connectedimage recommendation device 100 . / or memory 110) or a software component), and may perform various data processing and operations.

또한, 프로세서(120)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.In addition, theprocessor 120 may load and process commands or data received from at least one of other components into the volatile memory, and store various data in the non-volatile memory.

이를 위해, 프로세서(120)는 해당 동작을 수행하기 위한 전용 프로세서(예를 들어, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예를 들어, CPU 또는 application processor 또는 MCU(Micro controller unit) 등)로 구현될 수 있다.To this end, theprocessor 120 is a general-purpose processor capable of performing the corresponding operations by executing one or more software programs stored in a dedicated processor (eg, an embedded processor) or a memory device for performing the corresponding operations. processor) (eg, CPU or application processor, micro controller unit (MCU), etc.).

보다 구체적으로, 프로세서(120)는 수신한 텍스트 데이터에서 적어도 하나의 키워드 및 수신한 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출할 수 있다.More specifically, theprocessor 120 may extract at least one keyword from the received text data and a directional word related to at least one affirmative or negative for the received text data.

예를 들어, 프로세서(120)는 수신한 텍스트 데이터에 자연어 처리(Natural Language Processing)를 적용하여, 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출할 수 있다.For example, theprocessor 120 may extract at least one keyword and at least one positive or negative directional word by applying natural language processing to the received text data.

여기서, 수신한 텍스트 데이터는 기사와 관련된 텍스트 데이터일 수 있으나, 이에 한정되는 것은 아니다.Here, the received text data may be text data related to an article, but is not limited thereto.

보다 상세히, 도 2를 참조하면, 수신한 기사에 관한 텍스트 데이터에 자연어 처리(Natural Language Processing)를 적용하여, 기사에 관한 텍스트 데이터의 제목(200), 부제목(210) 및 본문(220)에서 네모칸으로 표시된 부분과 같이 키워드가 추출되고, 동그라미칸으로 표시된 부분과 같이 긍정 또는 부정과 관련된 방향성 단어가 추출될 수 있다. 이때, 도 2에는 도시되지 않았으나 기사 내용에 관한 텍스트 데이터의 섹션이 존재할 경우, 섹션에서도 키워드 및 긍정 또는 부정과 관련된 방향성 단어가 추출될 수 있다.In more detail, referring to FIG. 2 , by applying natural language processing to the received text data about the article, the title 200 , thesubhead 210 , and themain body 220 of the text data about the article are squares. A keyword may be extracted as shown in the portion indicated by , and directional words related to affirmation or negation may be extracted as in the portion indicated by a circle. In this case, although not shown in FIG. 2 , when a section of text data related to article content exists, keywords and directional words related to affirmation or negation may be extracted from the section as well.

이후, 프로세서(120)는 추출된 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 메모리(110)에 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정할 수 있다.Thereafter, theprocessor 120 may determine at least one image among a plurality of images pre-stored in thememory 110 as an image recommendation candidate based on the extracted at least one keyword and at least one positive or negative related directional word. have.

일 실시예로서, 프로세서(120)는 추출된 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여 정보 행렬(information matrix)을 생성하고, 생성된 정보 행렬에 기초하여 메모리(110)에 기 저장된 다수의 이미지 중 상기 정보 행렬의 데이터와 매칭되는 적어도 하나의 이미지를 이미지 추천 후보로 결정할 수도 있다. 이때, 정보 행렬에는 다수의 키워드(예를 들어, 핵심 키워드, 제 1 키워드, 제 2 키워드, 제 3 키워드가 포함될 수 있음), 긍정 또는 부정과 관련된 방향성 단어, 기 설정된 이미지 크기 정보 및 다수의 이미지 등이 포함될 수 있다.In one embodiment, theprocessor 120 generates an information matrix based on the extracted at least one keyword and at least one positive or negative related directional word, and based on the generated information matrix, the memory 110 ), at least one image matching the data of the information matrix among a plurality of images pre-stored in ) may be determined as an image recommendation candidate. In this case, the information matrix includes a plurality of keywords (eg, a core keyword, a first keyword, a second keyword, and a third keyword), a directional word related to positive or negative, preset image size information, and a plurality of images etc. may be included.

일 실시예로서, 프로세서(120)는 결정된 이미지 추천 후보를 필터링할 수 있다.As an embodiment, theprocessor 120 may filter the determined image recommendation candidates.

예를 들어, 프로세서(120)는 유해 이미지를 입력으로, 유해 예측 값을 정답으로 하여 기 학습된 기계학습 모델을 이용하여, 이미지 추천 후보의 유해여부를 판단하고, 이미지 추천 후보 중 유해하지 않다고 판단한 이미지 추천 후보를 출력할 수 있다.For example, theprocessor 120 determines whether an image recommendation candidate is harmful by using a pre-learned machine learning model with a harmful image as an input and a harmful prediction value as the correct answer, and determines whether the image recommendation candidate is harmful or not. Image recommendation candidates can be output.

여기서, 유해 이미지는 간접 광고 이미지(또는 PPL(product placement) 이미지), 성인 이미지 및 볼 수 있는 연령이 제한되어 있는 이미지 등이 포함될 수 있다.Here, the harmful image may include an indirect advertisement image (or a product placement (PPL) image), an adult image, and an image with a limited viewing age.

또 다른 예로서, 프로세서(120)는 이미지 추천 후보가 기 설정된 유해 이미지인지 확인하여 이미지 추천 후보를 필터링할 수도 있다.As another example, theprocessor 120 may filter the image recommendation candidates by checking whether the image recommendation candidate is a preset harmful image.

보다 상세히, 도 3과 같이 유해한 이미지가 이미지 추천 후보에 포함되었을 경우, 이미지 추천 후보에 포함된 유해 이미지는 사용자에게 최종 선택될 가능성이 낮기 때문에 이미지 추천 장치(100)는 이미지 추천 후보 중, 유해 이미지를 필터링할 수 있다.In more detail, when a harmful image is included in the image recommendation candidate as shown in FIG. 3 , theimage recommendation apparatus 100 selects the harmful image from among the image recommendation candidates because there is a low possibility that the harmful image included in the image recommendation candidate will be finally selected by the user. can be filtered.

이후, 프로세서(120)는 필터링된 이미지 추천 후보의 이미지 크기를 기 설정된 크기로 조정할 수 있다.Thereafter, theprocessor 120 may adjust the image size of the filtered image recommendation candidate to a preset size.

예를 들어, 도 4와 같이 프로세서(120)는 기 설정된 픽셀 및 해상도에 기초하여 필터링된 이미지 추천 후보의 이미지 크기를 조정할 수 있다.For example, as shown in FIG. 4 , theprocessor 120 may adjust the image size of the filtered image recommendation candidate based on preset pixels and resolution.

이후, 프로세서(120)는 이미지 크기가 조정된 이미지 추천 후보를 추천 이미지로 출력할 수 있으며 이때, 출력되는 추천 이미지는 복수 개일 수 있다.Thereafter, theprocessor 120 may output an image recommendation candidate whose image size has been adjusted as a recommendation image, and in this case, the output recommendation image may be plural.

한편, 이미지 추천 장치(100)를 사용하는 사용자는 출력된 추천 이미지를 확인하고, 출력된 추천 이미지 중 하나를 선택할 수 있다.Meanwhile, a user using theimage recommendation apparatus 100 may check the output recommendation image and select one of the output recommendation images.

이후, 프로세서(120)는 출력된 추천 이미지 중 사용자의 입력에 의해 선택된 최종 이미지를 확인하고, 확인된 최종 이미지의 가중치를 확인된 최종 이미지를 제외한 메모리(110)에 기 저장된 다수의 이미지보다 높게 설정할 수 있다.Thereafter, theprocessor 120 checks the final image selected by the user's input among the output recommendation images, and sets the weight of the confirmed final image to be higher than the plurality of images previously stored in thememory 110 except for the confirmed final image. can

다른 실시예로서, 프로세서(120)는 출력된 추천 이미지 중 사용자의 입력에 의해 선택된 최종 이미지를 확인하고, 이전에 생성한 정보 행렬(information matrix)에서 최종 이미지의 가중치를 최종 이미지를 제외한 다수의 이미지 가중치보다 높게 설정하여 정보 행렬을 업데이트할 수 있다.As another embodiment, theprocessor 120 checks the final image selected by the user's input among the output recommendation images, and calculates the weight of the final image in a previously generated information matrix from a plurality of images excluding the final image. You can update the information matrix by setting it higher than the weight.

즉, 프로세서(120)는 사용자의 입력에 의해 선택된 결과(최종 이미지)를 메모리(100)에 기 저장된 다수의 이미지에 반영할 수 있으며, 이후 프로세서(120)는 사용자의 입력에 의해 선택된 최종 이미지의 결과가 반영된 추천 이미지를 출력할 수 있다.That is, theprocessor 120 may reflect the result (final image) selected by the user's input to a plurality of images pre-stored in thememory 100 , and then theprocessor 120 may display the final image selected by the user's input. A recommendation image in which the result is reflected may be output.

따라서, 프로세서(120)는 수신된 텍스트 데이터를 기초로 추천 이미지를 출력한 이후, 상기 수신된 텍스트 데이터의 내용과 동일하거나 유사한 텍스트 데이터를 수신할 경우, 사용자의 입력에 의해 선택된 최종 이미지가 추천 이미지로 출력될 수 있다.Accordingly, after theprocessor 120 outputs a recommended image based on the received text data, when receiving text data identical to or similar to the content of the received text data, the final image selected by the user's input is the recommended image. can be output as

도 5는 본 발명의 일 측면에 따른 이미지 추천 방법의 절차에 대한 예시적인 순서도이다. 도 5의 이미지 추천 방법은 도 1에 도시된 이미지 추천 장치(100)에 의해 수행 가능하다. 아울러, 도 5에 도시된 이미지 추천 방법은 예시적인 것에 불과하다.5 is an exemplary flowchart of a procedure of an image recommendation method according to an aspect of the present invention. The image recommendation method of FIG. 5 may be performed by theimage recommendation apparatus 100 illustrated in FIG. 1 . In addition, the image recommendation method illustrated in FIG. 5 is merely exemplary.

도 5를 참조하면, 프로세서(120)는 수신한 텍스트 데이터에서 적어도 하나의 키워드 및 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출할 수 있다(단계 S10).Referring to FIG. 5 , theprocessor 120 may extract at least one keyword and a directional word related to at least one affirmation or negation of the text data from the received text data (step S10 ).

예를 들어, 프로세서(120)는 수신한 텍스트 데이터에 자연어 처리(Natural Language Processing)를 적용하여, 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출할 수 있다.For example, theprocessor 120 may extract at least one keyword and at least one positive or negative directional word by applying natural language processing to the received text data.

이후, 프로세서(120)는 추출된 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 추천 후보로 결정할 수 있다(S20).Thereafter, theprocessor 120 may determine at least one image among a plurality of pre-stored images as a recommendation candidate based on the extracted at least one keyword and at least one positive or negative directional word (S20).

예를 들어, 프로세서(120)는 추출된 적어도 하나의 키워드 및 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여 정보 행렬(information matrix)을 생성하고, 생성된 정보 행렬에 기초하여 메모리(110)에 기 저장된 다수의 이미지 중 상기 정보 행렬의 데이터와 매칭되는 적어도 하나의 이미지를 이미지 추천 후보로 결정할 수도 있다.For example, theprocessor 120 generates an information matrix based on the extracted at least one keyword and at least one positive or negative related directional word, and thememory 110 based on the generated information matrix. At least one image matching the data of the information matrix among a plurality of images pre-stored in , may be determined as an image recommendation candidate.

이후, 프로세서(120)는 결정된 이미지 추천 후보를 필터링할 수 있다(단계 S30).Thereafter, theprocessor 120 may filter the determined image recommendation candidates (step S30 ).

예를 들어, 프로세서(120)는 유해 이미지를 입력으로, 유해 예측 값을 정답으로 하여 기 학습된 기계학습 모델을 이용하여, 이미지 추천 후보의 유해여부를 판단하고, 이미지 추천 후보 중 유해하지 않다고 판단한 이미지 추천 후보를 출력할 수 있다.For example, theprocessor 120 determines whether an image recommendation candidate is harmful by using a pre-learned machine learning model with a harmful image as an input and a harmful prediction value as the correct answer, and determines whether the image recommendation candidate is harmful or not. Image recommendation candidates can be output.

이후, 프로세서(120)는 필터링된 이미지 추천 후보의 이미지 크기를 기 설정된 크기로 조정할 수 있다(단계 S40).Thereafter, theprocessor 120 may adjust the image size of the filtered image recommendation candidate to a preset size (step S40).

이후, 프로세서(120)는 조정된 크기의 이미지 추천 후보를 추천 이미지로 출력할 수 있다(단계 S50).Thereafter, theprocessor 120 may output the image recommendation candidate of the adjusted size as the recommended image (step S50 ).

여기서, 프로세서(120)에서 출력(또는 추천)되는 추천 이미지는 복수 개일 수 있으며, 이때 프로세서(120)에서 복수 개의 추천 이미지가 출력된 후, 사용자는 복수 개의 추천 이미지 중 하나의 추천 이미지를 선택할 수 있다.Here, there may be a plurality of recommended images output (or recommended) by theprocessor 120, and in this case, after the plurality of recommended images are output by theprocessor 120, the user may select one recommended image from among the plurality of recommended images. have.

이때, 프로세서(120)는 출력된 추천 이미지 중 사용자의 입력에 의해 선택된 최종 이미지를 확인하고, 확인된 최종 이미지의 가중치를 확인된 최종 이미지를 제외한 메모리(110)에 기 저장된 다수의 이미지보다 높게 설정할 수 있다.At this time, theprocessor 120 checks the final image selected by the user's input among the output recommendation images, and sets the weight of the confirmed final image to be higher than a plurality of images previously stored in thememory 110 except for the confirmed final image. can

따라서, 본 발명의 일 측면에 따른 이미지 추천 장치(100)는 기 저장된 다수의 이미지 중에서, 사용자의 입력에 의해 선택된 최종 이미지의 가중치를 높게 설정할 수 있으므로, 선택된 최종 이미지의 가중치를 높게 설정한 이후에, 이전에 수신된 텍스트 데이터의 내용과 유사한 텍스트 데이터를 기반으로 추천되는 이미지는 사용자가 이전에 선택한 이미지가 추천될 가능성이 높아질 수 있다.Accordingly, since theimage recommendation apparatus 100 according to an aspect of the present invention may set a high weight of the final image selected by a user's input among a plurality of pre-stored images, after setting the high weight of the selected final image , an image recommended based on text data similar to the content of previously received text data may increase the likelihood that an image previously selected by the user will be recommended.

이상에서 살펴본 바와 같이, 본 발명의 일 측면에 따르면, 텍스트 데이터의 내용을 설명하는 이미지를 추천할 수 있다.As described above, according to an aspect of the present invention, it is possible to recommend an image that describes the content of text data.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

100: 이미지 추천 장치
101: 입출력부
102: 통신부
110: 메모리
120: 프로세서100: image recommendation device
101: input/output unit
102: communication unit
110: memory
120: processor

Claims (8)

Translated fromKorean

이미지 추천 장치에 의해 수행되는 이미지 추천 방법에 있어서,
수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계와,
상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정하는 단계를 포함하는
이미지 추천 방법.In the image recommendation method performed by the image recommendation device,
extracting at least one keyword and at least one positive or negative related word for the text data from the received text data;
Determining at least one image among a plurality of pre-stored images as an image recommendation candidate based on the extracted at least one keyword and the at least one positive or negative directional word
How to recommend images.제 1 항에 있어서,
상기 결정된 이미지 추천 후보를 필터링하는 단계와,
상기 필터링된 이미지 추천 후보의 이미지 크기를 기 설정된 크기로 조정하는 단계와,
상기 조정된 크기의 이미지 추천 후보를 추천 이미지로 출력하는 단계를 더 포함하는
이미지 추천 방법.The method of claim 1,
filtering the determined image recommendation candidates;
adjusting the image size of the filtered image recommendation candidate to a preset size;
The method further comprising the step of outputting the image recommendation candidate of the adjusted size as a recommended image
How to recommend images.제 2 항에 있어서,
상기 결정된 이미지 추천 후보를 필터링하는 단계는,
유해 이미지를 입력으로, 유해 예측 값을 정답으로 하여 기 학습된 기계학습 모델을 이용하여, 상기 이미지 추천 후보의 유해여부를 판단하는 단계와,
상기 이미지 추천 후보 중 유해하다고 판단한 이미지 추천 후보를 필터링하는 단계를 포함하는
이미지 추천 방법.3. The method of claim 2,
The step of filtering the determined image recommendation candidates includes:
Determining whether the image recommendation candidate is harmful by using a machine learning model previously learned with harmful images as input and harmful prediction values as correct answers;
filtering the image recommendation candidates determined to be harmful among the image recommendation candidates;
How to recommend images.제 2 항에 있어서,
상기 출력된 추천 이미지 중 사용자의 입력에 의해 선택된 최종 이미지를 확인하는 단계와,
상기 확인된 최종 이미지의 가중치를 상기 확인된 최종 이미지를 제외한 상기 기 저장된 다수의 이미지보다 높게 설정하는 단계를 더 포함하는
이미지 추천 방법.3. The method of claim 2,
checking a final image selected by a user's input among the output recommended images;
Further comprising the step of setting the weight of the confirmed final image higher than the plurality of pre-stored images excluding the confirmed final image
How to recommend images.제 1 항에 있어서,
상기 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계는,
상기 수신한 텍스트 데이터에 자연어 처리(Natural Language Processing)를 적용하여, 상기 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는
이미지 추천 방법.The method of claim 1,
The step of extracting the at least one keyword and the directional word related to the at least one positive or negative is,
applying natural language processing to the received text data to extract the at least one keyword and a directional word related to the at least one affirmative or negative
How to recommend images.다수의 이미지가 저장되어 있는 메모리; 및
상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
상기 프로세서는,
수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하고, 상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정하는
이미지 추천 장치.a memory in which a plurality of images are stored; and
a processor electrically connected to the memory;
The processor is
Extracting at least one keyword and at least one positive or negative directional word for the text data from the received text data, and based on the extracted at least one keyword and the at least one positive or negative directional word Thus, at least one image among a plurality of pre-stored images is determined as an image recommendation candidate.
Image recommendation device.컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계와,
상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.As a computer-readable recording medium storing a computer program,
The computer program, when executed by a processor,
extracting at least one keyword and at least one positive or negative related word for the text data from the received text data;
The processor performs a method comprising determining at least one image among a plurality of pre-stored images as an image recommendation candidate based on the extracted at least one keyword and the at least one positive or negative directional word. containing instructions to do
computer readable recording medium.컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
수신한 텍스트 데이터에서 적어도 하나의 키워드 및 상기 텍스트 데이터에 대한 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어를 추출하는 단계와,
상기 추출된 적어도 하나의 키워드 및 상기 적어도 하나의 긍정 또는 부정과 관련된 방향성 단어에 기초하여, 기 저장된 다수의 이미지 중 적어도 하나의 이미지를 이미지 추천 후보로 결정하는 단계를 포함하는 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.As a computer program stored in a computer-readable recording medium,
The computer program, when executed by a processor,
extracting at least one keyword and at least one positive or negative related word for the text data from the received text data;
The processor performs a method comprising determining at least one image among a plurality of pre-stored images as an image recommendation candidate based on the extracted at least one keyword and the at least one positive or negative directional word. containing instructions to do
computer program.

Images