CN112100490A - Method, device, electronic device and medium for establishing user level prediction model - Google Patents
Method, device, electronic device and medium for establishing user level prediction modelDownload PDFInfo
- Publication number
- CN112100490A CN112100490ACN202010889799.XACN202010889799ACN112100490ACN 112100490 ACN112100490 ACN 112100490ACN 202010889799 ACN202010889799 ACN 202010889799ACN 112100490 ACN112100490 ACN 112100490A
- Authority
- CN
- China
- Prior art keywords
- user
- users
- level
- resource
- resources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Translated fromChinese
Description
Translated fromChinese技术领域technical field
本申请涉及计算机技术领域，具体而言，涉及互联网数据处理技术。The present application relates to the field of computer technology, in particular, to Internet data processing technology.
背景技术Background technique
随着互联网技术的发展，互联网能够为用户提供越来越多的网络服务。例如，用户可以通过互联网浏览视频、收听音乐、阅读、购物等。在互联网平台上，用户可以通过搜索功能搜索自己需要的内容。同时，为了方便用户获取信息，互联网平台还可以主动向用户推荐内容。不同的用户在不同的领域中具有不同的阅读能力，因此对不同内容深度的资源具有不同的偏好。例如，在围棋领域，围棋初学者更偏好围棋入门方面的资源，较深入的资源不适合推荐给初学者。随着互联网上信息的爆炸式增长，如何识别用户在某个领域中的阅读能力以及资源的内容深度，从而向用户推荐符合用户阅读能力的资源已经成为当前的一个关注热点。With the development of Internet technology, the Internet can provide users with more and more network services. For example, users can browse videos, listen to music, read, shop, etc. through the Internet. On the Internet platform, users can search for the content they need through the search function. At the same time, in order to facilitate users to obtain information, the Internet platform can also actively recommend content to users. Different users have different reading abilities in different fields and therefore have different preferences for resources with different content depths. For example, in the field of Go, Go beginners prefer resources on the introduction of Go, and more in-depth resources are not recommended for beginners. With the explosive growth of information on the Internet, how to identify a user's reading ability in a certain field and the content depth of a resource, so as to recommend a resource that matches the user's reading ability to users has become a current focus.
发明内容SUMMARY OF THE INVENTION
本公开提供了一种建立用户等级预测模型的方法、装置、电子设备以及存储介质。The present disclosure provides a method, apparatus, electronic device and storage medium for establishing a user level prediction model.
根据本公开的第一方面，提供了一种建立用户等级预测模型的方法，包括：从用户集合中确定第一用户集合，第一用户集合中的用户在一领域中具有第一等级；从用户集合中确定第二用户集合，第二用户集合中的用户在该领域中具有第二等级，第二等级低于第一等级；以及基于第一用户集合和第二用户集合中与用户相关联的信息，建立用户等级预测模型，用户等级预测模型指示用户具有第一等级的可能性与信息之间的关系。According to a first aspect of the present disclosure, there is provided a method for establishing a user level prediction model, comprising: determining a first user set from a user set, the users in the first user set have a first level in a field; determining a second set of users from the set, the users in the second set of users having a second rank in the field, the second rank being lower than the first rank; and based on the first set of users and a user associated with the users in the second set of users information, a user level prediction model is established, and the user level prediction model indicates the relationship between the possibility that the user has the first level and the information.
根据本公开的第二方面，提供了一种确定用户等级的方法，包括：利用根据本公开的第一方面的用户等级预测模型，基于与用户相关联的信息，预测该用户在一领域中的用户等级。According to a second aspect of the present disclosure, there is provided a method of determining a user level, comprising: using the user level prediction model according to the first aspect of the present disclosure, based on information associated with the user, predicting the user's level in a field user level.
根据本公开的第三方面，提供了一种内容推荐的方法，包括：基于根据本公开的第二方面确定的用户在一领域中的用户等级以及领域中资源的资源等级，为用户推荐相匹配的资源。According to a third aspect of the present disclosure, there is provided a method for recommending content, comprising: recommending a matching method for the user based on the user level of the user in a field and the resource level of resources in the field determined according to the second aspect of the present disclosure Resources.
根据本公开的第四方面，提供了一种建立用户等级预测模型的装置，包括：第一用户集合确定模块，用于从用户集合中确定第一用户集合，第一用户集合中的用户在一领域中具有第一等级；第二用户集合确定模块，用于从用户集合中确定第二用户集合，第二用户集合中的用户在该领域中具有第二等级，第二等级低于第一等级；以及模型建立模块，用于基于第一用户集合和第二用户集合中与用户相关联的信息，建立用户等级预测模型，用户等级预测模型指示用户具有第一等级的可能性与信息之间的关系。According to a fourth aspect of the present disclosure, there is provided an apparatus for establishing a user level prediction model, comprising: a first user set determination module, configured to determine a first user set from the user set, wherein the users in the first user set are in a The field has a first level; the second user set determination module is used to determine a second user set from the user set, the users in the second user set have a second level in the field, and the second level is lower than the first level and a model building module for establishing a user level prediction model based on the information associated with the user in the first user set and the second user set, and the user level prediction model indicates that the user has the possibility of the first level and the information. relation.
根据本公开的第五方面，提供了一种确定用户等级的装置，包括：用户等级确定模块，用于利用根据本公开的第四方面的用户等级预测模型，基于与用户相关联的信息，预测用户在一领域中的用户等级。According to a fifth aspect of the present disclosure, there is provided an apparatus for determining a user level, comprising: a user level determination module for predicting, based on information associated with a user, using the user level prediction model according to the fourth aspect of the present disclosure User's user level in a domain.
根据本公开的第六方面，提供了一种用于内容推荐的装置，包括：资源推荐模块，用于基于根据本公开的第五方面确定的用户在一领域中的用户等级以及所述领域中资源的资源等级，为用户推荐相匹配的资源。According to a sixth aspect of the present disclosure, there is provided an apparatus for content recommendation, comprising: a resource recommendation module for a user level of a user in a field and a user level in the field based on the user determined according to the fifth aspect of the present disclosure The resource level of the resource, recommends matching resources for users.
根据本公开的第七方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。According to a seventh aspect of the present disclosure, there is provided an electronic device, comprising: at least one processor; and a memory communicatively connected to the at least one processor; wherein the memory stores instructions executable by the at least one processor, and the instructions are executed by the at least one processor. A processor executes to enable at least one processor to execute the method according to the first aspect of the present disclosure.
根据本公开的第八方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被一个处理器执行，以使至少一个处理器能够执行根据本公开的第二方面的方法。According to an eighth aspect of the present disclosure, there is provided an electronic device, comprising: at least one processor; and a memory communicatively connected to the at least one processor; wherein the memory stores instructions executable by the at least one processor, and the instructions are executed by the at least one processor. A processor executes to enable at least one processor to execute the method according to the second aspect of the present disclosure.
根据本公开的第九方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被一个处理器执行，以使至少一个处理器能够执行根据本公开的第三方面的方法。According to a ninth aspect of the present disclosure, there is provided an electronic device, comprising: at least one processor; and a memory communicatively connected to the at least one processor; wherein the memory stores instructions executable by the at least one processor, the instructions being executed by the at least one processor. One processor executes to enable at least one processor to execute the method according to the third aspect of the present disclosure.
根据本公开的第十方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行根据本公开的第一方面的方法。According to a tenth aspect of the present disclosure, there is provided a non-transitory computer-readable storage medium storing computer instructions, wherein the computer instructions are used to cause a computer to perform the method according to the first aspect of the present disclosure.
根据本公开的第十一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行根据本公开的第二方面的方法。According to an eleventh aspect of the present disclosure, there is provided a non-transitory computer-readable storage medium storing computer instructions, wherein the computer instructions are used to cause a computer to perform the method according to the second aspect of the present disclosure.
根据本公开的第十二方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行根据本公开的第三方面的方法。According to a twelfth aspect of the present disclosure, there is provided a non-transitory computer-readable storage medium storing computer instructions, wherein the computer instructions are used to cause a computer to perform the method according to the third aspect of the present disclosure.
根据本申请的技术解决了同时识别用户在某个领域中的阅读能力以及资源的内容深度的问题，从而能够向用户推荐与用户的阅读能力相匹配的该领域的资源。The technology according to the present application solves the problem of simultaneously identifying a user's reading ability in a certain field and the content depth of a resource, so that resources in the field that match the user's reading ability can be recommended to the user.
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。It should be understood that what is described in this section is not intended to identify key or critical features of embodiments of the disclosure, nor is it intended to limit the scope of the disclosure. Other features of the present disclosure will become readily understood from the following description.
附图说明Description of drawings
结合附图并参考以下详细说明，本公开的上述以及其它目的、特征和优势将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：The above and other objects, features and advantages of the present disclosure will become more apparent when taken in conjunction with the accompanying drawings and with reference to the following detailed description. In the drawings, the same or similar reference numbers refer to the same or similar elements, wherein:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；1 shows a schematic diagram of an example environment in which various embodiments of the present disclosure can be implemented;
图2示出了根据本公开的一些实施例的建立用户等级预测模型的方法的流程图；2 shows a flowchart of a method for establishing a user level prediction model according to some embodiments of the present disclosure;
图3示出了根据本公开的一些实施例的确定标注用户集合的方法的流程图；3 shows a flowchart of a method for determining a set of annotation users according to some embodiments of the present disclosure;
图4示出了根据本公开的一些实施例的建立用户等级预测模型的方法的流程图；4 shows a flowchart of a method for establishing a user level prediction model according to some embodiments of the present disclosure;
图5示出了根据本公开的一些实施例的确定用户等级的方法的流程图；5 shows a flowchart of a method for determining a user level according to some embodiments of the present disclosure;
图6示出了根据本公开实施例的为用户推荐内容的应用场景的示意性框图；FIG. 6 shows a schematic block diagram of an application scenario of recommending content for a user according to an embodiment of the present disclosure;
图7示出了根据本公开实施例的建立用户等级预测模型的装置的示意性框图；7 shows a schematic block diagram of an apparatus for establishing a user level prediction model according to an embodiment of the present disclosure;
图8示出了根据本公开实施例的确定用户等级的装置的示意性框图；以及FIG. 8 shows a schematic block diagram of an apparatus for determining a user level according to an embodiment of the present disclosure; and
图9示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。9 shows a schematic block diagram of an example electronic device that may be used to implement embodiments of the present disclosure.
具体实施方式Detailed ways
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。Exemplary embodiments of the present application are described below with reference to the accompanying drawings, which include various details of the embodiments of the present application to facilitate understanding, and should be considered as exemplary only. Accordingly, those of ordinary skill in the art will recognize that various changes and modifications of the embodiments described herein can be made without departing from the scope and spirit of the present application. Also, descriptions of well-known functions and constructions are omitted from the following description for clarity and conciseness.
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。In the description of embodiments of the present disclosure, the term "comprising" and the like should be understood as open-ended inclusion, ie, "including but not limited to". The term "based on" should be understood as "based at least in part on". The terms "one embodiment" or "the embodiment" should be understood to mean "at least one embodiment". The terms "first", "second", etc. may refer to different or the same objects. Other explicit and implicit definitions may also be included below.
如本文所使用的，术语“用户等级”是指用户对某领域的资源的掌握能力。例如，还以围棋为例，用户等级是指用户在围棋领域是初学用户、中级用户还是资深用户等。术语“资源等级”是指用户理解资源本身内容的难易程度。资源可以包括图文、视频、音频等。例如，还以围棋为例，并且以文章为例，资源等级是指围棋领域中的该文章是入门级、中等难度还是高难度等。As used herein, the term "user level" refers to a user's ability to master resources in a domain. For example, taking Go as an example, the user level refers to whether the user is a beginner user, an intermediate user, or an experienced user in the field of Go. The term "resource level" refers to the ease with which the user understands the content of the resource itself. Resources can include graphics, video, and audio. For example, taking Go as an example, and taking an article as an example, the resource level refers to whether the article in the field of Go is entry-level, moderately difficult, or highly difficult.
在本文中，术语“半监督学习”是一种机器学习方法，其使用大量的未标记数据，以及同时使用标记数据，来进行模式识别。因此，当使用半监督学习时，将会要求尽量少的人员来从事工作，同时又能够带来比较高的准确性。半监督学习的基本思想是给定一个来自某未知分布的有标记示例集L＝{(x1,y1),(x2,y2),...,(x|L|,y|L|)}以及一个未标记示例集U＝{x1’,x2’,...,x|U|’}，期望训练得到函数f:Y＝a1*z1+a2*z2+…+ad*zd+B，可以准确地对示例x预测其标记y。这里xi、xj’∈X均为d维向量，例如xi为(zi1,zi2,…,zid)，yi∈Y为示例xi的标记，|L|和|U|分别为L和U的大小，即它们所包含的示例数。PU Learning(Positive-unlabeled learning)是半监督学习的一个重要分支，指在只有正类和无标记数据的情况下，训练二分类器。术语“种子用户”是指在半监督学习中用来训练函数的有标记示例集。在本公开的实施例中，基于PU Learning的思想，利用人工标注得到一批具有高资源等级以及具有低资源等级的种子资源从而得到具有高用户等级以及低用户等级的种子用户，基于与种子用户相关联的信息来训练用户等级预测模型，从而预测用户的用户等级。In this article, the term "semi-supervised learning" is a machine learning method that uses large amounts of unlabeled data, as well as labeled data, for pattern recognition. Therefore, when semi-supervised learning is used, it will require as few people as possible to do the work, and at the same time can bring relatively high accuracy. The basic idea of semi-supervised learning is to give a set of labeled examples from an unknown distribution L={(x1 ,y1 ),(x2 ,y2 ),...,(x|L| ,y| L| )} and an unlabeled example set U={x1 ',x2 ',...,x|U| '}, expect the training function f:Y=a1 *z1 +a2 *z2 +...+ad *zd +B, which accurately predicts the label y for an example x. Here xi , xj '∈X are d-dimensional vectors, for example, xi is (zi1 ,zi2,..., zid ), yi ∈ Y is the mark of the example xi , |L| and |U| are the sizes of L and U, respectively, the number of examples they contain. PU Learning (Positive-unlabeled learning) is an important branch of semi-supervised learning, which refers to training a binary classifier in the case of only positive and unlabeled data. The term "seed user" refers to the set of labeled examples used to train a function in semi-supervised learning. In the embodiment of the present disclosure, based on the idea of PU Learning, a batch of seed resources with high resource level and low resource level are obtained by manual annotation, so as to obtain seed users with high user level and low user level. The associated information is used to train a user level prediction model to predict the user level of the user.
如以上提及的，不同的用户在不同的领域中具有不同的阅读能力，因此对不同内容深度的资源具有不同的偏好。如果能够准确地识别出资源等级以及用户等级，为用户推荐与用户等级相匹配的资源，将会提升内容推荐的效果。传统的识别资源等级的方法大致有两种：(1)采用领域专家基于资源内容进行人工标注；(2)基于资源语言处理(NLP)技术的资源内容分析。As mentioned above, different users have different reading abilities in different fields and thus have different preferences for resources with different content depths. If the resource level and user level can be accurately identified, and resources matching the user level can be recommended for users, the effect of content recommendation will be improved. There are roughly two traditional methods for identifying resource levels: (1) manual annotation based on resource content by domain experts; (2) resource content analysis based on resource language processing (NLP) technology.
上述两种方案均存在不同的问题，方案(1)需要大量领域专家进行人工标注，人工标注成本昂贵，同时人工标注准确度较低并且时间较长，会延长新资源进入服务器的时间。另外，由于服务器中的存量资源以及新增资源量巨大，该方案不具有实用性，不适合在大规模推荐系统中使用。Both of the above two schemes have different problems. Scheme (1) requires a large number of domain experts to perform manual annotation, which is expensive, and at the same time, the accuracy of manual annotation is low and the time is long, which will prolong the time for new resources to enter the server. In addition, due to the huge amount of existing resources and new resources in the server, this scheme is not practical and is not suitable for use in large-scale recommendation systems.
方案(2)需要先标注一些训练样本作为训练语料，然后使用长短期记忆人工神经网络(LSTM)、注意力模型(Attention Model)等方法，提取资源中关键特征，建模标注数据。在训练样本收集上，也需要领域专家标注大量训练样本作为训练语料，成本昂贵，并且较难从图文扩展到视频、音频等富媒体资源的识别。Scheme (2) needs to label some training samples as training corpus, and then use methods such as long short-term memory artificial neural network (LSTM), attention model (Attention Model), etc., to extract key features in resources, and model and label data. In the collection of training samples, domain experts are also required to mark a large number of training samples as training corpus, which is expensive, and it is difficult to expand the identification of rich media resources such as video and audio from graphics and texts.
另外，发明人还注意到现有的资源等级识别技术都是对资源的本身内容进行识别，在识别过程中没有基于用户的反馈，因此无法提高资源等级识别的效率并且无法同时确定资源等级与用户等级，进而无法高效地实现基于资源等级及用户等级的资源推送。In addition, the inventor also noticed that the existing resource level identification technologies all identify the content of the resource itself, and there is no feedback based on the user during the identification process, so the efficiency of resource level identification cannot be improved, and the resource level and user level cannot be determined at the same time. level, and thus cannot efficiently implement resource push based on resource level and user level.
根据本公开的实施例，提出了一种建立用户等级预测模型的方案。根据该方案，对随机从某一领域中选择出的少量资源进行人工标注，基于用户对人工标注后的资源的使用来确定用户等级，进而选择出具有高用户等级的用户以及具有低用户等级的用户以作为种子用户，然后利用与种子用户相关联的信息来训练用户等级预测模型。该用户等级预测模型可以用来预测用户在该领域中的用户等级，并且基于用户等级可以确定资源等级。通过采用上述使用半监督学习来建立用户等级预测模型的方法，能够只需要标注少量资源即可实现对用户等级和资源等级的协同学习。以此方式，有效地提高了资源等级和用户等级识别的效率，可适用于多种媒体类型，并且降低了由人工标注所带来的成本开销。According to an embodiment of the present disclosure, a solution for establishing a user level prediction model is proposed. According to this scheme, a small number of resources randomly selected from a certain field are manually marked, and the user level is determined based on the use of the manually marked resources by the user, and then the users with high user level and those with low user level are selected. The user acts as a seed user, and then uses the information associated with the seed user to train a user rating prediction model. The user level prediction model can be used to predict the user level of the user in the field, and the resource level can be determined based on the user level. By adopting the above-mentioned method of using semi-supervised learning to establish a user level prediction model, it is possible to realize the collaborative learning of user level and resource level only by labeling a small number of resources. In this way, the efficiency of resource level and user level identification is effectively improved, it is applicable to various media types, and the cost overhead caused by manual annotation is reduced.
以下将参照附图来具体描述本公开的实施例。Embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings.
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。应当理解，图1所示出的示例环境100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，示例环境100包括用户设备120、服务器130以及存储装置140，其中用户设备120可以与用户110进行交互。FIG. 1 shows a schematic diagram of an
在一些实施例中，用户110可以通过用户设备120向服务器130请求资源。例如，用户设备120可以装有与服务器130中的资源相关联的应用，用户110可以基于对该应用的特定操作(例如，新打开应用、刷新应用内容、切换应用栏目等)来向服务器130发起对资源的请求。在一些实施例中，服务器130也可以主动地向用户设备120推送资源。例如，服务器130可以定时地向用户设备120推送资源。In some embodiments,
在一些实施例中，响应于服务器130接收到用户110对资源的请求，或者服务器130确定需要主动向用户设备120推送资源时，服务器130可以从存储装置140中获取待推送给用户110的资源集合，并将该资源集合发送到用户设备120。该资源的示例包括但不限于：文章、新闻、广告、音乐、视频、商品、和应用等。在一些实施例中，服务器130可以基于用户110对资源的历史操作有关的信息和与用户110属性相关的信息来确定待推送给用户110的资源集合。用户110对资源的历史操作有关的信息包括但不限于：用户110点击文章质量分布、用户点击文章作者专业度分布、用户关注的作者等。与用户110属性相关的信息包括但不限于：用户110的年龄、性别、收入水平、偏好等。In some embodiments, in response to the
在一些实施例中，服务器130可以针对某个领域确定该领域中的资源的资源等级，并对资源进行标记以存储在存储器140中。在一些实施例中，服务器130可以确定用户110在某个领域中的用户等级。例如，服务器130可以基于用户110对某个领域的资源的历史操作有关的信息以及与用户110的属性相关的信息来确定用户110在某个领域中的用户等级。在一些实施例中，服务器130可以基于资源的资源等级以及用户110的用户等级来确定待推送给用户110的资源集合。例如，服务器130可以为初学用户确定入门级资源，为资深用户确定高难度资源。在一些实施例中，存储装置140可以是独立于服务器130，也可以被继承在服务器130中。In some embodiments,
在一些实施例中，用户设备120可以接收服务器130所发送的资源集合，并向用户110进行呈现该资源集合。在一些实施例中，用户设备120诸如是任何类型的移动终端、固定终端或便携式终端，包括移动手机、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，用户设备120能够支持任何类型的针对用户的接口(诸如“可佩戴”电路等)。In some embodiments, the
在一些实施例中，用户110可以通过用户设备120对可以推送的资源集合进行操作，用户设备120可以记录用户110所进行的操作，并将操作信息发送到服务器130。服务器130可以将该操作信息与该用户110相关联地存储。例如，以文章为例，用户设备120可以记录用户110是否点击打开了特定文章，是否转发了特定文章，是否收藏了特定文章等。In some embodiments, the
图2示出了根据本公开的一些实施例的建立用户等级预测模型的方法200的流程图。为便于讨论，结合图1来描述方法200。方法200可以由服务器130来实现。另外，仅出于说明的目的而关于某个特定领域来描述，可以理解，对于建立用户等级预测模型的描述可以应用于互联网平台中的任何领域。FIG. 2 shows a flowchart of a
在框210，服务器130可以从用户集合中确定一个用户集合(为了方便描述，下文称为“第一用户集合”)，第一用户集合中的用户110在一领域中具有一个等级(为了方便描述，下文称为“第一等级”)。存储器140中存储了关于各个领域的资源，例如，音乐、视频、足球、篮球、围棋等。用户110通常对不同领域的资源内容具有不同的理解水平。例如，以围棋领域为例，初学用户仅具有初级围棋知识，他们仅能理解入门级的文章、视频或者音频等，而资深用户具有较多的围棋知识，他们能够理解比较难的内容。在一些实施例中，该第一等级为高用户等级，其指示用户110对该领域中的资源具有较高的理解水平。在一些实施例中，可以通过给具有第一等级的用户110添加标记来标识用户110所具有的用户等级。例如，可以添加标记“1”来标识用户110具有第一等级，当然也可以添加标记“0”来标识用户110具有第一等级。At
在框220，服务器130还可以从用户集合中确定另一用户集合(为了方便描述，下文称为“第二用户集合”)，第二用户集合中的用户110在该领域中具有另一等级(为了方便描述，下文称为“第二等级”)，该第二等级低于第一等级。在一些实施例中，第二等级可以指示用户110对该领域中的资源具有较低的理解水平。在一些实施例中，可以通过给具有第二等级的用户110添加与具有第一等级的用户110不同的标记来标识用户110具有第二等级。例如，在第一等级利用标记“1”标识的情况下，可以利用标记“0”来标识用户110具有第二等级，反之亦然，当第一等级利用标记“0”标识的情况下，可以利用标记“1”来标识用户110具有第二等级。At
仅出于说明的目的而以用户等级只包括两个等级即高等级和低等级进行了描述，可以理解，还可以存在多个用户等级，例如第三等级，该第三等级低于第二等级。例如，在围棋领域，可以存在初级用户、中级用户和资深用户等。并且相应地，当存在多个用户等级时，还可以确定多个具有相应用户等级的用户集合作为种子用户。应当理解，当存在多个用户等级时，可以采取任何其他合适的方式来标记用户等级。For illustrative purposes only, the user level is described as including only two levels, high level and low level, it is understood that there may also be multiple user levels, such as a third level, which is lower than the second level . For example, in the field of Go, there may be novice users, intermediate users, experienced users, and so on. And correspondingly, when there are multiple user levels, multiple sets of users with corresponding user levels can also be determined as seed users. It should be understood that when there are multiple user levels, any other suitable manner may be used to mark the user levels.
在一些实施例中，可以通过确定具有第一资源等级和具有第二资源等级的资源集合来确定第一用户集合和第二用户集合。该第一用户集合和第二用户集合一起形成用以训练预测特定领域下的用户等级模型的种子用户。以下将结合图3来描述如何确定特定领域的第一用户集合和第二用户集合的操作。图3图示了根据本公开的实施例的确定标注用户集合(即第一用户集合和第二用户集合)的方法300的流程图。In some embodiments, the first set of users and the second set of users may be determined by determining sets of resources having a first resource level and having a second resource level. The first set of users and the second set of users together form seed users used to train a model that predicts user ratings in a particular domain. The operation of how to determine the first set of users and the second set of users in a specific domain will be described below with reference to FIG. 3 . 3 illustrates a flowchart of a
在框310，可以从该领域的资源集合中确定一个资源集合(为了方便描述，下文称为“第一资源集合”)，第一资源集合中的资源具有一个资源等级(为了方便描述，下文称为“第一资源等级”)。在一些实施例中，第一资源等级指示资源本身的内容是高难度的，即高资源等级。在一些实施例中，可以通过对该领域的资源进行人工标注来确定第一资源集合。例如，在围棋领域中，人工标注出一定数目的具有第一资源等级(即，高资源等级)的资源，该数目不需要太多，例如几十条。可以理解，还可以采取任何其他合适的方式来确定具有高资源等级的资源集合。At
在一些实施例中，可以通过给具有第一资源等级的资源添加标记来标识资源等级。例如，可以添加标记“1”来标识资源具有第一资源等级，当然也可以添加标记“0”来标识资源具有第一等级。但是通常与用户等级的标识相一致，也就是说当用户的第一等级利用标记“1”标识时，第一资源等级利用“1”标识，反之，当用户的第一等级利用标记“0”标识时，第一资源等级利用“0”标识。In some embodiments, the resource level may be identified by tagging the resource with the first resource level. For example, a mark "1" may be added to identify the resource with the first resource level, and of course a mark "0" may also be added to indicate that the resource has the first level. However, it is usually consistent with the identification of the user level, that is to say, when the first level of the user is identified with the mark "1", the first resource level is identified with "1"; otherwise, when the first level of the user is identified with the mark "0" When identifying, the first resource level is identified with "0".
在框320，可以从该领域的资源集合中确定第二资源集合，该第二资源集合具有另一资源等级(为了方便描述，下文称为“第二资源等级”)，该第二资源等级低于第一资源等级。在一些实施例中，第二资源等级指示资源本身的内容是比较容易的，即低资源等级。在一些实施例中，可以从第一资源集合中的资源之外的资源中随机地确定第二资源集合，认为该第二资源集合中的资源具有低资源等级。例如，在围棋领域中，可以从第一资源集合中的资源之外的资源中随机地选择一定数目的资源，假设这些资源具有第二资源等级(即，低资源等级)，该数目不需要太多，通常与第一资源集合的资源数目相同或相近。通过这种方式，由于不需要进行人工标注来确定具有低资源等级的资源，因此可以进一步减少人工标注所带来的成本开销。在一些实施例中，也可以对除第一资源集合中的资源之外的资源进行人工标注，以获得第二资源集合，该第二资源集合中的资源具有第二资源等级。例如，在围棋领域中，人工标注出一定数目的具有第二资源等级(即，低资源等级)的资源，该数目通常与第一资源集合的资源数目相同或相近。由此，可以使得种子用户具有更高的置信度，从而加快后续用户等级预测模型的建立。可以理解，还可以采取任何其他合适的方式来确定具有低资源等级的资源集合。At
在一些实施例中，可以通过给具有第二资源等级的资源添加与第一资源等级不同的标记来标识第二资源等级。例如，在第一资源等级利用标记“1”标识的情况下，可以利用标记“0”来标识第二资源等级，反之亦然，当第一资源等级利用标记“0”标识的情况下，可以利用标记“1”来标识第二资源等级。与第一资源等级的标识相同，第二资源等级的标识通常也与用户等级的标识相一致。In some embodiments, the second resource level may be identified by adding a different marking to the resource having the second resource level than the first resource level. For example, in the case where the first resource level is identified with the mark "1", the second resource level can be identified with the mark "0", and vice versa, when the first resource level is identified with the mark "0", the second resource level can be identified with the mark "0" The second resource level is identified with the flag "1". Like the identification of the first resource level, the identification of the second resource level is also generally consistent with the identification of the user level.
在一些实施例中，当存在多个用户等级时，相应地资源也可以存在多个资源等级。例如，入门级资源、中等难度资源和高难度资源等。应当理解，当存在多个资源等级时，可以采取任何其他合适的方式来标记资源等级。In some embodiments, when there are multiple user levels, the resources may also have multiple resource levels correspondingly. For example, entry-level resources, medium-difficulty resources, and high-difficulty resources, etc. It should be understood that when there are multiple resource levels, any other suitable way of marking the resource levels may be taken.
仅出于说明的目的而关于包括两个用户等级和两个资源等级进行描述，可以理解，可以包括多个用户等级以及相应地多个资源等级，并且可以使用任何其他合适的方式来确定具有不同的资源等级的资源集合，其中每个资源等级的资源集合中的数目相同或相近。另外，当存在不同的资源等级时，可以使用过任何其他合适的方式来标识资源等级。Described with respect to including two user levels and two resource levels for illustrative purposes only, it is to be understood that multiple user levels and correspondingly multiple resource levels may be included, and any other suitable resource sets of resource levels, wherein the number of resource sets of each resource level is the same or similar. Additionally, when there are different resource levels, any other suitable way of identifying the resource levels may be used.
当在给定领域下，确定出第一资源集合和第二资源集合之后，在框330，服务器130可以针对用户集合中的每个用户，确定在预定时间内用户110对第一资源集合中的资源操作的数目(为了方便描述，下文称为“第一数目”)。在框340，服务器130可以针对用户集合中的每个用户，确定在预定时间内用户110对第二资源集合中的资源操作的数目(为了方便描述，下文称为“第二数目”)。在一些实施中，服务器130可以确定在预定时间内用户110对该领域中具有高资源等级的资源的操作的第一数目和对具有低资源等级的资源的操作的第二数目。操作的示例可以包括但不限于：点击、转发、收藏等。在一些实施例中，服务器130可以从用户设备120获取用户110对该领域资源所进行的操作，并且将该操作信息以及资源标识与该用户110相关联地存储，从而服务器130可以确定用户110对该领域中各个资源的操作的数目。可以理解，预定时间可以按照经验值进行选取，例如，可以为几天、几个月等。After the first resource set and the second resource set are determined under the given domain, at
最后，在框350，服务器130可以基于第一数目和第二数目，确定第一用户集合和第二用户集合。在一些实施例中，服务器130可以基于第一数目与第二数目的差值，从用户集合中确定第一用户集合和第二用户集合，第一用户集合中的用户的差值大于用户集合中其他用户的差值，第二用户集合中的用户的差值小于用户集合中其他用户的所述差值。在一些实施例中，服务器130可以确定第一数目与第二数目的差值，并且按照差值从大到小的顺序进行排序，确定排在前面预定数目的用户为第一用户集合，这些用户经常操作高资源等级的资源而较少操作低资源等级的资源；确定排在后面预定数目的用户为第二用户集合，这些用户经常操作低资源等级的资源而较少操作高资源等级的资源。在一些实施例中，服务器130可以将第一数目与第二数目的差值与预定阈值相比较，以确定第一用户集合和第二用户集合。可以理解，还可以采取任何其他合适的方式来根据资源等级确定用户等级。Finally, at
另外，如上所述可以包括多个用户等级以及相应地多个资源等级，因此可以理解，可以采取任何其他合适的方式基于用户对不同资源等级的资源的操作来确定不同等级的用户，其中每个等级的用户集合中的数目相同或相近。In addition, as described above, multiple user levels and correspondingly multiple resource levels may be included, so it will be appreciated that any other suitable manner may be used to determine different levels of users based on user operations on resources at different resource levels, where each The number of users in the set of levels is the same or similar.
通过这种方式，可以通过对少量资源进行资源等级识别并且基于用户对资源的使用来确定少量用户的等级，就可以对用户等级预测模型进行预测，从而提高了资源等级和用户等级识别的准确度并且降低了人工开销。In this way, the user level prediction model can be predicted by identifying the resource level of a small number of resources and determining the level of a small number of users based on the use of resources by users, thereby improving the accuracy of resource level and user level identification And reduce labor costs.
为了方便描述，以下仅将第一等级指示高用户等级并且以“1”标记，第二等级指示低用户等级并且以“0”标记，相应地第一资源等级指示高资源等级并且以“1”标记，第二资源等级指示低资源等级并且以“0”标记作为示例进行描述。继续参考图2，在框230，服务器130可以基于第一用户集合和第二用户集合中与用户110相关联的信息，建立用户等级预测模型，用户等级预测模型指示用户110具有第一等级的可能性与信息之间的关系。在一些实施例中，用户110具有第一等级的可能性是指用户110具有第一等级的概率或者得分。例如，用户110具有第一等级的可能性可能是一个0-1之间的数。在一些实施例中，与用户110相关联的信息包括以下中的至少一项：与用户110对领域中的资源的历史操作有关的信息，或者与用户110的属性相关的信息。用户110对资源的历史操作有关的信息包括但不限于：用户110点击文章质量分布、用户点击文章作者专业度分布、用户关注的作者等。与用户110属性相关的信息包括但不限于：用户110的年龄、性别、收入水平、偏好等。应当理解，本文中所列出的与用户相关联的信息仅是示例，本领域技术人员容易想到使用与用户相关联的任何其他合适的信息来建立用户等级预测模型。另外，应当理解当第一等级以“0”标记，第二等级以“1”标记，相应地第一资源等级以“0”标记，第二资源等级以“1”标记时，用户等级预测模型指示用户110具有第二等级的可能性与信息之间的关系，可以通过1减去用户110具有第二等级的可能性得到用户110具有第一等级的可能性。For convenience of description, hereinafter only the first level indicates a high user level and is marked with "1", the second level indicates a low user level and is marked with "0", and correspondingly the first resource level indicates a high resource level and is marked with "1" flag, the second resource level indicates a low resource level and is described with a "0" flag as an example. With continued reference to FIG. 2, at
在一些实施例中，建立用户等级预测模型包括：通过半监督学习确定用户110具有第一等级的可能性与信息之间的关系。如上所述，半监督学习的基本思想是给定一个来自某未知分布的有标记示例集L＝{(x1,y1),(x2,y2),...,(x|L|,y|L|)}以及一个未标记示例集U＝{x1’,x2’,...,x|U|’}，期望训练得到函数f:Y＝a1*z1+a2*z2+…+ad*zd+B，可以准确地对示例x预测其标记y。在确定了第一用户集合和第二用户集合之后，可以将第一用户集合和第二用户集合中的用户110视为有标记示例集L中的xi，这些用户110的用户等级为有标记示例集L中的yi，每个xi，xj’为d维向量(zi1,zi2,…,zid)，其中zik表示与xi相关联的信息，通过有标记示例集可以训练得到函数(即，系数a1、a2、…、ad、B)，换言之得到用户等级预测模型。该函数的系数a1、a2、…、ad、B体现了与用户110相关联的信息在确定用户等级Y时所具有的权重，也就是指示了用户具有相应等级的可能性与用户110相关联的信息之间的关系。In some embodiments, building a user rating prediction model includes determining a relationship between the likelihood that the
通过这种方式，能够只需要标注少量资源并且基于用户的反馈即可实现对用户等级和资源等级的协同学习，有效地提高了资源等级和用户等级识别的效率，可适用于多种媒体类型，并且降低了由人工标注所带来的成本开销。In this way, only a small number of resources need to be marked and the collaborative learning of user level and resource level can be realized based on user feedback, which effectively improves the efficiency of resource level and user level identification, and is applicable to a variety of media types. And reduce the cost caused by manual annotation.
为方便讨论，以下将结合图4来描述如何建立某个领域下的用户等级预测模型的操作。图4图示了根据本公开的实施例的建立用户等级预测模型的方法400的流程图。For the convenience of discussion, the operation of how to establish a user level prediction model in a certain field will be described below with reference to FIG. 4 . FIG. 4 illustrates a flowchart of a
在框410，服务器130可以基于第一用户集合和第二用户集合中与用户110相关联的信息确定用户110具有所述第一等级的可能性与信息之间的关系(为了方便描述，下文称为“第一关系”)。例如，服务器130可以基于与种子用户(即，第一用户集合和第二用户集合中的用户110)相关联的信息(例如，与用户110对领域中的资源的历史操作有关的信息，或者与用户110的属性相关的信息)确定初始模型(例如，系数a1、a2、…、ad、B)，该模型可能还不够精确，仅能粗略地预测用户110的等级得分。At
在框420，服务器130可以基于第一关系预测用户集合中的每个用户110在该领域中具有第一等级的可能性。在一些实施例中，服务器130可以使用在框410中训练得到的初始模型来预测每个用户110在该领域中具有第一等级的可能性。如上所述，使用初始模型预测出的用户110在该领域中具有第一等级的可能性可能不够精确。At
然后，在框430，服务器130可以基于所预测可能性，从用户集合中确定置信用户集合，置信用户集合中的用户具有第一等级的可能性大于用户集合中的其他用户具有第一等级的可能性。在一些实施例中，服务器130可以基于在框420中预测出的用户110具有第一等级的可能性，对用户110按照可能性从高到低的顺序进行排序，确定前面预定数目的用户110作为置信用户。这些置信该用户具有第一等级的可能性大于用户集合中的其他用户。可以理解，还可以采用其他任何合适的方式选择置信用户。Then, at
然后，在框440，服务器130可以将置信用户集合中的置信用户添加到第一用户集合。在一些实施例中，服务器130可以将在框430中选择的置信用户添加到第一用户集合中，作为种子用户。最后，在框450，服务器130可以基于添加后的第一用户集合和第二用户集合中与用户110相关联的信息确定用户110具有第一等级的可能性与信息之间的关系(为了方便描述，下文称为“第二关系”)。在一些实施例中，服务器130可以基于添加后的第一用户集合和第二用户集合中与用户相关联的信息训练得到的另一模型(例如，系数a1’、a2’、…、ad’、B’)。由于使用了更多的训练样本，因此该模型比初始模型更精确。Then, at
在一些实施例中，服务器130还可以基于在框420中预测出的用户110具有第一等级的可能性，对用户110按照可能性从高到低的顺序进行排序，确定后面预定数目的用户110作为置信用户。这些置信该用户具有第一等级的可能性小于用户集合中的其他用户。在一些实施例中，服务器130可以将这部分置信用户添加到第二用户集合中，作为种子用户。服务器130可以基于添加后的第一用户集合和添加后的用户集合中与用户110相关联的信息确定用户110具有第一等级的可能性与信息之间的第二关系。以这种方式，进一步增加了置信用户的数目，可以提高模型训练的精度和速度。In some embodiments, the
另外，在框430中所选择的置信用户的数目不应过多，过多会引起模型训练无法收敛。由于增加样本数目有可能降低预测的准确率，在选择时，可以根据以下规则来确定置信用户的数目：将该数目的置信用户添加到第一用户集合中来训练得到一个模型，利用该模型预测原始第一用户集合以及第二用户集合中的用户，使得预测到的原始第一用户集合以及第二用户集合中的用户的可能性与原始第一用户集合以及第二用户集合中的用户的用户等级相比，准确率降低在一定阈值以内，例如20％以内。置信用户的数目也可以根据经验值来取值，通常最多与上一次迭代所选择的置信用户的数目相同。Additionally, the number of trusted users selected in
在框460，服务器130可以判断条件(为了方便描述，下文称为“第一条件”)是否满足，如果否，则重复执行上述框410、420、430、440和450；如果是，则退出用户等级预测模型的建立过程。在一些实施例中，第一条件可以是所确定的第一关系与第二关系之间的差异小于预定阈值。例如，连续两次迭代所得的系数a1、a2、…、ad、B与系数a1’、a2’、…、ad’、B’之间的变化率差值小于10％。由此，可以迭代地执行框410、420、430、440和450直到模型稳定到较高的精度为止。可以理解，还可以采取任何其他合适的条件来判断是否退出模型训练，并且预定阈值可以根据经验值进行取值。In
通过这种方式，可以利用半监督学习实现对用户等级和资源等级的协同学习，有效地提高了资源等级和用户等级识别的效率，并且可以使得模型的精度在每次迭代中都相对于前一次迭代有所提高，可以加快模型建立的过程，减少无效迭代的次数。In this way, semi-supervised learning can be used to realize the collaborative learning of user level and resource level, which effectively improves the efficiency of resource level and user level identification, and can make the accuracy of the model in each iteration relative to the previous one. The improvement in iterations can speed up the model building process and reduce the number of ineffective iterations.
在建立了特定领域的用户等级预测模型之后，可以利用建立好的用户等级预测模型来预测用户在该领域中的用户等级。图5示出了根据本公开的一些实施例的确定用户等级的方法500的流程图。为便于讨论，结合图1来描述方法500。方法500可以由服务器130来实现。After the user level prediction model of a specific field is established, the established user level prediction model can be used to predict the user level of the user in the field. FIG. 5 shows a flowchart of a
在框510，服务器130可以利用用户等级预测模型，基于与用户110相关联的信息，预测用户110在一领域中的用户等级。还以围棋为例，针对围棋领域，服务器130可以利用围棋领域的用户等级预测模型，基于与用户110相关联的信息，预测用户110在围棋领域中具有第一等级的可能性。可以理解，可以使用任何合适的方式根据用户具有该等级的可能性确定用户等级。At
在一些实施例中，在框520，服务器130还可以根据所确定的用户等级，确定该领域中资源的资源等级。在一些实施例中，服务器130可以根据所确定的用户等级，确定该领域中资源为第一等级资源的可能性。在一些实施例中，资源为第一资源等级的可能性是指资源为第一资源等级的概率或者得分。例如，资源为第一资源等级的可能性可能是一个0-1之间的数。在一些实施例中，服务器130可以从用户集合中选择部分具有第一等级的用户和具有第二等级的用户110，针对每个资源确定具有第一等级的用户110对该资源的操作的数目(为了方便描述，下文称为“第三数目”)以及具有第二等级的用户110对该资源的操作的数目(为了方便描述，下文称为“第四数目”)。服务器130可以将第三数目与第三数目和第四数目之和的比作为资源为第一资源等级的可能性(得分)，或者将第四数目与第三数目和第四数目之和的比作为资源为第二资源等级的可能性。可以理解，可以使用任何合适的方式根据资源为相应资源等级的可能性确定资源等级。通过这种方式，可以基于用户的反馈准确快速地确定资源的资源等级。In some embodiments, at
在一些实施例中，在框530，服务器130还可以根据基于所确定的资源等级，调整用户110在该领域中的用户等级。在一些实施例中，在确定了资源为第一资源等级的可能性之后，服务器130可以将用户110在该领域中进行操作的所有资源为第一资源等级的平均可能性(平均得分)作为用户110在该领域中具有第一等级的可能性，从而可以调整用户在该领域中的用户等级。通过这种方式，在用户对资源操作数目过大的情况下，可以更加准确快速地确定出用户110在该领域中的用户等级。In some embodiments, at
在确定出用户等级以及资源等级之后，就可以基于某个领域的用户等级以及资源等级，为用户110推荐在该领域中与用户等级相匹配的资源。图6示出了根据本公开的一些实施例的为用户推荐内容的应用场景600的示意性框图。为便于讨论，结合图1来描述应用场景600。After the user level and resource level are determined, based on the user level and resource level of a certain field, resources matching the user level in the field can be recommended for the
在图6中，服务器130可以基于某个领域的用户等级预测模型610来预测用户110-1、110-2(为了方便描述，下文统称为“用户110”)在该领域的用户等级。例如，用户110-1为高等级用户，而用户110-2为低等级用户。然后，服务器130可以基于用户110的用户等级确定该领域资源630-1、630-2(为了方便描述，下文统称为“资源630”)的资源等级。例如，资源630-1为高等级资源，而资源630-2为低等级资源。预测用户等级和确定资源等级的方法可以采用在方法500中描述的方式，在此不再赘述。资源推荐模块620可以基于所确定的用户110在该领域中的用户等级以及该领域中资源630的资源等级，为该用户110推荐相匹配的资源630。在一些实施例中，资源推荐模块620可以为用户110-1推荐资源630-1，为用户110-2推荐资源630-2。应当理解，图6中示出的用户和资源的特定数目仅是示意性的，无意以任何方式限制本公开的范围。在其他实施例中，应用场景600可以包括任何适当数目的用户和资源。In FIG. 6, the
以此方式，可以为用户110推荐与用户110的能力水平相匹配的资源630，从而提升了推荐系统中用户110与资源630的匹配程度，提高了用户的满意度。In this way, the resource 630 matching the ability level of the
实践证明，利用本文中所提出的用户等级预测模型可以使得总媒体的每天活跃人数、所有人在总媒体上的消费时长和、主推荐列表下的点击量以及次日留存用户量都有所提升，从而使得用户的整体满意度显著提升。Practice has proved that using the user level prediction model proposed in this paper can improve the daily active number of total media, the consumption time sum of all people on the total media, the number of clicks under the main recommendation list, and the number of retained users on the next day. , so that the overall satisfaction of users is significantly improved.
图7示出了根据本公开实施例的建立用户等级预测模型的装置700的示意性框图。如图7所示，装置700包括：第一用户集合确定模块710，用于从用户集合中确定第一用户集合，第一用户集合中的用户在一领域中具有第一等级；第一用户集合确定模块720，用于从用户集合中确定第二用户集合，第二用户集合中的用户在该领域中具有第二等级，第二等级低于第一等级；以及模型建立模块730，用于基于第一用户集合和第二用户集合中与用户相关联的信息，建立用户等级预测模型，用户等级预测模型指示用户具有第一等级的可能性与信息之间的关系。FIG. 7 shows a schematic block diagram of an
在一些实施例中，装置700还包括：第一资源集合确定模块，用于从所述领域的资源集合中确定第一资源集合，所述第一资源集合中的资源具有第一资源等级；第二资源集合确定模块，用于从领域的资源集合中确定第二资源集合；第一操作数目确定模块，用于针对用户集合中的每个用户，确定在预定时间内用户对第一资源集合中的资源操作的第一数目；第二操作数目确定模块，用于针对用户集合中的每个用户，确定在预定时间内用户对第二资源集合中的资源操作的第二数目；以及用户集合确定模块，用于基于第一数目和第二数目，确定第一用户集合和第二用户集合。In some embodiments, the
在一些实施例中，其中用户集合确定模块用于：基于第一数目与第二数目的差值，从用户集合中确定第一用户集合和第二用户集合，第一用户集合中的用户的差值大于用户集合中其他用户的所述差值，第二用户集合中的用户的差值小于用户集合中其他用户的差值。In some embodiments, the user set determining module is configured to: determine the first user set and the second user set from the user set based on the difference between the first number and the second number, and the difference between the users in the first user set The value is greater than the difference value of other users in the user set, and the difference value of users in the second user set is smaller than the difference value of other users in the user set.
在一些实施例中，其中与用户相关联的信息包括以下中的至少一项：与用户对领域中的资源的历史操作有关的信息，或者与用户的属性相关的信息。In some embodiments, the information associated with the user includes at least one of: information related to the user's historical operations on resources in the realm, or information related to attributes of the user.
在一些实施例中，其中模型建立模块用于迭代地执行以下各项直到满足第一条件：基于第一用户集合和第二用户集合中与用户相关联的信息确定用户具有第一等级的可能性与信息之间的第一关系；基于第一关系预测用户集合中的每个用户在领域中具有所述第一等级的可能性；基于所预测的可能性，从用户集合中选择置信用户集合，置信用户集合中的用户具有第一等级的可能性大于用户集合中的其他用户具有所述第一等级的可能性；将置信用户集合中的置信用户添加到第一用户集合；以及基于添加后的第一用户集合和第二用户集合中与用户相关联的信息确定用户具有第一等级的可能性与信息之间的第二关系。In some embodiments, wherein the model building module is configured to iteratively perform the following until a first condition is met: determining the likelihood that the user has the first rank based on information associated with the user in the first set of users and the second set of users a first relationship with information; predicting the likelihood that each user in the set of users has the first level in the domain based on the first relationship; selecting a set of trusted users from the set of users based on the predicted likelihood, users in the set of trusted users are more likely to have the first rank than other users in the set of users have the first rank; adding the trusted users in the set of trusted users to the first set of users; and based on the added The information associated with the users in the first set of users and the second set of users determines a second relationship between the likelihood that the user has the first level and the information.
在一些实施例中，其中第一条件为：所确定的第一关系与第二关系之间的差异小于预定阈值。In some embodiments, wherein the first condition is that the difference between the determined first relationship and the second relationship is less than a predetermined threshold.
图8示出了根据本公开实施例的确定用户等级的装置800的示意性框图。如图8所示，装置800包括：用户等级确定模块810，用于利用根据装置700建立的用户等级预测模型，基于与用户相关联的信息，预测用户在一领域中的用户等级。FIG. 8 shows a schematic block diagram of an
在一些实施例中，装置800还包括：资源等级确定模块820，用于根据所确定的用户等级，确定领域中资源的资源等级。In some embodiments, the
在一些实施例中，装置800还包括：用户等级调整模块830，用于基于所确定的资源等级，调整用户在领域中的用户等级。In some embodiments, the
根据本公开的实施例，本公开还提供了一种内容推荐的装置，包括：基于根据装置800中确定的用户在一领域中的用户等级以及领域中资源的资源等级，为用户推荐相匹配的资源。According to an embodiment of the present disclosure, the present disclosure also provides an apparatus for recommending content, including: based on the user level of the user in a field and the resource level of resources in the field determined in the
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。According to an embodiment of the present disclosure, the present disclosure also provides an electronic device and a readable storage medium.
如图9所示，是根据本公开实施例的图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。As shown in FIG. 9 , it is a block diagram of an electronic device of an image processing method according to an embodiment of the present disclosure. Electronic devices are intended to represent various forms of digital computers, such as laptops, desktops, workstations, personal digital assistants, servers, blade servers, mainframe computers, and other suitable computers. Electronic devices may also represent various forms of mobile devices, such as personal digital processors, cellular phones, smart phones, wearable devices, and other similar computing devices. The components shown herein, their connections and relationships, and their functions are by way of example only, and are not intended to limit implementations of the application described and/or claimed herein.
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。As shown in FIG. 9, the electronic device includes: one or
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本公开所提供的图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本公开所提供的图像处理的方法。The
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本公开实施例中的图像处理的方法对应的程序指令/模块(例如，附图7所示的第一用户集合确定模块710、第二用户集合确定模块720和模型建立模块730，或者附图8所示的用户等级确定模块810、资源等级确定模块820、用户等级调整模块830，或者附图6所示的资源推荐模块620)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理的方法。As a non-transitory computer-readable storage medium, the
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。The
图像处理的方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。The electronic device of the image processing method may further include: an
输入装置903可接收输入的数字或字符信息，以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。The
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。Various implementations of the systems and techniques described herein can be implemented in digital electronic circuitry, integrated circuit systems, application specific ASICs (application specific integrated circuits), computer hardware, firmware, software, and/or combinations thereof. These various embodiments may include being implemented in one or more computer programs executable and/or interpretable on a programmable system including at least one programmable processor that The processor, which may be a special purpose or general-purpose programmable processor, may receive data and instructions from a storage system, at least one input device, and at least one output device, and transmit data and instructions to the storage system, the at least one input device, and the at least one output device an output device.
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。These computational programs (also referred to as programs, software, software applications, or codes) include machine instructions for programmable processors, and may be implemented using high-level procedural and/or object-oriented programming languages, and/or assembly/machine languages calculation program. As used herein, the terms "machine-readable medium" and "computer-readable medium" refer to any computer program product, apparatus, and/or apparatus for providing machine instructions and/or data to a programmable processor ( For example, magnetic disks, optical disks, memories, programmable logic devices (PLDs), including machine-readable media that receive machine instructions as machine-readable signals. The term "machine-readable signal" refers to any signal used to provide machine instructions and/or data to a programmable processor.
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。To provide interaction with a user, the systems and techniques described herein may be implemented on a computer having a display device (eg, a CRT (cathode ray tube) or LCD (liquid crystal display) monitor) for displaying information to the user ); and a keyboard and pointing device (eg, a mouse or trackball) through which a user can provide input to the computer. Other kinds of devices can also be used to provide interaction with the user; for example, the feedback provided to the user can be any form of sensory feedback (eg, visual feedback, auditory feedback, or tactile feedback); and can be in any form (including acoustic input, voice input, or tactile input) to receive input from the user.
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。The systems and techniques described herein may be implemented on a computing system that includes back-end components (eg, as a data server), or a computing system that includes middleware components (eg, an application server), or a computing system that includes front-end components (eg, a user's computer having a graphical user interface or web browser through which a user may interact with implementations of the systems and techniques described herein), or including such backend components, middleware components, Or any combination of front-end components in a computing system. The components of the system may be interconnected by any form or medium of digital data communication (eg, a communication network). Examples of communication networks include: Local Area Networks (LANs), Wide Area Networks (WANs), and the Internet.
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。A computer system can include clients and servers. Clients and servers are generally remote from each other and usually interact through a communication network. The relationship of client and server arises by computer programs running on the respective computers and having a client-server relationship to each other.
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。It should be understood that steps may be reordered, added or deleted using the various forms of flow shown above. For example, the steps described in the present application can be performed in parallel, sequentially or in different orders, and as long as the desired results of the technical solutions disclosed in the present application can be achieved, no limitation is imposed herein.
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。The above-mentioned specific embodiments do not constitute a limitation on the protection scope of the present application. It should be understood by those skilled in the art that various modifications, combinations, sub-combinations and substitutions may occur depending on design requirements and other factors. Any modifications, equivalent replacements and improvements made within the spirit and principles of this application shall be included within the protection scope of this application.
Claims (26)
Translated fromChinesePriority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010889799.XACN112100490B (en) | 2020-08-28 | 2020-08-28 | Method, device, electronic equipment and medium for establishing user level prediction model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010889799.XACN112100490B (en) | 2020-08-28 | 2020-08-28 | Method, device, electronic equipment and medium for establishing user level prediction model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112100490Atrue CN112100490A (en) | 2020-12-18 |
| CN112100490B CN112100490B (en) | 2022-08-19 |
Family
ID=73758231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010889799.XAActiveCN112100490B (en) | 2020-08-28 | 2020-08-28 | Method, device, electronic equipment and medium for establishing user level prediction model |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112100490B (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110136542A1 (en)* | 2009-12-09 | 2011-06-09 | Nokia Corporation | Method and apparatus for suggesting information resources based on context and preferences |
| US20120130771A1 (en)* | 2010-11-18 | 2012-05-24 | Kannan Pallipuram V | Chat Categorization and Agent Performance Modeling |
| CN110020201A (en)* | 2019-03-26 | 2019-07-16 | 中国科学院软件研究所 | A kind of user type automation labeling system clustered of being drawn a portrait based on user |
| CN110781922A (en)* | 2019-09-27 | 2020-02-11 | 北京淇瑀信息科技有限公司 | Sample data generation method and device for machine learning model and electronic equipment |
| WO2020048084A1 (en)* | 2018-09-07 | 2020-03-12 | 平安科技（深圳）有限公司 | Resource recommendation method and apparatus, computer device, and computer-readable storage medium |
| CN110880006A (en)* | 2018-09-05 | 2020-03-13 | 广州视源电子科技股份有限公司 | User classification method and device, computer equipment and storage medium |
- 2020
- 2020-08-28CNCN202010889799.XApatent/CN112100490B/enactiveActive
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110136542A1 (en)* | 2009-12-09 | 2011-06-09 | Nokia Corporation | Method and apparatus for suggesting information resources based on context and preferences |
| US20120130771A1 (en)* | 2010-11-18 | 2012-05-24 | Kannan Pallipuram V | Chat Categorization and Agent Performance Modeling |
| CN110880006A (en)* | 2018-09-05 | 2020-03-13 | 广州视源电子科技股份有限公司 | User classification method and device, computer equipment and storage medium |
| WO2020048084A1 (en)* | 2018-09-07 | 2020-03-12 | 平安科技（深圳）有限公司 | Resource recommendation method and apparatus, computer device, and computer-readable storage medium |
| CN110020201A (en)* | 2019-03-26 | 2019-07-16 | 中国科学院软件研究所 | A kind of user type automation labeling system clustered of being drawn a portrait based on user |
| CN110781922A (en)* | 2019-09-27 | 2020-02-11 | 北京淇瑀信息科技有限公司 | Sample data generation method and device for machine learning model and electronic equipment |
Non-Patent Citations (1)
| Title |
|---|
| 萨支斌等: "基于个性化推送服务的数字图书馆学习资源提取", 《图书与情报》* |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112100490B (en) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112650907B (en) | Search word recommendation method, target model training method, device and equipment | |
| US9965465B2 (en) | Distributed server system for language understanding | |
| CN111104514B (en) | Training method and device for document tag model | |
| CN112560479A (en) | Abstract extraction model training method, abstract extraction device and electronic equipment | |
| CN112100489B (en) | Method, apparatus and computer storage medium for subject recommendation | |
| CN111143686A (en) | Resource recommendation method and device | |
| CN112261423B (en) | Method, apparatus, device and storage medium for pushing information | |
| CN110457581A (en) | An information recommendation method, device, electronic device and storage medium | |
| CN109471978B (en) | Electronic resource recommendation method and device | |
| CN111339406B (en) | Personalized recommendation method, device, equipment and storage medium | |
| CN112765478B (en) | Method, device, device, medium and program product for recommending content | |
| CN112380104A (en) | User attribute identification method and device, electronic equipment and storage medium | |
| CN112559901B (en) | Resource recommendation method and device, electronic equipment, storage medium and computer program product | |
| CN111241225B (en) | Method, device, equipment and storage medium for judging change of resident area | |
| CN111598596A (en) | Data processing method, device, electronic device and storage medium | |
| CN111563198A (en) | Material recall method, device, equipment and storage medium | |
| CN113378015B (en) | Search method, apparatus, electronic device, storage medium and program product | |
| CN112905885A (en) | Method, apparatus, device, medium, and program product for recommending resources to a user | |
| CN113360761A (en) | Information flow recommendation method and device, electronic equipment and computer-readable storage medium | |
| CN107111607A (en) | The system and method detected for language | |
| CN112860626B (en) | A document sorting method, device and electronic equipment | |
| CN112100507B (en) | Object recommendation method, computing device and computer-readable storage medium | |
| CN112148988B (en) | Method, apparatus, device and storage medium for generating information | |
| CN113435523A (en) | Method and device for predicting content click rate, electronic equipment and storage medium | |
| EP4270291A1 (en) | Method and computer device to recommend related product technical field |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |