GR1010537B - Sentiment analysis of website content - Google Patents

Abstract

There is disclosed a computing system aiming at analyzing online data via artificial intelligence and machine learning engines with the purpose of extracting (rather than classify) audience-customer sentiment for companies and products. It finds application to marketing campaigns and new product designing.

Description

Translated fromGreek

ΤΙΤΛΟΣ: Ανάλυση Συναισθήματος Περιεχομένου ΙστοσελίδαςTITLE: Sentiment Analysis of Website Content

ΠΕΡΙΓΡΑΦΗDESCRIPTION

Τεχνικό Πεδίο: Ηλεκτρονικό υπολογιστικό σύστημα για ανάλυση διαδικτυακών δεδομένων με μονάδες τεχνητής νοημοσύνης και μηχανικής μάθησης με στόχο την εξαγωγή (και όχι την ταξινόμηση) συναισθήματος κοινού-πελατών έναντι εταιρειών και προϊόντων για χρήση σε εξωτερικά συστήματα για καμπάνιες μάρκετινγκ και σχεδίασμά νέων προϊόντων.Technical Scope: Electronic computing system for analyzing online data with artificial intelligence and machine learning modules to extract (rather than classify) audience-customer sentiment towards companies and products for use in external systems for marketing campaigns and new product design.

Στάθμη Τεχνικής: Το έργο της ανάλυσης συναισθήματος προσπαθεί να προβλέψει τη συναισθηματική κατάσταση του συγγραφέα ενός εγγράφου εξετάζοντας το περιεχόμενο και τα μεταδεδομένα του μέσω της εφαρμογής τεχνικών μηχανικής εκμάθησης. Οι πρόσφατες εξελίξεις στον τομέα θεωρούν ότι το συναίσθημα είναι μια πολυδιάστατη ποσότητα που αναφέρεται σε διαφορετικές ερμηνείες (ή πτυχές), παρά σε μια ενιαία.State of the Art: The sentiment analysis project attempts to predict the emotional state of the author of a document by examining its content and metadata through the application of machine learning techniques. Recent developments in the field consider emotion to be a multidimensional quantity that refers to different interpretations (or aspects), rather than a single one.

Πιο συγκεκριμένα, η ανάλυση συναισθήματος (SA) ή η εξόρυξη γνώμης (ΟΜ) αναφέρεται στο έργο της χρήσης μιας ποικιλίας συστημάτων τα οποία είναι σχεδιασμένα για υλοποίηση τεχνικών επεξεργασίας φυσικής γλώσσας (NLP) προκειμένου να εξαχθούν συγκεκριμένα χαρακτηριστικά από ένα απόσπασμα κειμένου που σχετίζονται με εκφρασμένη γνώμη, συναίσθημα και αξιολόγηση. Ο απώτερος σκοπός αυτής της διαδικασίας είναι να αποκτήσει μια εικόνα για τις διάφορες πτυχές των μεταφερόμενων πληροφοριών. Τα τελευταία χρόνια, έχει γίνει ένας δυναμικός ερευνητικός τομέας, κυρίως λόγω της τεράστιας επέκτασης του περιεχομένου που μοιράζεται στο διαδίκτυο τόσο από νομικές οντότητες (π.χ. εταιρείες/ιδρύματα) και ιδιώτες, όπως οι χρήστες διαδικτυακών πλατφορμών κοινωνικών δικτύων (OSN) όπως το Twitter, το Instagram και το Facebook, ή οι δημιουργοί ιστολογιών. Πράγματι, οι άνθρωποι δημιουργούν και μοιράζονται κάθε είδους ψηφιακό περιεχόμενο, συζητούν, εκφράζουν απόψεις και γενικά συμμετέχουν σε δραστηριότητες, σε έναν μεγάλο, εικονικό δημόσιο χώρο.More specifically, sentiment analysis (SA) or opinion mining (OM) refers to the work of using a variety of systems that are designed to implement natural language processing (NLP) techniques in order to extract specific features from a text passage that are associated with expressed opinion, feeling and evaluation. The ultimate purpose of this process is to gain an insight into the various aspects of the transferred information. In recent years, it has become a dynamic research area, mainly due to the huge expansion of content shared online by both legal entities (e.g. companies/institutions) and individuals, such as users of online social network (OSN) platforms such as Twitter, Instagram and Facebook, or blog creators. Indeed, people create and share all kinds of digital content, discuss, express opinions and generally participate in activities, in a large, virtual public space.

Κατά συνέπεια, διάφοροι θεσμοί και οργανισμοί, από εκείνους που μελετούν την ιδιαιτερότητα της κοινής γνώμης έως εκείνους που ενδιαφέρονται απλώς για την αντίληψη των προϊόντων και των υπηρεσιών τους από το μεγαλύτερο κοινό, έχουν συνειδητοποιήσει τη δυνατότητα ανάλυσης του προαναφερθέντος εικονικού δημόσιου χώρου. Μια χρήση υπολογιστικών συστημάτων για τη σωστή, σε βάθος ανάλυση διαδικτυακών δεδομένων, θα είναι σίγουρα ένα σημαντικό πλεονέκτημα για τα ενδιαφερόμενο μέρη, καθώς στην ιδανική περίπτωση, θα καταστήσει περιττές τις εξειδικευμένες δημοσκοπήσεις και έρευνες, καθώς θα μπορεί πλέον κανείς να βασιστεί στις άφθονες πληροφορίες που είναι διαθέσιμες στο διαδίκτυο.Consequently, various institutions and organizations, from those who study the specificity of public opinion to those who are simply interested in the perception of their products and services by the larger public, have realized the possibility of analyzing the aforementioned virtual public space. A use of computational systems for proper, in-depth analysis of online data will certainly be a major advantage for stakeholders, as ideally it will render specialized polls and surveys unnecessary, as one can now rely on the abundant information that are available online.

Ωστόσο, η εξαγωγή γνώμης των χρηστών από τις διάφορες διαδικτυακές πηγές δεν είναι απλή υπόθεση, για διάφορους λόγους. Το πρώτο αφορά τον τεράστιο όγκο των διαθέσιμων δεδομένων, που υπαγορεύει την χρήση μεγάλου υλικού και ειδικών πόρων λογισμικού, που δεν είναι εύκολα προσβάσιμα ή προσιτά σε όλους. Επιπλέον, κάθε υπηρεσία παρουσιάζει τις δικές της ιδιαιτερότητες και χαρακτηριστικά, όπως διατίθενται μέσω διεπαφών προγραμματισμού εφαρμογών (API), των οποίων η δωρεάν χρήση είναι είτε πολύ περιορισμένη είτε καθόλου. Κατά συνέπεια, απαιτούνται και προηγμένες δεξιότητες προγραμματισμού, εκτός από το κόστος πρόσβασης στα API στα απαιτούμενα επίπεδα.However, extracting user opinion from the various online sources is not a simple task, for several reasons. The first concerns the enormous amount of data available, which dictates the use of large hardware and special software resources, which are not easily accessible or accessible to everyone. In addition, each service presents its own peculiarities and features, as made available through application programming interfaces (APIs), whose free use is either very limited or not at all. Consequently, advanced programming skills are also required, in addition to the cost of accessing the APIs at the required levels.

Ο εφευρέτης γνωρίζοντας τα προβλήματα και τους περιορισμούς της στάθμης τεχνικής έχει στο παρελθόν δημοσιεύσει σύστημα τεχνητής νοημοσύνης το οποίο προσπαθεί να βελτιώσει τα αποτελέσματα εξαγωγής συναισθήματος περιεχομένου ιστοσελίδων αποθηκευμένων σε βάσεις δεδομένων. Η δημοσίευση αυτή είναι η «Konstantinos Korovesis, Georgios Alexandridis, George Caridakis, Pavlos Polydoras, and Panagiotis Tsantilas. 2020. Leveraging aspect-based sentiment prediction with textual features and document metadata. In 11th Hellenic Conference on Artificial Intelligence (SETN 2020), September 2-4, 2020, Athens, Greece. ACM, New York, NY, USA, 7 pages, δημοσιευμένο στο https://doi.org/10.The inventor being aware of the problems and limitations of the prior art has previously published an artificial intelligence system which attempts to improve the results of extracting sentiment of web page content stored in databases. This publication is by "Konstantinos Korovesis, Georgios Alexandridis, George Caridakis, Pavlos Polydoras, and Panagiotis Tsantilas. 2020. Leveraging aspect-based sentiment prediction with textual features and document metadata. In 11th Hellenic Conference on Artificial Intelligence (SETN 2020), September 2-4, 2020, Athens, Greece. ACM, New York, NY, USA, 7 pages, published at https://doi.org/10.

1145/3411408.3411433. To σύστημα αυτό της στάθμης τεχνικής αρχικά πραγματοποιεί προεπεξεργασία των δεδομένων όπως καθαρισμός, ομογενοποίηση, αφαίρεση/φιλτράρισμα του σχετικού περιεχομένου και εν συνεχεία επιτελεί επισημείωση των δεδομένων σε τρεις διακριτές τιμές (θετικό, ουδέτερο, αρνητικό). Επίσης αξιολογεί και λαμβάνει υπόψιν υπό τη μορφή μεταδεδομένων των ανακτώμενων εγγράφων τον αριθμό των επαναλήψεων και τη δημοφιλία ενός εγγράφου, τη συχνότητα εμφάνισης ιδεογραμμάτων emoji στα ανακτώμενα έγγραφα καθώς και τις λέξεις κλειδιά που σχετίζονται σε σημαντικό βαθμό με την πρόβλεψη του συναισθήματος. Ακολούθως επιχειρείται καθαρισμός του συνόλου δεδομένων κι ο μετασχηματισμός ενός συνόλου ενσωματωμένων λέξεων. Στη συνέχεια χωρίζεται το σύνολο των δεδομένων σε 80% σετ εκπαίδευσης, 10% σετ επικύρωσης και 10% σετ δοκιμής με σκοπό την εξαγωγή χαρακτηριστικών κειμένου κατά την επεξεργασία από αρχιτεκτονική δικτύου που αποτελείται από 2 στρωματώσεις αμφίδρομου LSTM συζευγμένες με συνελικτικό στρώμα (convID), ένα μέγιστο επίπεδο συγκέντρωσης (Max Pooling) και ένα επίπεδο προσοχής (Attention).1145/3411408.3411433. This prior art system first pre-processes the data such as cleaning, homogenization, removal/filtering of relevant content and then labels the data in three distinct values (positive, neutral, negative). It also evaluates and takes into account in the metadata of the retrieved documents the number of repetitions and popularity of a document, the frequency of occurrence of emoji ideograms in the retrieved documents as well as the keywords that are significantly related to the sentiment prediction. Next, cleaning of the data set and transformation of a set of embedded words is attempted. The dataset is then split into 80% training set, 10% validation set and 10% test set to extract text features when processed by a network architecture consisting of 2 layers of two-way LSTM coupled with a convolutional layer (convID), a a maximum level of concentration (Max Pooling) and a level of attention (Attention).

Η κάθε στρωμάτωση αμφίδρομου LSTM αποτελείται από 150 στρώματα μεταξύ των οποίων παρεμβάλλονται στρώματα dropout, τα οποία συμβάλλουν στη μείωση του overfitting με το να επιβάλουν στους νευρώνες κάθε στρώματος να αποσυσχετίσουν τα βάρη (weights) τους μέσω της αποτροπής ταυτόχρονης βελτιστοποίησης των βαρών τους η οποία έχει σαν αποτέλεσμα την αποτροπή των νευρώνων από το να συγκλίνουν στον ίδιο στόχο (όπως είναι γενικά γνωστό σε κάθε γνώστη του τεχνικού αντικειμένου της τεχνητής νοημοσύνης, π.χ. όπως περιγράφεται στη διαδικτυακή εγκυκλοπαίδεια OREILLY στην καταχώρηση «Advantages of dropout layers» η οποία είναι δημοσιευμένη στη διεύθυνση https://www.oreilly.com/library/view/machinelearning-for/9781786469878/252b7560-e262-49c4-9c8f-5b78d2eec420. xhtml). Το σύστημα αυτό παρέχει βελτιώσεις στην ακρίβεια εξαγωγής συναισθήματος περιεχομένου ιστοσελίδων σε σχέση με άλλες τεχνικές. Όμως, όπως γνωρίζει ο κάθε γνώστης του τεχνικού αντικειμένου (π.χ. όπως δημοσιεύεται στο άρθρο ««Should You Always Use Dropout?», ενότητα «Disadvantages of Using Dropout» της διαδικτυακής επιθεώρησης NNART η οποία βρίσκεται στη διεύθυνση https://nnart.org/shouid-you-use-dropout/? utm_content=cmp-true»), η χρήση dropout συνεπάγεται πιο μακρά εκμάθηση και σύγκλιση στον στόχο και κυρίως κίνδυνο παράβλεψης σημαντικών τάσεων στα προς ανάλυση δεδομένα.Each two-way LSTM layering consists of 150 layers interspersed with dropout layers, which help reduce overfitting by forcing the neurons in each layer to de-correlate their weights by preventing simultaneous optimization of their weights which has as a result of preventing neurons from converging on the same target (as is generally known to anyone skilled in the art of artificial intelligence, e.g. as described in the OREILLY online encyclopedia in the entry "Advantages of dropout layers" which is published at https://www.oreilly.com/library/view/machinelearning-for/9781786469878/252b7560-e262-49c4-9c8f-5b78d2eec420.xhtml). This system provides improvements in the accuracy of sentiment extraction of web page content over other techniques. However, as anyone skilled in the art knows (e.g., as published in the article ``Should You Always Use Dropout?'', ``Disadvantages of Using Dropout'' section of the NNART online review located at https://nnart .org/shouid-you-use-dropout/? utm_content=cmp-true”), using dropout implies longer learning and convergence to the target and above all a risk of overlooking important trends in the data to be analyzed.

Με άλλα λόγια, η δημοσίευση του εφευρέτη και αιτούντα της παρούσας ΑΔΕ αποτελεί μεν μιία βελτίωση επί των προγενέστερων γνωστών συστημάτων αλλά ακόμα κι αυτή περιέχει μειονεκτήματα στην απόδοσή της. Καθώς αυτά τα μειονεκτήματα είναι ευρέως γνωστά σε κάθε γνώστη της τεχνικής, είναι επομένως γνωστά και στον εφευρέτη. Συνεπώς ο εφευρέτης έχει κάθε λόγο να επιδιώξει τη βελτίωση αυτού του συστήματος. Όπως συνηθίζεται στα κοινά αποδεκτά πλαίσια της εφευρετικής δραστηριότητας.In other words, the publication of the inventor and applicant of the present ADE is an improvement over the previous known systems, but even this contains disadvantages in its performance. As these disadvantages are well known to anyone skilled in the art, they are therefore also known to the inventor. Therefore the inventor has every reason to seek to improve this system. As is customary in the commonly accepted contexts of inventive activity.

Ωστόσο, πέρα του πιο πάνω περιορισμού-μειονεκτήματος, η κύρια δυσκολία σε όλα τα συστήματα της στάθμης τεχνικής έγκειται στην ίδια την εργασία σχολιασμού συναισθήματος. δηλαδή σχετικά με τη διαδικασία απόφασης και απόδοσης συγκεκριμένων συναισθηματικών αξιών στο διαθέσιμο περιεχόμενο. Και τα δύο προαναφερθέντα επιμέρους καθήκοντα είναι επαχθή. Ο καθορισμός και η τήρηση ενός συνεπούς συνόλου κανόνων σχολιασμού δεν είναι εύκολο. Επιπλέον, είναι επίσης πολύ δύσκολο να εντοπιστεί ένα συναίσθημα σε ένα στοιχείο κειμένου, καθώς μια ένδειξη του συναισθήματος του συγγραφέα συχνά καλύπτεται από άλλες πληροφορίες που μπορεί να έχουν διφορούμενη σημασία ή αναφέρεται σε άλλα στοιχεία δεδομένων.However, beyond the above limitation-disadvantage, the main difficulty in all prior art systems lies in the sentiment annotation task itself. that is, about the process of deciding and attributing specific emotional values to the available content. Both of the aforementioned sub-tasks are onerous. Establishing and following a consistent set of commenting rules is not easy. In addition, it is also very difficult to identify an emotion in a text element, as an indication of the author's emotion is often covered by other information that may be ambiguous or referred to in other data elements.

Ορισμός Προβλήματος: Απαιτείται ένα βελτίωση συστήματος σύστημα και μεθοδολογίας εξαγωγής συναισθήματος που να μπορεί να εξάγει με ακρίβεια το συναίσθημα από στοιχεία δεδομένων on-line που συλλέγονται από έναν ανιχνευτή Ιστού για χρήση σε εξωτερικά συστήματα για καμπάνιες μάρκετινγκ και σχεδιασμό νέων προϊόντων.Problem Definition: An improvement of a sentiment extraction system and methodology is needed that can accurately extract sentiment from on-line data items collected by a web crawler for use in external systems for marketing campaigns and new product design.

Προτεινόμενη Λύση - Περίληψη: Παρουσιάζεται βελτιωμένο σύστημα και μέθοδος ανάλυσης συναισθήματος περιεχομένου ιστοσελίδων.Proposed Solution - Abstract: An improved system and method for web content sentiment analysis is presented.

Αρχιτεκτονική Συστήματος Εξαγωγής ΣυναισθήματοςEmotion Extraction System Architecture

Το Σχήμα 1 δείχνει μια αρχιτεκτονική συστήματος για ένα σύστημα εξαγωγής συναισθήματος περιεχομένου Ιστού. Το σύστημα εξαγωγής συναισθήματος περιεχομένου Ιστού (100) χρησιμοποιεί δεδομένα ανιχνευμένα στον ιστό που είναι αποθηκευμένα σε μία ή περισσότερες βάσεις δεδομένων και μια σειρά βημάτων επεξεργασίας και επίπεδα νευρωνικού δικτύου (ΝΝ) που έχουν εκπαιδευτεί με δεδομένα παρόμοια με αυτά στις εν λόγω βάσεις δεδομένων για την εξαγωγή συναισθημάτων που σχετίζονται με το ανιχνευμένα δεδομένα. Ο στόχος είναι να προσδιοριστεί το συναίσθημα (π.χ. αρνητικό, ουδέτερο, θετικό) σχετικά με οποιοδήποτε συγκεκριμένο στοιχείο δεδομένων (π.χ. ένα άρθρο, μια εμπορική δημοσίευση κ.λπ.) που εκφράζεται από οποιοδήποτε άτομο που διαβάζει ή αλληλεπιδρά με το στοιχείο δεδομένων ή/και το συναίσθημα του συντάκτη του αρχικού στοιχείου δεδομένων.Figure 1 shows a system architecture for a web content sentiment extraction system. The web content sentiment extraction system (100) uses web crawled data stored in one or more databases and a series of processing steps and neural network (NN) layers trained with data similar to those in said databases to extraction of sentiments related to the detected data. The goal is to determine the sentiment (e.g., negative, neutral, positive) about any particular data item (e.g., an article, a trade publication, etc.) expressed by any individual reading or interacting with the data item and/or the sentiment of the author of the original data item.

Από μία άποψη, το σύστημα (100) έχει τη δική του βάση δεδομένων λίμνης δεδομένων (105), η οποία είναι γεμάτη με στοιχεία δεδομένων (δηλ. περιεχόμενο) που έχουν συλλεχθεί από έναν ανιχνευτή ιστού ο οποίος έχει σχεδιαστεί για την ανίχνευση συγκεκριμένων διευθύνσεων ιστού (π.χ. πηγές δεδομένων) ή συγκεκριμένους τύπους διευθύνσεων ιστού. Για παράδειγμα, ο ανιχνευτής μπορεί να προγραμματιστεί να ανιχνεύει σε απευθείας σύνδεση εφημερίδες, ιστολογία και ιστότοπους κατασκευαστών αυτοκινήτων για τη συλλογή δεδομένων περιεχομένου που σχετίζεται με αυτοκίνητα.In one aspect, the system (100) has its own data lake database (105), which is populated with data items (i.e., content) collected by a web crawler designed to crawl specific web addresses (eg data sources) or specific types of web addresses. For example, the crawler can be programmed to crawl online newspapers, blogs, and automobile manufacturer websites to collect data on automobile-related content.

Από μια άλλη άποψη, το σύστημα (100) έχει πρόσβαση σε μία ή περισσότερες βάσεις δεδομένων λίμνης δεδομένων (105), ή από άλλη άποψη, το σύστημα (100) έχει πρόσβαση τόσο στις δικές του όσο και σε μία ή περισσότερες εξωτερικές βάσεις δεδομένων λίμνης δεδομένων 105.In another aspect, the system (100) has access to one or more data lake databases (105), or in another aspect, the system (100) has access to both its own and one or more external data lake databases data 105.

Συνήθως, η μία ή περισσότερες βάσεις δεδομένων λίμνης δεδομένων (105) δημιουργούνται από έναν ή περισσότερους ανιχνευτές Ιστού για τη συλλογή στοιχείων δεδομένων που ανήκουν σε πολλές κατηγορίες και τα οποία είναι κατάλληλα για χρήση για πολλούς διαφορετικούς σκοπούς. Για παράδειγμα, μια βάση δεδομένων (ΒΔ) λίμνης δεδομένων (105) μπορεί να περιέχει στοιχεία δεδομένων που μπορούν να χρησιμοποιηθούν από κατασκευαστές αυτοκινήτων, λιανοπωλητές μόδας, κατασκευαστές ταχέως κινούμενων καταναλωτικών αγαθών κ.λπ. προκειμένου να υποστηριχθεί η παροχή υπηρεσιών σε διαφορετικούς πελάτες.Typically, the one or more data lake databases (105) are created by one or more web crawlers to collect data items belonging to many categories and suitable for use for many different purposes. For example, a data lake database (DB) (105) may contain data items that can be used by automobile manufacturers, fashion retailers, fast-moving consumer goods manufacturers, etc. in order to support the provision of services to different customers.

Από αυτήν την εκτενή ομάδα στοιχείων δεδομένων που είναι αποθηκευμένα σε βάσεις δεδομένων λίμνης δεδομένων 105, το σύστημα (100) επιλέγει ένα υποσύνολο αυτών των στοιχείων δεδομένων και τα αποθηκεύει σε μία ή περισσότερες σχολιασμένες βάσεις δεδομένων (110), οι οποίες μπορεί να αποτελούν μέρος του συστήματος (100 ), ή μπορεί να είναι εξωτερικά του συστήματος (100) και στο οποίο το σύστημα (100) έχουν απλώς πρόσβαση. Από μία άποψη, οι βάσεις δεδομένων (100), (105) αποθηκεύονται σε μία ή περισσότερες υποδομές cloud, απομακρυσμένους ή τοπικούς διακομιστές ή σε συνδυασμό αυτών.From this extensive group of data items stored in data lake databases 105, the system (100) selects a subset of those data items and stores them in one or more annotated databases (110), which may be part of system (100 ), or may be external to system (100) and to which system (100) simply has access. In one aspect, the databases (100), (105) are stored on one or more cloud infrastructures, remote or local servers, or a combination thereof.

Λαμβάνοντας, για παράδειγμα, έναν κατασκευαστή αυτοκινήτων που ενδιαφέρεται να μάθει το κοινό για τα αυτοκίνητά του, η σχολιασμένη βάση δεδομένων (110) θα συμπληρώνεται με στοιχεία δεδομένων που σχετίζονται μόνο με αυτοκίνητα και από μια άλλη άποψη μόνο με ένα αυτοκίνητο του συγκεκριμένου κατασκευαστή. Ο σχολιασμός των στοιχείων δεδομένων της σχολιασμένης βάσης δεδομένων (110) μπορεί να γίνει με το χέρι (π.χ. από ανθρώπινους σχολιαστές), αυτόματα από εμπορικούς σχολιαστές (δηλαδή υπολογιστικά συστήματα) ή συχνότερα με συνδυασμό των δύο. Συνήθως η μηχανική μάθηση, η τεχνητή νοημοσύνη ή το ΝΝ εκπαιδεύονται πρώτα από έναν άνθρωπο σχολιαστή και στη συνέχεια αφήνονται να εκτελέσουν τον όγκο των σχολιασμών δεδομένων.Taking, for example, an automobile manufacturer that is interested in the public learning about its automobiles, the annotated database (110) would be populated with data items related only to automobiles and in another respect to only one automobile of that manufacturer. Annotation of the data items of the annotated database (110) can be done manually (eg, by human annotators), automatically by commercial annotators (ie, computer systems), or more often a combination of the two. Usually machine learning, AI or NN is first trained by a human annotator and then left to perform the bulk of the data annotations.

Τα στοιχεία δεδομένων στη σχολιασμένη βάση δεδομένων (110) (βάση επιση μειωμένων δεδομένων) προέρχονται από διαφορετικές πηγές και ενδέχεται να μην είναι κατάλληλα για ανάλυση ανά σύστημα (100). Για το λόγο αυτό, το (100) έχει μια διοχέτευση επεξεργασίας δεδομένων (130), η οποία επεξεργάζεται την σχολιασμένη ημερομηνία της σχολιασμένης βάσης δεδομένων (110) για να την ομογενοποιήσει και να αυξήσει την καταλληλότητά της για ανάλυση συναισθήματος. Η διοχέτευση επεξεργασίας δεδομένων (130) χρησιμοποιεί πρώτα μια μονάδα αποδιπλότυπου (de-duplicator) (133) η οποία αναλύει το περιεχόμενο δεδομένων για την αναγνώριση αντιγράφων του ίδιου περιεχομένου (π.χ. δημοσιεύσεις του ίδιου περιεχομένου σε περισσότερες από μία πηγές - αυτό μπορεί να αναφέρεται στο ίδιο άρθρο ειδήσεων, αναδημοσιεύσεις, retwits, κ.λπ.). Εάν βρεθούν διπλότυπα αντίγραφα των ίδιων στοιχείων δεδομένων, η μονάδα de-duplicator (133) επαναλαμβάνει μόνο μία από τις πανομοιότυπες εκδόσεις (π.χ. την πρώτη ή την τελευταία εμφάνιση) και απορρίπτει τις υπόλοιπες από τη σχολιασμένη βάση δεδομένων (110). Από μια άποψη, η ενότητα αποδιπλότυπου (133) συσχετίζει μεταδεδομένα που σχετίζονται με μέρος ή το σύνολο της πηγής, της ημερομηνίας, του συγγραφέα, του εκδότη, κ.λπ. των διπλότυπων αντιγράφων και αποθηκεύει αυτά τα μεταδεδομένα σε σχολιασμένη βάση δεδομένων (110).The data elements in the annotated database (110) (authorized database) come from different sources and may not be suitable for analysis by system (100). For this reason, (100) has a data processing pipeline (130), which processes the annotated date of the annotated database (110) to homogenize it and increase its suitability for sentiment analysis. The data processing pipeline (130) first uses a de-duplicator (133) which analyzes the data content to identify duplicates of the same content (e.g. publications of the same content in more than one source - this can be mentioned in the same news article, reposts, retwits, etc.). If duplicate copies of the same data items are found, the de-duplicator module (133) repeats only one of the identical versions (eg, the first or last occurrence) and discards the rest from the annotated database (110). In one aspect, the deduplication module (133) associates metadata associated with some or all of the source, date, author, publisher, etc. of duplicate copies and stores this metadata in an annotated database (110).

Τα μη διπλότυπα στοιχεία δεδομένων τροφοδοτούνται στη συνέχεια σε μια ενότητα επεξηγηματικής ανάλυσης δεδομένων (136), η οποία λαμβάνει κείμενο εισόδου και κατηγορίες εγγράφων (που δημιουργούνται κατά τη διάρκεια ενός βήματος σχολιασμού - επισημείωσης (annotation)) από σχολιασμένη βάση δεδομένων (110) και τα χρησιμοποιεί για Στατιστική Ανάλυση. Οποιοσδήποτε τύπος γνωστής τεχνικής στατιστικής ανάλυσης μπορεί να χρησιμοποιηθεί από την ενότητα επεξηγηματικής ανάλυσης δεδομένων (136) για την παραγωγή αναλυόμενων δεδομένων σχετικά με την κατανομή των κλάσεων και τα κορυφαία N-grams, μαζί με διαχωρισμό δεδομένων κατά 80%, 10%, 10% σε σετ εκπαίδευσης, σετ επικύρωσης και σετ δοκιμής (test set), αντίστοιχα.The non-duplicated data items are then fed to an interpretive data analysis module (136), which receives input text and document categories (generated during an annotation step) from an annotated database (110) and used for Statistical Analysis. Any type of known statistical analysis technique can be used by the descriptive data analysis module (136) to produce analyzed data on the distribution of classes and top N-grams, along with splitting data by 80%, 10%, 10% into training set, validation set and test set, respectively.

Τα αναλυθέντα δεδομένα από την ενότητα επεξηγηματικής ανάλυσης δεδομένων (136) τροφοδοτούνται στη συνέχεια σε μια ενότητα επαύξησης δεδομένων (139), η οποία εάν η στατιστική ανάλυση δείξει (μεγάλη) ανισορροπία δεδομένων (δηλαδή προκατάληψη προς μια συγκεκριμένη κατηγορία δεδομένων κ.λπ.) τότε βρίσκει τα κορυφαία N-grams στο σετ εκπαίδευσης και ελέγχει εάν τα ίδια N-grams της τάξης μειοψηφίας συνυπάρχουν στην πλειοψηφική τάξη και στη συνέχεια παίρνει δεδομένα από την πλειοψηφική τάξη και τα σημειώνει ως μειοψηφική τάξη. Η μονάδα επαύξησης δεδομένων (139) εξάγει επαυξημένα δεδομένα εκπαίδευσης, ενώ τα δεδομένα επικύρωσης και δοκιμής δεν επαυξάνονται. Στη συνέχεια, τα επαυξημένα και μη επαυξημένα δεδομένα εξάγονται από τη γραμμή επεξεργασίας δεδομένων (130) για χρήση από μια μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) και από το επίπεδο ενσωμάτωσης λέξεων του ΝΝ (151). Το ΝΝ έχει σχεδιαστεί για να βελτιώνει τις πληροφορίες των στοιχείων δεδομένων για την εξαγωγή συναισθήματος. Για να επιτευχθεί αυτό από ένα σύνολο στοιχείων δεδομένων, επιλέγει και επεξεργάζεται ένα επιλεκτικό υποσύνολο των στοιχείων δεδομένων του συνόλου.The analyzed data from the explanatory data analysis module (136) is then fed to a data augmentation module (139), which if the statistical analysis shows (high) data imbalance (ie bias towards a particular data class etc.) then it finds the top N-grams in the training set and checks whether the same N-grams of the minority class co-occur in the majority class and then takes data from the majority class and marks it as the minority class. The data augmentation module (139) outputs augmented training data, while the validation and test data are not augmented. The augmented and unaugmented data are then extracted from the data processing pipeline (130) for use by a Bayesian hyperparameter optimizer (140) and the NN word embedding layer (151). NN is designed to enhance the information of data items for sentiment extraction. To achieve this from a set of data elements, it selects and processes a selective subset of the data elements of the set.

Η μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) είναι μια λειτουργική μονάδα μηχανικής εκμάθησης που έχει σχεδιαστεί για να βρίσκει το συνολικό ελάχιστο για κάθε υπερπαράμετρο μιας συνάρτησης κόστους f(x) που χρησιμοποιείται από ένα Adam Optimizer, στον μικρότερο αριθμό βημάτων. Οι υπερπαράμετροι υπάρχουν αρχικά στο προεπιλεγμένο εύρος και επιλέγονται από ένα σύνολο υπερπαραμέτρων που περιέχει λέξεις εγκατάλειψης (dropout words), RNN εγκατάλειψης, πυκνή εγκατάλειψη, προσοχή εγκατάλειψης, l2_regularization, loss_l2 και ρυθμό εκμάθησης. Άλλη γνωστή υπερπαράμετρος μπορεί επίσης να χρησιμοποιηθεί για την οδήγηση του βελτιστοποιητή (optimizer).The Bayes hyperparameter optimizer (140) is a machine learning module designed to find the global minimum for each hyperparameter of a cost function f(x) used by an Adam Optimizer, in the smallest number of steps. The hyperparameters are initially in the default range and are selected from a set of hyperparameters containing dropout words, dropout RNN, dense dropout, dropout care, l2_regularization, loss_l2, and learning rate. Another known hyperparameter can also be used to drive the optimizer.

To NN που χρησιμοποιείται έχει τα ακόλουθα στρώματα, συνδεδεμένα με την παρακάτω σειρά: στρώμα ενσωμάτωσης λέξεων (151), στρώμα θορύβου Gaussian (152), 1ο επίπεδο εγκατάλειψης (153), 1ο επίπεδο αμφίδρομης μακροπρόθεσμης μνήμης (BiLSTM) ( 154), 2ο στρώμα εγκατάλειψης (155), 2ο επίπεδο BiLSTM (156), 3ο στρώμα εγκατάλειψης (157), συνελικτικό στρώμα (158), μέγιστο επίπεδο συγκέντρωσης (159), στρώμα προσοχής (160), 1ο κρυφό πυκνό στρώμα (161), δεύτερο κρυφό πυκνό στρώμα (162) και πυκνό στρώμα ταξινόμησης (163).The NN used has the following layers, connected in the following order: word embedding layer (151), Gaussian noise layer (152), 1st dropout layer (153), 1st layer of bi-directional long-term memory (BiLSTM) ( 154), 2nd layer dropout (155), BiLSTM 2nd layer (156), 3rd dropout layer (157), convolutional layer (158), maximum concentration layer (159), attention layer (160), 1st hidden dense layer (161), second hidden dense layer (162) and dense sorting layer (163).

Το στρώμα ενσωματώσεων λέξεων (151) είναι το πρώτο επίπεδο του ΝΝ. Λαμβάνει ως είσοδο τα επεξεργασμένα δεδομένα εκπαίδευσης, επικύρωσης και δοκιμής που εξάγονται από τη γραμμή επεξεργασίας δεδομένων (130) και ένα σύνολο ενσωματώσεων λέξεων, και τα οποία είναι προεπεξεργασμένα στοιχεία κειμένου που χωρίζονται κατά δευτερεύοντα διακριτικά και κωδικοποιούνται σε πραγματικούς αριθμούς χρησιμοποιώντας το γνωστό τύπο ομοιότητας συνημιτόνου. Οι αριθμοί δείχνουν την ομοιότητα μεταξύ μιας ομάδας λέξεων. Η έξοδος του στρώματος ενσωμάτωσης λέξεων (151) είναι διανύσματα λέξεων σταθερού μήκους που περιέχουν αριθμούς, δηλ. τα διανύσματα ενσωμάτωσης. Αυτά τα διανύσματα λέξεων σχηματίζουν έναν χώρο ενσωματώσεων.The layer of word embeddings (151) is the first level of the NN. It receives as input the processed training, validation and test data output from the data processing line (130) and a set of word embeddings, which are pre-processed textual elements separated by minor tokens and encoded into real numbers using the well-known cosine similarity formula . Numbers show the similarity between a group of words. The output of the word embedding layer (151) is fixed-length word vectors containing numbers, i.e., the embedding vectors. These word vectors form a space of embeddings.

Στη συνέχεια, τα διανύσματα λέξεων τροφοδοτούνται στο στρώμα θορύβου Gauss (152), το οποίο προσθέτει μικρό Gaussian Noise (μ=0,σ=1) στα διανύσματα (ενσωμάτωσης) λέξης για την αποφυγή υπερπροσαρμογής και εξάγει τα θορυβώδη στοιχεία δεδομένων στο 1ο στρώμα εγκατάλειψης (153).The word vectors are then fed to the Gaussian noise layer (152), which adds small Gaussian Noise (μ=0,σ=1) to the word (embedding) vectors to avoid overfitting and outputs the noisy data elements to the 1st dropout layer (153).

Το 1ο επίπεδο εγκατάλειψης (153) λαμβάνει τα θορυβώδη δεδομένα από το επίπεδο θορύβου Gaussian (152) και τα επεξεργασμένα δεδομένα εκπαίδευσης, επικύρωσης και δοκιμής που εξάγονται από τη γραμμή επεξεργασίας δεδομένων (130) και ορίζει τυχαία τα στοιχεία δεδομένων εισόδου στο 0 με συχνότητα ρυθμιζόμενη από τη μονάδα βελτιστοποίησης υπερπαράμετρου Bayes (140) σε κάθε βήμα της βελτιστοποίησης κατά τη διάρκεια του χρόνου εκπαίδευσης, η οποία βοηθά στην αποφυγή υπερβολικής προσαρμογής (overfitting). Ως αποτέλεσμα, το 1ο επίπεδο εγκατάλειψης (153) λαμβάνει ως είσοδο θορυβώδη δεδομένα και εξάγει ένα μικρότερο ποσοστό αυτών των θορυβωδών δεδομένων.The 1st dropout layer (153) receives the noisy data from the Gaussian noise layer (152) and the processed training, validation and test data output from the data processing line (130) and randomly sets the input data items to 0 with frequency adjustable by the Bayes hyperparameter optimizer (140) at each step of the optimization during the training time, which helps avoid overfitting. As a result, the 1st dropout layer (153) receives noisy data as input and outputs a smaller percentage of that noisy data.

Η έξοδος του 1ου στρώματος εγκατάλειψης (153) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) τροφοδοτούνται ως είσοδοι στο 1ο επίπεδο BiLSTM (154), το οποίο είναι ένα στρώμα επεξεργασίας ακολουθίας (sequence processing layer) που αποτελείται από δύο LSTM, το ένα παίρνει είσοδο (input) σε μια κατεύθυνση προς τα εμπρός και το άλλο σε μια κατεύθυνση προς τα πίσω λαμβάνοντας υπόψη τη δομή, καθώς και το πλαίσιο του κειμένου. Επιπλέον, οι υπερπαράμετροι του, οι μεταβλητές «dropout_rnn» και «l2_reg», προσαρμόζονται και βελτιστοποιούνται από την ενότητα βελτιστοποίησης υπερπαραμέτρων Bayes (140). Το 1ο επίπεδο BiLSTM (154) αποδίδει απρόσμενα καλύτερα σε μεγάλα κείμενα (δηλαδή κείμενα μήκους 200-600 χαρακτήρων) και εξάγει τα συνδεόμενα χαρακτηριστικά της τελευταίας κρυφής κατάστασης του BiLSTM για όλα τα διακριτικά (δηλαδή λέξεις και σύμβολα) στην εισαγωγή του ως πραγματικοί αριθμοί.The output of the 1st dropout layer (153) together with the output of the Bayesian hyperparameter optimizer (140) are fed as inputs to the 1st BiLSTM layer (154), which is a sequence processing layer consisting of two LSTMs, one takes input in a forward direction and the other in a backward direction taking into account the structure as well as the context of the text. In addition, its hyperparameters, the variables “dropout_rnn” and “l2_reg”, are adjusted and optimized by the Bayesian hyperparameter optimization module (140). The 1st layer BiLSTM (154) performs unexpectedly better on large texts (i.e. texts 200-600 characters long) and extracts the connected features of the last hidden state of BiLSTM for all tokens (i.e. words and symbols) in its input as real numbers.

Η έξοδος του 1ου επιπέδου BiLSTM (154) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) τροφοδοτούνται ως είσοδοι στο 2ο επίπεδο εγκατάλειψης (155), το οποίο ορίζει τυχαία ένα ποσοστό στοιχείων εισόδου στο 0, γεγονός που βοηθά στην αποτροπή υπερπροσαρμογής. Η είσοδος 2ου στρώματος εγκατάλειψης (155) αποτελείται από θορυβώδεις τανυστές δεδομένων 1D και οι έξοδοι της αποτελούνται από μικρότερο ποσοστό των τανυστών 1D δεδομένων. Το ποσοστό της εγκατάλειψης ορίζεται από μια βέλτιστη τιμή που βρέθηκε από το Bayesian Optimization κατά τη διάρκεια του χρόνου εκπαίδευσης.The output of the 1st layer BiLSTM (154) together with the output of the Bayesian hyperparameter optimizer (140) are fed as inputs to the 2nd dropout layer (155), which randomly sets a percentage of input elements to 0, which helps prevent overfitting. The input of the 2nd dropout layer (155) consists of noisy 1D data tensors and its outputs consist of a smaller percentage of the 1D data tensors. The dropout rate is set by an optimal value found by Bayesian Optimization during the training time.

Η έξοδος του 2ου στρώματος εγκατάλειψης (dropout layer) (155) τροφοδοτείται στο 2ο επίπεδο BiLSTM (156) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140), που λειτουργεί πανομοιότυπα με το 1ο επίπεδο BiLSTM (154) και εξάγει τα συνενωμένα χαρακτηριστικά της τελευταίας κρυφής κατάστασης του BiLSTM για όλα τα διακριτικά στην εισαγωγή του ως πραγματικός αριθμούς.The output of the 2nd dropout layer (155) is fed to the 2nd BiLSTM layer (156) together with the output of the Bayesian hyperparameter optimizer (140), which works identically to the 1st BiLSTM layer (154) and outputs the concatenated features of the last hidden state of BiLSTM for all tokens in its input as real numbers.

Το 2ο επίπεδο εξόδου BiLSTM (156) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) τροφοδοτούνται στο 3ο στρώμα εγκατάλειψης (157), το οποίο λειτουργεί πανομοιότυπα με το 1ο στρώμα εγκατάλειψης (153) και το 2ο στρώμα εγκατάλειψης (155) και εξάγει ένα μικρότερο ποσοστό των τανυστών 1D των δεδομένων εισόδου του.The 2nd level BiLSTM output (156) together with the output of the Bayes hyperparameter optimizer (140) are fed to the 3rd dropout layer (157), which operates identically to the 1st dropout layer (153) and the 2nd dropout layer (155) and outputs a smaller percentage of the 1D tensors of its input data.

Η έξοδος του 3ου στρώματος εγκατάλειψης (157) τροφοδοτείται σε ένα συνελικτικό στρώμα (158), το οποίο λαμβάνει την είσοδο των τανυστών 1D και τους περιπλέκει από ένα φίλτρο μήκους 64 και από 1D συνελικτικό παράθυρο 5 (μέγεθος_πυρήνα) για να βρει αριθμητικά μοτίβα στις γλωσσικές ομάδες ανά μέγεθος_πυρήνα και εξάγει έναν γραμμικό 1D τανυστή πραγματικών αριθμών.The output of the 3rd dropout layer (157) is fed to a convolutional layer (158), which takes the input 1D tensors and convolutes them by a filter of length 64 and a 1D convolutional window 5 (kernel_size) to find numerical patterns in the linguistic groups by kernel_size and outputs a linear 1D tensor of real numbers.

Μέγιστο επίπεδο συγκέντρωσης (max pooling layer) (159) λαμβάνει την έξοδο του 3ου στρώματος εγκατάλειψης (157) και μειώνει τη δειγματοληψία του κατά ένα παράθυρο συγκέντρωσης μήκους 5. Αυτή η δειγματοληψία επιτρέπει στο στρώμα μέγιστης συγκέντρωσης (159) να επιλέξει τις πιο σημαντικές πληροφορίες στην είσοδο και να εξάγει πραγματικούς αριθμούς σε τανυστές 1D.Max pooling layer (159) takes the output of the 3rd dropout layer (157) and downsamples it by a pooling window of length 5. This sampling allows the max pooling layer (159) to select the most important information on input and output real numbers to 1D tensors.

Η έξοδος του στρώματος μέγιστης συγκέντρωσης (159) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) τροφοδοτούνται στο επίπεδο προσοχής (160), το οποίο εξισορροπεί την πτώση πληροφοριών από το φιλτράρισμα του στρώματος μέγιστης συγκέντρωσης (159) βρίσκοντας λέξεις που φέρουν έντονο συναίσθημα. Το στρώμα προσοχής (160) εξάγει ένα διάνυσμα προσοχής από 128 κόμβους χρησιμοποιώντας τη συνάρτηση ενεργοποίησης tanh στις τιμές, η οποία είναι μια μείωση σε σχέση με τις τιμές των τανυστών 1D όπου κάθε τιμή είναι το αποτέλεσμα της συνάρτησης ενεργοποίησης tanh στα βάρη προσοχής. Τα βάρη προσοχής υπολογίζονται ως μέρος του γινόμενου (dot product) της συνάρτησης softmax των βαθμολογιών με την κρυφή κατάσταση της πηγής.The output of the peak concentration layer (159) together with the output of the Bayesian hyperparameter optimizer (140) are fed to the attention layer (160), which balances the information drop from filtering the peak concentration layer (159) by finding words that carry strong emotion. The attention layer (160) extracts an attention vector from 128 nodes using the tanh activation function on the values, which is a reduction from the 1D tensor values where each value is the result of the tanh activation function on the attention weights. The attention weights are calculated as the dot product of the softmax function of the scores with the hidden state of the source.

Η έξοδος του επιπέδου προσοχής (160) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) τροφοδοτούνται στο 1ο κρυφό πυκνό στρώμα (161), το οποίο αποτελείται από 1024 νευρώνες και του οποίου η συνάρτηση ενεργοποίησης είναι η διορθωμένη γραμμική μονάδα (ReLU). Βρίσκει περισσότερες δυνατότητες από πιο σύνθετα μοτίβα δεδομένων και εξάγει τα αποτελέσματα της συνάρτησης ενεργοποίησης (ReLU) ως τανυστή 1 D.The output of the attention layer (160) together with the output of the hyperparameter Bayesian optimizer (140) are fed to the 1st hidden dense layer (161), which consists of 1024 neurons and whose activation function is the corrected linear unit (ReLU) . It finds more features from more complex data patterns and outputs the activation function results (ReLU) as a 1D tensor.

Η έξοδος του 1ου κρυφού πυκνού στρώματος (161) μαζί με την έξοδο της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140) και ένα διάνυσμα emoji τροφοδοτούνται σε ένα 2ο κρυφό πυκνό στρώμα (162), που αποτελείται από 128 νευρώνες, του οποίου η συνάρτηση ενεργοποίησης είναι η διορθωμένη γραμμική μονάδα (ReLU). Βρίσκει περισσότερες δυνατότητες από πιο σύνθετα μοτίβα δεδομένων και εξάγει τα αποτελέσματα της συνάρτησης ενεργοποίησης (ReLU) ως τανυστήρα 1D.The output of the 1st hidden dense layer (161) together with the output of the Bayes hyperparameter optimizer (140) and an emoji vector are fed to a 2nd hidden dense layer (162), consisting of 128 neurons, whose activation function is corrected linear unit (ReLU). It finds more features from more complex data patterns and outputs the activation function results (ReLU) as a 1D tensor.

Το διάνυσμα emoji δημιουργείται από μια μονάδα διανύσματος emoji (174). Σημαντικές πληροφορίες βρίσκονται στα ιδεογράμματα emoji για κείμενα μέσων κοινωνικής δικτύωσης. Ένα διάνυσμα συχνότητας για κάθε έγγραφο Ιστού κατασκευάζεται και εξάγεται από τη μονάδα διανύσματος emoji (174) στο 2ο κρυφό πυκνό στρώμα (162) ως διάνυσμα emoji. Τα στοιχεία του διανύσματος emoji αντιπροσωπεύουν τον αριθμό των φορών που κάθε συγκεκριμένο emoji εμφανίζεται σε ένα στοιχείο δεδομένων (δηλαδή ένα κείμενο στο παρόν πλαίσιο).The emoji vector is created from an emoji vector module (174). Important information is found in emoji ideograms for social media texts. A frequency vector for each web document is constructed and output from the emoji vector module (174) to the 2nd hidden dense layer (162) as an emoji vector. The elements of the emoji vector represent the number of times each particular emoji appears in a data element (ie, text in the present context).

Η διανυσματική μονάδα emoji (emoji vector) (174) λαμβάνει ως είσοδο μια λίστα emoji που έχει κατασκευαστεί από μια μονάδα λίστας emoji (172).The emoji vector module (174) receives as input an emoji list constructed by an emoji list module (172).

Η έξοδος του 2ου κρυφού πυκνού στρώματος (162) τροφοδοτείται σε ένα πυκνό στρώμα ταξινόμησης (dense classification layer) (163), το οποίο υπολογίζει τις πιθανότητες ανά κλάση και εξάγει την πιθανότητα της συνάρτησης ενεργοποίησης (sotfmax) ανά κατηγορία κλάσης (δηλαδή αρνητικό, ουδέτερο, θετικό ). Η υψηλότερη από αυτές τις πιθανότητες για κάθε στοιχείο δεδομένων αντιπροσωπεύει το συναίσθημα που σχετίζεται με αυτό το στοιχείο δεδομένων.The output of the 2nd hidden dense layer (162) is fed to a dense classification layer (163), which computes probabilities per class and outputs the probability of the activation function (sotfmax) per class category (ie negative, neutral , positive ). The highest of these probabilities for each data item represents the sentiment associated with that data item.

Ο αριθμός των νευρώνων, τα μήκη του φίλτρου και άλλες παράμετροι που παρουσιάζονται για το σύστημα (100) επιλέγονται ως παρέχοντα τα βέλτιστα αποτελέσματα. Παραλλαγές αυτών των παραμέτρων μπορούν επίσης να χρησιμοποιηθούν χωρίς απομάκρυνση από το πεδίο προστασίας της παρούσας καινοτόμου λύσης.The number of neurons, filter lengths, and other parameters shown for system (100) are chosen as providing optimal results. Variations of these parameters can also be used without departing from the scope of protection of the present innovative solution.

Μεθοδολογία εξαγωγής συναισθήματοςSentiment extraction methodology

Το Σχήμα 2 δείχνει μια μεθοδολογία για την εξαγωγή συναισθήματος από κειμενικό περιεχόμενο. Η Μεθοδολογία (200) έχει ένα βήμα για τη λήψη σχολιασμένων στοιχείων δεδομένων (210) από μια βάση δεδομένων (110) που αποθηκεύει δεδομένα (συνήθως ανιχνευμένα στον ιστό). Τα στοιχεία δεδομένων στη βάση δεδομένων (110) έχουν δημιουργηθεί με ανίχνευση (202) συγκεκριμένων τοποθεσιών του ιστού για δημόσια διαθέσιμα δεδομένα, επιλέγοντας (204) τα σχετικά δεδομένα από τα ανιχνευμένα δεδομένα σε μια βάση δεδομένων (105) και σχολιάζοντας τα (206) στη βάση δεδομένων (110). Το βήμα επιλογής (204) ρυθμίζεται έτσι ώστε να επιλέγονται δεδομένα σχετικά με τους σκοπούς της εργασίας εξαγωγής συναισθήματος, π.χ. εξαγωγή του συναισθήματος των στοιχείων δεδομένων που σχετίζονται με τα αυτοκίνητα ενός συγκεκριμένου κατασκευαστή αυτοκινήτων.Figure 2 shows a methodology for extracting sentiment from textual content. The Methodology (200) has a step of retrieving annotated data items (210) from a database (110) that stores data (typically crawled on the web). The data items in the database (110) have been created by crawling (202) specific web sites for publicly available data, selecting (204) the relevant data from the crawled data in a database (105), and annotating (206) the database (110). The selection step (204) is set to select data relevant to the purposes of the sentiment extraction task, e.g. extracting the sentiment of the data items related to the cars of a particular car manufacturer.

Στη συνέχεια, τα σχολιασμένα στοιχεία δεδομένων υποβάλλονται σε επεξεργασία με τη μονάδα de-duplicator (133) για την αφαίρεση διπλών στοιχείων δεδομένων (212) και τις κατανομές κλάσεων τους (όπως μπορεί να προκύψει με γνωστές μεθόδους από τους σχολιασμούς των στοιχείων δεδομένων) και κορυφαία N-grams αναλύονται στατιστικά (214). Χρησιμοποιώντας ένα κριτήριο ανισορροπίας (217) (π.χ. ένα όριο που χρησιμοποιείται για τον διαχωρισμό των κατανομών στοιχείων δεδομένων σε σύνολα- εάν η συμμετοχή σε αυτά τα σύνολα δεν είναι περίπου η ίδια, π.χ. με ανοχή 10%, τότε η ανισορροπία υπάρχει), εάν εντοπιστεί ανισορροπία (216), στη συνέχεια πραγματοποιείται υπερδειγματοληψία δεδομένων της κατηγορίας μειοψηφίας μαζί με μείωση δειγματοληψίας της κλάσης πλειοψηφίας (218) χρησιμοποιώντας τη μονάδα επαύξησης δεδομένων (data augmentation module) (135).The annotated data items are then processed with the de-duplicator module (133) to remove duplicate data items (212) and their class distributions (as can be derived by known methods from the data item annotations) and top N-grams are analyzed statistically (214). Using an imbalance criterion (217) (e.g., a threshold used to separate distributions of data items into sets—if the membership of these sets is not approximately equal, e.g., with a tolerance of 10%, then the imbalance exists), if imbalance is detected (216), then minority class data is oversampled along with majority class downsampling (218) using the data augmentation module (135).

Η μεθοδολογία (200) συνεχίζει με τη βελτιστοποίηση δεδομένων (δηλαδή υπερπαράμετρο) (220) χρησιμοποιώντας τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayesian (140), η οποία περιλαμβάνει επαναφορά των τιμών υπερπαραμέτρων (222) (οι οποίες επιλέγονται από ένα σύνολο υπερπαραμέτρων που περιέχει λέξεις εγκατάλειψης, επαναλαμβανόμενης εγκατάλειψης νευρωνικό δίκτυο (dropout recurrent neural network ) (RNN), πυκνότητα εγκατάλειψης, προσοχή εγκατάλειψης, l2_regularization, loss_l2 και ρυθμός εκμάθησης) και βρίσκει το συνολικό ελάχιστο μιας συνάρτησης κόστους που χρησιμοποιείται σε έναν βελτιστοποιητή Adam για κάθε υπερπαράμετρο (224).The methodology (200) continues with data (i.e., hyperparameter) optimization (220) using the Bayesian hyperparameter optimization module (140), which includes resetting the hyperparameter values (222) (which are selected from a set of hyperparameters containing dropout words, dropout recurrent neural network (RNN), dropout density, dropout attention, l2_regularization, loss_l2, and learning rate) and finds the global minimum of a cost function used in an Adam optimizer for each hyperparameter (224).

Η μεθοδολογία λαμβάνει ενσωματώσεις λέξεων (word embeddings) από μια εξωτερική ή εσωτερική βάση δεδομένων (230) και τις τροφοδοτεί σε ένα ΝΝ. Οι ενσωματώσεις λέξεων είναι προεπεξεργασμένα στοιχεία κειμένου που χωρίζονται κατά δευτερεύοντα διακριτικά και κωδικοποιούνται σε πραγματικούς αριθμούς χρησιμοποιώντας τον τύπο ομοιότητας συνημιτόνου. Οι αριθμοί δείχνουν την ομοιότητα μεταξύ μιας ομάδας λέξεων. Το ΝΝ χρησιμοποιεί το στρώμα ενσωματώσεων λέξεων (151) για να κωδικοποιήσει στοιχεία κειμένου (δηλαδή δεδομένα κειμένου) σε αριθμούς (233) χρησιμοποιώντας τη λέξη ενσωματώσεις. Αυτοί οι αριθμοί μεταβιβάζονται στη συνέχεια σε ένα στρώμα θορύβου Gauss (152), το οποίο προσθέτει μικρό Gaussian θόρυβο (μ=0,σ=1) (236) στα κωδικοποιημένα δεδομένα για να αποφευχθεί η υπερβολική προσαρμογή (overfitting) των δεδομένων.The methodology receives word embeddings from an external or internal database (230) and feeds them into a NN. Word embeddings are preprocessed text elements separated by minor tokens and encoded into real numbers using the cosine similarity formula. Numbers show the similarity between a group of words. The NN uses the word embeddings layer (151) to encode text elements (ie, text data) into numbers (233) using the word embeddings. These numbers are then passed to a Gaussian noise layer (152), which adds small Gaussian noise (μ=0,σ=1) (236) to the coded data to avoid overfitting the data.

Στη συνέχεια, τα θορυβώδη δεδομένα επεξεργάζονται από το 1ο επίπεδο εγκατάλειψης (153), το οποίο ορίζει τυχαία τα κωδικοποιημένα στοιχεία δεδομένων στο 0 με μια συχνότητα που ορίζεται από τη μονάδα βελτιστοποίησης υπερπαραμέτρου Bayes (140) σε κάθε βήμα κατά τη διάρκεια του χρόνου εκπαίδευσης (240), η οποία βοηθά στην αποτροπή υπερπροσαρμογής (overfitting). Ως είσοδο λαμβάνει τα θορυβώδη δεδομένα και εξάγει ένα μικρότερο ποσοστό των δεδομένων.The noisy data is then processed by the 1st dropout layer (153), which randomly sets the coded data elements to 0 with a frequency defined by the Bayesian hyperparameter optimizer (140) at each step during the training time ( 240), which helps prevent overfitting. It takes the noisy data as input and outputs a smaller percentage of the data.

Το μειωμένο σύνολο θορυβωδών δεδομένων επεξεργάζεται στη συνέχεια (242) από το 1ο επίπεδο BiLSTM (154), το οποίο αποτελείται από δύο LSTM, το ένα παίρνει την είσοδο προς τα εμπρός και το άλλο σε μια προς τα πίσω κατεύθυνση λαμβάνοντας υπόψη τη δομή, καθώς και το πλαίσιο του κειμένου. Επιπλέον, οι μεταβλητές "dropout_rnn" και "l2_reg" των υπερπαραμέτρων του 1ου επιπέδου BiLSTM (154) προσαρμόζονται και βελτιστοποιούνται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayesian (140). Το 1ο επίπεδο BiLSTM (154) αποδίδει καλύτερα σε μεγάλα κείμενα (δηλαδή 200-600 χαρακτήρες) και εξάγει τα συνδυασμένα χαρακτηριστικά της τελευταίας κρυφής κατάστασης του LSTMS και του BiLSTM για όλα τα διακριτικά (tokens) της ακολουθίας ως πραγματικούς αριθμούς.The reduced noisy data set is then processed (242) by the 1st layer BiLSTM (154), which consists of two LSTMs, one taking the input in a forward direction and the other in a backward direction taking the structure into account, as and the context of the text. In addition, the "dropout_rnn" and "l2_reg" variables of the 1st level BiLSTM hyperparameters (154) are adjusted and optimized by the Bayesian hyperparameter optimization module (140). BiLSTM level 1 (154) performs best on long texts (ie 200-600 characters) and outputs the combined features of the last hidden state of LSTMS and BiLSTM for all tokens in the sequence as real numbers.

Η έξοδος του βήματος (242) επεξεργάζεται στη συνέχεια από το 2ο επίπεδο εγκατάλειψης (155), το οποίο θέτει τυχαία τα κωδικοποιημένα στοιχεία δεδομένων στο Ο με μια συχνότητα που ορίζεται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) σε κάθε βήμα κατά τη διάρκεια του χρόνου εκπαίδευσης (244), το οποίο βοηθά στην αποφυγή υπερβολικής προσαρμογής. Ως είσοδο λαμβάνει τα θορυβώδη δεδομένα και εξάγει ένα μικρότερο ποσοστό των δεδομένων.The output of step (242) is then processed by the 2nd dropout layer (155), which randomizes the coded data items to O at a frequency defined by the Bayesian hyperparameter optimizer (140) at each step during training time (244), which helps avoid overfitting. It takes the noisy data as input and outputs a smaller percentage of the data.

Το μειωμένο σύνολο δεδομένων του βήματος (244) επεξεργάζεται στη συνέχεια (246) από το 2ο επίπεδο BiLSTM (156), το οποίο αποτελείται από δύο LSTM, το ένα παίρνει την είσοδο προς τα εμπρός και το άλλο σε μια προς τα πίσω κατεύθυνση λαμβάνοντας λάβετε υπόψη τη δομή, καθώς και το πλαίσιο του κειμένου. Επιπλέον, οι μεταβλητές "dropout_rnn" και "I2_reg" των υπερπαραμέτρων του 2ου επιπέδου BiLSTM (156) προσαρμόζονται και βελτιστοποιούνται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140). Το 2ο επίπεδο BiLSTM (156) αποδίδει απρόσμενα καλύτερα σε μεγάλα κείμενα (δηλαδή 200-600 χαρακτήρες) και εξάγει τα συνδυασμένα χαρακτηριστικά της τελευταίας κρυφής κατάστασης του LSTMS και του BiLSTM για όλα τα διακριτικά της ακολουθίας ως πραγματικούς αριθμούς.The reduced data set of step (244) is then processed (246) by the 2nd layer BiLSTM (156), which consists of two LSTMs, one taking the input in a forward direction and the other in a backward direction taking considering the structure as well as the context of the text. In addition, the "dropout_rnn" and "I2_reg" variables of the BiLSTM level 2 hyperparameters (156) are adjusted and optimized by the Bayesian hyperparameter optimization module (140). The 2nd layer BiLSTM (156) performs unexpectedly better on long texts (ie 200-600 characters) and outputs the combined features of the last hidden state of LSTMS and BiLSTM for all tokens in the sequence as real numbers.

Η έξοδος του βήματος (246) επεξεργάζεται στη συνέχεια από το 3ο επίπεδο εγκατάλειψης (157), το οποίο θέτει τυχαία τα κωδικοποιημένα στοιχεία δεδομένων στο 0 με μια συχνότητα που ορίζεται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) σε κάθε βήμα κατά τη διάρκεια του χρόνου εκπαίδευσης (248), το οποίο βοηθά στην αποφυγή υπερβολικής προσαρμογής. Ως είσοδο λαμβάνει τα θορυβώδη δεδομένα και εξάγει ένα μικρότερο ποσοστό των δεδομένων.The output of step (246) is then processed by the 3rd dropout layer (157), which randomly sets the coded data items to 0 at a frequency defined by the Bayesian hyperparameter optimizer (140) at each step during training time (248), which helps avoid overfitting. It takes the noisy data as input and outputs a smaller percentage of the data.

Το μειωμένο σύνολο δεδομένων που εξάγεται από το βήμα (248), το οποίο είναι ένας τανυστής 1D, περιελίσσεται (250) από το συνελικτικό στρώμα (158) χρησιμοποιώντας ένα φίλτρο μήκους 64 και ένα 1D συνελικτικό παράθυρο μήκους 5 (μέγεθος_πυρήνα) για εύρεση αριθμητικών μοτίβων στις γλωσσικές ομάδες ανά μέγεθος_πυρήνα.The reduced data set output from step (248), which is a 1D tensor, is convolved (250) by the convolutional layer (158) using a filter of length 64 and a 1D convolutional window of length 5 (kernel_size) to find numerical patterns in the language groups by core_size.

Η έξοδος του βήματος (250), που είναι ένα σύνολο διανυσμάτων γραμμικών 1D τανυστών πραγματικών αριθμών, στη συνέχεια υποβάλλεται σε δειγματοληψία (252) από το μέγιστο στρώμα συγκέντρωσης (159) χρησιμοποιώντας ένα παράθυρο συγκέντρωσης (pooling window) μήκους 5. Το βήμα (252), έτσι, εφαρμόζει έναν μηχανισμό για τη λήψη (δηλαδή την επιλογή) των πιο σημαντικών διανυσμάτων και εξάγει διανύσματα πραγματικών αριθμών σε 1D Tensor.The output of step (250), which is a set of vectors of linear 1D real number tensors, is then sampled (252) by the maximum pooling layer (159) using a pooling window of length 5. Step (252 ), thus, implements a mechanism to obtain (i.e. select) the most significant vectors and outputs vectors of real numbers to 1D Tensors.

Τα υποδειγματοληπτισμένα δεδομένα (downsampled data) του βήματος (252) επεξεργάζονται στη συνέχεια από το επίπεδο προσοχής 160, το οποίο εξισορροπεί την πτώση της πληροφορίας από το βήμα (252) εφαρμόζοντας βάρη (δηλαδή στάθμιση) (254) στους τανυστές 1D που λαμβάνει ως είσοδο. Αυτά τα βάρη προέρχονται από τη συνάρτηση ενεργοποίησης tanh στα βάρη προσοχής.The downsampled data of step (252) is then processed by attention layer 160, which balances the information drop from step (252) by applying weights (ie, weighting) (254) to the 1D tensors it receives as input. . These weights are derived from the tanh activation function on the attention weights.

Τα σταθμισμένα δεδομένα του βήματος (254) επεξεργάζονται στη συνέχεια από το 1ο κρυφό στρώμα (161), το οποίο χρησιμοποιεί 1024 νευρώνες για να βρει περισσότερα χαρακτηριστικά από πιο πολύπλοκα μοτίβα δεδομένων και εξάγει τα αποτελέσματα της συνάρτησης ενεργοποίησής του (ReLU) ως τανυστήρα 1D ( 256).The weighted data of step (254) is then processed by the 1st hidden layer (161), which uses 1024 neurons to find more features from more complex data patterns and outputs the results of its activation function (ReLU) as a 1D tensor ( 256).

Η έξοδος του βήματος (256) επεξεργάζεται στη συνέχεια από το 2ο κρυφό στρώμα (162), το οποίο χρησιμοποιεί 128 νευρώνες για να επεξεργαστεί τα δεδομένα εισόδου του μαζί με διανύσματα emoji (174) (που αντιπροσωπεύουν τη συχνότητα εμφάνισης κάθε emoji σε ένα στοιχείο κειμένου ) που έχουν δημιουργηθεί από μια λίστα emoji (172), για την εύρεση περισσότερων χαρακτηριστικών από πιο σύνθετα μοτίβα δεδομένων και εξάγει τα αποτελέσματα της συνάρτησης ενεργοποίησής του (ReLU) ως τανυστήρα 1D (260). Το βήμα (260) βασίζεται στο γεγονός ότι σημαντικές πληροφορίες βρίσκονται στα ιδεογράμματα emoji για τις κειμενικές εκδόσεις των μέσων κοινωνικής δικτύωσης.The output of step (256) is then processed by the 2nd hidden layer (162), which uses 128 neurons to process its input data together with emoji vectors (174) (representing the frequency of occurrence of each emoji in a text element ) generated from a list of emojis (172), to find more features from more complex data patterns, and outputs the results of its activation function (ReLU) as a 1D tensor (260). Step (260) is based on the fact that important information is found in emoji ideograms for textual versions of social media.

Η έξοδος του βήματος (260) επεξεργάζεται από το πυκνό στρώμα ταξινόμησης (163), το οποίο υπολογίζει τις πιθανότητες ανά κλάση (270) και εξάγει την πιθανότητα της συνάρτησης ενεργοποίησης (sotfmax) ανά κατηγορία κλάσης (class category) (αρνητικό, ουδέτερο, θετικό) (280). Η κατηγορία κλάσης με την υψηλότερη πιθανότητα για κάθε στοιχείο δεδομένων ορίζεται ως το συναίσθημα του στοιχείου δεδομένων, το οποίο μπορεί στη συνέχεια να χρησιμοποιηθεί από εξωτερικά συστήματα και μεθοδολογίες (π.χ. για τον σχεδίασμά μιας στρατηγικής μάρκετινγκ για ένα νέο μοντέλο αυτοκινήτου ή για την προσαρμογή της τιμολόγησης του μοντέλο αυτοκινήτου κ.λπ.).The output of step (260) is processed by the dense classification layer (163), which calculates probabilities per class (270) and outputs the probability of the activation function (sotfmax) per class category (negative, neutral, positive ) (280). The class category with the highest probability for each data item is defined as the sentiment of the data item, which can then be used by external systems and methodologies (e.g. to design a marketing strategy for a new car model or to adjusting car model pricing etc.).

Στη μεθοδολογία (200), τα βήματα (230), (233), (240), (242), (244), (246), (248), (254), (256), (260) επίσης λαμβάνουν ως είσοδο την έξοδο του βήματος βελτιστοποίησης υπερπαραμέτρων Bayes (220) (δηλαδή των βημάτων (222), (224)).In methodology (200), steps (230), (233), (240), (242), (244), (246), (248), (254), (256), (260) also take as input the output of the Bayes hyperparameter optimization step (220) (ie, steps (222), (224)).

Οι διαδικασίες που παρουσιάζονται παραπάνω αναφέρονται σε ειδησεογραφικούς ιστότοπους και άρθρα, εμπορικούς ιστότοπους και άρθρα, ιστότοπους μέσων κοινωνικής δικτύωσης και δημοσιεύσεις και retwits, και δίνονται με παράδειγμα. Σημειώνεται ότι το πεδίο εφαρμογής του παρόντος καινοτόμου συστήματος και μεθόδου ανίχνευσης συναισθημάτων δεν περιορίζεται στα προηγούμενα παραδείγματα, αλλά ισχύει για άλλα και μπορεί να περιλαμβάνει άλλα στοιχεία δεδομένων εκτός από κείμενο, συγκεκριμένα εικόνες, βίντεο, τρισδιάστατο ήχο, vlog κ.λπ. τα οποία με κατάλληλη επεξεργασία μπορούν να μετατραπεί σε δεδομένα κειμένου ή άλλου τύπου οπτικοακουστικά δεδομένα που μπορεί να αναπαρασταθούν αριθμητικά. Όπου χρησιμοποιείται μη κειμενικό περιεχόμενο, η προτεινόμενη μεθοδολογία και σύστημα εξαγωγής συναισθήματος μπορεί να χρησιμοποιεί μεταδεδομένα που συνοδεύουν το μη κειμενικό περιεχόμενο ή σε άλλα παραδείγματα ενσωμάτωσης εφαρμόζει πρόσθετα βήματα επεξεργασίας όπου τα δεδομένα κειμένου προέρχονται από το μη κειμενικό περιεχόμενο. Μέσω παραδείγματος, η φωνητική ομιλία και η αναγνώριση ήχου μπορεί να χρησιμοποιηθούν για τη δημιουργία εκδόσεων κειμένου της ομιλίας ή περιγραφής κειμένου του ήχου (π.χ. τίτλος τραγουδιού, μεταδεδομένα που περιγράφουν μια έκρηξη, κ.λπ.) ή ανάλυση εικόνας/βίντεο/30 για τη δημιουργία μεταδεδομένα που περιγράφουν οπτικό περιεχόμενο. Τεχνικές για την επεξεργασία οπτικοακουστικού περιεχομένου είναι πολύ γνωστές στην προηγούμενη τεχνική και δεν περιλαμβάνονται στην παρούσα αποκάλυψη καθώς είναι προφανείς σε οποιονδήποτε αναγνώστη με συνήθη εμπειρία στη σχετική τέχνη.The processes presented above refer to news sites and articles, commercial sites and articles, social media sites and posts and retweets, and are given by example. It is noted that the scope of the present innovative emotion detection system and method is not limited to the previous examples, but applies to others and may include other data items besides text, namely images, videos, 3D audio, vlogs, etc. which with appropriate processing can be converted into text data or other type of audio-visual data that can be represented numerically. Where non-textual content is used, the proposed sentiment extraction methodology and system may use metadata accompanying the non-textual content or in other implementation examples apply additional processing steps where the textual data is derived from the non-textual content. By way of example, voice speech and audio recognition can be used to create text versions of the speech or textual description of the audio (eg song title, metadata describing an explosion, etc.) or image/video/ 30 for creating metadata describing visual content. Techniques for processing audiovisual content are well known in the prior art and are not included in the present disclosure as they are obvious to any reader of ordinary skill in the relevant art.

Τα ανεπεξέργαστα, επεξεργασμένα και αναλυμένα δεδομένα αποθηκεύονται σε ουρές (queues) και βάσεις δεδομένων (όπως SQL, noSQL ή άλλες) ενώ σε εναλλακτικά παραδείγματα ενσωμάτωσης αποθηκεύονται σε αρχεία καταγραφής, δομές δεδομένων κ.λπ. Τα δεδομένα αποθηκεύονται σε αρχεία ASCII, XML, συμπιεσμένα, κρυπτογραφημένα ή σε άλλες αναπαραστάσεις και μορφές αρχείων.Raw, processed and analyzed data are stored in queues and databases (such as SQL, noSQL or others) while in alternative integration examples they are stored in log files, data structures, etc. Data is stored in ASCII, XML, compressed, encrypted or other file representations and formats.

Οι παραπάνω παραδειγματικές περιγραφές υλοποίησης είναι απλοποιημένες και δεν περιλαμβάνουν στοιχεία υλικού και λογισμικού που χρησιμοποιούνται στις υλοποιήσεις αλλά δεν αποτελούν μέρος της τρέχουσας καινοτόμου λύσης, δεν χρειάζονται για την κατανόηση των ενσωματώσεων και είναι προφανή σε οποιονδήποτε χρήστη συνηθισμένης δεξιότητας στη σχετική τέχνη. Επιπλέον, είναι δυνατές παραλλαγές της περιγραφόμενης τεχνικής, της αρχιτεκτονικής συστήματος και της αρχιτεκτονικής λογισμικού, όπου, για παράδειγμα, βήματα τεχνικής και στοιχεία υλικού και λογισμικού μπορούν να αναδιαταχθούν, να παραληφθούν ή να προστεθούν νέα.The above exemplary implementation descriptions are simplified and do not include hardware and software elements used in the implementations but which are not part of the current innovative solution, are not needed to understand the embodiments, and are obvious to any user of ordinary skill in the relevant art. In addition, variations of the described technique, system architecture, and software architecture are possible, where, for example, technique steps and hardware and software elements may be rearranged, omitted, or new ones added.

Διάφορες πραγματοποιήσεις της εφεύρεσης περιγράφονται παραπάνω στη Λεπτομερή Περιγραφή. Ενώ αυτές οι περιγραφές περιγράφουν άμεσα τις παραπάνω υλοποιήσεις, είναι κατανοητό ότι οι έμπειροι στην τέχνη μπορεί να συλλάβουν τροποποιήσεις και/ή παραλλαγές (όπως προσθήκη, διαγραφή ή αναδιάταξη σταδίων της διαδικασίας και ενότητες λογισμικού και υλικού, παραλλαγή του αριθμού και το μέγεθος των στρωμάτων ΝΝ, φίλτρων, κ.λπ.) στις συγκεκριμένες εφαρμογές που παρουσιάζονται και περιγράφονται εδώ. Οποιεσδήποτε τέτοιες τροποποιήσεις ή παραλλαγές που εμπίπτουν στο πεδίο εφαρμογής αυτής της περιγραφής προορίζονται επίσης να συμπεριληφθούν σε αυτήν. Εκτός εάν σημειώνεται συγκεκριμένα, πρόθεση του εφευρέτη είναι οι λέξεις και οι φράσεις στην προδιαγραφή και τις αξιώσεις να λάβουν τη συνηθισμένη σημασία σε εκείνους με συνήθη εμπειρία στην εφαρμοστέα τέχνη.Various embodiments of the invention are described above in the Detailed Description. While these descriptions directly describe the above embodiments, it is understood that those skilled in the art may perceive modifications and/or variations (such as adding, deleting or rearranging process steps and software and hardware modules, varying the number and size of NN layers , filters, etc.) in the specific applications presented and described here. Any such modifications or variations falling within the scope of this specification are also intended to be incorporated herein. Unless otherwise noted, it is the inventor's intention that the words and phrases in the specification and claims be given the ordinary meaning to those of ordinary skill in the applicable art.

Η προηγούμενη περιγραφή μιας προτιμώμενης υλοποίησης και του καλύτερου τρόπου της εφεύρεσης που είναι γνωστός στον αιτούντα αυτή τη στιγμή της κατάθεσης της αίτησης έχει παρουσιαστεί και προορίζεται για σκοπούς απεικόνισης και περιγραφής. Δεν προορίζεται να είναι εξαντλητικό ή να περιορίσει την εφεύρεση στην ακριβή μορφή που αποκαλύπτεται και πολλές τροποποιήσεις και παραλλαγές είναι δυνατές υπό το φως των παραπάνω διδασκαλιών. Η ενσωμάτωση επιλέχθηκε και περιεγράφηκε για να εξηγηθούν καλύτερα οι αρχές της εφεύρεσης και η πρακτική εφαρμογή της και να δοθεί η δυνατότητα σε άλλους έμπειρους στην τέχνη να χρησιμοποιήσουν καλύτερα την εφεύρεση σε διάφορες υλοποιήσεις και με διάφορες τροποποιήσεις που είναι κατάλληλες για τη συγκεκριμένη χρήση που εξετάζεται. Επομένως, επιδιώκεται η εφεύρεση να μην περιορίζεται στις συγκεκριμένες υλοποιήσεις που αποκαλύπτονται για την πραγματοποίηση αυτής της εφεύρεσης, αλλά ότι η εφεύρεση θα περιλαμβάνει όλες τις πραγματοποιήσεις που εμπίπτουν στο πλαίσιο των συνημμένων αξιώσεων.The foregoing description of a preferred embodiment and best mode of the invention known to the applicant at the time of filing has been presented and is for purposes of illustration and description. It is not intended to be exhaustive or to limit the invention to the precise form disclosed and many modifications and variations are possible in light of the above teachings. The embodiment has been selected and described to better explain the principles of the invention and its practical application and to enable others skilled in the art to make better use of the invention in various embodiments and with various modifications suitable for the particular use contemplated. Therefore, it is intended that the invention not be limited to the specific embodiments disclosed for carrying out this invention, but that the invention shall include all embodiments falling within the scope of the appended claims.

Οι έμπειροι στην τέχνη θα καταλάβουν ότι τα σήματα μπορούν να αναπαρασταθούν χρησιμοποιώντας οποιαδήποτε από μια ποικιλία διαφορετικών τεχνικών. Για παράδειγμα, δεδομένα, λογισμικό, οδηγίες, σήματα που μπορούν να αναφέρονται σε όλη την παραπάνω περιγραφή μπορεί να αντιπροσωπεύονται από τάσεις, ρεύματα, ηλεκτρομαγνητικά κύματα, μαγνητικά πεδία ή σωματίδια, φως ή οποιονδήποτε συνδυασμό αυτών.Those skilled in the art will understand that marks can be represented using any of a variety of different techniques. For example, data, software, instructions, signals that may be referred to throughout the above description may be represented by voltages, currents, electromagnetic waves, magnetic fields or particles, light, or any combination thereof.

Οι ειδικοί θα εκτιμούσαν περαιτέρω ότι τα διάφορα επεξηγηματικά μπλοκ κυκλωμάτων ραδιοσυχνότητας ή αναλογικών που περιγράφονται σε σχέση με την αποκάλυψη στο παρόν μπορούν να υλοποιηθούν σε μια ποικιλία διαφορετικών τοπολογιών κυκλωμάτων, σε ένα ή περισσότερα ολοκληρωμένα κυκλώματα, χωριστά ή σε συνδυασμό με λογικά κυκλώματα και συστήματα ενώ εκτελούν τις ίδιες λειτουργίες που περιγράφονται στην παρούσα αποκάλυψη.Those skilled in the art would further appreciate that the various illustrative RF or analog circuit blocks described in connection with the disclosure herein may be implemented in a variety of different circuit topologies, in one or more integrated circuits, separately or in combination with logic circuits and systems while perform the same functions described in this disclosure.

Οι ειδικοί θα εκτιμούσαν επίσης ότι τα διάφορα επεξηγηματικά λογικά μπλοκ, μονάδες, κυκλώματα και βήματα αλγορίθμου που περιγράφονται σε σχέση με την αποκάλυψη στο παρόν μπορούν να υλοποιηθούν ως ηλεκτρονικό υλικό, λογισμικό υπολογιστή ή συνδυασμοί και των δύο. Για να επεξηγηθεί με σαφήνεια αυτή η εναλλαξιμότητα υλικού και λογισμικού, διάφορα επεξηγηματικά στοιχεία, μπλοκ, μονάδες, κυκλώματα και βήματα έχουν περιγράφει παραπάνω γενικά ως προς τη λειτουργικότητά τους. Το εάν αυτή η λειτουργικότητα υλοποιείται ως υλικό ή λογισμικό εξαρτάται από τους συγκεκριμένους περιορισμούς εφαρμογής και σχεδιασμού που επιβάλλονται στο συνολικό σύστημα. Οι ειδικευμένοι τεχνίτες μπορούν να εφαρμόσουν την περιγραφόμενη λειτουργικότητα με διαφορετικούς τρόπους για κάθε συγκεκριμένη εφαρμογή, αλλά τέτοιες αποφάσεις εφαρμογής δεν θα πρέπει να ερμηνεύονται ότι προκαλούν απόκλιση από το πεδίο εφαρμογής της παρούσας γνωστοποίησης.Those skilled in the art would also appreciate that the various illustrative logic blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented as electronic hardware, computer software, or combinations of both. To clearly illustrate this hardware and software interchangeability, various illustrative elements, blocks, units, circuits and steps have been described above generally in terms of their functionality. Whether this functionality is implemented as hardware or software depends on the specific implementation and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in different ways for each particular application, but such implementation decisions should not be construed to cause a departure from the scope of this disclosure.

Τα διάφορα επεξηγηματικά λογικά μπλοκ, μονάδες και κυκλώματα που περιγράφονται σε σχέση με την αποκάλυψη στο παρόν μπορούν να υλοποιηθούν ή να εκτελεστούν με έναν επεξεργαστή γενικής χρήσης, έναν επεξεργαστή ψηφιακού σήματος (DSP), ένα ολοκληρωμένο κύκλωμα ειδικής εφαρμογής (ASIC), μία συστοιχία προγραμματιζόμενης πύλης πεδίου (FPGA) ή άλλη προγραμματιζόμενη λογική συσκευή, διακριτή λογική πύλη ή τρανζίστορ, διακριτά εξαρτήματα υλικού ή οποιοσδήποτε συνδυασμός τους που έχει σχεδιαστεί για να εκτελεί τις λειτουργίες που περιγράφονται εδώ. Ένας επεξεργαστής γενικής χρήσης μπορεί να είναι ένας μικροεπεξεργαστής, αλλά εναλλακτικά, ο επεξεργαστής μπορεί να είναι οποιοσδήποτε συμβατικός επεξεργαστής, ελεγκτής, μικροελεγκτής ή μηχάνημα κατάστασης. Ένας επεξεργαστής μπορεί επίσης να υλοποιηθεί ως συνδυασμός υπολογιστικών συσκευών, π.χ. ένας συνδυασμός ενός DSP και ενός μικροεπεξεργαστή, ενός πλήθους μικροεπεξεργαστών, ενός ή περισσότερων μικροεπεξεργαστών σε συνδυασμό με έναν πυρήνα DSP ή οποιαδήποτε άλλη τέτοια διαμόρφωση.The various illustrative logic blocks, modules, and circuits described in connection with the disclosure herein may be implemented or executed with a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a programmable logic array field gate array (FPGA) or other programmable logic device, discrete logic gate or transistor, discrete hardware components, or any combination thereof designed to perform the functions described herein. A general-purpose processor can be a microprocessor, but alternatively, the processor can be any conventional processor, controller, microcontroller, or state machine. A processor can also be implemented as a combination of computing devices, e.g. a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors combined with a DSP core, or any other such configuration.

Σε μία ή περισσότερες παραδειγματικές υλοποιήσεις, οι λειτουργίες που περιγράφονται μπορούν να υλοποιηθούν σε υλικό, λογισμικό, υλικολογισμικό (firmware) ή οποιονδήποτε συνδυασμό αυτών.In one or more exemplary embodiments, the functions described may be implemented in hardware, software, firmware, or any combination thereof.

Η προτιμητέες υλοποιήσεις είναι σε υλικό ή σε συνδυασμό υλικού με λογισμικό. Έτσι, όλες οι μονάδες που περιγράφονται και απεικονίζονται στα σχήματα αφορούν σε υλικό (π.χ. μικροεπεξεργαστές ή/και υπομονάδες αυτών οι οποίοι είτε εκτελούν λογισμικό ή firmware είτε χρησιμοποιούν αποκλειστικά ηλεκτρονικά ολοκληρωμένα κυκλώματα συγκεκριμένης εφαρμογής - Application Specific Integrated Circuit (ASIC)). Οι επιμέρους μονάδες και υπομονάδες αυτού του υλικού είναι αυτόνομα γνωστές από τη βιβλιογραφία και κάθε γνώστης της σχετικής τεχνικής γνωρίζει, π.χ. πώς να υλοποιήσει ένα μικροεπεξεργαστή ο οποίος είναι σχεδιασμένος ώστε να υλοποιεί την εύρεση γλωσσικών μοτίβων (250) κλπ. Είναι γνωστή από τη βιβλιογραφία πληθώρα διαφορετικών τεχνικών για π.χ. την εύρεση γλωσσικών μοτίβων και αντίστοιχων υλοποιήσεων σε υλικό ή συνδυασμό υλικού με λογισμικό. Παρότι λοιπόν, είναι γνωστό από τη βιβλιογραφία υλικό για καθεμία από τις μονάδες που περιγράφονται στην παρούσα περιγραφή και απεικονίζονται στα σχήματα, δεν είναι γνωστός ο συνδυασμός όλων αυτών των μονάδων υλικού και πιο συγκεκριμένα με τη συγκεκριμένη σειρά που περιεγράφηκε.The preferred implementations are in hardware or in a combination of hardware and software. Thus, all the units described and illustrated in the figures refer to hardware (e.g. microprocessors and/or sub-units thereof which either run software or firmware or use exclusively electronic integrated circuits of a specific application - Application Specific Integrated Circuit (ASIC)). The individual modules and sub-modules of this material are independently known from the literature and any person skilled in the relevant art knows, e.g. how to implement a microprocessor which is designed to implement linguistic pattern finding (250) etc. A multitude of different techniques are known from the literature for e.g. finding language patterns and corresponding implementations in hardware or a combination of hardware and software. Therefore, although material is known from the literature for each of the units described in the present description and illustrated in the figures, the combination of all these units of material and more specifically in the specific order described is not known.

Συνεπώς ο γνώστης της τεχνικής χρειάζεται απλά τη λίστα των μονάδων υλικού και τη σειρά σύνδεσής τους ώστε να μπορέσει να υλοποιήσει την παρούσα εφεύρεση και να παράξει το νέο και μη προφανές τεχνικό αποτέλεσμα της εφεύρεσης. Ο τρόπος υλοποίησης των επιμέρους μονάδων υλικού είναι ήδη γνωστός στο γνώστη της τεχνικής και μπορεί συνεπώς να επιλέξει για καθεμία μονάδα υλικού μία από τις γνωστές υλοποιήσεις, οι οποίες περιγράφονται στην βιβλιογραφία.Therefore, the person skilled in the art simply needs the list of hardware units and their connection order to be able to implement the present invention and produce the new and non-obvious technical result of the invention. The method of implementation of the individual hardware units is already known to the person skilled in the art and can therefore choose for each hardware unit one of the known implementations, which are described in the literature.

Έχοντας υλοποιήσει την εφεύρεση, ο γνώστης της τεχνικής, θα είναι πλέον σε θέση να χρησιμοποιήσει τα συναισθήματα που η εφεύρεση θα παρέχει στην έξοδο του συστήματος, με τρόπο ο οποίος είναι ήδη γνωστός από τη βιβλιογραφία. Δηλαδή χρήση συναισθήματος σε εξωτερικά συστήματα για σχεδίασμά και υλοποίηση καμπάνιας μάρκετινγκ ή/και χρήση σε εξωτερικά συστήματα για σχεδίασμά προϊόντων.Having implemented the invention, the person skilled in the art will now be able to use the emotions that the invention will provide at the output of the system, in a way that is already known from the literature. That is, use of sentiment in external systems for marketing campaign design and implementation and/or use in external systems for product design.

Ένα επίσης γνωστό από τη βιβλιογραφία (π.χ. Cambria Ε. et al. , 2017, “Affective Computing and Sentiment Analysis”, Socio-Affective Computing, SAC Vol.5, ISSN 2509-5714) παράδειγμα χρήσης συναισθήματος σε εξωτερικό σύστημα περιλαμβάνει π.χ. τον σχεδίασμά καμπάνιας μάρκετινγκ η οποία π.χ. προβάλει την αξιοπιστία ενός αυτοκινήτου έναντι της αισθητικής του καθώς τα εξαχθέντα συναισθήματα των πιθανών αγοραστών του είναι θετικά για την αξιοπιστία και αρνητικά για την αισθητική του συγκεκριμένου μοντέλου αυτοκινήτου. Για την ακρίβεια αυτή είναι ακριβώς η δραστηριότητα εταιρειών μάρκετινγκ, οι οποίες είναι γνωστό ότι χρησιμοποιούν εξειδικευμένα συστήματα, εργαλεία, και λογισμικό για την επίτευξη σχεδιασμού καμπανιών μάρκετινγκ με χρήση συναισθημάτων κοινού.An also known from the literature (e.g. Cambria E. et al., 2017, “Affective Computing and Sentiment Analysis”, Socio-Affective Computing, SAC Vol.5, ISSN 2509-5714) example of using emotion in an external system includes e.g. the design of a marketing campaign which e.g. projects the reliability of a car against its aesthetics as the extracted feelings of its potential buyers are positive for the reliability and negative for the aesthetics of the specific car model. In fact, this is precisely the activity of marketing companies, which are known to use specialized systems, tools, and software to achieve marketing campaign planning using audience sentiment.

Επίσης γνωστή από τη βιβλιογραφία (π.χ. Ireland R., Lu A., 2018, “Application of data analytics for product design: Sentiment analysis of online product reviews”, CIRP Journal of Manufacturing Science and Technology Vol. 23 (November Issue), pp. 128-144) είναι η χρήση των ίδιων εξαχθέντων συναισθημάτων σε εξωτερικό σύστημα σχεδιασμού του ίδιου π.χ. αυτοκινήτου με το πιο πάνω παράδειγμα, ώστε η νέα σχεδίαση να περιλαμβάνει διαφορετική αισθητική η οποία αντιστοιχεί σε θετικότερα συναισθήματα, κλπ. Αυτός ακριβώς είναι ο τρόπος που εδώ και πλέον του ενός αιώνα οι αυτοκινητοβιομηχανίες σχεδιάζουν οχήματα, δηλαδή να προσαρμόζουν την σχεδίαση των οχημάτων τους βασισμένες στα συναισθήματα των πιθανών αγοραστών τους ώστε να αυξήσουν τις πωλήσεις των οχημάτων τους. Είναι γνωστό ότι όλες αυτές οι λειτουργίες γίνονται με εξειδικευμένα υπολογιστικά συστήματα.Also known from the literature (e.g. Ireland R., Lu A., 2018, “Application of data analytics for product design: Sentiment analysis of online product reviews”, CIRP Journal of Manufacturing Science and Technology Vol. 23 (November Issue ), pp. 128-144) is the use of the same extracted emotions in an external design system of the same e.g. car with the above example, so that the new design includes a different aesthetic that corresponds to more positive feelings, etc. This is exactly the way that for more than a century car manufacturers have been designing vehicles, i.e. adapting the design of their vehicles based on on the emotions of their potential buyers in order to increase the sales of their vehicles. It is known that all these operations are done with specialized computer systems.

Τα πιο πάνω παραδείγματα από τη βιβλιογραφία, περιγράφουν ταυτόχρονα και παραδείγματα χρήσης της παρούσας εφεύρεσης - συστήματος. Δεν περιορίζουν την εφεύρεση απλά παρατίθενται για την πληρέστερη κατανόησή της.The above examples from the literature describe at the same time examples of use of the present invention - system. They do not limit the invention but are merely set forth for its fuller understanding.

Εναλλακτικά, αν οι μονάδες υλοποιούνταν σε λογισμικό, οι λειτουργίες θα μπορούσαν να αποθηκευτούν ή να μεταδοθούν ως μία ή περισσότερες οδηγίες ή κώδικας σε ένα αναγνώσιμο μέσο από υπολογιστή. Τα αναγνώσιμα από υπολογιστή μέσα περιλαμβάνουν τόσο μέσα αποθήκευσης υπολογιστή όσο και μέσα επικοινωνίας, συμπεριλαμβανομένων οποιουδήποτε μέσου που διευκολύνει τη μεταφορά ενός προγράμματος υπολογιστή από το ένα μέρος στο άλλο. Ένα μέσο αποθήκευσης μπορεί να είναι οποιοδήποτε διαθέσιμο μέσο στο οποίο μπορεί να προσπελαστεί ένας υπολογιστής. Ως παράδειγμα, και όχι περιοριστικά, αυτά τα αναγνώσιμα από υπολογιστή μέσα μπορούν να περιλαμβάνουν RAM, ROM, EEPROM, CD-ROM ή άλλο χώρο αποθήκευσης οπτικού δίσκου, αποθήκευση μαγνητικού δίσκου ή άλλες μαγνητικές συσκευές αποθήκευσης ή οποιοδήποτε άλλο μέσο που μπορεί να χρησιμοποιηθεί για τη μεταφορά ή αποθήκευση του επιθυμητού κώδικα προγράμματος με τη μορφή οδηγιών ή δομών δεδομένων και στον οποίο μπορείτε να έχετε πρόσβαση από υπολογιστή ή οποιαδήποτε άλλη συσκευή ή συσκευή που λειτουργεί ως υπολογιστής. Επίσης, οποιαδήποτε σύνδεση ονομάζεται σωστά μέσο αναγνώσιμο από υπολογιστή. Για παράδειγμα, εάν το λογισμικό μεταδίδεται από ιστότοπο, διακομιστή ή άλλη απομακρυσμένη πηγή χρησιμοποιώντας ομοαξονικό καλώδιο, καλώδιο οπτικών ινών, συνεστραμμένο ζεύγος, ψηφιακή γραμμή συνδρομητών (DSL) ή ασύρματες τεχνολογίες όπως υπέρυθρες, ραδιόφωνο και μικροκύματα, τότε το ομοαξονικό καλώδιο, το καλώδιο οπτικών ινών, το συνεστραμμένο ζεύγος, το DSL ή οι ασύρματες τεχνολογίες όπως οι υπέρυθρες, το ραδιόφωνο και ο φούρνος μικροκυμάτων περιλαμβάνονται στον ορισμό του μέσου. Ο δίσκος και ο δίσκος, όπως χρησιμοποιείται εδώ, περιλαμβάνει συμπαγή δίσκο (CD), δίσκο λέιζερ, οπτικό δίσκο, ψηφιακό ευέλικτο δίσκο (DVD), δισκέτα και δίσκο blu-ray όπου οι δίσκοι συνήθως αναπαράγουν δεδομένα μαγνητικά, ενώ οι δίσκοι αναπαράγουν δεδομένα οπτικά με λέιζερ. Οι συνδυασμοί των παραπάνω θα πρέπει επίσης να περιλαμβάνονται στο πεδίο των αναγνώσιμων μέσων από υπολογιστή.Alternatively, if the modules were implemented in software, the functions could be stored or transmitted as one or more instructions or code on a computer-readable medium. Computer-readable media includes both computer storage media and communication media, including any media that facilitates the transfer of a computer program from one place to another. A storage medium can be any available medium that can be accessed by a computer. By way of example, and not limitation, such computer-readable media may include RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or any other medium that can be used to transferring or storing the desired program code in the form of instructions or data structures and which can be accessed by a computer or any other device or device acting as a computer. Also, any connection is properly called computer-readable media. For example, if the software is transmitted from a website, server, or other remote source using coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or wireless technologies such as infrared, radio, and microwave, then the coaxial cable, fiber optic cable fiber, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwave are included in the definition of medium. Disc and disc as used herein includes compact disc (CD), laser disc, optical disc, digital flexible disc (DVD), floppy disk, and blu-ray disc where discs typically reproduce data magnetically, while discs reproduce data optically with a laser. Combinations of the above should also be included in the field of computer readable media.

Ένα παράδειγμα μέσου αποθήκευσης συνδέεται με τον επεξεργαστή έτσι ώστε ο επεξεργαστής να μπορεί να διαβάζει πληροφορίες από και να γράφει πληροφορίες στο μέσο αποθήκευσης. Εναλλακτικά, το μέσο αποθήκευσης μπορεί να είναι ενσωματωμένο στον επεξεργαστή. Ο επεξεργαστής και το μέσο αποθήκευσης ενδέχεται να βρίσκονται σε ένα ASIC. To ASIC μπορεί να βρίσκεται σε τερματικό χρήστη. Εναλλακτικά, ο επεξεργαστής και το μέσο αποθήκευσης μπορεί να βρίσκονται ως διακριτά στοιχεία σε ένα τερματικό χρήστη.An example storage medium is connected to the processor so that the processor can read information from and write information to the storage medium. Alternatively, the storage medium may be integrated into the processor. The processor and storage medium may reside in an ASIC. The ASIC may reside in a user terminal. Alternatively, the processor and storage medium may reside as separate components in a user terminal.

Η προηγούμενη περιγραφή των αποκαλυπτόμενων παραδειγματικών εφαρμογών παρέχεται για να επιτρέψει σε οποιοδήποτε άτομο έμπειρο στην τέχνη να κατασκευάσει ή να χρησιμοποιήσει την παρούσα εφεύρεση. Διάφορες τροποποιήσεις σε αυτά τα παραδείγματα υλοποίησης θα είναι εύκολα προφανείς στους έμπειρους της τέχνης και οι γενικές αρχές που ορίζονται εδώ μπορούν να εφαρμοστούν σε άλλες υλοποιήσεις χωρίς να απομακρυνόμαστε από το πνεύμα ή το πλαίσιο της εφεύρεσης. Έτσι, η παρούσα εφεύρεση δεν προορίζεται να περιοριστεί στις υλοποιήσεις που φαίνονται εδώ, αλλά πρέπει να της αποδοθεί το ευρύτερο πεδίο σύμφωνο με τις αρχές και τα νέα χαρακτηριστικά που αποκαλύπτονται εδώ.The foregoing description of the disclosed exemplary embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these exemplary embodiments will be readily apparent to those skilled in the art, and the general principles set forth herein may be applied to other embodiments without departing from the spirit or scope of the invention. Thus, the present invention is not intended to be limited to the embodiments shown herein, but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

Claims (15)

Translated fromGreek

ΑΞΙΩΣΕΙΣ1. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού για χρήση σε καμπάνιες μάρκετινγκ και σχεδίασμά νέων προϊόντων, όπου το σύστημα περιλαμβάνει:1. A system (100) for improving accuracy and speed of a web content sentiment extraction system for use in marketing campaigns and new product design, wherein the system comprises:έναν αγωγό επεξεργασίας δεδομένων (130) ο οποίος είναι διαμορφωμένος για επεξεργασία ενός συνόλου σχολιασμένων στοιχείων δεδομένων;a data processing pipeline (130) configured to process a set of annotated data elements;μια μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) συνδεδεμένη με τον αγωγό επεξεργασίας δεδομένων (130) και διαμορφωμένη για εύρεση ενός καθολικού ελάχιστου για μια πλειάδα υπερπαραμέτρων μιας συνάρτησης κόστους;a Bayesian hyperparameter optimizer (140) coupled to the data processing pipeline (130) and configured to find a global minimum for a set of hyperparameters of a cost function;ένα νευρωνικό δίκτυο (ΝΝ) συνδεδεμένο στη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) και στον αγωγό επεξεργασίας δεδομένων (130) και διαμορφωμένο για βελτίωση πληροφοριών στοιχείων δεδομένων στο σύνολο στοιχείων σχολιασμένων δεδομένων για εξαγωγή συναισθήματος, χρησιμοποιώντας μια έξοδο της επεξεργασίας δεδομένων αγωγού (130) και της μονάδας βελτιστοποίησης υπερπαραμέτρων Bayes (140);a neural network (NN) coupled to the Bayesian hyperparameter optimizer (140) and the data processing pipeline (130) and configured to enhance data item information in the annotated data item set for sentiment extraction using an output of the data processing pipeline (130) and of the Bayes hyperparameter optimization module (140);το οποίο χαρακτηρίζεται από το ότι:which is characterized by:ο αγωγός επεξεργασίας δεδομένων (130) περιλαμβάνει (α) μια μονάδα αποδιπλότυπου (133) διαμορφωμένη για την αφαίρεση διπλότυπων στοιχείων από το σύνολο σχολιασμένων στοιχείων δεδομένων, μέσω της διαγραφής δημοσιεύσεων ίδιου περιεχομένου σε περισσότερες από μία πηγές, για παραγωγή ενός συνόλου μη-διπλότυπων στοιχείων δεδομένων, (β) μια επεξηγηματική ενότητα ανάλυσης δεδομένων (136) διαμορφωμένη για στατιστική ανάλυση συνόλου μη-διπλότυπων στοιχείων δεδομένων και διαχωρισμό μη διπλότυπων στοιχείων στο σύνολο στοιχείων δεδομένων σε διαχωρισμένα στοιχεία σε ένα σύνολο δεδομένων εκπαίδευσης, ένα σύνολο δεδομένων επικύρωσης και ένα σύνολο δεδομένων δοκιμής και (γ) μια ενότητα επαύξησης δεδομένων (139) διαμορφωμένη για, εάν η στατιστική ανάλυση δείχνει ανισορροπία δεδομένων προς μια κατηγορία δεδομένων, να βρίσκει κορυφαία N-gram σε ένα σύνολο εκπαίδευσης και εάν N-gram μιας μειοψηφίας συνυπάρχουν σε μια πλειοψηφική τάξη, να λαμβάνει δεδομένα από την πλειοψηφική τάξη και να τα σχολιάζει ως μειοψηφία για δημιουργία δεδομένων επαυξημένης εκπαίδευσης; και το ΝΝ περιλαμβάνει (δ) ένα στρώμα ενσωμάτωσης λέξεων (151) διαμορφωμένο για λήψη ενός συνόλου ενσωματώσεων λέξεων, δεδομένων επικύρωσης, δεδομένων δοκιμής και επαυξημένης εκπαίδευσης από τον αγωγό επεξεργασίας δεδομένων (130) και για τη δημιουργία διανυσμάτων ενσωμάτωσης λέξεων που περιέχουν αριθμούς οι οποίοι υπολογίζεται από έναν τύπο ομοιότητας συνημίτονου που εφαρμόζεται σε αυτά, (ε) ένα στρώμα θορύβου Gaussian (152) συνδεδεμένο με το στρώμα ενσωματώσεων λέξης (151) και διαμορφωμένο για να προσθέτει θορύβο Gaussian (μ=0,σ=1) στα διανύσματα ενσωμάτωσης λέξεων και να παρέχει σε έξοδό του θορυβώδη στοιχεία δεδομένων, (στ) ένα 1ο επίπεδο εγκατάλειψης (153) συνδεδεμένο με το επίπεδο θορύβου Gaussian (152) και διαμορφωμένο για τυχαία ρύθμιση θορυβωδών στοιχείων δεδομένων σε Ο με μια συχνότητα που ορίζεται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά διάρκεια χρόνου εκπαίδευσης, (ζ) ένα 1ο επίπεδο BiLSTM (154) συνδεδεμένο με το 1ο επίπεδο εγκατάλειψης (153) και διαμορφωμένο για παροχή σε έξοδό του πρώτων συνδυασμένων χαρακτηριστικών τελευταίας κρυφής κατάστασης του 1ου επιπέδου BiLSTM (154) για όλα τα στοιχεία δεδομένων σε είσοδό του ως πραγματικούς αριθμούς, (η) ένα 2ο στρώμα εγκατάλειψης (155) συνδεδεμένο στο 1ο επίπεδο BiLSTM (154) και διαμορφωμένο για τυχαία ρύθμιση στοιχείων δεδομένων στο 0 με μια συχνότητα που έχει οριστεί από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά τη διάρκεια του χρόνου εκπαίδευσης, (θ) ένα 2ο επίπεδο BiLSTM (156) συνδεδεμένο με το 2ο dropout στρώμα (155) και διαμορφωμένο για να παρέχει σε έξοδό του δεύτερα συνδυασμένα χαρακτηριστικά τελευταίας κρυφής κατάστασης του 2ου επιπέδου BiLSTM (156) για όλα τα στοιχεία δεδομένων σε είσοδό του ως πραγματικούς αριθμούς, (ι) ένα 3ο επίπεδο εγκατάλειψης (157) συνδεδεμένο με το 2ο επίπεδο BiLSTM (156) και διαμορφωμένο για τυχαία ρύθμιση στοιχείων δεδομένων στο Ο με μια συχνότητα που έχει οριστεί από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά τη διάρκεια του χρόνου εκπαίδευσης, (κ) ένα συνελικτικό στρώμα (158) συνδεδεμένο με το 3ο επίπεδο εγκατάλειψης (157) και διαμορφωμένο για συνέλιξη μίας εξόδου του 3ου στρώματος εγκατάλειψης (157) με ένα φίλτρο και ένα 1D συνελικτικό παράθυρο με kernel_size για εύρεση αριθμητικών μοτίβων σε γλωσσικές ομάδες ανά kernel_size, (λ) ένα μέγιστο επίπεδο συγκέντρωσης (159) συνδεδεμένο με το συνελικτικό επίπεδο (158) και διαμορφωμένο για μείωση δειγματοληψίας μιας εξόδου του συνελικτικού στρώματος (158), (μ) ένα επίπεδο προσοχής (160) συνδεδεμένο με το μέγιστο επίπεδο συγκέντρωσης (159) και διαμορφωμένο για εύρεση πλαισίου για ανακάλυψη πότε είναι σχετική μια ακολουθία διακριτικών και για υπολογισμό αποτελέσματος μιας συνάρτησης ενεργοποίησης tanh σε βάρη προσοχής, όπου τα βάρη προσοχής υπολογίζονται ως γινόμενο dot συνάρτησης softmax βαθμολογιών με μια κρυφή κατάσταση πηγής, (ν) ένα 1ο κρυφό πυκνό στρώμα (161) συνδεδεμένο με το επίπεδο προσοχής (160) και διαμορφωμένο για εύρεση χαρακτηριστικών από μοτίβα δεδομένων και λέξεις που φέρουν συναίσθημα, (ξ ) ένα 2ο κρυφό πυκνό στρώμα (162) συνδεδεμένο με το 1ο κρυφό πυκνό στρώμα (161) και διαμορφωμένο για λήψη ενός διανύσματος emoji για εύρεση χαρακτηριστικών από μοτίβα δεδομένων συνδυάζοντας σε κόμβους μια πληθώρα σημασιών λέξεων και τιμών emoji στο διάνυσμα emoji, και (ο) ένα πυκνό στρώμα ταξινόμησης (163) συνδεδεμένο με το 2ο κρυφό πυκνό στρώμα (162) και διαμορφωμένο για υπολογισμό πιθανοτήτων ανά κατηγορία στοιχείων δεδομένων και για παροχή σε έξοδο του υψηλότερης πιθανότητας μιας άλλης συνάρτησης ενεργοποίησης ανά κατηγορία στοιχείου δεδομένων ως συναίσθημα ενός στοιχείου δεδομένων στην κατηγορία του στοιχείου δεδομένων.the data processing pipeline (130) includes (a) a deduplication unit (133) configured to remove duplicate elements from the set of annotated data elements, by deleting publications of the same content in more than one source, to produce a set of non-duplicate elements; data, (b) an explanatory data analysis module (136) configured to statistically analyze a set of non-duplicate data items and split non-duplicate items in the data item set into separated items in a training data set, a validation data set, and a test data set and (c) a data augmentation module (139) configured to, if the statistical analysis indicates data imbalance toward a data class, find top N-grams in a training set, and if a minority N-grams co-occur in a majority class, to take data from the majority class and annotate it as a minority to generate augmented training data? and the NN includes (d) a word embedding layer (151) configured to receive a set of word embeddings, validation data, test data, and augmented training data from the data processing pipeline (130) and to generate word embedding vectors containing numbers that computed from a cosine similarity formula applied to them, (e) a Gaussian noise layer (152) connected to the word embeddings layer (151) and configured to add Gaussian noise (μ=0,σ=1) to the word embedding vectors and outputting noisy data elements, (f) a 1st dropout layer (153) coupled to the Gaussian noise level (152) and configured to randomize noisy data elements to O with a frequency defined by the Bayesian hyperparameter optimizer (140) during training time, (g) a 1st layer BiLSTM (154) connected to the 1st dropout layer (153) and configured to output the first combined last hidden state features of the 1st layer BiLSTM (154) for all input data items as real numbers, (h) a 2nd dropout layer (155) connected to the 1st BiLSTM layer (154) and configured to randomly set data items to 0 with a frequency set by the Bayesian hyperparameter optimizer (140 ) during the training time, (i) a 2nd layer BiLSTM (156) connected to the 2nd dropout layer (155) and configured to output second combined last hidden state features of the 2nd layer BiLSTM (156) for all its input data elements as real numbers, (j) a 3rd dropout layer (157) connected to the 2nd BiLSTM layer (156) and configured to randomize data elements to O with a frequency set by the Bayesian hyperparameter optimizer (140) during the training time, (k) a convolutional layer (158) connected to the 3rd dropout layer (157) and configured to convolution an output of the 3rd dropout layer (157) with a filter and a 1D convolutional window with kernel_size to find numerical patterns in language groups per kernel_size, (λ) a maximum concentration level (159) connected to the convolutional layer (158) and configured to downsample an output of the convolutional layer (158), (m) an attention level ( 160) connected to the maximum concentration level (159) and configured to find a frame to discover when a sequence of tokens is relevant and to compute a result of a tanh activation function on attention weights, where the attention weights are computed as the dot product of a softmax function of scores with a hidden source state, (ν) a 1st hidden dense layer (161) connected to the attention layer (160) and configured to find features from data patterns and sentiment words, (ξ ) a 2nd hidden dense layer (162) connected to 1st hidden dense layer (161) and configured to receive an emoji vector to find features from data patterns by combining into nodes a plurality of word meanings and emoji values in the emoji vector, and (o) a dense classification layer (163) connected to the 2nd hidden dense layer (162) and configured to calculate probabilities per data item category and to output the highest probability of another activation function per data item category as a sentiment of a data item in the data item category.2. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με την αξίωση 1, όπου η μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) χρησιμοποιεί τουλάχιστον ένα από λέξεις εγκατάλειψης, RNN εγκατάλειψης, πυκνή εγκατάλειψη, προσοχή, l2_regularization, loss_l2 και ρυθμό εκμάθησης.2. A system (100) for improving accuracy and speed of a web content sentiment extraction system according to claim 1, wherein the Bayesian hyperparameter optimizer (140) uses at least one of dropout, dropout RNN, dense dropout, attention, l2_regularization, loss_l2 and learning rate.3. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις προηγούμενες αξιώσεις, όπου το φίλτρο του συνελικτικού στρώματος (158) έχει μήκος 64 και το kernel_size είναι 5.3. A system (100) for improving accuracy and speed of a web content sentiment extraction system according to any of the preceding claims, wherein the convolutional layer filter (158) has a length of 64 and the kernel_size is 5.4. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις προηγούμενες αξιώσεις, όπου η συνάρτηση ενεργοποίησης του πυκνού στρώματος ταξινόμησης (163) είναι sotfmax, και οι κατηγορίες των στοιχείων δεδομένων είναι αρνητικές, ουδέτερες και θετικές.A system (100) for improving accuracy and speed of a sentiment extraction system from web content according to any one of the preceding claims, wherein the activation function of the dense classification layer (163) is sotfmax, and the categories of the data items are negative, neutral and positive.5. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις προηγούμενες αξιώσεις, όπου το 1ο κρυφό πυκνό στρώμα (161) έχει 1024 νευρώνες.A system (100) for improving accuracy and speed of a web content sentiment extraction system according to any one of the preceding claims, wherein the 1st hidden dense layer (161) has 1024 neurons.6. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις προηγούμενες αξιώσεις, όπου το 2ο κρυφό πυκνό στρώμα (162) έχει 128 νευρώνες.A system (100) for improving the accuracy and speed of a web content sentiment extraction system according to any one of the preceding claims, wherein the 2nd hidden dense layer (162) has 128 neurons.7. Σύστημα (100) για βελτίωση ακρίβειας και ταχύτητας συστήματος εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις προηγούμενες αξιώσεις, όπου τα μη διπλότυπα στοιχεία δεδομένων διαχωρίζονται κατά 80%, 10%, 10% σε σετ εκπαίδευσης, σετ επικύρωσης και σετ δοκιμής, αντίστοιχα.A system (100) for improving the accuracy and speed of a web content sentiment extraction system according to any of the preceding claims, wherein the non-duplicated data items are split 80%, 10%, 10% into a training set, a validation set and a test set , respectively.8. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού για χρήση σε καμπάνιες μάρκετινγκ και σχεδίασμά νέων προϊόντων, όπου η μέθοδος περιλαμβάνει τα ακόλουθα βήματα:8. A method (200) for improving the accuracy and speed of a method for extracting sentiment from web content for use in marketing campaigns and new product design, wherein the method comprises the following steps:λήψη σχολιασμένων στοιχείων δεδομένων (210) από βάση δεδομένων (110) η οποία αποθηκεύει δεδομένα ανιχνευμένα στον ιστό; καιreceiving annotated data items (210) from a database (110) which stores web crawled data; andεπεξεργασία των σχολιασμένων στοιχείων δεδομένων (210) με ένα σύστημα (100) σύμφωνα με οποιαδήποτε από τις αξιώσεις 1 έως 7;processing the annotated data items (210) with a system (100) according to any one of claims 1 to 7;η οποία χαρακτηρίζεται από το ότι η μέθοδος (200) περιλαμβάνει επίσης τα ακόλουθα βήματα:characterized in that the method (200) also includes the following steps:επεξεργασία (212) των σχολιασμένων στοιχείων δεδομένων με μια μονάδα αποδιπλότυπου (133) για αφαίρεση διπλότυπων στοιχείων δεδομένων, μέσω της διαγραφής δημοσιεύσεων ίδιου περιεχομένου σε περισσότερες από μία πηγές, και για παραγωγή συνόλου μη-διπλότυπων στοιχείων δεδομένων;processing (212) the annotated data items with a deduplication unit (133) to remove duplicate data items, by deleting publications of the same content in more than one source, and to produce a set of non-duplicate data items;στατιστική ανάλυση (214) του συνόλου μη-διπλότυπων στοιχείων δεδομένων για διαχωρισμό μη-διπλότυπων στοιχείων δεδομένων στο σύνολο μη-διπλότυπων στοιχείων δεδομένων σε διαχωρισμένα στοιχεία σε ένα σύνολο δεδομένων εκπαίδευσης, ένα σύνολο δεδομένων επικύρωσης και ένα σύνολο δεδομένων δοκιμής, και εάν η στατιστική ανάλυση δείξει ανισορροπία δεδομένων προς μια κατηγορία δεδομένων, εύρεση κορυφαίων N-grams σε ένα σετ εκπαίδευσης και εάν τα N-grams μιας μειοψηφίας συνυπάρχουν σε μια πλειοψηφική τάξη, λήψη δεδομένων από την πλειοψηφική τάξη και σημείωσή τους ως μειοψηφική τάξη για δημιουργία επαυξημένων δεδομένων εκπαίδευσης;statistical analysis (214) of the set of non-duplicate data items to separate non-duplicate data items in the set of non-duplicate data items into separated items in a training data set, a validation data set, and a test data set, and if the statistical analysis show data imbalance towards a data class, find top N-grams in a training set and if a minority N-grams co-occur in a majority class, get data from the majority class and mark it as a minority class to create augmented training data?λήψη ενός συνόλου ενσωματώσεων λέξεων, δεδομένων επικύρωσης, δεδομένων δοκιμής και επαυξημένης εκπαίδευσης και δημιουργία διανυσμάτων ενσωμάτωσης λέξεων τα οποία περιέχουν αριθμούς που υπολογίζονται με έναν τύπο ομοιότητας συνημιτόνου ο οποίος εφαρμόζεται σε αυτά;taking a set of word embeddings, validation data, test and augmented training data and creating word embedding vectors that contain numbers calculated with a cosine similarity formula applied to them?προσθήκη θορύβου Gaussian (μ=0,σ=1) στα διανύσματα ενσωμάτωσης λέξης και παροχή σε έξοδο θορυβωδών στοιχείων δεδομένων;add Gaussian noise (μ=0,σ=1) to the word embedding vectors and output noisy data elements?τυχαία ρύθμιση θορυβωδών στοιχείων δεδομένων σε 0 με μια συχνότητα που ορίζεται από μια μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά τη διάρκεια χρόνου εκπαίδευσης;random setting of noisy data elements to 0 with a frequency defined by a Bayes hyperparameter optimization unit (140) during training time?εξαγωγή πρώτων συνδυασμένων χαρακτηριστικών τελευταίας κρυφής κατάστασης 1ου επιπέδου BiLSTM (154) για όλα τα στοιχεία δεδομένων σε είσοδό του ως πραγματικούς αριθμούς;extract BiLSTM level 1 last hidden state first combined features (154) for all input data items as real numbers?τυχαία ρύθμιση των στοιχείων δεδομένων στο 0 με μια συχνότητα που ορίζεται από τη μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά τη διάρκεια του χρόνου εκπαίδευσης;randomize the data items to 0 with a frequency defined by the Bayes hyperparameter optimizer (140) during the training time?εξαγωγή δεύτερων συνδυασμένων χαρακτηριστικών τελευταίας κρυφής κατάστασης ενός 2ου επιπέδου BiLSTM (156) για όλα τα στοιχεία δεδομένων σε είσοδό του ως πραγματικούς αριθμούς;extract second last hidden state combined features of a 2nd layer BiLSTM (156) for all data items in its input as real numbers?τυχαία ρύθμιση στοιχείων δεδομένων στο 0 με μια συχνότητα που ορίζεται από μια μονάδα βελτιστοποίησης υπερπαραμέτρων Bayes (140) κατά τη διάρκεια χρόνου εκπαίδευσης για παραγωγή ενός συνόλου επεξεργασμένων δεδομένων;randomizing data elements to 0 with a frequency defined by a Bayesian hyperparameter optimizer (140) during training time to produce a processed data set;συνέλιξη του συνόλου επεξεργασμένων δεδομένων με ένα φίλτρο και με ένα 1D συνελικτικό παράθυρο με kernel_size για εύρεση αριθμητικών μοτίβων σε γλωσσικές ομάδες ανά kernel_size;convolution of the processed data set with a filter and with a 1D convolutional window with kernel_size to find numerical patterns in language groups by kernel_size?μείωση δειγματοληψίας των αριθμητικών μοτίβων;downsampling of numerical patterns?εύρεση πλαισίου για ανακάλυψη πότε είναι σχετική μια ακολουθία διακριτικών και υπολογισμός του αποτελέσματος μιας συνάρτησης ενεργοποίησης tanh σε βάρη προσοχής, όπου τα βάρη προσοχής υπολογίζονται ως γινόμενο dot της συνάρτησης softmax βαθμολογιών με μια κρυφή κατάσταση πηγής;finding a framework for discovering when a sequence of tokens is relevant and computing the result of a tanh activation function on attention weights, where the attention weights are computed as the dot product of the softmax function of scores with a hidden source state?εύρεση χαρακτηριστικών από μοτίβα δεδομένων και λέξεις που φέρουν συναίσθημα;finding features from data patterns and emotion words?λήψη ενός διανύσματος emoji για εύρεση χαρακτηριστικών από μοτίβα δεδομένων συνδυάζοντας σε κόμβους μια πληθώρα σημασιών λέξεων και τιμών emoji στο διάνυσμα emoji; καιget an emoji vector to find features from data patterns by combining into nodes a plurality of word meanings and emoji values in the emoji vector? andυπολογισμός πιθανοτήτων ανά κατηγορία στοιχείων δεδομένων και παροχή σε έξοδο υψηλότερης πιθανότητας άλλης συνάρτησης ενεργοποίησης ανά κατηγορία στοιχείων δεδομένων ως συναίσθημα ενός στοιχείου δεδομένων στην κατηγορία στοιχείων δεδομένων.calculating probabilities per class of data items and outputting a higher probability of another activation function per class of data items as a sentiment of a data item in the class of data items.9. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με την αξίωση 8, όπου τιμές υπερπαραμέτρων επιλέγονται από ένα σύνολο υπερπαραμέτρων Bayes το οποίο περιέχει λέξεις εγκατάλειψης, RNN εγκατάλειψης, πυκνή εγκατάλειψη, προσοχή εγκατάλειψης, 12_κανονικοποίηση, απώλεια_12 και ρυθμό μάθησης.9. A method (200) for improving accuracy and speed of a web content sentiment extraction method according to claim 8, wherein hyperparameter values are selected from a Bayesian hyperparameter set containing dropout words, dropout RNN, dense dropout, dropout attention, 12_normalization, loss_12 and learning rate.10. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-9, όπου το φίλτρο έχει μήκος 64 και το kernel_size είναι 5.10. A method (200) for improving the accuracy and speed of a method for extracting sentiment from web content according to any one of claims 8-9, wherein the filter has a length of 64 and the kernel_size is 5.11. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-10, όπου η συνάρτηση ενεργοποίησης του πυκνού στρώματος ταξινόμησης (163) είναι sotfmax, και οι κατηγορίες των στοιχείων δεδομένων είναι αρνητικές, ουδέτερες και θετικές.11. A method (200) for improving the accuracy and speed of a web content sentiment extraction method according to any one of claims 8-10, wherein the activation function of the dense classification layer (163) is sotfmax, and the categories of the data items are negative, neutral and positive.12. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-11 , όπου το βήμα μείωσης δειγματοληψίας (252) περιλαμβάνει χρήση ενός παραθύρου συγκέντρωσης μήκους 5.A method (200) for improving the accuracy and speed of a web content sentiment extraction method according to any one of claims 8-11, wherein the downsampling step (252) comprises using a concentration window of length 5.13. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-12, όπου η ανισορροπία δεδομένων βασίζεται σε κριτήριο ανισορροπίας το οποίο είναι ένα όριο που χρησιμοποιείται για διαχωρισμό κατανομών στοιχείων δεδομένων σε σύνολα.13. A method (200) for improving accuracy and speed of a web content sentiment extraction method according to any of claims 8-12, wherein the data imbalance is based on an imbalance criterion which is a threshold used to separate distributions of data items into sets.14. Μέθοδος (200) για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-13, όπου τα μη-διπλότυπα στοιχεία διαχωρίζονται κατά 80%, 10%, 10% σε σετ εκπαίδευσης, σετ επικύρωσης και σετ δοκιμής, αντίστοιχα..14. A method (200) for improving accuracy and speed of a web content sentiment extraction method according to any one of claims 8-13, wherein the non-duplicate items are split 80%, 10%, 10% into a training set, a validation set and test set, respectively..15. Ένα μη μεταβατικό προϊόν προγράμματος υπολογιστή για βελτίωση ακρίβειας και ταχύτητας μεθόδου εξαγωγής συναισθήματος από περιεχόμενο ιστού, το οποίο περιλαμβάνει οδηγίες διαμορφωμένες ώστε να προκαλούν ένα σύστημα σύμφωνα με οποιαδήποτε από τις αξιώσεις 1-7 να εφαρμόσει μια μέθοδο σύμφωνα με οποιαδήποτε από τις αξιώσεις 8-14.15. A non-transitive computer program product for improving accuracy and speed of a method for extracting sentiment from web content, comprising instructions configured to cause a system according to any one of claims 1-7 to implement a method according to any one of claims 8 -14.