DE102023107661A1 - Methods for vocal tract formation for improved learning of a foreign language - Google Patents

Abstract

Translated fromGerman

Die Erfindung betrifft ein Verfahren zur Vokaltraktformung zum verbesserten Erlernen einer Fremdsprache. Dies wird erreicht durch ein Verfahren zum Erlernen einer Fremdsprache, wobei eine lernende Person einer lehrenden Person, deren Muttersprache die zu erlernende Fremdsprache ist, beim Sprechen eines Textes in der Muttersprache der lernenden Person zuhört und anschließend den Text nachspricht, wobei die lernende Person versucht den Akzent der lehrenden Person zu imitieren. Die Erfindung betrifft ein Computerprogrammprodukt zur Ausführung dieses Verfahrens. Ebenso wird ein Rechner, insbesondere Smartphone, zur Ausführung des Verfahrens beansprucht.The invention relates to a method for vocal tract formation for improved learning of a foreign language. This is achieved by a method for learning a foreign language, wherein a learner listens to a teacher whose native language is the foreign language to be learned speaking a text in the learner's native language and then repeats the text, wherein the learner attempts to imitate the accent of the teacher. The invention relates to a computer program product for carrying out this method. A computer, in particular a smartphone, is also claimed for carrying out the method.

Description

Translated fromGerman

Anmelderin:Applicant:

Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.Fraunhofer Society for the Promotion of Applied Research e.V.

Die Stimme ist ein wichtiges Merkmal der Persönlichkeit von Personen und ermöglicht die direkte Kommunikation mit Personen anderer Kulturkreise. Die Erfindung bezieht sich auf die Unterstützung von Lernenden zur korrekten Aussprache von Fremdsprachen. Dabei unterstützen Akzente auch in der Fremdsprache ein Zugehörigkeitsgefühl zu einer regionalen oder sozialen Gruppe. Dies bedeutet, dass ein Akzent bezogen auf die angestrebte Gruppenidentität innerhalb der interagierenden Personen hilfreich ist.The voice is an important characteristic of a person's personality and enables direct communication with people from other cultures. The invention relates to supporting learners in the correct pronunciation of foreign languages. Accents also support a feeling of belonging to a regional or social group in the foreign language. This means that an accent is helpful in relation to the desired group identity within the interacting people.

Die Erfindung ermöglicht eine Sensibilisierung für die klanglich/physiologischen Einstellungen des Vokaltrakts. Sie bettet sich in den wachsenden Bedarf an Angeboten zum Erlernen von Fremdsprachen durch elektronische Hilfsmittel ein. So sind Softwareprogramme für das Erlernen von Fremdsprachen sowohl zur Unterstützung von Schülern mit Lehrkräften als auch beim Lernen ohne Lehrkräfte vorhanden. Sie verbinden Sprachelemente und Worte in einem pädagogisch sinnvollen Ablauf.The invention makes it possible to raise awareness of the acoustic/physiological settings of the vocal tract. It is embedded in the growing need for offers for learning foreign languages using electronic aids. Software programs for learning foreign languages are available both to support students with teachers and for learning without teachers. They combine language elements and words in a pedagogically meaningful sequence.

Stand der TechnikState of the art

Aussprache ist ein wichtiger Aspekt beim Erlernen von Fremdsprachen und zeigt dem Gegenüber die Geläufigkeit des Sprechenden in der Sprache des jeweils anderen an. Akzente entstehen im Allgemeinen, wenn eine Fremdsprache in einem Altersabschnitt erlernt wird, bei dem die Vokaltraktformung weitgehend abgeschlossen ist, in den meisten Fällen allerdings selbst bei intensivem Training in einem Altersbereich oberhalb der Pubertät. Die klassische Lerntechnik beim Lernen von Fremdsprachen erfolgt durch Nachahmung der Lautbildung sowie der Prosodie von geübten Fremdsprachlern oder idealerweise von Muttersprachlern. Dabei werden auch Lautschriften oder Hinweise auf die Artikulation von besonders schwierigen Klängen genutzt. In Lernlaboren oder bestehenden Sprach-Lern-Apps sollen Studierende Wörter oder Sätze nachsprechen und erhalten ein Feedback entweder durch auditiven Vergleich (z.B. in Lernapps), oder durch eine elektronische Auswertung durch eine Analyse der Frequenzverschiebungen des akustischen Signals bei der Bildung von verschiedenen Lauten. So wird inUS 9,076,347 B2 ein System vorgestellt, bei dem falsch ausgesprochene Wörter oder Phrasen identifiziert und bewertet werden.Pronunciation is an important aspect of learning foreign languages and shows the other person how fluent the speaker is in the other person's language. Accents generally arise when a foreign language is learned at an age when the formation of the vocal tract is largely complete, but in most cases even with intensive training at an age above puberty. The classic learning technique for learning foreign languages is to imitate the sound formation and prosody of experienced foreign language speakers or, ideally, native speakers. Phonetic transcriptions or references to the articulation of particularly difficult sounds are also used. In learning laboratories or existing language learning apps, students are asked to repeat words or sentences and receive feedback either through auditory comparison (e.g. in learning apps) or through electronic evaluation by analyzing the frequency shifts of the acoustic signal when different sounds are formed. In US 9,076,347 B2 A system was introduced that identifies and evaluates mispronounced words or phrases.

In derUS 9,905,220 B2 werden die Unterschiede in den Satzmelodien aus verschiedenen Sprachen analysiert und für ein Lernprogramm bereitgestellt.In the US 9,905,220 B2 the differences in sentence melodies from different languages are analyzed and made available for a learning program.

In derEP2959476 B1 wird die Spracherkennung für unterschiedliche Akzente beschrieben.In the EP2959476 B1 Speech recognition for different accents is described.

In der OffenlegungsschriftDE 10 2019 002 734 A1 sind Verschiebungen innerhalb des Vokaltrakts für die Einstellung von spezifischen Resonanzveränderungen und die dazugehörigen Resonanzempfindungen dargestellt.In the disclosure document DE 10 2019 002 734 A1 Shifts within the vocal tract for the adjustment of specific resonance changes and the associated resonance sensations are shown.

Diskussion des Stands der Technik und Aufgabe der ErfindungDiscussion of the state of the art and task of the invention

Während für die Analyse und die Darstellung der Ergebnisse von Akzenten und Satzmelodien vielfältige technische Möglichkeiten existieren, werden derzeit die Einflussmöglichkeiten zur direkten Einstellung des Vokaltrakts in seiner Gesamtheit nicht in Betracht gezogen. Demgegenüber ist eine ergonomische Lautäußerung von Lauten, wie sie in schneller Reihenfolge in einer fremden Sprache geformt werden müssen, nur durch ein Ensemble der einzelnen Laute durch einen bereits an diese Aufgaben angepassten Vokaltrakt aus einer entsprechenden Ruheposition möglich. Diese Gesamteinstellung ist gleichzeitig für jeden Akzent spezifisch (beispielsweise Englisch aus spezifischen Regionen, Amerikanisch, Australisch etc.) und oftmals auch für bestimmte soziale Schichten charakteristisch, beispielsweise der sogenannte „upper class accent“ im Englischen.While there are a wide range of technical options for analyzing and presenting the results of accents and sentence melodies, the possibilities for influencing the direct adjustment of the vocal tract as a whole are not currently taken into account. In contrast, an ergonomic utterance of sounds, such as those that have to be formed in rapid succession in a foreign language, is only possible by an ensemble of individual sounds from a corresponding resting position using a vocal tract that is already adapted to these tasks. This overall setting is specific to each accent (for example English from specific regions, American, Australian, etc.) and is often also characteristic of certain social classes, for example the so-called "upper class accent" in English.

Die Einstellung des Vokaltrakts bei einem spezifischen Klang kann messtechnisch über bekannte Verfahren wie MRT-Bildgebung oder Impedanzspektroskopie erfasst werden. Für die effiziente Erfassung und einfaches Training der Gesamteinstellung des Vokaltrakts liegen derzeit aber keine Verfahren oder Geräte vor. Zudem werden Akzente kaum nach Regionen unterschieden, d.h. das Training in Bezug auf einen frei zu wählenden Akzent, der in der Fremdsprache angenommen werden soll, ist derzeit nicht in einer einfachen Anwendung realisierbar.The attitude of the vocal tract to a specific sound can be measured using well-known methods such as MRI imaging or impedance spectroscopy. However, there are currently no methods or devices available for the efficient recording and simple training of the overall attitude of the vocal tract. In addition, accents are hardly differentiated by region, i.e. training in relation to a freely selectable accent that is to be adopted in the foreign language cannot currently be implemented in a simple application.

Beschreibung der ErfindungDescription of the Invention

Gemäß der Erfindung hört eine lernende Person einer lehrenden Person, deren Muttersprache die zu erlernende Fremdsprache ist, beim Sprechen eines Textes in der Muttersprache der lernenden Person zu und spricht anschließend den Text nach. Dabei versucht die lernende Person den Akzent der lehrenden Person zu imitieren.According to the invention, a learner listens to a teacher whose native language is the foreign language to be learned speaking a text in the learner's native language and then repeats the text. The learner tries to imitate the accent of the teacher.

Dabei gewöhnt sich die lernende Person an den Klang, der das spätere Sprechen der lernenden Person in der Fremdsprache erleichtert.In this way, the learner gets used to the sound, which makes it easier for the learner to speak the foreign language later on.

Die Erfindung beruht auf der gewonnenen Erkenntnis, dass eine Gewöhnung an Akzent, Klang, Melodie und derlei Eigenschaften der zu erlernenden Sprache leichter fällt, wenn diese in der Muttersprache der lernenden Person erfolgt. Diese Erkenntnis beruht zum Teil auf Überlegungen der Psychoakustik und Psycholinguistik. Darin sind aber auch technische Überlegungen enthalten, die es nicht verwundern erlassen, dass der Erfinder ausgebildeter physikalischer Chemiker ist.The invention is based on the knowledge that it is easier to get used to the accent, sound, melody and similar characteristics of the language being learned if this is done in the native language of the person learning it. This knowledge is partly based on psychoacoustics and psycholinguistics. However, it also includes technical considerations, which make it no surprise that the inventor is a trained physical chemist.

An dieser Stelle soll der weiter oben bei der Darstellung des Stands der Technik bereits genannte Vokaltrakt sowie seine Bedeutung näher erläutert werden. Der Vokaltrakt, gelegentlich auch Artikulationstrakt oder Sprechtrakt genannt, ist der supraglottale, also oberhalb des Kehlkopfs gelegene Anteil des Sprechapparats.At this point, the vocal tract mentioned above in the presentation of the state of the art and its significance will be explained in more detail. The vocal tract, sometimes also called the articulation tract or speech tract, is the supraglottal part of the speech apparatus, i.e. the part located above the larynx.

Der Vokaltrakt lässt sich in drei Räume oder Höhlen einteilen: Rachenraum (Rachenhöhle), Mundraum (Mundhöhle) und Nasenraum (Nasenhöhle). Das Volumen beider ersterer ist bedingt durch die Bewegung der Zunge variabel, was einen veränderlichen Resonanzraum für einzelne Laute zur Folge hat. Die Nasenhöhle hingegen ist im Volumen während des Sprechens weitegehend unveränderlich, aber dennoch an der Resonanzbildung beteiligt Neben der Zunge gehören auch die Lippen, die Zähne, der Gaumen, das Gaumensegel und das Gaumenzäpfchen zum Vokaltrakt. Diese Informationen finden sich etwa in Wikipedia https:/de.wikipedia.org/wiki/Vokaltrakt#:∼:text=Der%20Vokaltrakt%2C%20auch%20A nsatzrohr%20(in,Kehlkopfs%20gelegene%20Anteil%20des%20Sprechapparats, abgerufen am 27.03.2022.The vocal tract can be divided into three spaces or cavities: the pharyngeal cavity (pharyngeal cavity), the oral cavity (oral cavity) and the nasal cavity (nasal cavity). The volume of the former two is variable due to the movement of the tongue, which results in a changing resonance space for individual sounds. The nasal cavity, on the other hand, is largely unchanging in volume during speech, but is nevertheless involved in the formation of resonance. In addition to the tongue, the lips, teeth, palate, soft palate and uvula also belong to the vocal tract. This information can be found in Wikipedia https:/de.wikipedia.org/wiki/Vokaltrakt#:∼:text=Der%20Vokaltrakt%2C%20auch%20A nsatzrohr%20(in,Kehlkopfs%20gelegene%20Anteil%20des%20Sprechapparats, accessed on March 27, 2022.

Darüber hinaus ist folgende Erkenntnis wesentlich. Die Grundeinstellung, des weichen Gaumens, der Zunge und des Rachens ist beeinflussbar. Die Form des Rachens ist nicht allein anatomisch vorgegeben. Vielmehr wird die Form des Rachens durch die Art des Sprechens mit der Zeit beeinflusst. Es ist also möglich, dass eine Person durch eine bestimmte Art des Sprechens den Vokaltrakt beeinflusst. Es versteht sich, dass dies vor allem den weichen Gaumen sowie Zunge und im Rachenbereich liegende Bereiche betrifft. Der nahe der Mundöffnung liegende Bereich ist, wie jeder insoweit Gesunde leicht mit der Zunge spüren kann, fest und allenfalls marginal in seiner Form beeinflussbar.Furthermore, the following insight is important. The basic position of the soft palate, tongue and throat can be influenced. The shape of the throat is not only anatomically determined. Rather, the shape of the throat is influenced by the way one speaks over time. It is therefore possible that a person can influence the vocal tract through a certain way of speaking. It goes without saying that this mainly affects the soft palate, tongue and areas in the throat area. The area near the mouth opening is, as anyone who is healthy can easily feel with their tongue, firm and at best marginally influenced in its shape.

Betrachtet man das Sprechen mit einem gewissen Akzent sind zwei Aspekte zu beachten. Einerseits wird durch das bewusste Sprechen mit einem Akzent der Vokaltrakt geformt. Andererseits führt die Form des Vokaltrakts einer Person dazu, dass die Person unwillkürlich mit einem Akzent spricht.When considering speaking with a certain accent, two aspects must be considered. On the one hand, the vocal tract is shaped by consciously speaking with an accent. On the other hand, the shape of a person's vocal tract causes the person to involuntarily speak with an accent.

Der Erfinder hat vorliegend erkannt, dass es für das Sprechen einer Fremdsprache mit einem Akzent der möglichst nahe am Akzent des Muttersprachlers liegt, darauf ankommt, dass auch die Grundgeometrie bzw. Grundeinstellung des Vokaltrakts entsprechend geformt wird. Die Grundeinstellung ist hier die jeweilig sowohl kulturell als auch individuell geprägte Ausgangslage, aus der heraus alle Phoneme einer Sprache geformt werden.The inventor has recognized that in order to speak a foreign language with an accent that is as close as possible to the accent of the native speaker, it is important that the basic geometry or basic setting of the vocal tract is formed accordingly. The basic setting here is the respective starting point, which is both culturally and individually influenced, from which all phonemes of a language are formed.

Darauf aufbauend wurde erkannt, dass die Anpassung einer Grundeinstellung des Vokaltrakts in der eigenen Muttersprache sowohl besser wahrgenommen wird, als auch besser nachgeformt werden kann. So wird ergonomisch eine Position der Artikulatoren angestrebt, die alle Laute besonders einfach und in einem Ablauf bilden. Konkreter gesagt wird genutzt, dass Akzente und Akzentverschiebungen in der eigenen Muttersprache besser hörbar und damit besser erlernbar sind. Gleichzeitig ist der eigene Vokaltrakt auf die eigene Muttersprache eingestellt.Building on this, it was recognized that adjusting the basic setting of the vocal tract in one's own mother tongue is both better perceived and can be better reproduced. In ergonomic terms, the aim is to position the articulators so that all sounds are produced particularly easily and in one sequence. In more concrete terms, it is used to make sure that accents and accent shifts are better heard and therefore easier to learn in one's own mother tongue. At the same time, one's own vocal tract is set up for one's own mother tongue.

Dabei ist zu betonen, dass es sich um einen ganz wesentlichen Effekt handelt. Es ist also nicht lediglich eine kleine Änderung, sondern eine deutliche Verbesserung.It should be emphasized that this is a very significant effect. It is not just a small change, but a significant improvement.

Die nichttechnisch klingende Anweisung wonach eine lernende Person einer lehrenden Person, deren Muttersprache die zu erlernende Fremdsprache ist, beim Sprechen eines Textes in der Muttersprache der lernenden Person zuhört und anschließend den Text nachspricht, wobei die lernende Person versucht den Akzent der lehrenden Person zu imitieren, basiert also auf technischen Überlegungen.The non-technical-sounding instruction that a learner listens to a teacher whose native language is the foreign language to be learned speaking a text in the learner's native language and then repeats the text, with the learner trying to imitate the accent of the teacher, is therefore based on technical considerations.

Ist die zu lernende Fremdsprache z.B. English und die lernende Person hat als Muttersprache Deutsch, wird als lehrende Person eine Person mit der Muttersprache Englisch benötigt, die Texte auf Deutsch mit einem typischen, vorzugsweise starken englischen Akzent vorträgt. Die lernende Person stellt ihren Vokaltrakt so ein, dass sie in ihrer Muttersprache deutsch den ausländischen englischen Akzent - idealerweise inklusive der dazugehörigen Prosodie - imitiert.If the foreign language to be learned is English, for example, and the learner's native language is German, the teacher must be a native English speaker who can recite texts in German with a typical, preferably strong, English accent. The learner adjusts their vocal tract so that they imitate the foreign English accent - ideally including the associated prosody - in their native language, German.

An dieser Stelle soll kurz dargestellt werden, dass unter Prosodie die Gesamtheit derjenigen lautlichen Eigenschaften der Sprache verstanden wird, die nicht an den Laut als minimales Segment, sondern an umfassendere lautliche Einheiten gebunden sind. Dazu zählen die Eigenschaften: Wort- und Satzakzent; der auf Wortsilben ruhende lexikalische Ton in Tonsprachen; Intonation von Einheiten von mehr als dem Umfang einer Silbe und Satzmelodie; Quantität aller lautlichen Einheiten, vor allem derjenigen von mehr als Segmentumfang; Tempo, Rhythmus und Pausen beim Sprechen.At this point, it should be briefly explained that prosody is understood as the totality of those phonetic properties of language that are not linked to the sound as a minimal segment, but to more comprehensive phonetic units. These include the properties: word and sentence accent; the lexical tone resting on word syllables in tonal languages; intonation of units of more than the length of a syllable and sentence melody; quantity of all phonetic units, especially those of more than segment size; tempo, rhythm and pauses when speaking.

Wird nach dem Nachsprechen in der Muttersprache in die Fremdsprache Englisch gewechselt, so genügt es den Vokaltrakt in der Position zu belassen und die Laute aus der bereits in der eigenen Muttersprache Deutsch eingestellten Vokaltraktgrundposition zu formen. Auf diese Weise werden nicht die einzelnen Laute, sondern die Gesamteinstellung auf die Positionierung des deutschen Muttersprachlers / der deutschen Muttersprachlerin adaptiert.If you switch to the foreign language English after repeating in your native language, it is sufficient to leave the vocal tract in the position and to form the sounds from the basic vocal tract position already set in your native language German. In this way, it is not the individual sounds but the overall setting that is adapted to the positioning of the German native speaker.

Dabei kann durch Wahl der Region des jeweiligen Muttersprachlers, welcher imitiert werden soll, auch ein spezifischer - beispielsweise britischer - Akzent verwendet werden.By choosing the region of the native speaker to be imitated, a specific accent - for example a British accent - can also be used.

Auf diese Weise wird der Vokaltrakt in eine Position gebracht, in der gerade dieser Akzent in im Englischen auch verwendet wird.In this way, the vocal tract is placed in a position in which this particular accent is also used in English.

Es versteht sich, dass die Muttersprache Deutsch und die Fremdsprache Englisch nur eine beispielhafte Kombination ist. Das Verfahren ist grundsätzlich für alle Kombinationen von Muttersprache und zu erlernender Fremdsprache geeignet, auch wenn es selbstverständlich bestimmte Kombinationen von Muttersprachen und zu erlernender Fremdsprache gibt, bei denen das Verfahren besser funktioniert als bei anderen Kombinationen.It goes without saying that the native language German and the foreign language English is only an example combination. The procedure is basically suitable for all combinations of native language and foreign language to be learned, although there are of course certain combinations of native language and foreign language to be learned for which the procedure works better than for other combinations.

Die Grundeinstellung des Vokaltrakts ist auch individuell zu betrachten. Daher kann darauf geachtet werden, dass nur stimmlich gesunde und korrekt sprechende Personen als lehrende Personen eingesetzt werden, da sich bei der Einstellung der Vokaltraktgeometrie auch ungewünschte Effekte wie Knödeln übertragen lassen.The basic setting of the vocal tract must also be considered individually. Therefore, care can be taken to ensure that only people with healthy voices and who speak correctly are used as teachers, since the setting of the vocal tract geometry can also result in undesirable effects such as lumps.

Erfindungsgemäß wird eine Gesamtverschiebung der Resonanzen und Vokaltrakteinstellungen durch gleichzeitiges oder sukzessives Nachsprechen eines aus der Fremdsprache stammenden Muttersprachlers mit einem von dort stammenden charakteristischen Akzent, aber in der eigenen Muttersprache des Lernenden erreicht.According to the invention, an overall shift in resonances and vocal tract settings is achieved by simultaneously or successively repeating a native speaker of the foreign language with a characteristic accent originating from that language, but in the learner's own native language.

Gleichzeitig kann die Methode auch zur Verbesserung von ungewünschten Effekten, wie etwa dem vorgenannten Knödeln, im Sinne einer Sprachtherapie Verwendung finden. Individuelle Sprachfehler können durch das Nachsprechen von Text, den eine lehrende Person mit ausländischem Akzent in der Muttersprache des Lernenden spricht, also über eine verbesserte Grundeinstellung des Vokaltrakts ausgeglichen werden.At the same time, the method can also be used to improve undesirable effects, such as the aforementioned slurring, in the sense of speech therapy. Individual speech defects can be compensated for by repeating text that a teacher with a foreign accent speaks in the learner's native language, thus improving the basic setting of the vocal tract.

Allerdings können auch Programme vorgeschaltet werden, welche die charakteristische Resonanzstruktur des Lernenden erfasst und mit lehrenden Personen vergleicht, die relativ gesehen große bzw. kleine Unterschiede in der Vokalisation gegenüber den lernenden Personen aufweisen.However, programs can also be used which record the characteristic resonance structure of the learner and compare it with teachers who show relatively large or small differences in vocalization compared to the learners.

Grundsätzlich eignen sich alle Texte in den jeweiligen Übersetzungen, vorzugweise werden aber Texte verwendet, die von der Syntax her Ähnlichkeiten aufweisen. Beispielsweise eignet sich bei Verwendung von Deutsch / Englisch der Text „Nordwind und Sonne“, der dem antiken griechischen Dichter Äsop zugeschrieben ist und in der Phoniatrie im deutschen sowie im englischen Sprachgebiet, aber auch anderen Sprachgebieten, breite Verwendung findet.In principle, all texts in the respective translations are suitable, but texts that have similar syntax are preferred. For example, when using German / English, the text "North Wind and Sun" is suitable. It is attributed to the ancient Greek poet Aesop and is widely used in phoniatrics in the German and English-speaking areas, but also in other language areas.

In einer Ausführungsform des Verfahrens wird bei der lehrenden Person eine Person mit hoher stimmlicher Übereinstimmung mit der lernenden Person gewählt. Es hat sich gezeigt, dass damit der Lernerfolg gesteigert werden kann.In one embodiment of the method, the teacher is chosen to be a person whose voice matches that of the learner. It has been shown that this can increase learning success.

In einer weiteren Ausführungsform, die vor allem die vorgenannte Ausführungsform weiterentwickelt, wird die Resonanzstruktur des Vokaltrakts der lernenden Person erfasst und eine lehrende Person gewählt mit einer geeigneten Resonanzstruktur. Dabei kann darauf geachtet werden, dass die lehrende Person relativ gesehen große bzw. kleine Unterschiede in der Vokalisation gegenüber den lernenden Personen aufweisen.In a further embodiment, which is a further development of the above-mentioned embodiment, the resonance structure of the vocal tract of the learner is recorded and a teacher is selected with a suitable resonance structure. In this case, it can be ensured that the teacher has relatively large or small differences in vocalization compared to the learners.

Die Resonanzstruktur kann dabei mit einem Mikrofon erfasst werden und rechnerisch ausgewertet werden.The resonance structure can be recorded with a microphone and evaluated mathematically.

In einer Ausführungsform des Verfahrens kann der von der lehrenden Person gesprochene Text mit einer Wiedergabeeinrichtung der lernenden Person vorgespielt werden. Die Verwendung von Wiedergabeeinrichtungen zum Lernen von Fremdsprachen ist verbreitet und führt zu deutlicher Senkung der Kosten und bietet der lernenden Person hohe zeitliche und örtliche Flexibilität.In one embodiment of the method, the text spoken by the teaching person can be played back to the learner using a playback device. The use of playback devices for learning foreign languages is widespread and leads to a significant reduction in costs and offers the learner a high degree of flexibility in terms of time and location.

Im Hinblick auf die weiter oben geschilderten Anforderungen an die lehrende Person ermöglicht die Verwendung von Wiedergabeeinrichtungen in besonderer Weise die Auswahl einer geeigneten lehrenden Person, da relativ problemlos eine Person mit richtiger Muttersprache und ggf. hoher stimmlicher Übereinstimmung und/oder geeigneter Resonanzstruktur des Vokaltrakts gefunden werden kann.With regard to the requirements for the teaching person described above, the use of playback devices makes it particularly easy to select a suitable teaching person, since a person with the correct native language and, if necessary, a high level of vocal compatibility and/or a suitable resonance structure of the vocal tract can be found relatively easily.

In einer Ausführungsform des Verfahrens wird der von der lehrenden Person gesprochene Text visualisiert, insbesondere durch eine Einblendung des Texts. Darüber hinaus ist es nützlich den zeitlichen Ablaufes des gesprochenen Textes, beispielsweise über eine Visualisierung des Mikrofonaufnahme an einem Bildschirm zu zeigen. Zudem können 2D-Bilder von typischen Vokaltrakteinstellungen wie sie aus MRT Aufnahmen gewonnen werden können oder durch Simulation erhältlich sind, spezifische Veränderungen darstellen. Die Visualisierung kann die Erfassung des Texts deutlich erleichtern und dazu beitragen, dass die lernende Person möglichst ungezwungen nachsprechen kann. Damit gelingt die erwünschte Formung des Vokaltrakts besser als bei einem sehr bewussten Nachsprechen, welches mitunter zu einem zwanghaften und/oder einem auf einzelne Laute fokussierten Verhalten führen kann.In one embodiment of the method, the text spoken by the teaching person is visualized, in particular by displaying the text. In addition, it is useful to follow the chronological sequence of the spoken text, for example by visualizing the microphone recording on a screen. In addition, 2D images of typical vocal tract settings, such as those obtained from MRI scans or obtained through simulation, can show specific changes. The visualization can make it much easier to understand the text and help the learner to repeat it as freely as possible. This makes the desired formation of the vocal tract more successful than with very conscious repetition, which can sometimes lead to compulsive behavior and/or behavior that focuses on individual sounds.

In einer Ausführungsform der Erfindung wird der von der lernenden Person gesprochene Text aufgezeichnet und zur Erfolgskontrolle von der lernenden Person angehört. Derartiges ist beim Lernen von Fremdsprachen an sich nicht ungewöhnlich, vermag aber gerade das vorliegende Verfahren zu verbessern.In one embodiment of the invention, the text spoken by the learner is recorded and listened to by the learner to check success. This is not unusual when learning foreign languages, but it can improve the present method.

In einer Ausführungsform wird der von der lernenden Person nachgesprochene Text zur Erfolgskontrolle einer technischen Analyse unterzogen. Diese technische Analyse erlaubt gezielter das Verfahren nachzuschärfen, etwa durch Wahl einer anderen lehrenden Person.In one embodiment, the text repeated by the learner is subjected to a technical analysis to check success. This technical analysis allows the process to be refined in a more targeted manner, for example by choosing a different teacher.

Die zugehörigen Texte können gleichzeitig zum stimmlichen Signal der lehrenden Person, also des Muttersprachlers mit Akzent, eingeblendet werden. Dabei können spezifische Laute entweder einzeln oder zu gleichartigen Gruppen zusammengefasst werden, die vergleichbare Einstellungen des Vokaltrakts benötigen (beispielsweise das englische „th“ und das englische w wie in „with“).The corresponding texts can be displayed at the same time as the vocal signal of the person teaching, i.e. the native speaker with an accent. Specific sounds can be displayed either individually or in similar groups that require comparable settings of the vocal tract (for example, the English “th” and the English w as in “with”).

Dabei ist eine Aufzeichnung der Texte vor der Übung, also dem Nachsprechen des Textes in der Muttersprache der lernenden Person mit Akzent der zu erlernenden Sprache, während der Übung und nach der Übung optional einstellbar, so dass der Lernerfolg nachvollzogen werden kann. Eine nachfolgende Auswertung kann die beim Lernen erfolgende Verschiebung von Resonanzen innerhalb des Vokaltrakts nachzeichnen bzw. visualisieren. Dabei kann auch ein Hinweis gegeben werden, welche Laute sowohl in der zu erlernenden Fremdsprache als auch in der mit Akzent zu lesenden Muttersprache der lernenden Person verbessert werden sollten bzw. eine besondere Aufmerksamkeit erfordern. Andersherum können auch die bereits besonders gut eingestellten Laute hervorgehoben werden. Diese Unterstützung kann auch für die Schulung des eigenen Gehörs während der Übungen verwendet werden.A recording of the texts can be set optionally before the exercise (i.e. repeating the text in the learner's native language with an accent of the language to be learned), during the exercise and after the exercise, so that learning success can be tracked. A subsequent evaluation can trace or visualize the shift in resonances within the vocal tract that occurs during learning. It can also provide an indication of which sounds should be improved or require special attention both in the foreign language to be learned and in the learner's native language to be read with an accent. Conversely, the sounds that have already been set up particularly well can also be highlighted. This support can also be used to train your own hearing during the exercises.

Gleichzeitig kann auch die Satzmelodie während der Übung visualisiert werden. Dabei ist eine lebendige Satzmelodie hilfreich, die charakteristische Hebungen und Senkungen der jeweiligen Fremdsprache verstärkt.At the same time, the sentence melody can also be visualized during the exercise. A lively sentence melody that reinforces the characteristic rises and falls of the respective foreign language is helpful.

Die Erfindung betrifft auch ein Computerprogrammprodukt zur Ausführung des geschilderten Verfahrens. Bei der Schilderung des Verfahrens wurde bereits deutlich, dass die Erfindung am besten mit einem Computerprogramm ausgeführt wird.The invention also relates to a computer program product for carrying out the described method. When describing the method, it has already become clear that the invention is best carried out using a computer program.

Dementsprechend betrifft die Erfindung einen Rechner, insbesondere ein Smartphone, zur Ausführung des geschilderten Verfahrens.Accordingly, the invention relates to a computer, in particular a smartphone, for carrying out the described method.

Ausführungsbeispielembodiment

Anhand der Figuren wird nachfolgend die Erfindung näher erläutert.The invention is explained in more detail below with reference to the figures.

Dabei zeigt

• 1 schematisch wesentliche Einstellungsmöglichkeiten der Lernsoftware
• 2 den Unterschied der Frequenzspektrum vor und nach dem Training
• 3a ein Spektrogramm vor dem Training und3b ein Spektrogramm nach dem Training

This shows

• 1 schematic essential setting options of the learning software
• 2 the difference in frequency spectrum before and after training
• 3a a spectrogram before training and 3b a spectrogram after training

In1 sind die wesentlichen Abläufe des Sprachlernprogramms beispielhaft aufgeführt:

• In dem Menü „Grundeinstellungen“ können die wesentlichen Charakteristika der zu erlernenden Fremdsprache, des Akzents sowie ggf. der sozialen Integration des gewünschten Akzents eingegeben werden. Dies umfasst auch das Geschlecht (Frauenstimme Männerstimme) der Sprachinteraktion, das Alter oder die durch den Akzent angestrebte soziale Gruppenzugehörigkeit.

In 1 The main processes of the language learning program are listed as examples:

• In the "Basic Settings" menu, the main characteristics of the foreign language to be learned, the accent and, if applicable, the social integration of the desired accent can be entered. This also includes the gender (female voice, male voice) of the language interaction, the age or the social group to which the accent is intended.

In dem Menü „Trainingsprogramme“ werden Datenfiles aktiviert, wie die zu nutzenden Texte, die auf die Altersgruppe der lernenden Person zugeschnitten sein können. Gleichfalls können spezifische Stimmen angewählt bzw. ausgewählt werden. Dies wird durch eine Vorschau unterstützt, bei der auch eine besonders angenehm empfundene Stimme ausgewählt werden kann. Zudem kann eine Auswahl an möglichen Auswerteeinheiten aktiviert werden, wie die Spektralanalyse, die Darstellung von 2D-Bildern von Zungen/Rachenverschiebungen oder die Darstellung von sprachrelevanten Vokaltraktresonanzen. Eine solche Software ist für Einzellaute gebräuchlich, bei Textfolgen DurchschnittIn the "Training programs" menu, data files are activated, such as the texts to be used, which can be tailored to the age group of the person learning. Specific voices can also be selected. This is supported by a preview, where a voice that is perceived as particularly pleasant can be selected. In addition, a selection of possible evaluation units can be activated, such as spectral analysis, the display of 2D images of tongue/throat displacements or the display of speech-relevant vocal tract resonances. Such software is common for individual sounds, but for text sequences, average

Im Menü „Durchführung und Qualitätssicherung“ findet das eigentliche Training statt. Dabei kann eine Vergleichsaufnahme durchgeführt werden.The actual training takes place in the “Implementation and Quality Assurance” menu. A comparison recording can be carried out.

In2 ist der Vergleich einer Englischsprachigen Versuchsperson beim Lernen des Deutschen wiedergegeben. Die schwarze, überwiegend obere, Kurve zeigt das Frequenzspektrum vor dem Training auf Deutsch des Satzes „der Nordwind und die Sonne“ die graue Kurve den gleichen Satz auf Deutsch nach dem Training. Es ist eine Verschiebung von Resonanzen zu erkennen, die ausgewertet und Lauten zugeordnet werden können.In 2 The comparison of an English-speaking test subject learning German is shown. The black, predominantly upper, curve shows the frequency spectrum before training in German of the sentence "the north wind and the sun" and the grey curve shows the same sentence in German after training. A shift in resonances can be seen, which can be evaluated and assigned to sounds.

Eine weitere Möglichkeit zur Darstellung des Frequenzspektrums sind die in3a und3b gezeigten Spektrogramme, eines Lernenden mit deutscher Muttersprache, der seinen englischen Akzent verbessern will. Die Hochwertachse zeigt die Frequenz und die Rechtswertachse die Zeit. Die Schattierung zeigt die Intensität, also grob gesprochen je dunkler, desto lauter. Das Spektrogramm gemäß3a ist vor der Übung aufgenommen worden, das Spektrogramm gemäß3b nach der Übung, also dem Nachsprechen von „der Nordwind und die Sonne“. Bereits bei dem ersten Klang „The“ ist eine Veränderung im Verlauf der Tonhöhe zu erkennen. Während vorher, wie im Deutschen üblich, ein Ansteigen des Artikels auf das Englische übertragen wurde, ist dies in der Aufnahme nachher nicht mehr sichtbar.Another way to display the frequency spectrum is to use the 3a and 3b The spectrogram shown here is a German native speaker who wants to improve his English accent. The vertical axis shows the frequency and the horizontal axis shows the time. The shading shows the intensity, so roughly speaking, the darker, the louder. The spectrogram according to 3a was recorded before the exercise, the spectrogram according to 3b after the exercise, i.e. repeating "the north wind and the sun". Already with the first sound "The" a change in the pitch can be recognized. While previously, as is usual in German, an increase in the article was transferred to English, this is no longer visible in the recording afterwards.

Dabei kann eine Einteilung der hier sichtbaren Elemente wie Sprachmelodie ebenso ausgewertet werden, wie die Veränderung der Resonanzfrequenzen bezogen auf die einzelnen Laute eines erkannten oder vorgegebenen Textes.In this case, a classification of the elements visible here, such as speech melody, can be evaluated, as well as the change in the resonance frequencies related to the individual sounds of a recognized or given text.

Ein möglicher Ablauf für die Integration in ein Lernprogramm ist im Folgenden (ohne Nutzung von Figuren) skizziert, wobei Schritte ergänzt oder ausgelassen werden können:

1. 1) Auswahl der lehrenden Person, also des Sprechers mit der zu erlernenden Fremdsprache als Muttersprache und mit Kenntnissen in der Muttersprache der lernenden Person, wahlweise männlich/weiblich, Herkunft (Region) und andere Charakteristika (z.B. Oxford English)
2. 2) Ein Text in der zu erlernenden Fremdsprache wird durch das Programm aufgerufen.
3. 3) Angabe, ob der zu lesende Text aufgezeichnet werden soll
4. 4) Lesen eines Textes in der zu erlernenden Sprache durch die lernende Person
5. 5) Überprüfung des Textes bzw. Wiederholung der Aufzeichnung
6. 6) Fortsetzung nach Bestätigung z.B. durch die lernende Person
7. 7) Einblenden des korrespondierenden Textes in der Muttersprache der lernenden Person
8. 8) Einspielen des von einer lehrenden Person vorgelesenen Textes
9. 9) Angabe, ob die Stimme der lernenden Person aufgezeichnet werden soll
10. 10) Nachahmung des Akzents der lehrenden Person in der Muttersprache der lernenden Person
11. 11) Möglichkeit zur Wiederholung der Nachahmung
12. 12) Möglichkeit zur Analyse des aufgezeichneten stimmlichen Signals durch das Programm und Visualisierung von besonders gelungenen Passagen bzw. von Klängen, auf die noch stärker geachtet werden sollte
13. 13) Möglichkeit zur Wiederholung der Übung
14. 14) Wechsel zum Text in der zu erlernenden Fremdsprache
15. 15) Angabe, ob die Stimme der lernenden Person aufgezeichnet werden soll
16. 16) Vorlesen des Textes in der durch Imitation der lehrenden Person mit der zu erlernenden Fremdsprache als Muttersprache gefundenen Vokaltrakteinstellung
17. 17) Möglichkeit zur Wiederholung
18. 18) Analyse des Ergebnisses durch das Programm und Visualisierung von besonders gelungenen Lauten bzw. von Lauten, auf die noch stärker geachtet werden soll.
19. 19) Möglichkeit, Worte, Sätze oder Texte vor Einstellung des Vokaltrakts mit dem Resultat nach Einstellung des Vokaltrakts zu vergleichen.
20. 20) Möglichkeit, die Verschiebungen, beispielsweise durch Frequenzanalyse, Tonhöhenanalyse oder Rhythmus von Worten, Sätzen oder Texten zu visualisieren und lautspezifisch auszuwerten.
21. 21) Möglichkeit, die Veränderung in der Prosodie besonders aufzuzeigen.
22. 22) Möglichkeit, in der Vokaltrakteinstellung andere Texte zu lesen oder Worte bzw. Sätze nachzusprechen.

A possible process for integration into a learning program is outlined below (without using figures), whereby steps can be added or omitted:

1. 1) Selection of the teaching person, i.e. the speaker with the foreign language to be learned as their native language and with knowledge of the native language of the learner, optionally male/female, origin (region) and other characteristics (e.g. Oxford English)
2. 2) A text in the foreign language to be learned is called up by the program.
3. 3) Indication whether the text to be read should be recorded
4. 4) Reading a text in the language to be learned by the learner
5. 5) Checking the text or repeating the recording
6. 6) Continuation after confirmation e.g. by the learner
7. 7) Displaying the corresponding text in the learner’s native language
8. 8) Playback of the text read by a teacher
9. 9) Indication whether the voice of the learner should be recorded
10. 10) Imitating the accent of the teacher in the native language of the learner
11. 11) Possibility of repeating the imitation
12. 12) Possibility to analyse the recorded vocal signal through the program and visualise particularly successful passages or sounds that should be paid more attention to
13. 13) Possibility to repeat the exercise
14. 14) Switch to the text in the foreign language to be learned
15. 15) Indication of whether the voice of the learner should be recorded
16. 16) Reading the text aloud in the vocal tract setting found by imitating the teacher with the foreign language to be learned as their mother tongue
17. 17) Possibility of repetition
18. 18) Analysis of the result by the program and visualization of particularly successful sounds or sounds that should be paid more attention to.
19. 19) Possibility to compare words, sentences or texts before adjustment of the vocal tract with the result after adjustment of the vocal tract.
20. 20) Possibility to visualize the shifts, for example through frequency analysis, pitch analysis or rhythm of words, sentences or texts and to evaluate them sound-specifically.
21. 21) Possibility to particularly highlight the change in prosody.
22. 22) Possibility to read other texts or repeat words or sentences in the vocal tract setting.

Optional kann auch bei Nutzung des Programms angegeben werden, dass alle stimmlichen Signale aufgezeichnet oder auch nur das in jedem Prozessschritt jeweils das letzte stimmliche Signal aufgezeichnet werden sollen.Optionally, when using the program, you can also specify that all vocal signals should be recorded or that only the last vocal signal in each process step should be recorded.

Der Ablauf wird vorzugsweise in mobile Endgeräte integriert, kann aber in eine Desktop-Ausführung bzw. in eine eigene elektronische Umgebung integriert werden.The process is preferably integrated into mobile devices, but can be integrated into a desktop version or into a separate electronic environment.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• US 9076347 B2 [0003]US 9076347 B2 [0003]
• US 9905220 B2 [0004]US 9905220 B2 [0004]
• EP 2959476 B1 [0005]EP 2959476 B1 [0005]
• DE 102019002734 A1 [0006]DE 102019002734 A1 [0006]

Claims (9)

Translated fromGerman

Verfahren zum Erlernen einer Fremdsprache, wobei eine lernende Person einer lehrenden Person, deren Muttersprache die zu erlernende Fremdsprache ist, beim Sprechen eines Textes in der Muttersprache der lernenden Person zuhört und anschließend den Text nachspricht, wobei die lernende Person versucht den Akzent der lehrenden Person zu imitieren.A method for learning a foreign language, wherein a learner listens to a teacher whose native language is the foreign language to be learned speaking a text in the learner's native language and then repeats the text, whereby the learner attempts to imitate the accent of the teacher.Verfahren nachAnspruch 1,dadurch gekennzeichnet, dass bei der lehrenden Person eine Person mit hoher stimmlicher Übereinstimmung mit der lernenden Person gewählt wirdprocedure according to Claim 1 ,characterized in that the teaching person is a person with a high vocal agreement with the learning personVerfahren nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass die Resonanzstruktur des Vokaltrakts der lernenden Person erfasst wird und eine lehrende Person gewählt mit einer geeigneten Resonanzstruktur des Vokaltrakts.Method according to one of the preceding claims,characterized in that the resonance structure of the vocal tract of the learning person is recorded and a teaching person is selected with a suitable resonance structure of the vocal tract.Verfahren nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass der von der lehrenden Person gesprochene Text mit einer Wiedergabeeinrichtung der lernenden Person vorgespielt werden kann.Method according to one of the preceding claims,characterized in that the text spoken by the teaching person can be played back to the learning person using a playback device.Verfahren nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass der von der lehrenden Person gesprochene Text visualisiert wird, insbesondere durch eine Einblendung des Texts an einem BildschirmMethod according to one of the preceding claims,characterized in that the text spoken by the teaching person is visualized, in particular by displaying the text on a screenVerfahren nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass der von der lernenden Person gesprochene Text aufgezeichnet und zur Erfolgskontrolle von der lernenden Person angehört wirdMethod according to one of the preceding claims,characterized in that the text spoken by the learner is recorded and listened to by the learner to check successVerfahren nach einem der vorhergehenden Ansprüche,dadurch gekennzeichnet, dass der von der lernenden Person nachgesprochene Text zur Erfolgskontrolle einer technischen Analyse unterzogen wird.Method according to one of the preceding claims,characterized in that the text repeated by the learner is subjected to a technical analysis to check its success.Computerprogrammprodukt zur Ausführung des Verfahrens nach einem der vorhergehenden Ansprüche.Computer program product for carrying out the method according to one of the preceding claims.Rechner, insbesondere Smartphone, zur Ausführung einer Verfahrens nach einem derAnsprüche 1 bis7, insbesondere mit einem Computerprogrammprodukt nachAnspruch 8.Computer, in particular smartphone, for carrying out a method according to one of the Claims 1 until 7 , in particular with a computer program product according to claim 8 .

Images