-
Hintergrund
und Zusammenfassung der Erfindung
-
Die
vorliegende Erfindung bezieht sich im Allgemeinen auf Systeme für Text-zu-Sprache
(TTS) und Sprachsynthese. Insbesondere bezieht sich die Erfindung
auf ein System zur Erzeugung von Dauervorlagen, die in einem Text-zu-Sprache-System
verwendet werden können,
um eine natürlicher
klingende Sprachsynthese bereitzustellen.
-
Die
Aufgabe, natürliche,
menschlich klingende Prosodie für
Text-zu-Sprache
und Sprachsynthese zu generieren, ist historisch eines der schwierigsten
Probleme gewesen, mit dem Forscher und Entwickler konfrontiert wurden.
Im Allgemeinen haben Text-zu-Sprache-Systeme wegen ihrer unnatürlichen Prosodie,
beispielsweise wegen „roboterhafter" Intonation oder
inkorrektem Satzrhythmus und Timing, einen schlechten Ruf erworben.
Um dieses Problem anzusprechen, haben einige frühere Systeme neuronale Netze
und Vektor-Clustering-Algorithmen
beim Versuch verwendet, natürlich
klingende Prosodie zu simulieren. Abgesehen von ihrem nur geringen
Erfolg geben diese „Black-Box"-Rechentechniken dem Entwickler kein
Feedback darüber,
was die kritischen Parameter für
natürlich
klingende Prosodie sind.
-
Die
vorliegende Erfindung ist auf einen anderen Ansatz gegründet, der
in einer früheren
Patentanmeldung mit dem Titel „Speech
Synthesis Employing Prosody Templates" offenbart worden ist. In dem offenbarten
Ansatz werden Proben tatsächlicher menschlicher
Sprache verwendet, um Prosodievorlagen zu entwickeln. Die Vorlagen
definieren eine Beziehung zwischen Silbenbetonungsmustern und bestimmten
prosodischen Variablen, wie beispielsweise Intonation (F0) und Dauer,
wobei besonders die F0-Vorlagen fokussiert werden. Deshalb verwendet der
offenbarte Ansatz im Gegensatz zu früheren algorithmischen Ansätzen natürlich vorkommende
lexikalische und akustische Attribute (z. B. Betonungsmuster, Silbenzahl,
Intonation, Dauer), die vom Forscher bzw. Entwickler direkt beobachtet
und verstanden werden können.
-
Der
früher
offenbarte Ansatz speichert die Prosodievorlagen für Intonation
(F0) und Dauerinformation in einer Datenbank, auf die zugegriffen
wird, indem man Silbenzahl und Betonungsmuster angibt, die mit einem
gegebenen Wort assoziiert sind. Ein Wörterbuch ist bereitgestellt,
um dem System die erforderliche Information hinsichtlich Silbenzahl
und Betonungsmustern zu liefern. Der Textprozessor generiert unter
Verwendung des Wörterbuchs
phonemische Repräsentationen
von Eingabewörtern,
um das Betonungsmuster der eingegebenen Wörter zu identifizieren. Ein
Prosodie-Modul greift dann auf die Vorlagendatenbank zu und verwendet
die Information über
Silbenzahl und Betonungsmuster für
den Zugriff auf die Datenbank. Von der Datenbank wird dann eine
Prosodievorlage für
das gegebene Wort abgerufen und dazu benutzt, um Prosodie-Information
an das Tonerzeugungsmodul zu liefern, das synthetisierte Sprache
auf Basis der phonemischen Repräsentation
und der Prosodie-Information generiert.
-
Der
früher
offenbarte Ansatz fokussiert Sprache auf der Wortebene. Wörter werden
in Silben unterteilt und repräsentieren
so die Grundeinheit von Prosodie. Das durch die Silben definierte
Betonungsmuster bestimmt die perzeptiv wichtigsten Merkmale von
sowohl Intonation (F0) als auch Dauer. Auf dieser Zuordnungseinheitsstufe
ist der Satz von Vorlagen ziemlich kleiner Größenordnung und in Systemen
für Text-zu-Sprache
und Sprachsynthese leicht zu implementieren. Obwohl eine prosodische
Analyse auf Wortebene unter Verwendung von Silben gegenwärtig bevorzugt
wird, lassen sich die Prosodie-Vorlagetechniken
der Erfindung in Systemen benutzen, die andere Zuordnungseinheitsstufen
aufweisen. Beispielsweise lässt
sich der Satz von Vorlagen erweitern, um mehr Gruppierungsmerkmale,
sowohl auf Satz- als auch Wortebene, zu ermöglichen. In dieser Hinsicht
können
durch Position und Typ von Phrase oder Satz verursachte Dauermodifikation
(z. B. Verlängerung),
Segmentstruktur in einer Silbe und phonetische Repräsentation
als Attribute verwendet werden, um damit bestimmte Prosodiemuster
zu kategorisieren.
-
Obwohl
Text-zu-Sprache-Systeme, die auf von Proben tatsächlicher menschlicher Sprache
abgeleiteten Prosodievorlagen basieren, eine beträchtlich
verbesserte Sprachsynthese zu versprechen schienen, waren diese
Systeme durch die Schwierigkeit beschränkt, geeignete Dauervorlagen
zu konstruieren. Um temporale Prosodiemuster zu erhalten, müssen die
rein segmentalen Timingquantitäten
aus den größeren Prosodieeffekten
ausgeklammert werden. Das hat sich als sehr viel schwieriger erwiesen als
die Konstruktion von F0-Vorlagen,
worin durch visuelle Untersuchung individueller F0-Daten Intonationsinformation
gewonnen werden kann.
-
In „Modelling
segmental duration in German text to speech synthesis", Bernard Möbius and
Jann van Santen, Proceedings of the International Conference on
Spoken Language Processing, Oktober 03, 1996 XP002121563 wird ein
Modell für
segmentale Dauer in der deutschen Sprache offenbart. Eingabewörter werden
in Phoneme segmentiert, und es wird ein Dauermodell offenbart, das
die Dauer der Sprachlaute in verschiedenen Text-, Prosodie- und Segmentkontexten
voraussagt. Für
jedes Segment wird ein Merkmalvektor erzeugt, sodass Kontextvariationen
der Segmentdauer durch Komponenten eines Merkmalvektors erfasst
werden. Für
jedes Segment wird eine Dauervorlage erzeugt.
-
In „Template
driven generation of prosodic information for Chinese Concatenative
synthesis", C H Wu
and J H Chen, Phoenix, Arizona 15.–19. März, 1999 New York, IEEE 15.
März, 1999,
S. 65 – 68 XP000898264
ISBN:0-7803-5042-1
wird vorlagebetriebene Erzeugung von prosodischer Information für chinesische
Text-zu-Sprache-Umwandlung offenbart. Eine Sprach-Datenbank wird
eingesetzt, um einen auf Wortprosodie basierenden Vorlagenbaum zu begründen. Der
Vorlagenbaum speichert Prosodiemerkmale einschließlich Silbendauer
eines Wortes für
mögliche
Kombinationen linguistischer Merkmale.
-
In „Assignment
of segmental duration in text to speech synthesis", Jann P H van Santen,
Computer Speech and Language, Academic Press, London, Bd. 8 Nr.
2, April 01, 1994, S. 95 – 128
XP00501471, ISSN:0885-2308 wird ein Modul zur Berechnung der segmentalen
Dauer offenbart, in dem Dauermodelle verwendet werden, die aus Gleichungen
mit Summen und Produkten bestehen.
-
Spezifische,
hierin offenbarte Ausführungsbeispiele
präsentieren
ein Verfahren zur Absonderung des höheren prosodischen Verhaltens
von rein artikulatorischen Einschränkungen, sodass höhere Timinginformation
aus der menschlichen Sprache extrahiert werden kann. Die extrahierte
Timinginformation wird zur Konstruktion von Dauervorlagen benutzt,
die bei der Sprachsynthese verwendet werden. Zuerst werden die Wörter des
Eingabetexts in Phoneme und Silben segmentiert, und das assoziierte Betonungsmuster
wird zugeordnet. Den betonungszugeordneten Wörtern können dann durch ein Textgruppierungsmodul
Gruppierungsmerkmale zugeordnet werden. Ein Phonemclusteringmodul
gruppiert die Phoneme in Phonempaare und Einzelphoneme. Eine statische
Dauer, die mit jedem Phonempaar und Einzelphonem assoziiert ist,
wird aus der globalen statischen Tabelle abgerufen. Ein Normalisierungsmodul
erzeugt einen normalisierten Dauerwert für eine Silbe, basierend auf
Verlängerung
oder Verkürzung
der globalen statischen Dauern, die mit den die Silbe bildenden
Phonemen assoziiert sind. Der normalisierte Dauerwert wird in der
Dauervorlage abgespeichert, basierend auf den Gruppierungsmerkmalen,
die mit dieser Silbe assoziiert sind.
-
Nach
einem ersten Aspekt der vorliegenden Erfindung wird ein Vorlageerzeugungssystem
zur Erzeugung einer Dauervorlage aus einer Vielzahl von Eingabewörtern bereitgestellt,
das durch Folgendes gekennzeichnet ist:
einen Phonetikprozessor
(40), betriebsfähig
zum Segmentieren eines jeden der Eingabewörter in Eingabephoneme sowie
zum Gruppieren der Eingabephoneme in Konstituentensilben, wobei
jede dieser Konstituentensilben eine assoziierte Silbendauer hat;
ein
Textgruppierungsmodul (38), betriebsfähig zum Identifizieren von
Gruppierungsmerkmalen, die mit jeder der Konstituentensilben assoziiert
sind, wobei die Gruppierungsmerkmale aus der Gruppe ausgewählt werden,
die Folgendes umfasst:
Wortbetonungsmuster, phonemische Repräsentation,
syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und
grammatische Kategorie;
ein Phonemclusteringmodul (42),
betriebsfähig
zur Bestimmung eines mittleren Dauerwerts für jedes Eingabephonem, basierend
auf jedem Vorkommen des Eingabephonems in der Vielzahl von Eingabewörtern, und
zum Speichern des mittleren Dauerwerts in einer globalen statischen
Tabelle (32);
ein Normalisierungsmodul (44),
aktivierbar zum Erzeugen eines normalisierten Dauerwerts für jede der Konstituentensilben,
worin der normalisierte Dauerwert erzeugt wird, indem die Silbendauer
durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert
wird, aus der sich die Konstituentensilbe zusammensetzt;
das
Normalisierungsmodul, außerdem
betriebsfähig zum
Gruppieren von Konstituentensilben nach dem Gruppierungsmerkmal
und zur Konstruktion einer Dauervorlage (36) auf der Basis
der normalisierten Dauerwerte für
Konstituentensilben mit einem gegebenen Gruppierungsmerkmal.
-
Nach
einem zweiten Aspekt der vorliegenden Erfindung wird ein Verfahren
zum Erzeugen einer Dauervorlage aus einer Vielzahl von Eingabewörtern bereitgestellt,
wobei das Verfahren folgende Schritte umfasst:
das Segmentieren
eines jeden der Eingabewörter
in Eingabephoneme, gekennzeichnet durch:
Gruppierung (56)
der Eingabephoneme in Konstituentensilben mit einer assoziierten
Silbendauer;
Zuordnung eines Gruppierungsmerkmals (58)
zu jeder der Konstituentensilben, wobei ein Gruppierungsmerkmal
aus der Gruppe ausgewählt
wird, die Folgendes enthält:
Wortbetonungsmuster,
phonemische Repräsentation,
syntaktische Grenze, Satzposition, Satztyp, Phrasenposition und
grammatische Kategorie.
-
Bestimmung
von repräsentativen
Dauerdaten für
jedes Eingabephonem auf der Basis eines jeden Vorkommens des Eingabephonems
in der Vielzahl von Eingabewörtern;
Erzeugung
eines normalisierten Dauerwerts für jede Konstituentensilbe,
wobei der normalisierte Dauerwert erzeugt wird, indem die Silbendauer
durch die Summe der mittleren Dauerwerte der Eingabephoneme dividiert
wird, aus denen sich die Konstituentensilbe zusammensetzt;
Gruppierung
(56) der Konstituentensilben nach dem Gruppierungsmerkmal;
und
Bildung (84 – 102)
einer Dauervorlage für
Konstituentensilben mit einem gegebenen Gruppierungsmerkmal, wobei
die Dauervorlage von den normalisierten Dauerwerten für die Konstituentensilben
mit dem gegebenen Gruppierungsmerkmal abgeleitet ist.
-
Nach
einem dritten Aspekt der vorliegenden Erfindung wird ein Verfahren
zum Entnormalisieren der in einer Dauervorlage enthaltenen Dauerdaten bereitgestellt,
wobei das Verfahren durch folgende Schritte gekennzeichnet ist:
Bereitstellen
von Zielwörtern,
die von einem Text-zu-Sprache-System zu synthetisieren sind;
Segmentieren
(52) eines jeden der Eingabewörter in Eingabephoneme;
Gruppierung
(56) der Eingabephoneme in Konstituentensilben mit assoziierter
Silbendauer;
Clustering (68 – 82) der Eingabephoneme
in Eingabephonempaare und Eingabeeinzelphoneme;
Abruf von statischer
Dauerinformation (62), die mit gespeicherten Phonemen in
einer globalen statischen Tabelle (32) assoziiert ist,
wobei die gespeicherten Phoneme den Eingabephonemen entsprechen,
aus denen sich jede der Konstituentensilben zusammensetzt;
Abruf
eines normalisierten Dauerwerts für jede der Konstituentensilben
aus einer assoziierten Dauervorlage (36); und
Erzeugen
einer entnormalisierten Silbendauer durch Multiplikation des normalisierten
Dauerwerts für
jede Konstituentensilbe mit der Summe der mittleren Dauerwerte der
gespeicherten Phoneme, die den Eingabephonemen entsprechen, aus
denen sich diese Konstituentensilbe zusammensetzt.
-
Um
die Erfindung, ihre Zielsetzung und Vorteile vollkommener zu verstehen,
beziehen Sie sich bitte auf die folgende Spezifikation und die zugehörigen Zeichnungen.
-
Kurzbeschreibung
der Zeichnungen
-
1 ist
ein Blockdiagramm eines Sprachgenerators, der Prosodievorlagen einsetzt;
-
2 ist
ein Blockdiagramm einer Vorrichtung zur Erzeugung von Prosodiedauervorlagen;
-
3 ist
ein Flussdiagramm, das das Verfahren zum Sammeln von temporalen
Daten veranschaulicht;
-
4 ist
ein Flussdiagramm, das das Verfahren zum Erzeugen einer globalen
statischen Tabelle veranschaulicht;
-
5 ist
ein Flussdiagramm, das das Verfahren zum Clustering der Phoneme
in Paare veranschaulicht; und
-
6 ist
ein Flussdiagramm, das das vom bevorzugten Ausführungsbeispiel verwendete Prosodiesyntheseverfahren
darstellt.
-
Beschreibung
des bevorzugten Ausführungsbeispiels
-
Wenn
Text von einem menschlichen Sprecher gelesen wird, hebt und senkt
sich die Tonhöhe, Silben
werden mit größerer oder
geringerer Intensität artikuliert,
Vokale werden gedehnt oder verkürzt
und Pausen werden eingeschoben, was der gesprochenen Passage einen
bestimmten Rhythmus verleiht. Diese Merkmale umfassen einige der
Attribute, die Sprachforscher mit Prosodie bezeichnen. Menschliche
Sprecher fügen,
wenn sie eine Textpassage laut lesen, automatisch prosodische Information
bei. Die prosodische Information vermittelt die Interpretation des
Materials durch den Leser. Diese Interpretation ist ein Artefakt
menschlicher Erfahrung, da der gedruckte Text wenig direkte prosodische
Information enthält.
-
Wenn
ein computerimplementiertes Sprachsynthesesystem eine Textpassage
liest oder rezitiert, fehlt diese menschlich klingende Prosodie
in konventionellen Systemen. Der Text selbst enthält praktisch keine
prosodische Information und der konventionelle Sprachgenerator hat
daher wenig, woraus er die fehlende Prosodie-Information generieren
kann. Wie bereits festgestellt, haben sich frühere Versuche, Prosodie-Information
hinzuzufügen,
auf regelbasierte Techniken und neuronale Netz- oder algorithmische
Techniken, wie beispielsweise Vektor-Clusterbildungstechniken, konzentriert.
Regelbasierte Techniken klingen einfach nicht natürlich und
neuronale Netz- und algorithmische Techniken können nicht adaptiert werden
und lassen sich nicht verwenden, um Schlussfolgerungen zu ziehen,
die für
die weitere Modifikation oder für
die Anwendung außerhalb
des Trainings-Set gebraucht werden, mit dem sie generiert wurden.
-
1 zeigt
einen Sprachgenerator, der Prosodievorlagen-Technologie einsetzt. Bezugnehmend auf 1 wird
ein Eingabetext 10 als Rahmensatz an das Textprozessormodul 12 geliefert, wobei
der Rahmensatz eine Folge oder einen String von Buchstaben umfasst,
die Wörter
definieren. Relativ zum Rahmensatz werden die Wörter durch Merkmale wie Satzposition,
Satztyp, Phrasenposition und grammatische Kategorie definiert. Der
Textprozessor 12 hat ein assoziiertes Wörterbuch 14, das Information über eine
Vielheit von gespeicherten Wörtern
enthält.
Das Wörterbuch
hat eine Datenstruktur, die unter 16 veranschaulicht wird,
wonach Wörter
in Verbindung mit assoziierten Wort- und Satzgruppierungsmerkmalen
gespeichert werden. Insbesondere wird im gegenwärtig bevorzugten Ausführungsbeispiel
der Erfindung jedes Wort im Wörterbuch
durch Folgendes begleitet: seine phonemische Repräsentation,
Information, die die syntaktischen Grenzen identifiziert, Information,
die kennzeichnet, wie jeder Silbe die Betonung zugeordnet wird,
sowie die Dauer einer jeden Konstituentensilbe. Obwohl das gegenwärtige Ausführungsbeispiel
im Wörterbuch 14 keine Satzgruppierungsmerkmale
enthält,
liegt es im Schutzbereich der Erfindung, Gruppierungsmerkmale in
das Wörterbuch 14 aufzunehmen.
Deshalb enthält
das Wörterbuch 14 in
suchbarer elektronischen Form die Grundinformation, die zum Generieren
einer Aussprache des Wortes erforderlich ist.
-
Der
Textprozessor 12 ist weiter an das Prosodie-Modul 18 gekoppelt,
das mit der Prosodievorlagen-Datenbank 20 assoziiert ist.
Die Prosodievorlagen speichern Intonationsdaten (F0) und Dauerdaten für jedes
einer Vielheit von verschiedenen Betonungsmustern. Das Einzelwort-Betonungsmuster '1' umfasst eine erste Vorlage, das zweisilbige
Muster '10' umfasst eine zweite
Vorlage, das Muster '01' umfasst noch eine
weitere Vorlage usw. Die Vorlagen werden in der Datenbank nach Gruppierungsmerkmalen
wie Wortbetonungsmustern und Satzposition gespeichert. Im vorliegenden
Ausführungsbeispiel dient
das mit einem gegebenen Wort assoziierte Betonungsmuster als Datenbank-Zugriffsschlüssel, mit dem
das Prosodie-Modul 18 die assoziierte Intonations- und
Dauerinformation abruft. Das Prosodie-Modul 18 ermittelt
das mit einem gegebenen Wort assoziierte Betonungsmuster durch Information,
die ihm über
den Textprozessor 12 geliefert wird. Der Textprozessor 12 erhält diese
Information durch Verwendung des Wörterbuchs 14.
-
Der
Textprozessor 12 und das Prosodie-Modul 18 liefern
beide Information an das Tonerzeugungsmodul 24. Im Besonderen
liefert der Textprozessor 12 phonemische Information, die
er aus dem Wörterbuch 14 erhält, und
das Prosodie-Modul 18 liefert die Prosodie-Information
(z. B. Intonation und Dauer). Das Tonerzeugungsmodul generiert dann synthetisierte
Sprache auf Basis der phonemischen und der Prosodie-Information.
-
Die
vorliegende Erfindung geht das Prosodieproblem an, indem sie Dauer-
und F0-Vorlagen verwendet, die mit Gruppierungsmerkmalen wie den in
gesprochenen Wörtern
vorkommenden Silbenbetonungsmustern verbunden sind. Genauer gesagt stellt
die Erfindung eine Methode zum Extrahieren und Abspeichern von aus
aufgenommener Sprache gewonnener Dauerinformation zur Verfügung. Diese gespeicherte
Dauerinformation wird in einer Datenbank erfasst und nach Gruppierungsmerkmalen
wie Silbenbetonungsmustern angeordnet.
-
Das
gegenwärtig
bevorzugte Ausführungsbeispiel
codiert Prosodie-Information
in einer standardisierten Form, in der die Prosodie-Information normalisiert
und parametrisiert wird, um Speicherung und Abrufen aus der Datenbank 20 zu
vereinfachen. Das Prosodie-Modul 18 entnormalisiert und
konvertiert die standardisierten Vorlagen in eine Form, die sich
auf die vom Textprozessor 12 gelieferte phonemische Information
anwenden lässt.
Die Details dieses Prozesses werden nachstehend ausführlicher beschrieben.
Zunächst
aber wird eine detaillierte Beschreibung der Dauervorlagen und ihrer
Konstruktion gegeben.
-
In 2 wird
eine Vorrichtung zum Erzeugen geeigneter Dauervorlagen veranschaulicht.
Um rein segmentale Timingquantitäten
aus den größeren prosodischen
Effekten auszuklammern, wurde ein Schema ausgedacht, um zuerst die
natürlichen
segmentalen Dauermerkmale zu erfassen. Im gegenwärtig bevorzugten Ausführungsbeispiel
werden die Dauervorlagen mit Sätzen
konstruiert, die Eigennamen in verschiedenen Satzpositionen aufweisen.
Die gegenwärtig
bevorzugte Implementierung wurde unter Verwendung von ungefähr 2000
gekennzeichneten Aufnahmen (Einzelwörtern), die von einer Frau
in amerikanischem Englisch gesprochen wurden, konstruiert. Die Sätze können auch
als eine Sammlung von vorher aufgenommenen oder hergestellten Rahmensätzen geliefert
werden. Die Wörter
werden als Textprobe 34 eingegeben, die in Phoneme segmentiert
wird, bevor sie in Konstituentensilben gruppiert wird und ihr assoziierte
Gruppierungsmerkmale wie Silbenbetonungsmuster zugeordnet werden.
Obwohl im gegenwärtig
bevorzugten Ausführungsbeispiel
die Textprobe als aufgenommene Wörter
eingegeben wird, liegt es im Schutzbereich der Erfindung, die Textprobe 34 als
nicht aufgenommene Sätze
einzugeben und den anschließend
segmentierten Silben außer
den Wortgruppierungsmerkmalen Phrasen- und Satzgruppierungsmerkmale
zuzuordnen. Die Silben und verwandte Information werden in einer
Wortdatenbank 30 zur späteren
Datenmanipulation bei der Erzeugung einer globalen statischen Tabelle 32 und
der Dauervorlagen 36 gespeichert. Globale statische Dauerstatistiken
wie Mittel, Standardabweichung, Minimaldauer, Maximaldauer und Kovarianz, die
aus der Information in der Wortdatenbank 30 abgeleitet
sind, werden in der globalen statischen Tabelle 32 abgespeichert.
Dauervorlagen werden aus Silbendauerstatistiken konstruiert, die
mit Bezug auf die in der globalen statischen Tabelle 32 gespeicherten
statischen Dauerstatistiken normalisiert werden. Normalisierte Dauerstatistiken
für die
Silben werden in Dauervorlagen 36 gespeichert, die nach
Gruppierungsmerkmalen geordnet werden. Es folgen weitere Details
zur Konstruktion der globalen statischen Tabelle 32, der
Dauervorlagen 36 und zum Verfahren des Segmentierens von
Silben in Phoneme.
-
In 3,
zusätzlich
zu 2, wird das Sammeln der temporalen Daten veranschaulicht.
Bei Schritt 50 wird die Textprobe 34 zur Bereitstellung
der Dauerdaten eingegeben. Die Textprobe 34 wird zuerst
durch ein phonetisches Prozessormodul 38 vorverarbeitet,
das bei Schritt 52 ein HMM-basiertes automatisches Kennzeichnungswerkzeug
und ein automatisches Syllabifikationswerkzeug benutzt, um Wörter in
Eingabephoneme zu segmentieren bzw. die Eingabephoneme in Silben
zu gruppieren. Auf automatische Kennzeichnung folgt eine manuelle
Korrektur für
jeden String. Dann wird bei Schritt 54 das Betonungsmuster
für die
Zielwörter
nach dem Gehör unter
Verwendung von drei verschiedenen Betonungsstufen zugeordnet. Diese
sind mit den Nummern 0, 1 und 2 bezeichnet. Die Betonungsstufen
beinhalten Folgendes:
0 keine Betonung
1 primäre Betonung
2
sekundäre
Betonung
-
Laut
dem bevorzugten Ausführungsbeispiel haben
einsilbige Wörter
ein einfaches Betonungsmuster, das der primären Betonungsstufe '1' entspricht. Mehrsilbige Wörter können verschiedene Kombinationen
von Betonungsstufenmustern haben. Beispielsweise könnten zweisilbige
Wörter
Betonungsmuster '10', '01' und '12' haben. Das gegenwärtig bevorzugte
Ausführungsbeispiel
setzt eine Dauervorlage für
jede verschiedene Betonungsmusterkombination ein. Deshalb hat das
Betonungsmuster '1' eine erste Dauervorlage,
das Betonungsmuster '10' hat eine andere
Vorlage usw. Durch Markierung der Silbengrenze erhält man verbesserte
statistische Dauermesszahlen, wenn die Grenze nicht nach spektralen,
sondern nach perzeptiven Kriterien markiert wird. Jede Silbe wird
individuell angehört,
und die Markierung wird da platziert, wo auf beiden Seiten kein
rhythmischer „Rest" wahrgenommen wird.
-
Obwohl
in der gegenwärtig
bevorzugten Implementierung eine dreistufige Betonungszuordnung eingesetzt
wird, liegt es im Schutzbereich der Erfindung, die Anzahl der Stufen
entweder zu vergrößern oder
zu verkleinern. Die Unterteilung von Wörtern in Silben und Phoneme
und das Zuordnen der Betonungsstufen kann manuell oder mit Hilfe
eines automatischen oder halbautomatischen Trackers erfolgen. In
dieser Hinsicht ist die Vorverarbeitung von Trainingssprachdaten
relativ zeitaufwändig,
muss aber nur einmal während
der Entwicklung der Prosodievorlagen durchgeführt werden. Exakt gekennzeichnete
und betonungszugeordnete Daten sind erforderlich, um Genauigkeit
sicherzustellen und den Rauschpegel bei der anschließenden statistischen Analyse
zu reduzieren.
-
Nach
der Kennzeichnung der Wörter
und nach der Zuordnung der Betonungen können die Wörter nach Betonungsmuster oder
anderen Gruppierungsmerkmalen wie phonetischer Repräsentation,
syntaktischer Grenze, Satzposition, Satztyp, Phrasenposition und
grammatischer Kategorie gruppiert werden. In dem gegenwärtig bevorzugten
Ausführungsbeispiel
werden die Wörter
nach Betonungsmustern gruppiert. Wie bei Schritt 56 illustriert,
umfassen einsilbige Wörter
eine erste Gruppe. Zweisilbige Wörter
umfassen vier zusätzliche
Gruppen, die Gruppe '10', die Gruppe '01', die Gruppe '12' und die Gruppe '21'. Auf ähnliche
Weise lassen sich dreisilbige, viersilbige bis n-silbige Wörter entsprechend
der Betonungsmuster gruppieren. Bei Schritt 58 können den
Wörtern
andere Gruppierungsmerkmale zusätzlich
zugeordnet werden. Bei Schritt 60 werden die verarbeiteten
Daten dann in einer Wortdatenbank 30 gespeichert, die nach
Gruppierungsmerkmalen, Wörtern,
Silben und anderen relevanten Kriterien geordnet ist. Die Wortdatenbank
stellt eine zentralisierte Sammlung von Prosodie-Information zur
Verfügung, die
für die
Datenmanipulation und -extraktion bei der Konstruktion der globalen
statischen Tabelle und der Dauervorlagen zur Verfügung steht.
-
In 2 und 4 wird
die Erzeugung der globalen statischen Tabelle 32 veranschaulicht.
Die globale statische Tabelle 32 liefert eine globale Datenbank
der statischen Phonemdauerdaten, die beim Normalisieren von Phonemdauerinformation
zur Konstruktion der Dauervorlagen benutzt werden. Das gesamte segmentierte
Korpus ist in der globalen statischen Tabelle 32 enthalten.
Bei Schritt 62 wird auf eine Silbe bezogene Dauerinformation
von der Wortdatenbank 30 abgerufen. Bei Schritt 64 wird
auf das Phonemclusteringmodul 42 zugegriffen, um diese Phoneme
in Phonempaare und Einzelphoneme zu gruppieren.
-
In 2 und 5 wird
das Phonemclusteringmodul veranschaulicht. Das Phonemclusteringmodul 42 wählt, welche
Phoneme in Paare geclustert werden, basierend auf einem Kriterium
der segmentalen Überlappung,
oder anders ausgedrückt,
dem Schwierigkeitsgrad einer manuellen Segmentierung der betreffenden
Silbe. Bei Schritt 68 wird der Silbenstring von links nach
rechts gescannt, um zu bestimmen, ob er eine angezielte Kombination
enthält.
Im gegenwärtigen
Ausführungsbeispiel
gehört
Folgendes zu den Beispielen angezielter Kombinationen:
- (a) „L" oder „R" oder „Y" oder „W", gefolgt von einem
Vokal,
- (b) ein Vokal, gefolgt von einem „L" oder „R" oder „N" oder „M" oder „NG",
- (c) ein Vokal und „R", gefolgt von einem „L",
- (d) ein Vokal und „L", gefolgt von einem „R",
- (e) ein „L", gefolgt von einem „M" oder „N" und
- (f) zwei aufeinander folgende Vokale.
-
Bei
Schritt 70 werden angezielte Kombinationen aus dem String
entfernt, und bei Schritt 72 werden die Dauerdaten für das der
angezielten Kombination entsprechende Phonempaar berechnet, indem
Dauerdaten von der Wortdatenbank 30 abgerufen werden. Die
Dauerdaten für
das Phonempaar werden in der globalen statischen Tabelle 32 entweder
als Neueintrag gespeichert oder mit einem vorhandenen Eintrag für dieses
Phonempaar akkumuliert. Obwohl im bevorzugten Ausführungsbeispiel Mittel,
Standardabweichung, Maximum-, Minimumdauer und Kovarianz für das Phonempaar
aufgezeichnet wird, liegen weitere statistische Messzahlen im Schutzbereich
der Erfindung. Der Rest des Silbenstrings wird auf andere angezielte
Kombinationen gescannt; diese werden auch entfernt, und es werden die
Dauerdaten für
das Paar kalkuliert und in die globale statische Tabelle 32 eingetragen.
Nachdem alle Phonempaare aus dem Silbenstring entfernt worden sind,
bleiben nur Einzelphoneme zurück.
Bei Schritt 74 werden die Dauerdaten für die Einzelphoneme aus der
Wortdatenbank 30 abgerufen und in die globale statische
Tabelle 32 abgespeichert.
-
Bei
Schritt 76 wird der Silbenstring von rechts nach links
gescannt, um zu bestimmen, ob der String eine der vorher aufgelisteten
angezielten Kombinationen enthält.
Die Schritte 78, 80 und 82 wiederholen
dann die Ausführung
der Schritte 70 bis 74 und scannen auf Phonempaare
und Einzelphoneme und geben die kalkulierten Dauerdaten in die globale
statische Tabelle 32 ein. Obwohl das Scannen von links nach
rechts, zusätzlich
zum Scannen von rechts nach links eine gewisse Überlappung und damit eine mögliche Schiefe
hervorruft, überwiegt
die erhöhte statistische
Genauigkeit für
jeden individuellen Eintrag diese potentielle Fehlerquelle. Nach
Schritt 82 wird die Steuerung an das Erzeugungsmodul für die globale
statische Tabelle zurückgegeben,
das mit dem Betrieb fortfährt,
bis jede Silbe eines jeden Wortes segmentiert worden ist. In der
gegenwärtig
bevorzugten Implementierung werden alle Daten für ein gegebenes Phonempaar
oder Einzelphonem ungeachtet des Gruppierungsmerkmals gemittelt,
und dieses Mittel wird dazu benutzt, die globale statische Tabelle 32 zu
bestücken.
Obwohl arithmetisches Mitteln der Daten gute Resultate bringt, kann,
wenn erwünscht,
auch eine andere statistische Verarbeitung angewandt werden.
-
In 2 und 6 wird
das Konstruktionsverfahren für
eine Dauervorlage veranschaulicht. Detaillierte temporale Prosodiemuster
zu erhalten ist etwas komplizierter als bei F0-Konturen. Das liegt
vor allem daran, dass man nur durch Prüfung individueller segmentaler
Daten eine höhere
prosodische Absicht nicht von rein artikulatorischen Beschränkungen
trennen kann. Bei Schritt 84 wird eine Silbe mit ihren
assoziierten Gruppenmerkmalen aus der Wortdatenbank 30 abgerufen.
Bei Schritt 86 wird auf das Phonemclusteringmodul 42 zugegriffen,
um die Silbe in Phonemepaare und Einzelphoneme zu segmentieren.
Die Details des Betriebs des Phonemclusteringmoduls sind den vorher
beschriebenen gleich. Bei Schritt 88 ruft das Normalisierungsmodul 44 die
mittlere Dauer für
diese Phoneme aus der globalen statischen Tabelle 32 ab
und summiert sie, um die mittlere Dauer für jede Silbe zu erhalten. Bei
Schritt 90 wird dann der normalisierte Wert für eine Silbe
als Quotient aus der tatsächlichen
Silbendauer und der mittleren Dauer für diese Silbe errechnet.
-
-
- ti = normalisierter Wert für Silbe
j
- xj = mittlere Dauer des Phonempaars
j
- m = Anzahl von Phonempaaren in Silbe i
- si = tatsächlich gemessene Dauer der
Silbe i
-
Der
normalisierte Dauerwert für
die Silbe wird bei Schritt 92 in der assoziierten Dauervorlage aufgezeichnet.
Jede Dauervorlage besteht aus den normalisierten Dauerdaten für Silben,
die ein spezifisches Gruppierungsmerkmal wie beispielsweise ein Betonungsmuster
aufweisen.
-
Im
Hinblick auf die Dauervorlagenkonstruktion wird jetzt die Synthese
der temporalen Musterprosodie mit Bezug auf 1 und 6 näher erklärt. Aus
der menschlichen Sprache extrahierte Dauerinformation wird in Dauervorlagen
in einem normalisierten silbenbasierten Format gespeichert. Deshalb muss
das Tonerzeugungsmodul, um die Dauervorlagen zu verwenden, zuerst
die Information entnormalisieren, wie in 6 veranschaulicht
wird. Beginnend bei Schritt 104, werden ein Zielwort und
ein Rahmensatz-Identifizierer empfangen. Bei Schritt 106 wird
das zu synthetisierende Zielwort im Wörterbuch 14 aufgesucht,
wo die relevanten wortbasierten Daten gespeichert sind. Die Daten
enthalten Merkmale wie phonemische Repräsentation, Betonungszuordnungen
und Silbengrenzen. Bei Schritt 108 parst dann der Textprozessor 12 das
Zielwort in Silben zur anschließenden
Phonemextraktion. Auf das Phonemclusteringmodul wird bei Schritt 110 zugegriffen,
um die Phoneme in Phonempaare und Einzelphoneme zu gruppieren. Bei
Schritt 112 werden die mittleren Phonemdauern für die Silbe
aus der globalen statischen Tabelle 32 gewonnen und summiert. Die
global bestimmten Werte entsprechen den mittleren Dauerwerten, die über das
ganze Trainingskorpus beobachtet wurden. Bei Schritt 114 wird
der Dauervorlagewert für
das entsprechende Betonungsmuster erhalten und bei Schritt 116 wird
dieser Vorlagewert mit den Mittelwerten multipliziert, um die geschätzten Silbendauern
zu erzeugen. An dieser Stelle stehen die transformierten Vorlagedaten
zur Verwendung durch das Tonerzeugungsmodul bereit. Natürlich lassen
sich die Entnormalisierungsschritte von jedem der Module durchführen, das
Prosodie-Information handhabt. Daher können die in 6 illustrierten
Entnormalisierungsschritte entweder vom Tonerzeugungsmodul 24 oder
vom Prosodie-Modul 18 durchgeführt werden.
-
Anhand
des Vorgenannten wird man erkennen, dass die vorliegende Erfindung
eine Vorrichtung und ein Verfahren zur Konstruktion von temporalen Vorlagen
bereitstellt, die zum Generieren synthetisierter Sprache benutzt
wird, wobei die normalerweise fehlende Dauermusterinformation aus
Vorlagen geliefert wird, die auf aus menschlicher Sprache extrahierten
Daten beruhen. Wie demonstriert worden ist, kann diese temporale
Information aus menschlicher Sprache extrahiert werden und in einer
Datenbank von Dauervorlagen abgespeichert werden, die nach Gruppierungsmerkmalen
wie etwa Betonungsmustern angeordnet sind. Die in den Vorlagen gespeicherten
temporalen Daten können
durch ein Nachschlageverfahren, das auf mit dem Text von Eingabewörtern assoziierten
Betonungsmustern basiert, auf die phonemische Information angewandt
werden.
-
Die
Erfindung ist für
eine breite Palette verschiedener Text-zu-Sprache- und Sprachsyntheseanwendungen,
einschließlich
großer
Domäneanwendungen,
wie Textbücher-Leseanwendungen,
und begrenzteren Domäneanwendungen,
wie Autonavigations- oder Phrasenbuch-Übersetzungsanwendungen,
geeignet. Im Falle begrenzter Domänen kann ein kleines Set von „fixed-frame" Sätzen im
Voraus designiert werden, und ein Zielwort im jeweiligen Satz kann
durch ein willkürliches
Wort (wie beispielsweise einen Eigennamen oder Straßennamen)
ersetzt werden). In diesem Fall lässt sich Tonhöhe und Timing
für die
Rahmensätze
(frame sentences) von wirklicher Sprache messen und speichern und
daher eine sehr natürliche
Prosodie für
den größten Teil
des Satzes sicherstellen. Das Zielwort ist dann die einzige Sache,
die Tonhöhen-
und Timingkontrolle mittels der Prosodievorlagen der Erfindung erfordert.
