EP1251493B1 - Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz - Google Patents

Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz

Info

Publication number
EP1251493B1
EP1251493B1 EP02008011A EP02008011A EP1251493B1 EP 1251493 B1 EP1251493 B1 EP 1251493B1 EP 02008011 A EP02008011 A EP 02008011A EP 02008011 A EP02008011 A EP 02008011A EP 1251493 B1 EP1251493 B1 EP 1251493B1
Authority
EP
European Patent Office
Prior art keywords
signal
useful signal
spectral subtraction
channel
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
EP02008011A
Other languages
English (en)
French (fr)
Other versions
EP1251493A3 (de
EP1251493A2 (de
Inventor
Markus Buck
Tim Dr. Haulick
Klaus Dr. Linhard
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman Becker Automotive Systems GmbH
Original Assignee
DaimlerChrysler AG
Harman Becker Automotive Systems GmbH
Harman Becker Automotive Systems Becker Division GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG, Harman Becker Automotive Systems GmbH, Harman Becker Automotive Systems Becker Division GmbH filed Critical DaimlerChrysler AG
Publication of EP1251493A2 publication Critical patent/EP1251493A2/de
Publication of EP1251493A3 publication Critical patent/EP1251493A3/de
Application granted granted Critical
Publication of EP1251493B1 publication Critical patent/EP1251493B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal

Definitions

  • the invention relates to a method for noise reduction according to the preamble of patent claim 1.
  • a frequently used method for noise reduction of a disturbed useful signal eg a speech signal, music signal etc. is the spectral subtraction.
  • Advantage of the spectral subtraction is the low complexity and that the disturbed useful signal is needed only in one variant (only 1 channel).
  • Disadvantage is the signal delay (due to the block processing in the spectral range), the limited maximum achievable noise reduction and the difficulty to compensate for transient noises.
  • Stationary noise can be reduced, for example, by 12dB with good voice quality.
  • microphone arrays are used. Of the various microphone arrays, such are for many practical applications particularly interesting, which make do with small geometrical dimensions for the microphone arrangement.
  • Small differential microphone arrays also called super-directive arrays
  • LMS least mean square
  • two microphones are time-compensated subtracted in two ways such that a virtual microphone with a cardioid polar pattern is turned away from the speaker and a "virtual" microphone with a kidney-shaped characteristic faces away from the speaker.
  • the delay compensation corresponds to the time that the sound needs for the distance between the two microphones, eg 1.5cm. This results in a "back-to-back" kidney-shaped directional characteristic.
  • the speaker-directed microphone is the primary signal for the adaptive filter, and the oppositely-directed microphone is the reference signal of the interference.
  • Figure 1 shows an adaptive arrangement for a beamformer.
  • the runtime compensation with an all-pass ALL is realized by shifting by whole samples.
  • the combination of two single microphones with omnidirectional characteristic described above results in a cardioid polar pattern characteristic for the speaker and an oppositely directed cardioid polar pattern characteristic as interference reference.
  • the adaptive filter H 1 is adapted in the time domain using the LMS (least mean square) algorithm.
  • a low-pass filter TP at the system output raises low frequency components, which are attenuated during the formation of the cardioid polar pattern.
  • the arrangement of the microphones M in succession according to FIG. 1 is referred to as an "end fire array", in contrast the arrangement of the microphones is designated side by side with a "broadside array”.
  • Figure 2 shows an arrangement for a "broad side array" of two microphones in the distance, wherein the two microphone signals are preprocessed with the aid of spectral subtraction (SPS).
  • SPS spectral subtraction
  • a runtime compensation with the all-pass all between both channels is carried out and serves to compensate for movements of the speaker.
  • the sum of the two pre-processed microphone signals forms the primary input and the difference the reference input for an adaptive filter H 1.
  • the adaptive filter in this arrangement with sum and difference input is also referred to as 'generalized sidelobe canceller'.
  • the adaptation takes place with the LMS algorithm, whereby the implementation of the LMS in the frequency domain takes place.
  • a post-processing of the microphone signals is performed with a modified cross-correlation function in the frequency domain.
  • the basic structure with spectral preprocessing by means of SPS, beam shaping and post-processing is described in the patent EP 0615226B1, wherein a precise specification of the beamformer has not been made.
  • Figure 3 shows an overview of circuitry of microphones for forming the directional characteristics for two microphones.
  • the two individual microphones themselves can already have a kidney-shaped characteristic or the so-called spherical characteristics.
  • ALL refers to a passpipe all-pass.
  • 'Gain' is a gain equalization between both channels which is required in practice to equalize the sensitivity of the microphone capsules.
  • the Einschurgicardi in the polar diagrams of the directional characteristics is 90 °.
  • the first 3 arrangements a, b and c are suitable as a voice channel, since there is a maximum at 90 ° and an attenuation is present for the other directions.
  • Arrangement a and b lead to the same directional characteristic.
  • the arrangements a, b are referred to as a sum or difference array and arrangement c as a differential array.
  • the arrangements d and e have a zero at 90 ° in the polar diagram and are therefore suitable as a fault reference.
  • the zero point at 90 ° in the polar diagram is necessary so that no speech components get into the reference channel. Speech components in the reference channel lead to partial compensation of the language.
  • Under ideal conditions, according to arrangements d and e, for the disturbance reference a zero will be set towards the speaker. However, in practical applications this will not be the case. The consequence is that speech components are treated as interference signals and thus removed from the actual speech signal.
  • Beamformers are usually adapted only in the speech pauses, in order to allow no adaptation to speech components. Nevertheless, even in this case existing speech components in the reference are compensated since they are always superimposed on the noise.
  • the present invention is therefore based on the object to provide a method for noise reduction, with the crosstalk of the useful signal is minmiert in the interference reference signal.
  • the invention has the advantage that significantly fewer useful signal components, e.g. Voice components are present in the interference reference signal than with the previous methods.
  • the elimination of the disturbing speech components is thus under real conditions with reflections of the speech signal in real spaces such as e.g. in the vehicle possible.
  • the invention assumes that a one-sided spectral subtraction is performed to form the interference reference signal. It is essential that the spectral subtraction takes place to form a reference signal only on one channel, which is referred to as 'one-sided'.
  • the one channel thus contains useful and interference signals
  • the second channel after the spectral subtraction contains only useful signals.
  • the useful part is subtracted and the fault remains. This difference is the disturbance reference signal.
  • the speech signals are processed so that the interference reference signal has a zero to the speaker in the form of a kidney-shaped or an eight-shaped characteristic.
  • the unilateral spectral subtraction leads to a self-regulating control of the characteristic, such that the zero occurs only in voice activity.
  • the one-sided spectral subtraction results in nothing or only a small signal being subtracted and thus approximately the characteristic of the single microphone (e.g., kidney or bullet) available for the perturbation.
  • the ideal zero for the speech signal in the reference is only achieved with an ideal spectral subtraction in the acoustic free field.
  • An ideal spectral subtraction gives the undisturbed speech signal as an output signal and would then make any further processing unnecessary.
  • the spectral subtraction in practice gives only a good approximation of the speech signal with noise residues in the speech pauses. Since the one-sided spectral subtraction is used in addition to the microphone zero point, the speech components of the reference reduce significantly.
  • the residual noise of the spectral subtraction in speech pauses is set with a parameter, the "spectral floor".
  • the spectral floor b is the minimum value of a filter coefficient W of the spectral subtraction at each frequency index i.
  • FIG. 4 shows three block diagrams with one-sided spectral subtraction for the reference input.
  • the primary useful signal P of the beamformer eg voice signal
  • FIG. 4 a the primary useful signal P of the beamformer (eg voice signal) is connected as a differential array DA for the channels 1, 2 (arrangement c in FIG. 3).
  • Figure 4b, 4c shows a circuit of the primary signal P as a sum and difference array SD (arrangement a and b in Figure 3).
  • the interference reference input processes the reference signal R with the additional extension of the one-sided spectral subtraction in differential form according to the arrangement d and e in FIG. 3.
  • the difference between useful signal in channel 2 and interference-canceled useful signal from channel 1 is applied to the adaptive filter H 1.
  • the adaptive filter H1 is adapted in the time domain or in an equivalent form in the frequency domain using the LMS algorithm.
  • the filtered interference reference signal R is then subtracted from the primary useful signal P.
  • a further embodiment of the invention according to Figure 5 is that the one-sided spectral subtraction, PLC 1 'is performed once on the channel 1 for the useful signal to form together with the useful signal in channel 2, a first reference signal R1.
  • the unilateral spectral subtraction, SPS 2 'performed on the useful signal of the channel 2 to form together with the useful signal in channel 1, a second reference signal R2.
  • the result is a system with 2 reference signals, which are subtracted from the primary signal P.
  • the interference is detected in each case with the characteristic of the individual microphones during speech pauses, and a zero point for the speech signal is generated during speech activity.
  • FIG. 4 the modification with 2 reference inputs for 'end fire' microphone arrangement or 'broad side' arrangement is used.
  • Figure 5 shows the block diagram for the 'end fire' arrangement.
  • the beamformer consists of the channel 1 for the speech signal and two reference channels 2, 3. Each reference input is filtered by an adaptive filter 'H 1 ', or 'H 2 '. Filter balancing is performed with a multi-channel LMS algorithm.
  • a one-sided spectral subtraction is performed by combining two inputs each in the manner described in order to obtain a reference signal. If, for example, a 'broad side array' with 3 microphones is assumed, this results in 6 combinations for pairing. Taking into account that for each pair the one-sided spectral subtraction is optionally performed on one or the other channel, so doubles the number of combinations and thus the number of Referenzkale.
  • An array of multiple microphones uses a limited number of possible combinations.
  • the invention is not limited to the recording of the useful signals by microphones, but receiving systems such as antennas can be used.
  • Useful signals can be any kind of acoustic and electrical signals.

Description

  • Die Erfindung betrifft ein Verfahren zur Geräuschreduktion nach dem Oberbegriff des Patentanspruchs 1.
    Ein häufig verwendetes Verfahren zur Geräuschreduktion eines gestörten Nutzsignals, z.B. ein Sprachsignal, Musiksignal etc. ist die spektrale Subtraktion. Vorteil der spektralen Subtraktion ist die geringe Komplexität und daß das gestörte Nutzsignal nur in einer Variante (nur 1 Kanal) benötigt wird. Nachteil ist die Signalverzögerung (bedingt durch die Blockverarbeitung im Spektralbereich), die begrenzte maximal erreichbare Geräuschreduktion und die Schwierigkeit instationäre Geräusche zu kompensieren. Stationäre Geräusche können bei noch guter Sprachqualität z.B. um 12dB reduziert werden.
  • Wird eine höhere Geräuschreduktion oder eine bessere Sprachqualität verlangt, sind mehrere Aufnahmekanäle erforderlich. Es werden z.B. Mikrofon-Arrays verwendet. Von den verschiedenen Mikrofon-Arrays sind für viele praktische Anwendungen solche besonders interessant, die mit kleinen geometrischen Abmessungen für die Mikrofonanordnung auskommen. Es werden kleine differentielle Mikrofon-Arrays (auch superdirektive Arrays genannt) gebildet und eine adaptive Variante dieser Mikrofonanordnung, wobei zur Adaption der LMS(least mean square )-Algorithmus verwendet wird. Bei der adaptiven Form dieses Arrays werden zwei Mikrofone laufzeitkompensiert auf zwei Arten derart subtrahiert, daß ein virtuelles'Mikrofon mit nierenförmiger Richtcharakteristik zum Sprecher und ein 'virtuelles' Mikrofon mit nierenförmiger Charakteristik vom Sprecher abgewandt entsteht. Die Laufzeitkompensation entspricht der Zeit, die der Schall für die Distanz zwischen den beiden Mikrofonen benötigt, z.B. 1,5cm. Es ergibt sich eine "Rücken-an-Rücken" nierenförmige Richtcharakteristik. Das zum Sprecher gerichtet Mikrofon ist das primäre Signal für das adaptive Filter und das entgegengesetzt gerichtete Mikrofon ist das Referenzsignal der Störung.
  • Figure 1 zeigt eine adaptive Anordnung für einen Strahlformer. Der Laufzeitausgleich mit einem Allpaß ALL wird durch Verschiebung um ganze Abtastwerte realisiert. Durch die oben beschriebene Kombination zweier Einzelmikrofone mit Kugelcharakteristik ergibt sich eine nierenförmige Richtcharakteristik zum Sprecher und eine entgegengesetzt gerichtete nierenförmige Richtcharakteristik als Störreferenz. Das adaptive Filter H 1 wird im Zeitbereich mit dem LMS (least mean square)-Algorithmus adaptiert. Ein Tiefpaß TP am Systemausgang hebt tiefe Frequenzanteile an, die bei der Bildung der nierenförmigen Richtcharakteristik gedämpft werden.
    Die Anordnung der Mikrofone M hintereinander gemäß Figur 1 wird als ,end fire array' bezeichnet, im Gegensatz wird die Anordnung der Mikrofone nebeneinander mit ,broad side array' bezeichnet.
  • Figure 2 zeigt eine Anordnung für ein "broad side array" aus zwei Mikrofonen im Abstand, wobei mit Hilfe der spektralen Subtraktion (SPS) die beiden Mikrofonsignale vorverarbeitet werden. Ein Laufzeitausgleich mit dem Allpaß All zwischen beiden Kanälen wird ausgeführt und dient dem Ausgleich von Bewegungen des Sprechers. Die Summe der beiden vorverarbeiteten Mikrofonsignale bildet den primären Eingang und die Differenz den Referenzeingang für ein adaptives Filter H 1. Das adaptive Filter in dieser Anordnung mit Summen- und Differenzeingang wird auch als ,generalized sidelobe canceller' bezeichnet. Die Adaption erfolgt mit dem LMS-Algorithmus, wobei die Implementierung des LMS im Frequenzbereich erfolgt. Eine Nachverarbeitung der Mikrofonsignale wird mit einer modifizierten Kreuzkorrelationsfunktion im Frequenzbereich durchgeführt. Die grundlegende Struktur mit spektraler Vorverarbeitung mittels SPS, Strahlfomung und Nachverarbeitung (Post) ist in der Patentschrift EP 0615226B1 beschrieben, wobei eine genaue Spezifizierung des Strahlformers nicht erfolgt ist.
  • Figure 3 zeigt einen Überblick über Schaltungsanordnungen von Mikrofonen zur Bildung der Richtcharakteristiken für zwei Mikrofone. Die beiden einzelnen Mikrofone selbst können bereits eine nierenförmige Charakteristik haben oder die sogenannte Kugelcharakteristik. "ALL" bezeichnet einen Allpaß für den Laufzeitausgleich. ,Gain' ist ein Verstärkungsausgleich zwischen beiden Kanälen der in der Praxis erforderlich ist, um die Empfindlichkeit der Mikrofonkapseln anzugleichen.
  • Die Einsprechrichtung in den Polardiagrammen der Richtcharakteristiken ist 90°. Die ersten 3 Anordnungen a, b und c sind als Sprachkanal geeignet, da bei 90° ein Maximum vorliegt und für die weiteren Richtungen eine Dämpfung vorhanden ist. Anordnung a und b führen auf die gleiche Richtcharakteristik. Die Anordnungen a, b werden als Summen- oder Differenz Array und Anordnung c als differentielles Array bezeichnet.
    Die Anordnungen d und e haben eine Nullstelle bei 90°im Polardiagramm und sind damit als Störreferenz geeignet. Die Nullstelle bei 90° im Polardiagramm ist notwendig, damit keine Sprachanteile in den Referenzkanal gelangen. Sprachanteile im Referenzkanal führen zur teilweisen Kompensation der Sprache.
    Unter idealen Bedingungen wird sich gemäß Anordnung d und e für die Störreferenz eine Nullstelle in Richtung zum Sprecher einstellen. In praktischen Anwendungen wird dies jedoch nicht der Fall sein. Die Folge ist, daß Sprachanteile wie Störsignale behandelt werden und damit vom eigentlichen Sprachsignal entfernt werden.
  • Strahlformer werden meist nur in den Sprachpausen adaptiert, um keine Adaption an Sprachanteile zu ermöglichen. Dennoch werden auch in diesem Fall in der Referenz vorhandene Sprachanteile kompensiert, da sie dem Geräusch stets überlagert sind.
  • Eine andere Vorgehensweise ist die Verstärkung von Kanälen anzugleichen, damit bei deren Subtraktion im Idealfall eine Nullstelle erzeugt wird. Dies ist notwendig, da Mikrofone aus der Serienfertigung Toleranzen ausweisen. In den Anordnungen der Figur 3 ist dies mit dem Funktionsblock ,Gain' berücksichtigt, der unterschiedliche Mikrofon-Empfindlichkeiten ausgleicht.
  • In Anwendungen wird trotz Empfindlichkeitsausgleich mit 'Gain' dennoch keine Nullstelle für das Sprachsignal in der Referenz eingestellt. Nur unter der Voraussetzung, daß das Mikrofon im akustischen Freifeld betrieben wird (ohne Reflexionen), können die Sprachanteile vollständig kompensiert werden. Reale Anwendungen haben bedingt durch Reflexionen einen gewissen Schallanteil aus unterschiedlichen Richtungen, der eine Nullstelle für das Sprachsignal nicht entstehen läßt. Es wird sich bei Anordnungen gemäß Figur 1 oder Figur 2 stets ein gewisser Sprachanteil in dem Referenzsignal des Strahlformers wiederfinden, der zu Sprachverzerrungen führt.
  • Der vorliegende Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur Geräuschreduktion anzugeben, mit dem ein Übersprechen des Nutzsignals in das Störreferenzsignal minmiert wird.
  • Die Erfindung ist in Anspruch 1 angegeben. Vorteilhafte Ausgestaltungen und Weiterbildungen sind den Unteransprüchen zu entnehmen.
  • Die Erfindung hat den Vorteil, daß deutlich weniger Nutzsignalanteile, z.B. Sprachanteile im Störreferenzsignal vorhanden sind als mit den bisherigen Verfahren. Die Beseitigung der störenden Sprachanteile ist damit unter realen Bedingungen mit Reflexionen des Sprachsignals in realen Räumen wie z.B. im Kraftfahrzeug möglich.
  • Die Erfindung geht davon aus, daß zur Bildung des Störreferenzsignals eine einseitige spektrale Subtraktion durchgeführt wird. Wesentlich ist, daß die spektrale Subtraktion zur Bildung eines Referenzsignals nur an einem Kanal stattfindet, was mit 'einseitig' bezeichnet wird. Der eine Kanal enthält damit Nutz- und Störsignale, der zweite Kanal nach der spektralen Subtraktion enthält nur Nutzsignale. Bei der anschließenden Subtraktion der beiden Kanäle wird der Nutzanteil subtrahiert und es verbleibt die Störung. Diese Differenz ist das Störreferenzsignal.
  • Werden z.B. Mikrofone zur Aufnahme von Sprachsignalen verwendet, so werden die Sprachsignale derart verarbeitet, daß das Störreferenzsignal eine Nullstelle zum Sprecher in der Form einer nierenförmigen oder einer achtförmigen Charakteristik aufweist. Die einseitige spektrale Subtraktion führt zu einer selbststeuernden Regelung der Charakteristik, derart, daß die Nullstelle nur bei Sprachaktivität entsteht. In Sprachpausen führt die einseitige spektrale Subtraktion dazu, daß nichts oder nur ein geringes Signal subtrahiert wird und damit näherungsweise die Charakteristik des Einzelmikrofons (z.B. Niere oder Kugel) für die Störung zur Verfügung steht.
  • Die ideale Nullstelle für das Sprachsignal in der Referenz wird nur mit einer idealen spektralen Subtraktion im akustischen Freifeld erreicht. Eine ideale spektrale Subtraktion ergibt das ungestörte Sprachsignal als Ausgangssignal und würde dann jede weiter Bearbeitung unnötig machen. Die spektrale Subtraktion in der Praxis ergibt nur eine gute Annäherung des Sprachsignals mit Geräuschresten in den Sprachpausen. Da die einseitige spektrale Subtraktion ergänzend zu der Mikrofon-Nullstelle eingesetzt wird, vermindern sich die Sprachanteile der Referenz deutlich.
  • Das Restgeräusch der spektralen Subtraktion in Sprachpausen wird mit einem Parameter eingestellt, dem ,spectral floor'. Der spectral floor b ist der minimale Wert eines Filterkoeffizienten W der spektralen Subtraktion bei jedem Frequenzindex i. Das Ausgangssignal Y(i) ergibt sich durch Multiplikation der Filterkoeffizienten W(i) mit dem Eingangswert X(i): W ( i ) : = max ( W ( i ) , b ) ;
    Figure imgb0001
     und Y ( i ) = W ( i ) ⋅ X ( i ) ;
    Figure imgb0002
  • Der maximale Wert für W ist 1 (Ausgang =Eingang). Wird b=1 gewählt, ist die spektrale Subtraktion praktisch ausgeschaltet.. Mit b=0 erreicht die spektrale Subtraktion die maximale Wirksamkeit. In der Praxis ergibt sich mit b=0 eine schlechte Sprachqualität.
  • Mit dem Parameter b ergibt sich für die vorliegende Erfindung die Möglichkeit die einseitige spektrale Subtraktion in ihrer Wirksamkeit kontinuierlich einzustellen. Mit einem Wert von z.B. b=0.25 wird eine Geräuschunterdrückung von ca. 12dB und eine gute Sprachqualität erzielt.
  • Die Erfindung wird im folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf schematische Zeichnungen näher erläutert.
  • Figur 4 zeigt 3 Blockschaltbilder mit einseitiger spektraler Subtraktion für den Referenzeingang. In Figur 4a ist das primäre Nutzsignal P des Strahlfomers (z.B. Sprachsignal) als differentielles Array DA für die Kanäle 1, 2 geschaltet ist (Anordnung c in Figur 3). Figur 4b, 4c zeigt eine Schaltung des Primärsignals P als Summen- und Differenz Array SD (Anordnung a und b in Figur 3).
    Der Störreferenzeingang verarbeitet das Referenzsignal R mit der zusätzlichen Erweiterung der einseitigen spektralen Subtraktion in differentieller Form gemäß den Anordnung d und e in Figur 3. Die Differenz aus Nutzsignal in Kanal 2 und entstörtem Nutzsignal aus Kanal 1 wird auf das adaptive Filter H 1 gegeben. Das adaptive Filter H1 wird im Zeitbereich oder in einer äquivalenten Form im Frequenzbereich mit dem LMS - Algorithmus adaptiert. Das gefilterte Störreferenzsignal R wird anschließend vom primären Nutzsignal P subtrahiert.
  • Eine weitere Ausgestaltung der Erfindung gemäß Figur 5 besteht darin, daß die einseitige spektrale Subtraktion ,SPS1'einmal am Kanal 1 für das Nutzsignal durchgeführt wird, um damit zusammen mit dem Nutzsignal in Kanal 2 einen erstes Referenzsignal R1 zu bilden. Ein zweites Mal wird die einseitige spektrale Subtraktion ,SPS2'am Nutzsignal des Kanal 2 durchgeführt, um zusammen mit dem Nutzsignal in Kanal 1 ein zweites Referenzsignal R2 zu bilden. Es entsteht ein System mit 2 Referenzsignalen, die vom Primärsignal P subtrahiert werden. Bei Sprachsignalen wird in den Sprachpausen die Störung jeweils mit der Charakteristik der Einzelmikrofone erfaßt und bei Sprachaktivität eine Nullstelle für das Sprachsignal erzeugt.
  • Entsprechend den Erläuterungen zu den Blockschaltbildern der Figur 4 wird die Abwandlung mit 2 Referenzeingängen für 'end fire' Mikrofonanordnung oder ,broad side' Anordnung verwendet. Figure 5 zeigt das Blockschaltschild für die ,end fire' Anordnung. Der Strahlformer besteht aus dem Kanal 1 für das Sprachsignal und zwei Referenzkanälen 2, 3. Jeder Referenzeingang wird von einem adaptiven Filter 'H1', bzw. 'H2' gefiltert. Der Filterabgleich erfolgt mit einem mehrkanaligen LMS-Algorithmus.
  • Stehen mehr als 2 Eingangssignale zur Verfügung, so wird durch Kombination von jeweils 2 Eingängen in der beschriebenen Weise eine einseitige spektrale Subtraktion durchgeführt, um ein Referenzsignal zu erhalten. Wird z.B. ein ,broad side array' mit 3 Mikrofonen angenommen, ergeben sich für die Paarbildung 6 Kombinationen. Wird berücksichtigt, daß bei jedem Paar die einseitige spektrale Subtraktion wahlweise bei dem einen oder dem anderen Kanal durchgeführt wird, so verdoppelt sich die Anzahl der Kombinationen und somit die Anzahl der Referenzkänale. Bei einem Array aus mehreren Mikrofonen wird eine eingeschränkte Anzahl aus den möglichen Kombinationen verwendet.
    Die Erfindung ist nicht auf die Aufzeichnung der Nutzsignale durch Mikrofone beschränkt, sondern es können Empfangssysteme wie z.B. Antennen verwendet werden. Nutzsignale können jegliche Art von akustischen und elektrischen Signalen sein.

Claims (11)

  1. Verfahren zur Erzeugung eines Störreferenzsignals R zur Geräuschreduktion eines primären Nutzsignats, welches durch Kombination der Signale wenigstens zweier Kanäle, insbesondere Sprachkanäle, gebildet wird,
    wobei die Signale paarweise miteinander verarbeitet werden, und
    wobei jeweils nur eines der paarweise verarbeiteten Signale einer spektralen Subtraktion unterzogen und zur Differenzbildung mit dem anderen Signal herangezogen wird,
    so dass im Ergebnis ein Störreferenzsignal R entsteht, welches im wesentlichen nur noch das Störsignal selbst, als Referenz, enthält.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das primäre Nutzsignal als differentielles Array (DA) von zwei Kanälen (1, 2) geschaltet wird.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das primäre Nutzsignal als Summen- und Differenz Array(SD) von zwei Kanälen (1, 2) geschaltet wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Störreferenzsignal mit der zusätzlichen Erweiterung der einseitigen spektralen Subtraktion in differentieller Form derart erzeugt wird, daß die Differenz aus dem entstörten Nutzsignal aus einem Kanal (1) und dem Nutzsignal aus einem weiteren Kanal (2) auf ein adaptives Filter (H1) gegeben wird, und daß das gefilterte Störreferenzsignal (R) anschließend vom primären Nutzsignal (P) subtrahiert wird.
  5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß eine spektrale Subtraktion (SPS1) an einem ersten Kanal (1) für das Nutzsignal durchgeführt wird und zusammen mit dem Nutzsignal in einem zweiten Kanal (2) auf ein adaptives Filter (H1) gegeben wird und ein erstes Referenzsignal (R 1) gebildet wird, daß eine weitere spektrale Subtraktion (SPS2) am Nutzsignal des zweiten Kanals (2) durchgeführt wird und zusammen mit dem Nutzsignal aus dem ersten Kanal (1) auf ein adaptives Filter (H2) in einem weiteren Kanal (3) gegeben wird und ein zweites Referenzsignal (R2) gebildet wird, und daß die beiden Referenzsignale (R1, R2) vom primären Nutzsignalsignal (P) subtrahiert werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Filter (H1, H2) im Zeitbereich oder im Frequenzbereich mit dem LMS - Algorithmus adaptiert werden.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Nutzsignal von Mikrofonen aufgezeichnet wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß als Nutzsignal ein Sprachsignal verwendet wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die spektrale Subtraktion mit einem Parameter in ihrer Wirksamkeit kontinuierlich eingestellt wird.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß der Parameter als minimaler Wert eines Filterkoeffizienten der spektralen Subtraktion bei jedem Frequenzindex gebildet wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß bei mehr als zwei Eingangssignalen durch Kombination von jeweils zwei Eingängen eine spektrale Subtraktion zur Erzeugung eines Referenzsignals durchgeführt wird.
EP02008011A 2001-04-14 2002-04-10 Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz Expired - Lifetime EP1251493B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10118653 2001-04-14
DE10118653A DE10118653C2 (de) 2001-04-14 2001-04-14 Verfahren zur Geräuschreduktion

Publications (3)

Publication Number Publication Date
EP1251493A2 EP1251493A2 (de) 2002-10-23
EP1251493A3 EP1251493A3 (de) 2003-11-19
EP1251493B1 true EP1251493B1 (de) 2006-08-16

Family

ID=7681629

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02008011A Expired - Lifetime EP1251493B1 (de) 2001-04-14 2002-04-10 Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz

Country Status (5)

Country Link
US (1) US7020291B2 (de)
EP (1) EP1251493B1 (de)
JP (1) JP4588966B2 (de)
AT (1) ATE336782T1 (de)
DE (2) DE10118653C2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077607B (zh) * 2008-05-02 2014-12-10 Gn奈康有限公司 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风系统

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6910011B1 (en) * 1999-08-16 2005-06-21 Haman Becker Automotive Systems - Wavemakers, Inc. Noisy acoustic signal enhancement
US7117149B1 (en) 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
US8280072B2 (en) 2003-03-27 2012-10-02 Aliphcom, Inc. Microphone array with rear venting
US8019091B2 (en) 2000-07-19 2011-09-13 Aliphcom, Inc. Voice activity detector (VAD) -based multiple-microphone acoustic noise suppression
US7577262B2 (en) * 2002-11-18 2009-08-18 Panasonic Corporation Microphone device and audio player
US9066186B2 (en) 2003-01-30 2015-06-23 Aliphcom Light-based detection for acoustic applications
US7885420B2 (en) 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
US7725315B2 (en) 2003-02-21 2010-05-25 Qnx Software Systems (Wavemakers), Inc. Minimization of transient noises in a voice signal
US8326621B2 (en) 2003-02-21 2012-12-04 Qnx Software Systems Limited Repetitive transient noise removal
US7949522B2 (en) 2003-02-21 2011-05-24 Qnx Software Systems Co. System for suppressing rain noise
US8271279B2 (en) 2003-02-21 2012-09-18 Qnx Software Systems Limited Signature noise removal
US8073689B2 (en) 2003-02-21 2011-12-06 Qnx Software Systems Co. Repetitive transient noise removal
US7895036B2 (en) * 2003-02-21 2011-02-22 Qnx Software Systems Co. System for suppressing wind noise
US9099094B2 (en) 2003-03-27 2015-08-04 Aliphcom Microphone array with rear venting
WO2005048648A2 (en) * 2003-11-12 2005-05-26 Oticon A/S Microphone system
KR100640865B1 (ko) * 2004-09-07 2006-11-02 엘지전자 주식회사 음성 품질 향상 방법 및 장치
KR20070050058A (ko) * 2004-09-07 2007-05-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 향상된 잡음 억제를 구비한 전화통신 디바이스
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US8543390B2 (en) * 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US7680652B2 (en) * 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7949520B2 (en) * 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US8306821B2 (en) 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US8027833B2 (en) * 2005-05-09 2011-09-27 Qnx Software Systems Co. System for suppressing passing tire hiss
US8520861B2 (en) * 2005-05-17 2013-08-27 Qnx Software Systems Limited Signal processing system for tonal noise robustness
US8170875B2 (en) 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US8311819B2 (en) 2005-06-15 2012-11-13 Qnx Software Systems Limited System for detecting speech with background voice estimates and noise estimates
CN1809105B (zh) * 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
US8180067B2 (en) * 2006-04-28 2012-05-15 Harman International Industries, Incorporated System for selectively extracting components of an audio input signal
US7844453B2 (en) 2006-05-12 2010-11-30 Qnx Software Systems Co. Robust noise estimation
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8036767B2 (en) * 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
US8335685B2 (en) 2006-12-22 2012-12-18 Qnx Software Systems Limited Ambient noise compensation system robust to high excitation noise
US8326620B2 (en) 2008-04-30 2012-12-04 Qnx Software Systems Limited Robust downlink speech and noise detector
US20080231557A1 (en) * 2007-03-20 2008-09-25 Leadis Technology, Inc. Emission control in aged active matrix oled display using voltage ratio or current ratio
CN101779476B (zh) * 2007-06-13 2015-02-25 爱利富卡姆公司 全向性双麦克风阵列
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8904400B2 (en) * 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
EP2214163A4 (de) * 2007-11-01 2011-10-05 Panasonic Corp Codierungseinrichtung, decodierungseinrichtung und verfahren dafür
US8209514B2 (en) * 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
US8135140B2 (en) 2008-11-20 2012-03-13 Harman International Industries, Incorporated System for active noise control with audio signal compensation
US9020158B2 (en) 2008-11-20 2015-04-28 Harman International Industries, Incorporated Quiet zone control system
US8300561B2 (en) * 2008-12-30 2012-10-30 Texas Instruments Incorporated Methods and apparatus for canceling distortion in full-duplex transceivers
US8718289B2 (en) 2009-01-12 2014-05-06 Harman International Industries, Incorporated System for active noise control with parallel adaptive filter configuration
US8189799B2 (en) 2009-04-09 2012-05-29 Harman International Industries, Incorporated System for active noise control based on audio system output
US8199924B2 (en) 2009-04-17 2012-06-12 Harman International Industries, Incorporated System for active noise control with an infinite impulse response filter
US8077873B2 (en) 2009-05-14 2011-12-13 Harman International Industries, Incorporated System for active noise control with adaptive speaker selection
FR2948484B1 (fr) * 2009-07-23 2011-07-29 Parrot Procede de filtrage des bruits lateraux non-stationnaires pour un dispositif audio multi-microphone, notamment un dispositif telephonique "mains libres" pour vehicule automobile
WO2011044064A1 (en) * 2009-10-05 2011-04-14 Harman International Industries, Incorporated System for spatial extraction of audio signals
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
EP2509337B1 (de) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Durch Beschleunigungsvektor gesteuertes Rauschunterdrückungsverfahren
FR2976111B1 (fr) * 2011-06-01 2013-07-05 Parrot Equipement audio comprenant des moyens de debruitage d'un signal de parole par filtrage a delai fractionnaire, notamment pour un systeme de telephonie "mains libres"
US8712076B2 (en) 2012-02-08 2014-04-29 Dolby Laboratories Licensing Corporation Post-processing including median filtering of noise suppression gains
US9173025B2 (en) 2012-02-08 2015-10-27 Dolby Laboratories Licensing Corporation Combined suppression of noise, echo, and out-of-location signals
CN102820036B (zh) * 2012-09-07 2014-04-16 歌尔声学股份有限公司 一种自适应消除噪声的方法和装置
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
CN106797512B (zh) 2014-08-28 2019-10-25 美商楼氏电子有限公司 多源噪声抑制的方法、系统和非瞬时计算机可读存储介质
US10204637B2 (en) * 2016-05-21 2019-02-12 Stephen P Forte Noise reduction methodology for wearable devices employing multitude of sensors
JP7007861B2 (ja) * 2017-10-31 2022-01-25 ローム株式会社 オーディオ回路およびそれを用いた電子機器
WO2020014931A1 (zh) * 2018-07-19 2020-01-23 深圳市汇顶科技股份有限公司 语音增强方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4243831A1 (de) * 1992-12-23 1994-06-30 Daimler Benz Ag Verfahren zur Laufzeitschätzung an gestörten Sprachkanälen
DE4307688A1 (de) * 1993-03-11 1994-09-15 Daimler Benz Ag Verfahren zur Geräuschreduktion für gestörte Sprachkanäle
US5574824A (en) * 1994-04-11 1996-11-12 The United States Of America As Represented By The Secretary Of The Air Force Analysis/synthesis-based microphone array speech enhancer with variable signal distortion
JP2758846B2 (ja) * 1995-02-27 1998-05-28 埼玉日本電気株式会社 ノイズキャンセラ装置
US6717991B1 (en) * 1998-05-27 2004-04-06 Telefonaktiebolaget Lm Ericsson (Publ) System and method for dual microphone signal noise reduction using spectral subtraction
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077607B (zh) * 2008-05-02 2014-12-10 Gn奈康有限公司 组合至少两个音频信号的方法和包括至少两个麦克风的麦克风系统

Also Published As

Publication number Publication date
DE10118653C2 (de) 2003-03-27
EP1251493A3 (de) 2003-11-19
ATE336782T1 (de) 2006-09-15
US7020291B2 (en) 2006-03-28
US20020176589A1 (en) 2002-11-28
DE50207832D1 (de) 2006-09-28
DE10118653A1 (de) 2002-10-24
EP1251493A2 (de) 2002-10-23
JP2002374589A (ja) 2002-12-26
JP4588966B2 (ja) 2010-12-01

Similar Documents

Publication Publication Date Title
EP1251493B1 (de) Verfahren zur Geräuschreduktion mit selbststeuernder Störfrequenz
DE4498516C2 (de) Richtungsgradientenmikrofonsystem und Verfahren zu seinem Betrieb
EP1977626B1 (de) Verfahren zur aufnahme einer tonquelle mit zeitlich variabler richtcharakteristik und zur wiedergabe
DE69908662T2 (de) Hörgerät mit adaptiver anpassung von mikrofonen
DE2207141C3 (de) Schaltungsanordnung zur Unterdrückung unerwünschter Sprachsignale mittels eines vorhersagenden Filters
WO2000057671A2 (de) Verfahren und einrichtung zum aufnehmen und bearbeiten von audiosignalen in einer störschallerfüllten umgebung
EP1771034A2 (de) Mikrofonkalibrierung bei einem RGSC-Beamformer
CH651165A5 (de) Vorrichtung zum stereophonischen empfang, insbesondere fuer tonbild-aufnahmekameras.
DE3046416A1 (de) Fernkonferenz-mikrophonanordnungen
EP3454572B1 (de) Verfahren zum erkennen eines defektes in einem hörinstrument
DE112012006780T5 (de) Strahlformungsvorrichtung
EP3926982A2 (de) Verfahren zur richtungsabhängigen rauschunterdrückung für ein hörsystem, welches eine hörvorrichtung umfasst
DE60108237T2 (de) Empfangssystem für eine mehrfachempfänger -antenne
DE102018117557B4 (de) Adaptives nachfiltern
DE69817461T2 (de) Verfahren und Vorrichtung zur optimierten Verarbeitung eines Störsignals während einer Tonaufnahme
DE102008024534A1 (de) Hörvorrichtung mit einem Entzerrungsfilter im Filterbank-System
DE102018117558A1 (de) Adaptives nachfiltern
DE19934724A1 (de) Verfahren und Einrichtung zum Aufnehmen und Bearbeiten von Audiosignalen in einer störschallerfüllten Umgebung
DE102013207161B4 (de) Verfahren zur Nutzsignalanpassung in binauralen Hörhilfesystemen
DE112018002744T5 (de) Schallerfassung
DE102018117556B4 (de) Einzelkanal-rauschreduzierung
DE102019105458B4 (de) System und Verfahren zur Zeitverzögerungsschätzung
EP2315200B1 (de) Adaptive MIMO-Filterung in dynamisch angepassten Transformationsbereichen
EP1916872B1 (de) Differentielles Richtmikrofonsystem und Hörhilfsgerät mit einem solchen differentiellen Richtmikrofonsystem
DE102007014816B4 (de) Kommunikationssystem und Verfahren zum Betreiben eines Kommunikationssystems in einem Fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Free format text: AL;LT;LV;MK;RO;SI

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS (BECKER DIVISION)

Owner name: DAIMLERCHRYSLER AG

PUAL Search report despatched

Free format text: ORIGINAL CODE: 0009013

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17P Request for examination filed

Effective date: 20040519

AKX Designation fees paid

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20060816

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060816

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060816

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060816

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50207832

Country of ref document: DE

Date of ref document: 20060928

Kind code of ref document: P

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061116

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061116

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061127

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20061108

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20070116

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
ET Fr: translation filed
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: DAIMLERCHRYSLER AG

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS (BECKER DIVISION)

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070518

REG Reference to a national code

Ref country code: FR

Ref legal event code: CD

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: GB

Ref legal event code: 732E

BERE Be: lapsed

Owner name: HARMAN BECKER AUTOMOTIVE SYSTEMS (BECKER DIVISION)

Effective date: 20070430

Owner name: DAIMLERCHRYSLER A.G.

Effective date: 20070430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070430

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061117

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070430

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060816

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20070410

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060816

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20100527

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20110410

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 50207832

Country of ref document: DE

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 50207832

Country of ref document: DE

Owner name: NUANCE COMMUNICATIONS, INC. (N.D.GES.D. STAATE, US

Free format text: FORMER OWNER: HARMAN BECKER AUTOMOTIVE SYSTEMS GMBH, 76307 KARLSBAD, DE

Effective date: 20120411

Ref country code: DE

Ref legal event code: R082

Ref document number: 50207832

Country of ref document: DE

Representative=s name: GRUENECKER, KINKELDEY, STOCKMAIR & SCHWANHAEUS, DE

Effective date: 20120411

Ref country code: DE

Ref legal event code: R082

Ref document number: 50207832

Country of ref document: DE

Representative=s name: GRUENECKER PATENT- UND RECHTSANWAELTE PARTG MB, DE

Effective date: 20120411

REG Reference to a national code

Ref country code: FR

Ref legal event code: TP

Owner name: NUANCE COMMUNICATIONS, INC., US

Effective date: 20120924

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20160309

Year of fee payment: 15

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160406

Year of fee payment: 15

Ref country code: DE

Payment date: 20160405

Year of fee payment: 15

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50207832

Country of ref document: DE

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170410

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20171229

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170502

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171103

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170410