CN1497933A - 网络电话机以及声音解码装置 - Google Patents

网络电话机以及声音解码装置 Download PDF

Info

Publication number
CN1497933A
CN1497933A CNA031255388A CN03125538A CN1497933A CN 1497933 A CN1497933 A CN 1497933A CN A031255388 A CNA031255388 A CN A031255388A CN 03125538 A CN03125538 A CN 03125538A CN 1497933 A CN1497933 A CN 1497933A
Authority
CN
China
Prior art keywords
packet
reproduction speed
absorbing buffer
buffer
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA031255388A
Other languages
English (en)
Other versions
CN1305290C (zh
Inventor
奥田浩三
桐本美香
֮
平井启之
大西宏树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1497933A publication Critical patent/CN1497933A/zh
Application granted granted Critical
Publication of CN1305290C publication Critical patent/CN1305290C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/66Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Abstract

在声音解码装置中带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,根据抖动吸收缓冲器的数据包存储量控制再现速度变更装置的再现速度控制装置,以及根据输出缓冲器的数据存储量控制由解码装置产生的解码定时的解码定时控制装置。

Description

网络电话机以及声音解码装置
技术领域
本发明涉及利用互联网电话等的VoIP的网络电话机以及声音解码装置。
背景技术
例如,已经开发出了使用互联网进行声音通话的互联网电话。互联网电话利用了所谓的“VoIP”技术。VoIP(Voice over Internet Protocol)是能够在互联网以及内联网等TCP/IP网络上进行声音通话,即,发送接收声音数据的技术。
互联网电话与现有电话的区别在于,在压缩声音之后将其数据包化,然后通过IP网络进行通话。这种通话装置中,根据IP网络的状况,在数据包到达时产生偏移(抖动)的情况很多。即,通过IP网络到达的数据包的间隔大多不是一定的。但是,在数据包接收端,为了能连续输出解码声音,需要以一定的间隔将编码数据传递到解码器中。因此,如图1所示,在解码器102前端中设计用来吸收抖动的抖动吸收缓冲器101。
抖动吸收缓冲器101具有用来存储多个数据包的多个缓冲器单元(数据包存储单元)。在抖动吸收缓冲器101的缓冲器单元中,以数据包号码的顺序从左侧开始依次存储到达的数据包。每次以一定时间读出存储在最左侧缓冲器单元中的数据包,然后传送给解码器102。在解码器102中,一旦数据包被传到,就将抖动吸收缓冲器101内的其它数据包向左侧移位一个。解码器102解码从抖动吸收缓冲器101传送来的数据包(编码数据)然后输出。
如图2a所示,存储在抖动吸收缓冲器101最左端的数据包被传送到解码器中之时,使表示存储到达数据包的缓冲器单元位置的分布作为数据包到达时刻的分布。将这种分布称之为数据包到达时刻的分布的原因在于,在这种分布以抖动吸收缓冲器101的左端为原点,以右方向作为时刻,以上方向作为概率的情况下,表示存储到达数据包的时刻分布。在数据包到达时刻的分布为如图2a所示的S0情况下,抖动吸收缓冲器101高效率操作。如图2a所示的数据包到达时刻分布S0中,在从左开始的第5个号码的缓冲器单元中存储到达数据包的概率为最高。
通话过程中,IP网络中固定延迟减少的情况中,如图2b所示,到达抖动吸收缓冲器101中的数据包分布从S0移动到S1。此时,IP网络中的固定延迟尽管减少,但是在抖动吸收缓冲器101中,固定产生时间T的延迟,在顺滑通话中导致障碍。
通话中,IP网络中的固定延迟增加的情况下,到达抖动吸收缓冲器101的数据包分布如图2c所示从S0移动到S2。此时,到达脱离抖动吸收缓冲器101的部分的数据包不能输出到解码器102,与数据包损失相同,声音品质变坏。
通话中IP网络中的抖动量增加的情况下,到达抖动吸收缓冲器101的数据包分布如图2d所示,从S0移动到时S3。此时,到达脱离抖动吸收缓冲器101的部分的数据包不能输出到解码器102,与数据包损失相同,声音品质变坏。
通话过程中,IP网络中固定延迟减少的情况中,如图2e所示,到达抖动吸收缓冲器101中的数据包分布从S0移动到S4。此时,尽管吸收IP网络中抖动所需的缓冲器量减少,但是在抖动吸收缓冲器101中,固定产生时间T的延迟,抖动吸收缓冲器101中的利用效率恶化。
为了使数据包达到的时间分布为最佳分布,要考虑调整存储在抖动吸收缓冲器101中的数据包数量。例如,数据包到达时刻的分布在图2b或图2e的情况下,通过废弃(删除)存储在抖动吸收缓冲器101中的数据包,使数据包到达时刻的分布为最佳分布。此外,数据包到达时刻的分布在图2c或图2d的情况下,通过复制存储在抖动吸收缓冲器101中的数据包,使数据包到达时刻的分布为最佳分布。
但是,调整存储在抖动吸收缓冲器101中的数据包数(数据包存储量)的方法中,存在通过数据包的废弃或复制使输出声音品质恶化的问题。
判断是废弃(抛弃)还是复制存储在抖动吸收缓冲器101内的数据包,现有技术是算出多个数据包到达延迟偏差,然后根据算出的到达延迟偏差来进行判断。但是,这种判断方法中,为了算出可靠性高的到达延迟偏差(统计量),需要充分的数据量,因此存在在抖动吸收缓冲器101内的数据包存储量控制方面产生延迟的问题。
所谓控制从抖动吸收缓冲器101内的数据包存储量,换言之,是控制从将数据包存储在抖动吸收缓冲器中开始到解码出该数据包为止的延迟时间。
发明内容
本发明目的在于提供一种网络电话机以及声音解码装置,它不进行存储在抖动吸收缓冲器中的数据包的废弃或复制,就能将数据包的到达时刻分布调整为最佳分布。
本发明的目的在于提供一种网络电话机以及声音解码装置,在控制从将数据包存储在抖动吸收缓冲器中开始到解码出该数据包为止的延迟时间之时,能够减小控制延迟。
根据本发明的第1声音解码装置,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,根据抖动吸收缓冲器的数据包存储量控制再现速度变更装置的再现速度控制装置,以及根据输出缓冲器的数据存储量控制由解码装置产生的解码定时的解码定时控制装置。
作为再现速度控制装置,例如,使用这样的控制装置:在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便延迟再现速度,抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度。
作为解码定时控制装置,还可以使用这样的装置:例如,在输出缓冲器的数据存储量小于规定基准量时,在解码装置中需要进行数据包的解码。
根据本发明的第2声音解码装置,其中具有用来存储接收到数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:延迟时间控制装置,它在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,执行控制以便于延长从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,执行控制以便于缩短从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间。
作为延迟时间控制装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便于延迟再现速度,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度的装置,根据输出缓冲器的数据存储量,控制由解码装置产生的解码定时的解码定时控制装置。
作为延迟时间控制装置,可以使用这样的装置:例如,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,从抖动吸收缓冲器内读出的数据包在包含这次数据包的连续多次的数据包读出定时中被反复解码,并且在其间禁止从抖动吸收缓冲器中读出数据包,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,一次读出存储在抖动吸收缓冲器内的多个数据包,仅解码其中一个,而舍弃其余的数据包。
根据本发明的第1网络电话机,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,根据抖动吸收缓冲器的数据包存储量控制再现速度变更装置的再现速度控制装置,以及根据输出缓冲器的数据存储量控制由解码装置产生的解码定时的解码定时控制装置。
作为再现速度控制装置,例如,使用这样的控制装置:在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便延迟再现速度,抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度。
作为解码定时控制装置,还可以使用这样的装置:例如,在输出缓冲器的数据存储量小于规定基准量时,在解码装置中需要进行数据包的解码。
根据本发明第2网络电话机,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:延迟时间控制装置,它在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,执行控制以便于延长从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,执行控制以便于缩短从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间。
作为延迟时间控制装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便于延迟再现速度,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度的装置,根据输出缓冲器的数据存储量,控制由解码装置产生的解码定时的解码定时控制装置。
作为延迟时间控制装置,可以使用这样的装置:例如,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,从抖动吸收缓冲器内读出的数据包在包含这次数据包的连续多次的数据包读出定时中被反复解码,并且在其间禁止从抖动吸收缓冲器中读出数据包,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便在数据包读出的定时中,一次读出存储在抖动吸收缓冲器内的多个数据包,以便于仅解码其中一个,而舍弃其余的数据包。
附图说明
图1是表示现有技术的框图。
图2a-2e是用来说明图1中现有技术问题的示意图。
图3是表示互联网电话结构的框图。
图4是表示图3的DSP结构的框图。
图5a-5d是用来说明本发明基本考虑方面的示意图。
图6是用来说明加快再现速度情况下的可变速再现单元35的处理内容的示意图。
图7是用来说明延迟再现速度情况下的可变速再现单元35的处理内容的示意图。
图8是用来说明再现速度控制的示意图。
图9a以及图9b是用来说明再现速度控制基本考虑方面的示意图。
图10是表示初始化处理顺序的流程图。
图11是表示再现速度控制处理顺序的流程图。
图12是表示解码定时控制处理顺序的流程图。
图13是表示DSP其它结构例子的框图。
图14是表示通过图13中的延迟时间控制单元39进行的操作模式确定处理顺序流程图。
具体实施方式
以下,参照图3-图14说明将本发明适用于互联网电话情况下的实施形式。
(A)第1实施形式的说明
(1)互联网电话的结构说明
图3表示互联网电话结构。
互联网电话具有A/D转换器1、D/A转换器2、DSP(声音解码装置)3、微机4以及网络控制器5。
通过A/D转换器1将输入声音信号转换为数字声音信号后传送给DSP3。在DSP3中,将数字声音信号压缩后进行数据包化。通过DSP3得到的数据包通过微机4以及网络控制器5传送给IP网络。
通过IP网络传送来的数据包通过微机4以及网络控制器5传送给DSP3。在DSP3中解码数据包。通过D/A转换器2将通过DSP3得到的数字声音信号转换为模拟声音信号后输出。
图4示出了DSP3的详细结构。
DSP3具有用来生成传送数据包的装置,以及用来生成解码声音信号的装置。
用来生成传送数据包的装置具有用来压缩从A/D转换器1输入的输入声音信号的编码器31以及将通过编码器31得到的编码数据数据包化从而生成RTP数据包的RTP数据包化单元32。
用来生成解码声音信号的装置具有抖动吸收缓冲器33、解码器34、再现速度变更单元(以下,称之为可变速再现单元)35、输出缓冲器36、再现速度控制单元37以及解码定时控制单元38。再现速度控制单元37以及解码定时控制单元38实际上是通过1个控制单元构成的,但是为了便于说明将其分成2个控制单元。
抖动吸收缓冲器33与图1中的抖动吸收缓冲器101相同,具有多个缓冲器单元(数据包存储单元)。在抖动吸收缓冲器33的各个缓冲器单元中,以数据包号码的顺序从左侧开始依次存储到达的数据包。以规定定时读出存储在最左侧缓冲器单元中的数据包,然后传送给解码器34。一旦一个数据包传送到解码器34,在左侧逐个移动抖动吸收缓冲器33内的其它数据包。
解码器34解码从抖动吸收缓冲器33传送来的数据包(编码数据)。将通过解码器34得到的解码声音信号传送给可变速再现单元35,实施再现速度变更处理(话速变换处理)。从可变速再现单元35输出的数字声音信号被存储在输出缓冲器36中。在每个规定时间间隔1个数据一个数据地依次读出存储在输出缓冲器36中的数字声音信号,然后输出给D/A转换器2。
再现速度控制单元37根据抖动吸收缓冲器33的缓冲器量(数据包的存储量),控制可变速再现单元35。解码定时控制单元38根据输出缓冲器36的数据存储量控制由解码器34产生的解码定时。
用来生成上述解码声音信号的装置的特征在于,通过响应于抖动吸收缓冲器33的缓冲器量(数据包存储量)来控制解码声音信号的再现速度,控制来自抖动吸收缓冲器33的数据包输出定时(解码定时)。在输出缓冲器36中存储的数据量低于规定基准量时,执行来自抖动吸收缓冲器33的输出。
由此,不执行存储在抖动吸收缓冲器33内的数据包的废弃或复制,也可以调整抖动吸收缓冲器33内的缓冲器量,换言之,调整从将数据包存储在抖动吸收缓冲器33中开始到将该数据包解码为止的延迟时间,以便于数据包到达时刻的分布到达最合适的位置。再现声音的再现速度不改变间距幅度而仅改变再现速度。
(2)有关用来生成解码声音信号的装置的操作说明
以下,详细说明有关用来生成解码声音信号的装置的操作。
通话中,到达抖动吸收缓冲器33中的数据包的分布为如图5a中的虚线S1所示那样的分布,将分布移动到实线的分布S0的情况下,控制可变速再现单元35以便加快再现速度。可变速再现单元35在加快再现速度之时,例如,如图6所示,由3间距的波形生成2间距的波形。
即,首先,在原来波形内的3间距波形中,在前面2间距波形中加上用向右下降直线表示的权重,同时,在后面的2间距波形中加上用向右上升的直线表示的权重。然后,通过将这些2间距波形相加,产生2间距波形。
如此,如果加快再现速度,由于减少相对于1数据包的数据量,输出缓冲器36内存储的数据低于规定基准量的定时变快,来自抖动吸收缓冲器33的数据包输出定时(解码定时)变快。换言之,从将数据包存储在抖动吸收缓冲器33中开始到将其解码为止的延迟时间变短。其结果,数据包到达时刻的分布移动到最合适的位置S0。
通话中,到达抖动吸收缓冲器33的数据包分布为如图5b中虚线S2所示那样的分布,在将分布移动到如实线分布S0那样的情况下,控制可变速再现单元35以便于延迟再现速度。可变速再现单元35在延迟再现速度时,例如,如图7所示,从3间距波形中生成4间距波形。
即,首先,在原来波形内的3间距波形中,在前面2间距波形中加上用向右上升直线表示的权重,同时,在后面的2间距波形中加上用向右下降的直线表示的权重。然后,通过将这些2间距波形相加,产生2间距波形。然后,通过将得到的波形与原波形中央的1间距波形置换,生成4间距波形。
如此,如果延迟再现速度,由于增加相对于1数据包的数据量,输出缓冲器36内存储的数据低于规定基准量的定时变慢,来自抖动吸收缓冲器33的数据包输出定时(解码定时)也变慢。换言之,从将数据包存储在抖动吸收缓冲器33中开始到将其解码为止的延迟时间变长。其结果,数据包到达时刻的分布移动到最合适的位置S0。
通话中,IP网络中的抖动量增加的情况下,到达抖动吸收缓冲器33的数据包分布为如图5c中由虚线S3所示那样的分布,在将分布移动到如实线分布S0那样的情况下,通过控制可变速再现单元35以便于延迟再现速度,可以延迟来自抖动吸收缓冲器33的数据包输出定时。
通话中,IP网络中的抖动量减少的情况下,到达抖动吸收缓冲器33的数据包分布为如图5d中由虚线S4所示那样的分布,在将分布移动到如实线分布S0那样的情况下,通过控制可变速再现单元35以便于加快再现速度,可以加快来自抖动吸收缓冲器33的数据包输出定时。
(3)对于通过再现速度控制单元37进行的再现速度控制的说明
图8中,从抖动吸收缓冲器33左端缓冲器单元中读出数据包,是以S0为目标的数据包到达时刻的分布。将由抖动吸收缓冲器33左端的三个缓冲器单元组成的区域定义为A区域,将由与缓冲器区域A右侧相邻的1个缓冲器单元组成的区域定义为缓冲器区域B,将比缓冲器区域B更右侧的区域定义为缓冲器区域C。并且,各个区域A、B、C的缓冲器单元量可以根据设定而变化。
说明有关再现速度控制的基本考虑方面。如图9a所示,在实际数据包到达时刻的分布S2比作为目标的数据包到达时刻的分布S0更偏移左侧的情况下,将到达的数据包存储在抖动吸收缓冲器33的缓冲器区域A中。因此,在将到达的数据包存储在缓冲器区域A中的情况下,再现速度控制单元37控制可变速再现单元35以便延迟再现速度。其结果,到达解码器34中的数据包输出定时(解码定时)延迟。
换言之,在抖动吸收缓冲器33中的数据包存储量小于缓冲器区域A中规定的第1规定基准量的情况下,再现速度控制单元37控制可变速再现单元35以便延迟再现速度。
另一方面,如图9b所示,在实际数据包到达时刻的分布S1比作为目标的数据包到达时刻的分布S0更偏移右侧的情况下,在由抖动吸收缓冲器33的缓冲器区域A以及B组成的区域中在一定时间中不存储到达的数据包。即,一定时间中仅仅将到达的数据包存储在缓冲器区域C中。因此,一定时间中在由缓冲器区域A以及B组成的区域中不存储到达的数据包的情况下,再现速度控制单元37控制可变速再现单元35以便加快再现速度。其结果,到达解码器34中的数据包输出定时(解码定时)变快。
换言之,在抖动吸收缓冲器33中的数据包存储量以多于缓冲器区域B中规定的第2规定基准量的状态持续一定时间的情况下,再现速度控制单元37控制可变速再现单元35以便加快再现速度。
图10示出了初始化处理顺序。
在电源导通时进行的初始化处理中,在计数器b_cnt中设定规定值B_THL(例如100)(步骤1)。并且将提供给可变速再现单元35的再现速度控制内容设定为不改变再现速度的状态(步骤2)。
图11示出了再现速度控制处理顺序。
在每次到达抖动吸收缓冲器33的到达数据包的输入处理开始时进行再现速度的控制处理。
一旦开始数据包输入处理,判断进入抖动吸收缓冲器33的数据包输入位置是否是图8的缓冲器区域A(步骤11)。在数据包输入位置是缓冲器区域A的情况下,如图9a所示,判断出实际数据包到达时刻的分布S2比作为目标的数据包到达时刻的分布S0更偏移左侧,将规定值B_THL存储在计数器b_cnt中(步骤12),同时将再现速度控制内容设定为延迟再现速度的状态(步骤13)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤20),结束这次的数据包输入处理。
在上述步骤11中,在判断出数据包输入位置不是缓冲器区域A的情况下,判断数据包输入位置是否是缓冲器区域B(步骤14)。在数据包输入位置是缓冲器区域B的情况下,判断出实际数据包到达时刻的分布与作为目标的数据包到达时刻的分布一致的可能性高,将规定值B_THL存储在计数器b_cnt中(步骤15),同时将再现速度控制内容设定为不改变再现速度的状态(步骤16)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤20),结束这次的数据包输入处理。
在上述步骤14中,在判断出数据包输入位置不是缓冲器区域B的情况下,将计数器值b_cnt减1(-1)(步骤17)。然后,判断计数器值b_cnt是否变为小于0(步骤18)。在计数器值b_cnt比0大时,判断出实际数据包到达时刻的分布与作为目标的数据包到达时刻的分布一致的可能性高,将再现速度内容设定为不改变再现速度的状态(步骤16)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤20),结束这次的数据包输入处理。
在上述步骤18中,判断计数器值b_cnt是否变为小于0的情况下,如图9b所示,判断出实际数据包到达时刻的分布S1比作为目标的数据包到达时刻的分布S0更偏移右侧,将再现速度控制内容设定为加快再现速度的状态(步骤19)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤20),结束这次的数据包输入处理。
(4)解码定时控制处理顺序的说明
图12表示解码定时的控制处理顺序。
一旦开始对D/A转换器2的输出处理(D/A输出处理),就从输出缓冲器36中输出一个数据(步骤31)。然后,判断输出缓冲器36内的数据量是否小于规定基准量B-DATA-THL(步骤32)。在输出缓冲器36内的数据量大于规定基准量的情况下,结束这次D/A输出处理。
在上述步骤32中,在判断出输出缓冲器36内的数据量小于规定基准量B-DATA-THL的情况下,要求在解码器34中进行解码后(步骤33),结束这次D/A输出处理。
(B)第2实施形式的说明
第2实施形式中,互联网电话的所有结构与图3所示的结构相同,但是DSP3的结构不同于图4所示的结构。
图13示出了DSP3的详细结构。
DSP3具有用来生成传送数据包的装置,以及用来生成解码声音信号的装置。用来生成传送数据包的装置与图4相同,具有用来压缩从A/D转换器1输入的输入声音信号的编码器31以及将通过编码器31得到的编码数据数据包化从而生成RTP数据包的RTP数据包化单元32。
用来生成解码声音信号的装置与图4不同,具有抖动吸收缓冲器33、解码器34、输出缓冲器36以及延迟时间控制单元39。延迟时间控制单元39是抖动吸收缓冲器33的后端,将其设置在解码器34的前端,可以控制将数据包存储在抖动吸收缓冲33中开始到将该数据包解码为止的延迟时间。该实施形式中,从抖动吸收缓冲器33中读出数据包的定时(解码定时)每次在一定时间到来。
说明通过延迟时间控制单元39执行的延迟时间控制。
图8中,为从抖动吸收缓冲器33左端缓冲器单元中读出数据包,是以S0为目标的数据包到达时刻的分布。将由抖动吸收缓冲器33左端的三个缓冲器单元组成的区域定义为缓冲器区域A,将由与缓冲器区域A右侧相邻的1个缓冲器单元组成的区域定义为缓冲器区域B,将比缓冲器区域B更右侧的区域定义为缓冲器区域C。并且,各个区域A、B、C的缓冲器单元量可以根据设定而变化。
如图9a所示,在实际数据包到达时刻的分布S2比作为目标的数据包到达时刻的分布S0更偏移左侧的情况下,将到达的数据包存储在抖动吸收缓冲器33的缓冲器区域A中。在将到达的数据包存储在缓冲器区域A中的情况下,延迟时间控制单元39进行与复制存储在抖动吸收缓冲器33中的数据包等价的处理。
具体而言,控制从抖动吸收缓冲器33读出数据包以及传送给解码器34的数据包,以便于在某个解码定时中,将从抖动吸收缓冲器33中读出的1个数据包传送给解码器34,同时保持该数据包,在下一个解码定时中,不执行从抖动吸收缓冲器33中读出新的数据包,而是将所保持的数据包(在前次解码定时中读出的数据包)传送给解码器34。其结果,延长了将数据包存储在抖动吸收缓冲器33中开始到将该数据包解码为止的延迟时间。将这种通过延迟时间控制单元39进行控制的操作模式称为延迟时间延长模式。
另一方面,如图9b所示,在实际数据包到达时刻的分布S1比作为目标的数据包到达时刻的分布S0更偏移右侧的情况下,在由抖动吸收缓冲器33的缓冲器区域A以及B组成的区域中一定时间中不存储到达的数据包。即一定时间中仅仅将到达的数据包存储在缓冲器区域C中。在由缓冲器区域A以及B组成的区域中一定时间中不存储到达的数据包的情况下,延迟时间控制单元39进行与删去(抛弃)存储在抖动吸收缓冲器33中的数据包等同的处理。
具体而言,控制从抖动吸收缓冲器33读出数据包以及传送给解码器34的数据包,以便于在解码定时中,从抖动吸收缓冲器33中连续读出两个数据包,舍弃其中一个,仅将另一个传送给解码器34。其结果,缩短了将数据包存储在抖动吸收缓冲器33中开始到将该数据包解码为止的延长时间。将这种通过延迟时间控制单元39进行控制的操作模式称为延迟时间缩短模式。
延迟时间控制单元39在通常操作模式中进行这样的操作:在解码定时中,从抖动吸收缓冲器33中读出1个数据包,然后将该数据包传送给解码器34。
图14示出了延迟时间控制单元39进行的操作模式确定处理顺序。
在电源导通时进行的初始化处理中,在计数器b_cnt中设定规定值B b_cntTHL(例如100),同时,作为延迟时间控制单元39的操作模式,设定为通常操作模式。
在每次开始进行到达抖动缓冲器33的到达数据包输入处理时执行延长时间控制处理。
一旦开始数据包输入处理,判断进入抖动吸收缓冲器33的数据包输入位置是否是图8的缓冲器区域A(步骤111)。数据包输入位置是缓冲器区域A的情况下,如图9a所示,判断出实际数据包到达时刻的分布S2比作为目标的数据包到达时刻的分布S0更偏移左侧,将规定值B_THL存储在计数器b_cnt中(步骤112),同时将操作模式设定为延迟时间延长模式(步骤113)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤120),结束这次的数据包输入处理。
在上述步骤111中,在判断出数据包输入位置不是缓冲器区域A的情况下,判断数据包输入位置是否是缓冲器区域B(步骤114)。在数据包输入位置是缓冲器区域B的情况下,判断出实际数据包到达时刻的分布与作为目标的数据包到达时刻的分布一致的可能性高,同时将规定值B_THL存储在计数器b_cnt中(步骤115),将操作模式设定为通常操作模式(步骤116)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤120),结束这次的数据包输入处理。
在上述步骤114中,在判断出数据包输入位置不是缓冲器区域B的情况下,将计数器值b_cnt减1(-1)(步骤117)。然后,判断计数器值b_cnt是否变为小于0(步骤118)。在计数器值b_cnt比0大时,判断出实际数据包到达时刻的分布与作为目标的数据包到达时刻的分布一致的可能性高,将操作模式设定为通常操作模式(步骤116)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤120),结束这次的数据包输入处理。
在上述步骤118中,判断计数器值b_cnt是否变为小于0的情况下,如图9b所示,判断出实际数据包到达时刻的分布S1比作为目标的数据包到达时刻的分布S0更偏移右侧,将操作模式设定为延迟时间缩短模式(步骤119)。然后,通过将数据包存储在抖动吸收缓冲器33中(步骤120),结束这次的数据包输入处理。

Claims (12)

1.一种声音解码装置,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,根据抖动吸收缓冲器的数据包存储量控制再现速度变更装置的再现速度控制装置,和根据输出缓冲器的数据存储量控制由解码装置产生的解码定时的解码定时控制装置。
2.如权利要求1中记载的声音解码装置,其特征在于,再现速度控制装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便延迟再现速度,抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度。
3.如权利要求1和2中任一个中记载的声音解码装置,其特征在于,解码定时控制装置,在输出缓冲器的数据存储量小于规定基准量时,在解码装置中需要进行数据包的解码。
4.一种声音解码装置,其中具有用来存储接收到数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:延迟时间控制装置,它在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,执行控制以便于延长从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,执行控制以便于缩短从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间。
5.如权利要求4中记载的声音解码装置,其特征在于,延迟时间控制装置带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便于延迟再现速度,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度的装置,根据输出缓冲器的数据存储量,控制由解码装置产生的解码定时的解码定时控制装置。
6.如权利要求4中记载的声音解码装置,其特征在于,延迟时间控制装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,从抖动吸收缓冲器内读出的数据包在包含这次的数据包的连续多次的数据包读出定时中被反复解码,并且在其间禁止从抖动吸收缓冲器中读出数据包,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,一次读出存储在抖动吸收缓冲器内的多个数据包,仅解码其中一个,而舍弃其余的数据包。
7.一种网络电话机,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,根据抖动吸收缓冲器的数据包存储量控制再现速度变更装置的再现速度控制装置,以及根据输出缓冲器的数据存储量控制由解码装置产生的解码定时的解码定时控制装置。
8.如权利要求7记载的网络电话机,其特征在于,再现速度控制装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便延迟再现速度,抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度。
9.如权利要求7以及8任一个中记载的网络电话机,其特征在于,解码定时控制装置,在输出缓冲器的数据存储量小于规定基准量时,在解码装置中需要进行数据包的解码。
10.一种网络电话机,其中具有用来存储接收数据包的抖动吸收缓冲器,和用来解码存储在抖动吸收缓冲器中的数据包的解码装置,其特征在于,带有:延迟时间控制装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,执行控制以便于延长从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,执行控制以便于缩短从将数据包存储在抖动吸收缓冲器开始到解码该数据包为止的延迟时间。
11.如权利要求10记载的网络电话机,其特征在于,延迟时间控制装置带有:用来对通过解码装置得到的解码后的声音信号进行再现速度变换的再现速度变更装置,暂时存储从再现速度变更装置中输出的数字式声音信号的输出缓冲器,以规定时间间隔读出存储在输出缓冲器中的数字声音信号的装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制再现速度变更装置以便于延迟再现速度,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制再现速度变更装置以便于加快再现速度的装置,根据输出缓冲器的数据存储量,控制由解码装置产生的解码定时的解码定时控制装置。
12.如权利要求10记载的网络电话机,其特征在于,延迟时间控制装置,在抖动吸收缓冲器的数据包存储量比第1规定基准量少的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,从抖动吸收缓冲器内读出的数据包在包含这次数据包的连续多次的数据包读出定时中被反复解码,并且在其间禁止从抖动吸收缓冲器中读出数据包,在抖动吸收缓冲器的数据包存储量比大于上述第1规定基准量的第2规定基准量多的状态持续一定时间的情况下,控制从抖动吸收缓冲器的读出以及传送到解码装置的数据包,以便于在数据包读出的定时中,一次读出存储在抖动吸收缓冲器内的多个数据包,仅解码其中一个,而舍弃其余的数据包。
CNB031255388A 2002-09-30 2003-09-30 网络电话机以及声音解码装置 Expired - Fee Related CN1305290C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP285567/2002 2002-09-30
JP285567/02 2002-09-30
JP2002285567 2002-09-30
JP2003051467 2003-02-27
JP51467/2003 2003-02-27
JP51467/03 2003-02-27

Publications (2)

Publication Number Publication Date
CN1497933A true CN1497933A (zh) 2004-05-19
CN1305290C CN1305290C (zh) 2007-03-14

Family

ID=33133465

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031255388A Expired - Fee Related CN1305290C (zh) 2002-09-30 2003-09-30 网络电话机以及声音解码装置

Country Status (3)

Country Link
US (1) US7505912B2 (zh)
KR (1) KR100644978B1 (zh)
CN (1) CN1305290C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104022967A (zh) * 2013-02-28 2014-09-03 三菱电机株式会社 音频解码装置
WO2017124904A1 (zh) * 2016-01-22 2017-07-27 广州视睿电子科技有限公司 一种音频播放方法及装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI401918B (zh) * 2005-02-03 2013-07-11 Nokia Corp 傳送指示接收器緩衝架構之緩衝參數信號的通訊方法
US7742407B2 (en) * 2005-11-10 2010-06-22 Scientific-Atlanta, Llc Quality of service management in a switched digital video environment
US8099756B2 (en) 2005-11-10 2012-01-17 Versteeg William C Channel changes between services with differing bandwidth in a switched digital video system
US7873760B2 (en) * 2005-11-11 2011-01-18 Versteeg William C Expedited digital signal decoding
US7899046B2 (en) * 2006-07-07 2011-03-01 Ver Steeg William C Determining strategy for multicast and/or unicast transmission to correct forward errors
US7877660B2 (en) 2006-07-07 2011-01-25 Ver Steeg William C Transmitting additional forward error correction (FEC) upon request
US7774672B2 (en) 2006-07-07 2010-08-10 Scientific-Atlanta, Llc Requesting additional forward error correction
US7725797B2 (en) 2006-07-07 2010-05-25 Scientific-Atlanta, Llc Buffer for storing data and forward error correction (FEC)
US7870465B2 (en) 2006-10-18 2011-01-11 Versteeg William C Reducing channel-change time
US8472320B2 (en) * 2006-12-06 2013-06-25 Telefonaktiebolaget Lm Ericsson (Publ) Jitter buffer control
US8370889B2 (en) 2007-03-28 2013-02-05 Kanthimathi Gayatri Sukumar Switched digital video client reverse channel traffic reduction
CN101681624A (zh) * 2007-05-21 2010-03-24 松下电器产业株式会社 声音编码以及再生装置
US8776160B2 (en) 2007-07-27 2014-07-08 William C. Versteeg Systems and methods of differentiated requests for network access
US8832766B2 (en) 2007-07-27 2014-09-09 William C. Versteeg Systems and methods of differentiated channel change behavior
JP4975672B2 (ja) * 2008-03-27 2012-07-11 京セラ株式会社 無線通信装置
US8612242B2 (en) * 2010-04-16 2013-12-17 St-Ericsson Sa Minimizing speech delay in communication devices
US20110257964A1 (en) * 2010-04-16 2011-10-20 Rathonyi Bela Minimizing Speech Delay in Communication Devices
TWI425502B (zh) * 2011-03-15 2014-02-01 Mstar Semiconductor Inc 音訊的時間伸縮方法與相關裝置
US9177570B2 (en) 2011-04-15 2015-11-03 St-Ericsson Sa Time scaling of audio frames to adapt audio processing to communications network timing
US9015555B2 (en) 2011-11-18 2015-04-21 Cisco Technology, Inc. System and method for multicast error recovery using sampled feedback
US9042579B2 (en) * 2012-05-15 2015-05-26 GM Global Technology Operations LLC Mitigating the effects of audio interruptions via adaptive automated fast audio playback
CN103594103B (zh) * 2013-11-15 2017-04-05 腾讯科技(成都)有限公司 音频处理方法及相关装置
KR102532645B1 (ko) * 2016-09-20 2023-05-15 삼성전자 주식회사 적응적 스트리밍 서비스에서 스트리밍 어플리케이케이션으로 데이터를 제공하는 방법 및 장치
US10897492B1 (en) * 2019-10-10 2021-01-19 Lenovo (Singapore) Pte. Ltd. Delayed VoIP packet delivery

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57158247A (en) 1981-03-24 1982-09-30 Tokuyama Soda Co Ltd Flame retardant polyolefin composition
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
US5666537A (en) * 1994-08-12 1997-09-09 Intel Corporation Power down scheme for idle processor components
JP2998786B2 (ja) 1995-12-25 2000-01-11 日本電気株式会社 画像音声の同期再生方法及び装置
JP3225502B2 (ja) 1996-04-25 2001-11-05 日本ビクター株式会社 音声情報の圧縮データ再生装置
US6301258B1 (en) * 1997-12-04 2001-10-09 At&T Corp. Low-latency buffering for packet telephony
JP2000029586A (ja) 1998-07-08 2000-01-28 Sharp Corp 手書き入力装置
JP2000295286A (ja) * 1999-04-08 2000-10-20 Nippon Telegr & Teleph Corp <Ntt> リアルタイム音声通信用バッファ制御法及び装置
JP4218186B2 (ja) * 1999-05-25 2009-02-04 パナソニック株式会社 音声伝送装置
US6377931B1 (en) * 1999-09-28 2002-04-23 Mindspeed Technologies Speech manipulation for continuous speech playback over a packet network
SE517156C2 (sv) * 1999-12-28 2002-04-23 Global Ip Sound Ab System för överföring av ljud över paketförmedlade nät

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104022967A (zh) * 2013-02-28 2014-09-03 三菱电机株式会社 音频解码装置
WO2017124904A1 (zh) * 2016-01-22 2017-07-27 广州视睿电子科技有限公司 一种音频播放方法及装置

Also Published As

Publication number Publication date
KR100644978B1 (ko) 2006-11-14
US7505912B2 (en) 2009-03-17
KR20040028581A (ko) 2004-04-03
CN1305290C (zh) 2007-03-14
US20040204945A1 (en) 2004-10-14

Similar Documents

Publication Publication Date Title
CN1305290C (zh) 网络电话机以及声音解码装置
CN1878049A (zh) 通过使用纠错包控制传输速率的方法及其通信设备
CN1437718A (zh) 高速存储系统
CN1832483A (zh) 通信系统中控制数据传输的方法和系统
CN1947407A (zh) 音频通信方法和装置
CN1238796C (zh) 一种实现接口转换的装置及方法
CN1901431A (zh) 一种丢帧隐藏方法和装置
CN1976479A (zh) 在无线网络中发送数据的方法和设备
CN1291052A (zh) 传送流编码器及对传送流编码的方法
CN1741435A (zh) 对丢失数据单元进行恢复的方法
CN101035062A (zh) 一种三重内容可寻址存储器报文分类的规则更新方法
CN1533534A (zh) 数据存储方法和系统、数据记录控制设备、数据记录命令设备、数据接收设备和信息处理终端
CN1653697A (zh) 数据处理系统、数据处理方法、数据处理装置以及数据处理程序
CN1214592C (zh) 多通道数据直接内存访问系统和方法
CN1862972A (zh) Turbo编码方法及编码装置
CN101060374A (zh) Turbo编码流水处理装置及方法
CN101047476A (zh) 一种选择调制方式的方法和装置
CN1225863C (zh) 话单合并处理方法
CN1170164A (zh) 数据处理系统和数据处理方法
CN1921364A (zh) 基于消息的可靠传输层的并包发送和自适应窗口缩放方法
CN1272701C (zh) 调整中央处理器工作频率方法
CN1149534C (zh) 声音解码装置和声音解码方法
CN1698324A (zh) 包传输装置
CN1489848A (zh) 通信系统、发送终端以及接收终端
CN1166216C (zh) 具有单一外存储器的数据多路复用装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: SANYO ELECTRIC CO., LTD.

Effective date: 20140825

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140825

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Sanyo Electric Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070314

Termination date: 20160930

CF01 Termination of patent right due to non-payment of annual fee