CN103065630A - 用户个性化信息语音识别方法及系统 - Google Patents

用户个性化信息语音识别方法及系统 Download PDF

Info

Publication number
CN103065630A
CN103065630A CN2012105859347A CN201210585934A CN103065630A CN 103065630 A CN103065630 A CN 103065630A CN 2012105859347 A CN2012105859347 A CN 2012105859347A CN 201210585934 A CN201210585934 A CN 201210585934A CN 103065630 A CN103065630 A CN 103065630A
Authority
CN
China
Prior art keywords
name
language model
user
decoding network
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105859347A
Other languages
English (en)
Other versions
CN103065630B (zh
Inventor
潘青华
何婷婷
胡国平
胡郁
刘庆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201210585934.7A priority Critical patent/CN103065630B/zh
Publication of CN103065630A publication Critical patent/CN103065630A/zh
Priority to EP13869206.6A priority patent/EP2940684B1/en
Priority to US14/655,946 priority patent/US9564127B2/en
Priority to PCT/CN2013/090037 priority patent/WO2014101717A1/zh
Application granted granted Critical
Publication of CN103065630B publication Critical patent/CN103065630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Abstract

本发明涉及语音识别技术领域，公开了一种用户个性化信息语音识别方法及系统。该方法包括：接收用户输入的语音信号；根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；在最后一帧解码完成后，返回识别结果。利用本发明，可以提高连续语音识别中用户个性化信息的识别准确率。

Description

用户个性化信息语音识别方法及系统
技术领域
本发明涉及语音识别技术领域，具体涉及一种用户个性化信息语音识别方法及系统。
背景技术
随着手机等智能终端上语音输入功能和应用的普及，用户在手机等智能终端上使用语音输入的需求越来越多，对用户个性化信息，尤其是通讯录中联系人的识别准确率也提出了更高的要求。而传统连续语音识别系统由于语言模型训练方式及识别方法的局限性，对存在多音字现象的汉语语音信号可能无法提供正确的字词结果，特别是在人名信息识别中，其识别准确率更受到了进一步的限制，主要体现在：
1．中文常见人名数量众多，对此连续语音识别的词典中通常将人名字词作为未登录词处理，导致训练语料中覆盖的人名数量极其有限；
2．其次中文人名同音字大量存在，常见人名有几十个甚至更多的汉字组合；
3．对每个用户来说，用户特有的个性化通讯录中联系人人名可能还会有一部分非常用人名，即每个个性化的人名列表在训练语料中无法均匀覆盖。
基于以上原因，现有技术中用于连续语音识别的语言模型不能很好地模拟人名字词特别是用户个性化联系人名字词，人名识别效果也往往明显低于其他内容的识别效果。显然如何在连续语音识别中提高用户个性化信息，特别是人名信息的识别准确率已经成为连续语音识别系统亟待解决的问题。
发明内容
本发明提供一种用户个性化信息语音识别方法及系统，以提高连续语音识别中用户个性化信息的识别准确率。
为此，本发明提供如下技术方案：
一种用户个性化信息语音识别方法，包括：
接收用户输入的语音信号；
根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；
如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；
在最后一帧解码完成后，返回识别结果。
优选地，所述方法还包括：
在根据基础静态解码网络逐帧对所述语音信号进行解码之前，确定所述用户的附属静态解码网络；或者
在确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后，确定所述用户的附属静态解码网络。
优选地，所述确定所述用户的附属静态解码网络包括：
根据所述语音信号的特征确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络；或者
根据用户的设备码确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络。
优选地，所述方法还包括：
构建基础人名语言模型和特定用户人名语言模型；
分别构建与所述基础人名语言模型相关的基础静态解码网络和与所述特定用户人名语言模型相关的附属静态解码网络。
优选地，所述构建基础人名语言模型包括：
分别采集人名数据库和语言模型训练语料；
根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计；
根据统计结果生成基础人名语言模型。
优选地，所述根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计包括：
根据所述人名数据库中的人名在所述训练语料中进行人名检测；
对所述训练语料中的所有具体人名用一个统一的虚拟人名替换；
根据替换后的训练语料对常规字词以及常规字词与人名字词间关联关系进行统计。
优选地，所述构建与所述基础人名语言模型相关的基础静态解码网络包括：
为所述虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展；
根据所述虚拟发音确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点；
对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
优选地，所述构建特定用户人名语言模型包括：
从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录；
对每个人名词条设置一个词频概率，并根据人名词条的词频概率生成特定用户人名语言模型；
所述构建与所述特定用户人名语言模型相关的附属静态解码网络包括：
分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音；
对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
一种用户个性化信息语音识别系统，包括：
接收单元，用于接收用户输入的语音信号；
解码单元，用于根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；
解码路径检查单元，用于确定当前帧是否有解码路径进入所述基础静态解码网络中的人名节点；
网络扩展单元，用于在所述解码路径检查单元确定当前帧有解码路径进入所述基础静态解码网络中的人名节点后，根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；
结果输出单元，用于在最后一帧解码完成后，返回识别结果。
优选地，所述系统还包括：
确定单元，用于在所述解码单元根据基础静态解码网络逐帧对所述语音信号进行解码之前，确定所述用户的附属静态解码网络；或者在解码路径检查单元确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后，确定所述用户的附属静态解码网络。
优选地，所述确定单元，具体用于根据所述语音信号的特征确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络；或者根据用户的设备码确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络。
优选地，所述系统还包括：
基础人名语言模型构建单元，用于构建基础人名语言模型；
特定用户人名语言模型构建单元，用于构建特定用户人名语言模型；
基础静态解码网络构建单元，用于构建与所述基础人名语言模型相关的基础静态解码网络；
附属静态解码网络构建单元，用于构建与所述特定用户人名语言模型相关的附属静态解码网络。
优选地，所述基础人名语言模型构建单元包括：
人名采集单元，用于采集人名数据库；
语料采集单元，用于采集语言模型训练语料；
统计单元，用于根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计；
基础人名语言模型生成单元，用于根据所述统计单元得到的统计结果生成基础人名语言模型。
优选地，所述统计单元包括：
检测子单元，用于根据所述人名数据库中的人名在所述训练语料中进行人名检测；
替换子单元，用于对所述训练语料中的所有具体人名用一个统一的虚拟人名替换；
统计子单元，用于根据替换后的训练语料对常规字词以及常规字词与人名字词间关联关系进行统计。
优选地，所述基础静态解码网络构建单元包括：
虚拟发音设置单元，用于为所述虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展；
特殊节点确定单元，用于根据所述虚拟发音确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点；
第一扩展单元，用于对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
优选地，所述特定用户人名语言模型构建单元包括：
人名提取单元，用于从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录；
特定用户人名语言模型生成单元，用于对每个人名词条设置一个词频概率，并根据人名词条的词频概率生成特定用户人名语言模型；
所述附属静态解码网络构建单元包括：
设定单元，用于分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音；
第二扩展单元，用于对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
本发明实施例提供的用户个性化信息语音识别方法及系统，在接收到用户输入的语音信号后，根据与基础人名语言模型相关的基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在所述基础静态解码网络中活跃节点上的解码路径，如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则进一步根据所述用户的与特定用户人名语言模型相关的附属静态解码网络对所述人名节点进行网络扩展，从而不仅提高了连续语音识别中个性化的联系人人名的识别准确率，而且还提高了联系人人名的上下文内容识别准确率。在语音识别的多个层面应用联系人信息，使整体识别效果得到了优化，提高了连续语音识别中用户个性化信息的识别准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例用户个性化信息语音识别方法的流程图；
图2是本发明实施例用户个性化信息语音识别方法中的一种具体解码流程图；
图3是本发明实施例用户个性化信息语音识别方法中的另一种具体解码流程图；
图4是本发明实施例中构建基础人名语言模型的流程图；
图5是本发明实施例中构建特定用户人名语言模型的流程图；
图6是本发明实施例中构建与基础人名语言模型相关的基础静态解码网络的流程图；
图7是本发明实施例中基础人名语言模型相关解码网络扩展示意图；
图8是本发明实施例中构建与特定用户人名语言模型相关的附属静态解码网络的流程图；
图9是本发明实施例中特定用户人名语言模型相关解码网络扩展示意图；
图10是本发明实施例用户个性化信息语音识别系统的结构示意图；
图11是本发明实施例用户个性化信息语音识别系统的一种具体实现结构示意图；
图12是本发明实施例用户个性化信息语音识别系统的另一种具体实现结构示意图；
图13是本发明实施例用户个性化信息语音识别系统的另一种具体实现结构示意图；
图14是本发明实施例用户个性化信息语音识别系统中基础人名语言模型构建单元的结构示意图；
图15是本发明实施例用户个性化信息语音识别系统中基础静态解码网络构建单元的结构示意图；
图16是本发明实施例用户个性化信息语音识别系统中特定用户人名语言模型构建单元和附属静态解码网络构建单元的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
本发明实施例针对现有的用于连续语音识别的语言模型不能很好地模拟人名字词，特别是用户个性化联系人名字词的问题，提供了一种用户个性化信息语音识别方法及系统，以提高用户个性化信息的识别准确率。
如图1所示，是本发明实施例用户个性化信息语音识别方法的流程图，包括以下步骤：
步骤101，接收用户的语音信号。
步骤102，根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在所述基础静态解码网络中所有活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络。
利用所述解码网络对用户输入的语音信号进行解码的过程是一个在该解码网络中搜索最优路径，实现语音到文本的转换的过程。
具体地，可以首先对接收的连续语音信号采样为一系列离散能量值存入数据缓存区。
当然，为了进一步提高系统的鲁棒性，还可以先对接收到的连续语音信号进行降噪处理。首先通过对语音信号的短时能量和短时过零率分析，将连续的语音信号分割成独立的语音片断和非语音片断，然后对分割得到的语音片断进行语音增强处理，在进行语音增强处理时，可以通过维纳滤波等方法，将语音信号中的环境噪声进一步消除，以提高后续系统对该信号的处理能力。
考虑到降噪处理后的语音信号中依然会存在大量语音识别无关的冗余信息，直接对其识别可能会使运算量和识别准确率降低，为此，可以从降噪处理后的语音能量信号中提取识别有效语音特征，并存入特征缓存区内。具体地，可以提取语音的MFCC(Mel Frequency Cepstrum Coefficient，Mel频率倒谱系数)特征，对窗长25ms帧移10ms的每帧语音数据做短时分析得到MFCC参数及其一阶、二阶差分，共计39维。也就是说，将每帧语音信号量化为一39维的特征序列。然后，根据所述基础静态解码网络对其中每帧语音信号进行解码，获取所述语音信号在所述基础静态解码网络中所有活跃节点上的解码路径。
步骤103，如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络。
在现有技术中，解码路径的搜索过程如下：按照从左到右的时间顺序，计算每帧语音信号帧到达解码网络中每个活跃节点的累积历史路径概率。具体地，对于需要考察的每帧语音信号帧，可以首先计算当前解码网络中所有活跃节点相对于该语音信号帧的历史路径和累积历史路径概率。然后，获取下一帧语音信号帧，并从满足系统预设条件的历史路径向后扩展解码。
由于本发明实施例中的解码网络是与基础人名语言模型相关的基础静态解码网络，因此，在当前帧有解码路径进入所述基础静态解码网络中的人名节点时，根据所述用户的附属静态解码网络对所述人名节点进行网络扩展。由于所述附属静态解码网络是与特定用户人名语言模型相关的解码网络，因此通过对用户个性化词条的构建及应用，尤其是对用户个性化联系人信息的应用，有效提高了用户个性化信息的识别准确率。
步骤104，在最后一帧解码完成后，返回识别结果。
当对最后一帧语音信号帧解码后，其中具有最大累积历史路径概率的活跃节点即为最优节点，从该最优节点通过解码状态回溯得到的历史路径即为最优路径，该最优路径上的单词序列即为解码结果。
本发明实施例用户个性化信息语音识别方法，在接收到用户输入的语音信号后，根据与基础人名语言模型相关的基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在解码网络中所有活跃节点上的解码路径，如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则进一步根据所述用户的与特定用户人名语言模型相关的附属静态解码网络对所述人名节点进行网络扩展，从而不仅提高了连续语音识别中个性化的联系人人名的识别准确率，而且还提高了联系人人名的上下文内容识别准确率。在语音识别的多个层面应用联系人信息，使整体识别效果得到了优化，提高了连续语音识别中用户个性化信息的识别准确率。
需要说明的是，在实际应用中，上述基础静态解码网络和附属静态解码网络可以由系统在线构建，也可以通过离线方式构建，在系统启动时直接载入，以减少系统运算量及所需内存，进一步提高解码效率。
上述基础静态解码网络是与基础人名语言模型相关的解码网络，附属静态解码网络是与特定用户人名语言模型相关的解码网络，下面进一步详细说明本发明实施例中人名相关语言模型及相关解码网络的构建过程。
传统语音识别系统通常采用统计模型的方法构建语言模型，通过模拟语法和语义知识减少识别范围、提高识别率。一般的，系统首先根据预设词典对海量训练语料进行分词处理，然后分别统计各词联合出现的概率，并采用条件概率的方式构建语言模型。假设某个词wk出现的概率仅和其前n-1个词相关，记为 p ( w k | W 1 k - 1 ) = p ( w k | W k - n + 1 k - 1 ) .
然而由于中文人名数量众多，传统词典很少将人名作为确定字词处理，因而训练语料分词后的人名数量极其有限，训练得到的语言模型也无法很好地描述具体人名的出现概率，进而影响了人名相关整词的识别准确率。
为此，在本发明实施例中，分别构建用以描述常用字词间以及常用字词与人名间的统计概率的基础人名语言模型、以及特定用户相关的用以描述具体人名统计概率的语言模型。其中，基础人名语言模型用于描述常用字词间以及常用字词与人名间的统计概率。特定用户人名语言模型用于描述该用户相关的具体人名的统计概率。
如图2所示，是本发明实施例中构建基础人名语言模型的流程图，包括以下步骤：
步骤201，采集人名数据库。
具体地，可以采集一个较大规模的人名数据库，以实现对常用人名的有效覆盖。
步骤202，采集语言模型训练语料。
步骤203，根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计。
具体地，可以根据所述人名数据库中的人名在所述训练语料中进行人名检测，比如，可以采用传统人名检测算法进行人名检测。然后对所述训练语料中的所有具体人名用一个统一的虚拟人名替换，然后在替换后的训练语料上对常规字词以及常规字词与人名字词间关联关系进行统计。
步骤204，根据统计结果生成基础人名语言模型。
需要说明的是，在实际应用中，还可以在上述过程中对语料中的具体人名进行统计，确定各类不同人名词条出现的词频，以便在构建特定用户人名语言模型过程中依据该词频设置人名词条的词频概率。
相比于传统的语言模型，该基础人名语言模型通过对人名字词的归纳提取，更好地描述了人名属性字词和常规字词的统计概率，实现了对人名整词识别的支持。
上述基础人名语言模型虽然描述了人名属性字词的统计概率，但依然无法解决具体人名字词识别的问题。而在中文中，人名同音字大量存在，常见人名有几十个甚至更多的汉字组合，此外对每个用户来说，用户特有的个性化通讯录中联系人人名可能还会有一部分非常用人名，即每个个性化的人名列表在训练语料中无法均匀覆盖。
因此，为了更好地识别各特定用户相关人名字词，在本发明实施例中，还可进一步根据用户需求构建特定用户相关的人名语言模型，即前面所述的特定用户人名语言模型。具体地，可以在接收到用户上传的联系人信息后从所述联系人信息中提取获得该用户特定的人名语言模型。
如图3所示，是本发明实施例中构建特定用户人名语言模型的流程图，包括以下步骤：
步骤301，从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录。
所述人名相关信息可以是通讯录等。
步骤302，对每个人名词条设置一个词频概率。
最简单的可以设置每个人名词条的词频概率均等，或者根据海量语料中统计的人名词频相应设置，更进一步的还可以根据用户历史使用记录按高低频度对人名词条进行词频设置，并允许后续对其进行更新。
步骤303，根据人名词条的词频概率生成特定用户人名语言模型。
在本发明实施例中，可以利用词典，声学模型等预置模型结合上述构建的多重语言模型（即基础人名语言模型和特定用户人名语言模型）扩展，获得相应的多重解码搜索静态网络。具体地，可以选择低阶的声学模型，如uniphone模型，对语言模型中的字词进行声学单元的扩展构成解码网络。进一步地，为了提高解码准确率，还可选用更高阶的声学模型，如biphone（双音素）、triphone（三音素）模型等，提高不同发音单元之间的区分性。
如上面所述，对常规字词以及常规字词与人名字词间关联关系进行统计时，可以先对所述训练语料中的所有具体人名用一个统一的虚拟人名替换，然后在替换后的训练语料上对常规字词以及常规字词与人名字词间关联关系进行统计，构建基础人名语言模型。也就是说，基础人名语言模型中包含有虚拟人名单元，其在解码前无法明确具体发音。为此，本发明实施例提供一种基于声学模型的网络扩展方法，以构建与所述基础人名语言模型相关的静态解码网络。
如图4所示，是本发明实施例中构建与基础人名语言模型相关的基础静态解码网络的流程图，包括以下步骤：
步骤401，为所述虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展。
步骤402，确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点。
将所述虚拟发音记为$C，以triphone声学模型为例，如图5所示，在扩展后的静态网络中将主要包括三类节点：常规节点（节点A）和两类特殊节点（节点S和节点E）。
其中，a,b,x,y,n表示普通的发音单元，$C表示虚拟人名的发音单元，为了描述方便，将其称为虚拟发音单元。
节点A为常规节点，即进入A节点以及离开A节点的弧上的triphone模型是可以预先确定的。
节点S为特殊节点，其出弧为人名单元，即进入人名单元的节点，显然该节点的入弧上由于具体人名的不确定性导致该入弧上的triphone模型的右相关扩展不确定，如图中x-b+$C和y-b+$C。
节点E为特殊节点，其入弧为人名单元，即人名单元的终止节点，相应的，其出弧上的triphone模型左相关也无法确定，如图中$C-a+x和$C-a+y。
步骤403，对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
对于节点S的入弧，例如x-b+$C和y-b+$C，对$C进行扩展替换成所有可能的phone单元，相应的，由弧x-b+$C将扩展出多个triphone模型的集合，包括x-b+a,x-b+b…等。扩展方式可以根据x-b的triphone组和规律确定。
对于节点E的出弧，同样采取上述类似操作，如对$C-a+x和$C-a+y，将$C替换成所有可能的phone单元，扩展出相应的准确的triphone模型。
保持从节点S到节点E的弧*-$C+*不变，在后续动态解码进入到节点S时对其进行具体人名静态解码网络的替换。
同样，在构建特定用户人名语言模型相关的静态解码网络时，对特定用户相关的具体语言模型的扩展，在采用高阶声学模型时，也需要采用与上述类似的方法。
如图6所示，是本发明实施例中特定用户人名语言模型相关的附属静态解码网络的流程图，包括以下步骤：
步骤601，分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音。
通常语言模型中一般会包含两个特殊的词，即句首词<s>和句尾词</s>，分别表示句子开始和句子结束，句首句尾词发音一般定义为静音sil。
在本发明实施例中，为了保证人名单元在识别过程中和原始静态网络的连接，可以对该特定用户人名语言模型的句首和句尾词的发音进行特殊处理，以便构建triphone模型扩展的静态网络，具体如图7所示。
其中，设定句首词的发音为虚拟的特殊发音$S，句尾词的发音为虚拟的特殊发音$E。从句首节点S出发的弧上的triphone模型左相关不确定，如图中$S-a+b和$S-x+y，而句尾节点E的弧上的triphone模型的右相关是不确定的，如图中a-b+$S和x-y+$S，并保持其他弧上的模型为常规triphone模型。
步骤602，对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
具体地，对于句首节点S的出弧，例如$S-a+b和$S-x+y，将$S替换成所有可能的phone，扩展出相应的准确的triphone模型；对于句尾节点E的入弧也做类似操作，例如a-b+$S和x-y+$S，将$S替换成所有可能的phone，扩展出相应的准确的triphone模型。
前面提到，上述基础静态解码网络及附属静态解码网络可以通过离线方式构建，其中，附属静态解码网络是与特定用户相关的，也就是说，不同用户可以对应不同的附属静态解码网络。因此，在对接收的用户语音信号进行识别过程中，可以载入针对该用户的附属静态解码网络，具体载入时机可以不同，比如，可以是在根据基础静态解码网络逐帧对所述语音信号进行解码之前，也可以是在确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后等，对此，下面分别举例说明。
如图8所示，是本发明实施例用户个性化信息语音识别方法中的一种具体解码流程图，包括以下步骤：
步骤801，接收用户的语音信号。
步骤802，对所述语音信号进行预处理，并提取声学特征。
步骤803，确定所述用户的附属静态解码网络。
步骤804，在基础静态网络中逐帧对语音信号解码，搜素当前解码路径。
步骤805，判断当前解码路径中是否有路径进入基础静态解码网络中的人名节点；若是，则执行步骤806；否则执行步骤807。
步骤806，根据用户的附属静态解码网络对基础静态网络中的人名节点进行网络扩展。
具体地，可以利用附属静态解码网络对基础静态网络中的该人名节点进行替换；或设置所述进入人名节点的解码路径直接进入所述用户的附属静态解码网络。
需要说明的是，当设置所述进入人名节点的解码路径进入所述用户的附属静态解码网络时，在接收到新的语音帧信号时，所述进入用户的附属静态解码网络的解码路径将在所述用户的附属静态解码网络内搜索后续解码路径，并在所述路径到达附属的静态解码网络的终止节点时返回到基础静态网络的人名节点的终止节点。
步骤807，判断当前帧是否最后一帧，即是否解码结束；若是，则执行步骤808；否则转入步骤804。
步骤808，返回解码结果。
如图9所示，是本发明实施例用户个性化信息语音识别方法中的另一种具体解码流程图，包括以下步骤：
步骤901，接收用户的语音信号。
步骤902，对所述语音信号进行预处理，并提取声学特征。
步骤903，在基础静态网络中逐帧对语音信号解码，搜素当前解码路径。
步骤904，判断当前解码路径中是否有路径进入基础静态解码网络中的人名节点；若是，则执行步骤905；否则执行步骤907。
步骤905，确定所述用户的附属静态解码网络。
步骤906，根据用户的附属静态解码网络对基础静态网络中的人名节点进行网络扩展。
具体地，可以利用附属静态解码网络对基础静态网络中的该人名节点进行替换；或设置所述进入人名节点的解码路径直接进入所述用户的附属静态解码网络。
需要说明的是，当设置所述进入人名节点的解码路径进入所述用户的附属静态解码网络时，在接收到新的语音帧信号时，所述进入用户的附属静态解码网络的解码路径将在所述用户的附属静态解码网络内搜索后续解码路径，并在所述路径到达附属的静态解码网络的终止节点时返回到基础静态网络的人名节点的终止节点。
步骤907，判断当前帧是否最后一帧，即是否解码结束；若是，则执行步骤908；否则转入步骤903。
步骤908，返回解码结果。
需要说明的是，上述步骤803和步骤905中，确定所述用户的附属静态解码网络的方式可以有多种，比如：
（1）根据用户的语音信号特征确定用户的身份，即具体的用户，然后根据用户的身份确定其附属静态解码网络。
（2）根据用户的设备码确定用户的身份，然后根据用户的身份确定其附属静态解码网络。
可见，本发明实施例用户个性化信息语音识别方法，在接收到用户输入的语音信号后，根据与基础人名语言模型相关的基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在解码网络中所有活跃节点上的解码路径，如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则进一步根据所述用户的与特定用户人名语言模型相关的附属静态解码网络对所述人名节点进行网络扩展，从而不仅提高了连续语音识别中个性化的联系人人名的识别准确率，而且还提高了联系人人名的上下文内容识别准确率。在语音识别的多个层面应用联系人信息，使整体识别效果得到了优化，提高了连续语音识别中用户个性化信息的识别准确率。
需要说明的是，本发明实施例用户个性化信息语音识别方法不仅适用于用户人名解码，还适用于其他可定义的个性化信息的语音识别，比如地址识别等。
相应地，本发明实施例还提供一种用户个性化信息语音识别系统，如图10所示，是该系统的结构示意图。
在该实施例中，所述系统包括：
接收单元111，用于接收用户输入的语音信号；
解码单元112，用于根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；
解码路径检查单元113，用于确定当前帧是否有解码路径进入所述基础静态解码网络中的人名节点；
网络扩展单元114，用于在所述解码路径检查单元113确定当前帧有解码路径进入所述基础静态解码网络中的人名节点后，根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；
所述解码单元112，还用于在最后一帧解码完成后，返回识别结果。
解码单元112对用户输入的语音信号进行解码的过程是一个在所述基础静态解码网络中搜索最优路径，实现语音到文本的转换的过程。具体地，可以首先对接收的连续语音信号采样为一系列离散能量值存入数据缓存区。
当然，为了进一步提高系统的鲁棒性，在所述系统中还可以包括预处理单元（未图示），用于在解码单元112对用户输入的语音信号进行解码之前，对接收单元111接收到的连续语音信号进行降噪处理。具体地，可以首先通过对语音信号的短时能量和短时过零率分析，将连续的语音信号分割成独立的语音片断和非语音片断，然后对分割得到的语音片断进行语音增强处理，在进行语音增强处理时，可以通过维纳滤波等方法，将语音信号中的环境噪声进一步消除，以提高后续系统对该信号的处理能力。
考虑到降噪处理后的语音信号中依然会存在大量语音识别无关的冗余信息，直接对其识别可能会使运算量和识别准确率降低，为此，所述预处理单元还可以从降噪处理后的语音能量信号中提取识别有效语音特征，并存入特征缓存区内。具体地，可以提取语音的MFCC(Mel Frequency Cepstrum Coefficient，Mel频率倒谱系数)特征，对窗长25ms帧移10ms的每帧语音数据做短时分析得到MFCC参数及其一阶、二阶差分，共计39维。也就是说，将每帧语音信号量化为一39维的特征序列。然后，再由解码单元112根据所述基础静态解码网络对其中每帧语音信号进行解码，获取所述语音信号在所述基础静态解码网络中所有活跃节点上的解码路径。当对最后一帧语音信号帧解码后，其中具有最大累积历史路径概率的活跃节点即为最优节点，从该最优节点通过解码状态回溯得到的历史路径即为最优路径，该最优路径上的单词序列即为解码结果。
由于所述基础静态解码网络是与基础人名语言模型相关的解码网络，因此，在当前帧有解码路径进入所述基础静态解码网络中的人名节点时，由网络扩展单元114根据所述用户的附属静态解码网络对所述人名节点进行网络扩展。由于所述附属静态解码网络是与特定用户人名语言模型相关的解码网络，因此通过对用户个性化词条的构建及应用，尤其是对用户个性化联系人信息的应用，有效提高了用户个性化信息的识别准确率。
本发明实施例用户个性化信息语音识别系统，在接收到用户输入的语音信号后，根据与基础人名语言模型相关的基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在解码网络中所有活跃节点上的解码路径，如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则进一步根据所述用户的与特定用户人名语言模型相关的附属静态解码网络对所述人名节点进行网络扩展，从而不仅提高了连续语音识别中个性化的联系人人名的识别准确率，而且还提高了联系人人名的上下文内容识别准确率。在语音识别的多个层面应用联系人信息，使整体识别效果得到了优化，提高了连续语音识别中用户个性化信息的识别准确率。
上述网络扩展单元114需要根据所述用户的附属静态解码网络对所述人名节点进行网络扩展。如果所述系统的用户只有一个，则所述附属静态解码网络是唯一的，可以由系统在线构建，也可以通过离线方式构建，在系统启动时直接载入。如果所述系统的用户有多个，则需要识别当前的用户以及该用户对应的附属静态解码网络。同样，这些不同用户的附属静态解码网络可以由系统在线构建，也可以通过离线方式构建，在系统启动时直接载入。
需要说明的是，在具体应用中，当前用户对应的附属静态解码网络的确定可以在不同时机来完成。
如图11所示，是本发明用户个性化信息语音识别系统的一种具体实现结构示意图。
与图10不同的是，在该实施例中，所述用户个性化信息语音识别系统还包括：确定单元121，用于在所述解码单元112根据基础静态解码网络逐帧对所述语音信号进行解码之前，确定所述用户的附属静态解码网络。
如图12所示，是本发明用户个性化信息语音识别系统的另一种具体实现结构示意图。
与图10不同的是，在该实施例中，所述用户个性化信息语音识别系统还包括：确定单元131，用于在解码路径检查单元113确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后，确定所述用户的附属静态解码网络。
需要说明的是，无论是上述确定单元121还是确定单元131，都可以根据所述语音信号的特征确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络；或者根据用户的设备码确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络。
在实际应用中，上述基础静态解码网络和附属静态解码网络可以由系统在线构建，也可以通过离线方式构建，在系统启动时直接载入，以减少系统运算量及所需内存，进一步提高解码效率。
由于中文人名数量众多，传统词典很少将人名作为确定字词处理，因而训练语料分词后的人名数量极其有限，训练得到的语言模型也无法很好地描述具体人名的出现概率，进而影响了人名相关整词的识别准确率。为此，在本发明系统的另一实施例中，如图13所示，还可进一步包括：
基础人名语言模型构建单元131，用于构建基础人名语言模型；
特定用户人名语言模型构建单元132，用于构建特定用户人名语言模型；
基础静态解码网络构建单元133，用于构建与所述基础人名语言模型相关的基础静态解码网络；
附属静态解码网络构建单元134，用于构建与所述特定用户人名语言模型相关的附属静态解码网络。
如图14所示，是本发明实施例用户个性化信息语音识别系统中基础人名语言模型构建单元的结构示意图。
所述基础人名语言模型构建单元包括：
人名采集单元141，用于采集人名数据库；
语料采集单元142，用于采集语言模型训练语料；
统计单元143，用于根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计；
基础人名语言模型生成单元143，用于根据所述统计单元143得到的统计结果生成基础人名语言模型。
上述统计单元143可以根据所述人名数据库中的人名在所述训练语料中进行人名检测，比如，可以采用传统人名检测算法进行人名检测。然后对所述训练语料中的所有具体人名用一个统一的虚拟人名替换，然后在替换后的训练语料上对常规字词以及常规字词与人名字词间关联关系进行统计。为此，所述统计单元143可以包括：
检测子单元，用于根据所述人名数据库中的人名在所述训练语料中进行人名检测；
替换子单元，用于对所述训练语料中的所有具体人名用一个统一的虚拟人名替换；
统计子单元，用于根据替换后的训练语料对常规字词以及常规字词与人名字词间关联关系进行统计。
相比于传统的语言模型，由所述基础人名语言模型构建单元构建的基础人名语言模型通过对人名字词的归纳提取，更好地描述了人名属性字词和常规字词的统计概率，实现了对人名整词识别的支持。
如图15所示，是本发明实施例用户个性化信息语音识别系统中基础静态解码网络构建单元的结构示意图。
所述基础静态解码网络构建单元包括：
虚拟发音设置单元151，用于为虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展；
特殊节点确定单元152，用于根据所述虚拟发音确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点；
第一扩展单元153，用于对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
如图16所示，是本发明实施例用户个性化信息语音识别系统中特定用户人名语言模型构建单元和附属静态解码网络构建单元的结构示意图。
所述特定用户人名语言模型构建单元包括：
人名提取单元161，用于从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录；
特定用户人名语言模型生成单元162，用于对每个人名词条设置一个词频概率，并根据人名词条的词频概率生成特定用户人名语言模型；
所述附属静态解码网络构建单元包括：
设定单元171，用于分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音；
第二扩展单元172，用于对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
利用本发明实施例用户个性化信息语音识别系统，不仅可以提高连续语音识别中个性化的联系人人名的识别准确率，而且还可以提高联系人人名的上下文内容识别准确率。在语音识别的多个层面应用联系人信息，使整体识别效果得到了优化，提高了连续语音识别中用户个性化信息的识别准确率。
需要说明的是，本发明实施例用户个性化信息语音识别系统不仅适用于用户人名解码，还适用于其他可定义的个性化信息的语音识别，比如地址识别等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及设备；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种用户个性化信息语音识别方法，其特征在于，包括：
接收用户输入的语音信号；
根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；
如果确定当前帧有解码路径进入所述基础静态解码网络中的人名节点，则根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；
在最后一帧解码完成后，返回识别结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在根据基础静态解码网络逐帧对所述语音信号进行解码之前，确定所述用户的附属静态解码网络；或者
在确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后，确定所述用户的附属静态解码网络。
3.根据权利要求2所述的方法，其特征在于，所述确定所述用户的附属静态解码网络包括：
根据所述语音信号的特征确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络；或者
根据用户的设备码确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
构建基础人名语言模型和特定用户人名语言模型；
分别构建与所述基础人名语言模型相关的基础静态解码网络和与所述特定用户人名语言模型相关的附属静态解码网络。
5.根据权利要求4所述的方法，其特征在于，所述构建基础人名语言模型包括：
分别采集人名数据库和语言模型训练语料；
根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计；
根据统计结果生成基础人名语言模型。
6.根据权利要求5所述的方法，其特征在于，所述根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计包括：
根据所述人名数据库中的人名在所述训练语料中进行人名检测；
对所述训练语料中的所有具体人名用一个统一的虚拟人名替换；
根据替换后的训练语料对常规字词以及常规字词与人名字词间关联关系进行统计。
7.根据权利要求6所述的方法，其特征在于，所述构建与所述基础人名语言模型相关的基础静态解码网络包括：
为所述虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展；
根据所述虚拟发音确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点；
对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
8.根据权利要求4所述的方法，其特征在于，所述构建特定用户人名语言模型包括：
从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录；
对每个人名词条设置一个词频概率，并根据人名词条的词频概率生成特定用户人名语言模型；
所述构建与所述特定用户人名语言模型相关的附属静态解码网络包括：
分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音；
对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
9.一种用户个性化信息语音识别系统，其特征在于，包括：
接收单元，用于接收用户输入的语音信号；
解码单元，用于根据基础静态解码网络逐帧对所述语音信号进行解码，得到当前帧在基础静态解码网络中各活跃节点上的解码路径，所述基础静态解码网络是与基础人名语言模型相关的解码网络；
解码路径检查单元，用于确定当前帧是否有解码路径进入所述基础静态解码网络中的人名节点；
网络扩展单元，用于在所述解码路径检查单元确定当前帧有解码路径进入所述基础静态解码网络中的人名节点后，根据所述用户的附属静态解码网络对所述人名节点进行网络扩展，所述附属静态解码网络是与特定用户人名语言模型相关的解码网络；
结果输出单元，用于在最后一帧解码完成后，返回识别结果。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括：
确定单元，用于在所述解码单元根据基础静态解码网络逐帧对所述语音信号进行解码之前，确定所述用户的附属静态解码网络；或者在解码路径检查单元确定当前帧有解码路径进入所述基础静态解码网络中的人名节点之后，确定所述用户的附属静态解码网络。
11.根据权利要求10所述的系统，其特征在于，
所述确定单元，具体用于根据所述语音信号的特征确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络；或者根据用户的设备码确定用户身份，然后根据所述用户身份确定所述用户的附属静态解码网络。
12.根据权利要求9至11任一项所述的系统，其特征在于，所述系统还包括：
基础人名语言模型构建单元，用于构建基础人名语言模型；
特定用户人名语言模型构建单元，用于构建特定用户人名语言模型；
基础静态解码网络构建单元，用于构建与所述基础人名语言模型相关的基础静态解码网络；
附属静态解码网络构建单元，用于构建与所述特定用户人名语言模型相关的附属静态解码网络。
13.根据权利要求12所述的系统，其特征在于，所述基础人名语言模型构建单元包括：
人名采集单元，用于采集人名数据库；
语料采集单元，用于采集语言模型训练语料；
统计单元，用于根据所述人名数据库及所述语言模型训练语料，对常规字词以及常规字词与人名字词间关联关系进行统计；
基础人名语言模型生成单元，用于根据所述统计单元得到的统计结果生成基础人名语言模型。
14.根据权利要求13所述的系统，其特征在于，所述统计单元包括：
检测子单元，用于根据所述人名数据库中的人名在所述训练语料中进行人名检测；
替换子单元，用于对所述训练语料中的所有具体人名用一个统一的虚拟人名替换；
统计子单元，用于根据替换后的训练语料对常规字词以及常规字词与人名字词间关联关系进行统计。
15.根据权利要求14所述的系统，其特征在于，所述基础静态解码网络构建单元包括：
虚拟发音设置单元，用于为所述虚拟人名设置一个虚拟发音，以使所述虚拟人名作为一个普通单词参与声学模型的静态网络扩展；
特殊节点确定单元，用于根据所述虚拟发音确定扩展后的静态网络中的特殊节点，所述特殊节点包括：进入人名单元的节点和人名单元的终止节点；
第一扩展单元，用于对所述特殊节点的入弧或出弧上的虚拟发音单元进行扩展，得到与基础人名语言模型相关的基础静态解码网络。
16.根据权利要求12所述的系统，其特征在于，所述特定用户人名语言模型构建单元包括：
人名提取单元，用于从用户上传的人名相关信息中提取人名，并将所述人名作为人名词条记录；
特定用户人名语言模型生成单元，用于对每个人名词条设置一个词频概率，并根据人名词条的词频概率生成特定用户人名语言模型；
所述附属静态解码网络构建单元包括：
设定单元，用于分别设定特定用户人名语言模型中的句首词和句尾词的发音为虚拟的特殊发音；
第二扩展单元，用于对于句首节点的出弧和句尾节点的入弧上的特殊发音单元进行扩展，得到特定用户人名语言模型相关的附属静态解码网络。
CN201210585934.7A 2012-12-28 2012-12-28 用户个性化信息语音识别方法及系统 Active CN103065630B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201210585934.7A CN103065630B (zh) 2012-12-28 2012-12-28 用户个性化信息语音识别方法及系统
EP13869206.6A EP2940684B1 (en) 2012-12-28 2013-12-20 Voice recognizing method and system for personalized user information
US14/655,946 US9564127B2 (en) 2012-12-28 2013-12-20 Speech recognition method and system based on user personalized information
PCT/CN2013/090037 WO2014101717A1 (zh) 2012-12-28 2013-12-20 用户个性化信息语音识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210585934.7A CN103065630B (zh) 2012-12-28 2012-12-28 用户个性化信息语音识别方法及系统

Publications (2)

Publication Number Publication Date
CN103065630A true CN103065630A (zh) 2013-04-24
CN103065630B CN103065630B (zh) 2015-01-07

Family

ID=48108230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210585934.7A Active CN103065630B (zh) 2012-12-28 2012-12-28 用户个性化信息语音识别方法及系统

Country Status (4)

Country Link
US (1) US9564127B2 (zh)
EP (1) EP2940684B1 (zh)
CN (1) CN103065630B (zh)
WO (1) WO2014101717A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101717A1 (zh) * 2012-12-28 2014-07-03 安徽科大讯飞信息科技股份有限公司 用户个性化信息语音识别方法及系统
WO2014117577A1 (en) * 2013-01-30 2014-08-07 Tencent Technology (Shenzhen) Company Limited Method and system for automatic speech recognition
CN105469804A (zh) * 2014-09-29 2016-04-06 现代摩比斯株式会社 语音识别装置及方法
CN105529027A (zh) * 2015-12-14 2016-04-27 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN106469554A (zh) * 2015-08-21 2017-03-01 科大讯飞股份有限公司 一种自适应的识别方法及系统
CN106575503A (zh) * 2014-06-18 2017-04-19 微软技术许可有限责任公司 用于对话理解系统的会话上下文建模
CN106683677A (zh) * 2015-11-06 2017-05-17 阿里巴巴集团控股有限公司 语音识别方法及装置
CN108122555A (zh) * 2017-12-18 2018-06-05 北京百度网讯科技有限公司 通讯方法、语音识别设备和终端设备
CN108305634A (zh) * 2018-01-09 2018-07-20 深圳市腾讯计算机系统有限公司 解码方法、解码器及存储介质
CN108989341A (zh) * 2018-08-21 2018-12-11 平安科技（深圳）有限公司 语音自主注册方法、装置、计算机设备及存储介质
CN109274845A (zh) * 2018-08-31 2019-01-25 平安科技（深圳）有限公司 智能语音自动回访方法、装置、计算机设备及存储介质
CN110473527A (zh) * 2019-09-17 2019-11-19 浙江核新同花顺网络信息股份有限公司 一种语音识别的方法和系统
CN110517692A (zh) * 2019-08-30 2019-11-29 苏州思必驰信息科技有限公司 热词语音识别方法和装置
CN110610700A (zh) * 2019-10-16 2019-12-24 科大讯飞股份有限公司 解码网络构建方法、语音识别方法、装置、设备及存储介质
CN110634472A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种语音识别方法、服务器及计算机可读存储介质
CN111145756A (zh) * 2019-12-26 2020-05-12 北京搜狗科技发展有限公司 一种语音识别方法、装置和用于语音识别的装置
CN113113024A (zh) * 2021-04-29 2021-07-13 科大讯飞股份有限公司 语音识别方法、装置、电子设备和存储介质
CN113450803A (zh) * 2021-06-09 2021-09-28 上海明略人工智能(集团)有限公司 会议录音转写方法、系统、计算机设备和可读存储介质
CN114242046A (zh) * 2021-12-01 2022-03-25 广州小鹏汽车科技有限公司 语音交互方法及装置、服务器及存储介质
KR102617914B1 (ko) * 2023-05-10 2023-12-27 주식회사 포지큐브 음성 인식 방법 및 그 시스템
KR102620070B1 (ko) * 2022-10-13 2024-01-02 주식회사 타이렐 상황 인지에 따른 자율발화 시스템
KR102626954B1 (ko) * 2023-04-20 2024-01-18 주식회사 덴컴 치과용 음성 인식 장치 및 이를 이용한 방법
KR102632872B1 (ko) * 2023-05-22 2024-02-05 주식회사 포지큐브 음성인식 오류 교정 방법 및 그 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583910B (zh) * 2019-01-30 2023-09-26 北京猎户星空科技有限公司 模型更新方法、装置、电子设备及存储介质
CN111477217B (zh) * 2020-04-08 2023-10-10 北京声智科技有限公司 一种命令词识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1528539A1 (en) * 2003-10-30 2005-05-04 AT&T Corp. A system and method of using Meta-Data in language modeling
US20070061023A1 (en) * 1991-12-23 2007-03-15 Hoffberg Linda I Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
WO2009156815A1 (en) * 2008-06-26 2009-12-30 Nokia Corporation Methods, apparatuses and computer program products for providing a mixed language entry speech dictation system
CN102592595A (zh) * 2012-03-19 2012-07-18 安徽科大讯飞信息科技股份有限公司 语音识别方法及系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68913669T2 (de) * 1988-11-23 1994-07-21 Digital Equipment Corp Namenaussprache durch einen Synthetisator.
US6088669A (en) * 1997-01-28 2000-07-11 International Business Machines, Corporation Speech recognition with attempted speaker recognition for speaker model prefetching or alternative speech modeling
US6363342B2 (en) * 1998-12-18 2002-03-26 Matsushita Electric Industrial Co., Ltd. System for developing word-pronunciation pairs
US20030191625A1 (en) * 1999-11-05 2003-10-09 Gorin Allen Louis Method and system for creating a named entity language model
JP2002108389A (ja) * 2000-09-29 2002-04-10 Matsushita Electric Ind Co Ltd 音声による個人名称検索、抽出方法およびその装置と車載ナビゲーション装置
AU2000276395A1 (en) * 2000-09-30 2002-04-15 Intel Corporation Method and system for using rule-based knowledge to build a class-based domain specific statistical language model
AU2002354201A1 (en) * 2001-12-17 2003-06-30 Asahi Kasei Kabushiki Kaisha Speech recognition method, remote controller, information terminal, telephone communication terminal and speech recognizer
JP3678360B2 (ja) * 2002-01-31 2005-08-03 日本電信電話株式会社 音声入力を利用する漢字文字列特定装置およびその方法
US8285537B2 (en) * 2003-01-31 2012-10-09 Comverse, Inc. Recognition of proper nouns using native-language pronunciation
US7783474B2 (en) * 2004-02-27 2010-08-24 Nuance Communications, Inc. System and method for generating a phrase pronunciation
US7478033B2 (en) * 2004-03-16 2009-01-13 Google Inc. Systems and methods for translating Chinese pinyin to Chinese characters
JP4301102B2 (ja) * 2004-07-22 2009-07-22 ソニー株式会社 音声処理装置および音声処理方法、プログラム、並びに記録媒体
CN1753083B (zh) * 2004-09-24 2010-05-05 中国科学院声学研究所 语音标记方法、系统及基于语音标记的语音识别方法和系统
US20080154601A1 (en) * 2004-09-29 2008-06-26 Microsoft Corporation Method and system for providing menu and other services for an information processing system using a telephone or other audio interface
US7542904B2 (en) * 2005-08-19 2009-06-02 Cisco Technology, Inc. System and method for maintaining a speech-recognition grammar
JP4816409B2 (ja) * 2006-01-10 2011-11-16 日産自動車株式会社 認識辞書システムおよびその更新方法
JP2007318438A (ja) * 2006-05-25 2007-12-06 Yamaha Corp 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム
US8949266B2 (en) * 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
JP5386692B2 (ja) * 2007-08-31 2014-01-15 独立行政法人情報通信研究機構 対話型学習装置
CN101939741B (zh) * 2007-12-06 2013-03-20 谷歌公司 Cjk姓名检测
US8589157B2 (en) * 2008-12-05 2013-11-19 Microsoft Corporation Replying to text messages via automated voice search techniques
NO331287B1 (no) * 2008-12-15 2011-11-14 Cisco Systems Int Sarl Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom
US8255217B2 (en) * 2009-10-16 2012-08-28 At&T Intellectual Property I, Lp Systems and methods for creating and using geo-centric language models
KR20120113717A (ko) * 2009-12-04 2012-10-15 소니 주식회사 검색 장치, 검색 방법, 및 프로그램
CN101923854B (zh) * 2010-08-31 2012-03-28 中国科学院计算技术研究所 一种交互式语音识别系统和方法
US8762156B2 (en) * 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9640175B2 (en) * 2011-10-07 2017-05-02 Microsoft Technology Licensing, Llc Pronunciation learning from user correction
US10354650B2 (en) * 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
CN103065630B (zh) * 2012-12-28 2015-01-07 科大讯飞股份有限公司 用户个性化信息语音识别方法及系统
WO2015026366A1 (en) * 2013-08-23 2015-02-26 Nuance Communications, Inc. Multiple pass automatic speech recognition methods and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061023A1 (en) * 1991-12-23 2007-03-15 Hoffberg Linda I Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
EP1528539A1 (en) * 2003-10-30 2005-05-04 AT&T Corp. A system and method of using Meta-Data in language modeling
WO2009156815A1 (en) * 2008-06-26 2009-12-30 Nokia Corporation Methods, apparatuses and computer program products for providing a mixed language entry speech dictation system
CN102592595A (zh) * 2012-03-19 2012-07-18 安徽科大讯飞信息科技股份有限公司 语音识别方法及系统

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9564127B2 (en) 2012-12-28 2017-02-07 Iflytek Co., Ltd. Speech recognition method and system based on user personalized information
WO2014101717A1 (zh) * 2012-12-28 2014-07-03 安徽科大讯飞信息科技股份有限公司 用户个性化信息语音识别方法及系统
WO2014117577A1 (en) * 2013-01-30 2014-08-07 Tencent Technology (Shenzhen) Company Limited Method and system for automatic speech recognition
US9472190B2 (en) 2013-01-30 2016-10-18 Tencent Technology (Shenzhen) Company Limited Method and system for automatic speech recognition
CN106575503B (zh) * 2014-06-18 2020-12-25 微软技术许可有限责任公司 用于对话理解系统的会话上下文建模的方法和系统
CN106575503A (zh) * 2014-06-18 2017-04-19 微软技术许可有限责任公司 用于对话理解系统的会话上下文建模
CN105469804A (zh) * 2014-09-29 2016-04-06 现代摩比斯株式会社 语音识别装置及方法
CN106469554A (zh) * 2015-08-21 2017-03-01 科大讯飞股份有限公司 一种自适应的识别方法及系统
US11664020B2 (en) 2015-11-06 2023-05-30 Alibaba Group Holding Limited Speech recognition method and apparatus
CN106683677A (zh) * 2015-11-06 2017-05-17 阿里巴巴集团控股有限公司 语音识别方法及装置
CN105529027A (zh) * 2015-12-14 2016-04-27 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN105529027B (zh) * 2015-12-14 2019-05-31 百度在线网络技术（北京）有限公司 语音识别方法和装置
CN108122555A (zh) * 2017-12-18 2018-06-05 北京百度网讯科技有限公司 通讯方法、语音识别设备和终端设备
CN108305634A (zh) * 2018-01-09 2018-07-20 深圳市腾讯计算机系统有限公司 解码方法、解码器及存储介质
CN108305634B (zh) * 2018-01-09 2020-10-16 深圳市腾讯计算机系统有限公司 解码方法、解码器及存储介质
CN110634472A (zh) * 2018-06-21 2019-12-31 中兴通讯股份有限公司 一种语音识别方法、服务器及计算机可读存储介质
CN108989341A (zh) * 2018-08-21 2018-12-11 平安科技（深圳）有限公司 语音自主注册方法、装置、计算机设备及存储介质
CN109274845A (zh) * 2018-08-31 2019-01-25 平安科技（深圳）有限公司 智能语音自动回访方法、装置、计算机设备及存储介质
CN110517692A (zh) * 2019-08-30 2019-11-29 苏州思必驰信息科技有限公司 热词语音识别方法和装置
CN110473527A (zh) * 2019-09-17 2019-11-19 浙江核新同花顺网络信息股份有限公司 一种语音识别的方法和系统
CN110473527B (zh) * 2019-09-17 2021-10-08 浙江核新同花顺网络信息股份有限公司 一种语音识别的方法和系统
KR20220062349A (ko) * 2019-10-16 2022-05-16 아이플라이텍 캄파니 리미티드 디코딩 네트워크 구축 방법, 음성 인식 방법, 디바이스 및 장치, 및 저장 매체
KR102576505B1 (ko) 2019-10-16 2023-09-08 아이플라이텍 캄파니 리미티드 디코딩 네트워크 구축 방법, 음성 인식 방법, 디바이스 및 장치, 및 저장 매체
CN110610700A (zh) * 2019-10-16 2019-12-24 科大讯飞股份有限公司 解码网络构建方法、语音识别方法、装置、设备及存储介质
WO2021072955A1 (zh) * 2019-10-16 2021-04-22 科大讯飞股份有限公司 解码网络构建方法、语音识别方法、装置、设备及存储介质
CN110610700B (zh) * 2019-10-16 2022-01-14 科大讯飞股份有限公司 解码网络构建方法、语音识别方法、装置、设备及存储介质
CN111145756A (zh) * 2019-12-26 2020-05-12 北京搜狗科技发展有限公司 一种语音识别方法、装置和用于语音识别的装置
CN111145756B (zh) * 2019-12-26 2022-06-14 北京搜狗科技发展有限公司 一种语音识别方法、装置和用于语音识别的装置
CN113113024A (zh) * 2021-04-29 2021-07-13 科大讯飞股份有限公司 语音识别方法、装置、电子设备和存储介质
CN113450803A (zh) * 2021-06-09 2021-09-28 上海明略人工智能(集团)有限公司 会议录音转写方法、系统、计算机设备和可读存储介质
CN113450803B (zh) * 2021-06-09 2024-03-19 上海明略人工智能(集团)有限公司 会议录音转写方法、系统、计算机设备和可读存储介质
CN114242046A (zh) * 2021-12-01 2022-03-25 广州小鹏汽车科技有限公司 语音交互方法及装置、服务器及存储介质
CN114242046B (zh) * 2021-12-01 2022-08-16 广州小鹏汽车科技有限公司 语音交互方法及装置、服务器及存储介质
KR102620070B1 (ko) * 2022-10-13 2024-01-02 주식회사 타이렐 상황 인지에 따른 자율발화 시스템
KR102626954B1 (ko) * 2023-04-20 2024-01-18 주식회사 덴컴 치과용 음성 인식 장치 및 이를 이용한 방법
KR102617914B1 (ko) * 2023-05-10 2023-12-27 주식회사 포지큐브 음성 인식 방법 및 그 시스템
KR102632872B1 (ko) * 2023-05-22 2024-02-05 주식회사 포지큐브 음성인식 오류 교정 방법 및 그 시스템

Also Published As

Publication number Publication date
US9564127B2 (en) 2017-02-07
CN103065630B (zh) 2015-01-07
EP2940684A4 (en) 2017-01-04
US20150348542A1 (en) 2015-12-03
WO2014101717A1 (zh) 2014-07-03
EP2940684A1 (en) 2015-11-04
EP2940684B1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
CN103065630B (zh) 用户个性化信息语音识别方法及系统
CN110364171B (zh) 一种语音识别方法、语音识别系统及存储介质
CN103903619B (zh) 一种提高语音识别准确率的方法及系统
CN109410914B (zh) 一种赣方言语音和方言点识别方法
CN107195296B (zh) 一种语音识别方法、装置、终端及系统
CN102592595B (zh) 语音识别方法及系统
CN107240398B (zh) 智能语音交互方法及装置
CN104157285B (zh) 语音识别方法、装置及电子设备
CN106875949B (zh) 一种语音识别的校正方法及装置
CN102280106A (zh) 用于移动通信终端的语音网络搜索方法及其装置
CN109036471B (zh) 语音端点检测方法及设备
CN105427858A (zh) 实现语音自动分类的方法及系统
CN101604520A (zh) 基于统计模型和语法规则的口语语音识别方法
US20080294433A1 (en) Automatic Text-Speech Mapping Tool
CN108074576A (zh) 审讯场景下的说话人角色分离方法及系统
CN106710585B (zh) 语音交互过程中的多音字播报方法及系统
CN106875936A (zh) 语音识别方法及装置
CN102945673A (zh) 一种语音指令范围动态变化的连续语音识别方法
CN113113024A (zh) 语音识别方法、装置、电子设备和存储介质
CN114550718A (zh) 热词语音识别方法、装置、设备与计算机可读存储介质
CN114495905A (zh) 语音识别方法、装置及存储介质
KR20130068624A (ko) 화자 그룹 기반 음성인식 장치 및 방법
CN103035244A (zh) 一种可实时反馈用户朗读进度的语音跟踪方法
JP2001242885A (ja) 音声認識装置および音声認識方法、並びに記録媒体
KR101397825B1 (ko) 위치 정보에 기초한 음성 인식 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Applicant after: Iflytek Co., Ltd.

Address before: Wangjiang Road high tech Development Zone Hefei city Anhui province 230088 No. 666

Applicant before: Anhui USTC iFLYTEK Co., Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: ANHUI USTC IFLYTEK CO., LTD. TO: IFLYTEK CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant