CN1460232A - 至可视语音系统的文字和加入面部情绪的方法 - Google Patents

Abstract

用于将情绪图标转换成可显示动画面部图像上的面部表情的可视语音系统。该系统包含：(1)一个用于接收包括至少一个情绪图标串的文字数据的数据输入系统，其中该至少一个情绪图标串与预定的面部表情相关连；和(2)一个用于生成能模仿对应于该预定的面部表情的可显示动画面部图像的文字至动画系统。系统最好是通过网络远程地实现的，例如在在线聊天环境中实现。

Description

至可视语音系统的文字 和加入面部情绪的方法

发明领域

本发明涉及文字至可视语音系统，更具体来说，涉及一种利用情绪图标(emoticons)在面部图像中生成情绪的系统和方法。

背景技术

随着因特网和其他联网环境的出现，远程地点的用户能够用诸如电子邮件和在线聊天(例如聊天室)等各种方式互相通信。在线聊天在许多情况下特别有用，因为在线聊天允许用户在一个公用的消息窗口中通过互相来回输入文字消息而在网络上实时地进行通信。为了实现在线聊天讨论更加个性化，经常在消息中输入“情绪图标”，用来推断情绪和/或面部表情。常用的情绪图标的例子包括：-)，表示微笑的面部；：-(，表示眨眼；：-o，表示震惊；：-<，表示悲伤(附录中列举了更详尽的情绪图标列表)。不幸的是，尽管情绪图标有广泛的使用，在线聊天还是趋向非个人化的，要求用户人工地阅读和解释每个消息。

随着高速计算和宽带系统的出现，网络上要出现更先进的通信方式。这要的一个例子包括视听语音合成系统，该系统要做的是声音和面部动画(facial animation)的自动生成。典型的系统提供计算机生成的具有能被控制的面貌特征(例如嘴唇)的面部图像。面部图像通常包含一个基于网络模型(mesh model)的面部对象，面部对象随着说话而动作，给人以面部对象在说话的印象。采用这种技术的应用的范围，从用于听力障碍者的工具到口语和多模式的基于代理的用户界面。

视听语音合成系统的一个主要优点是，观看动画面部图像能大大地提高对自然语音和合成语音的理解，在声学条件恶化的情况下尤其如此。此外，由于面部图像是计算机生成的，有可能控制面部表情来表达情绪，这至少能强化语音，支持对话情境中的交互。

“文字至可视语音”系统用键盘之类来输入文字，然后把文字转换成口语消息，在将口语消息与动画面部图像一起广播。文字至可视语音系统的其中一个局限是，因为消息的作者只是简单地在键入文字，所以输出(即动画面部和口语消息)缺少情绪和面部表情。所以，文字至可视语音系统提供的人与人之间的通信的形式稍微缺乏生气。

发明内容

所以，需要提供一种先进的在线系统，其中能容易地将情绪溶入到对话中。

本发明通过提供一种可视语音系统来解决上述问题，该系统中，可以通过输入情绪图标串来生成在动画面部上表达的情绪。本发明的第一个方面是提供一种可视语音系统，该可视语音系统包含：用于接收包括字串和情绪图标串的文字数据的数据输入系统；以及用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像的文字至动画系统。

本发明的第二个方面是提供一种存储在可读介质上的程序产品，该程序产品在被执行时提供一种可视语音系统，该可视语音系统包含：用于接收包括字串和情绪图标串的文字数据的数据输入系统；以及用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像的文字至动画系统。

本发明的第三个方面是提供一种具有可视语音功能的在线聊天系统，该在线聊天系统包含：(1)第一连网客户机，具有(a)用于接收包括字串和情绪图标串的文字数据的第一数据输入系统和(b)用于向网络发送文字数据的数据输出系统；(2)第二连网客户机，具有(a)用于从网络接收文字数据的第二数据输入系统和(b)用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像的文字至动画系统。

本发明的第四个方面是提供一种在具有可显示动画面部图像的系统上表现可视语音的方法，包含以下步骤：向键盘输入文字数据，该文字数据包括字串和情绪图标串；将字串转换成音频语音；将字串转换成可显示动画面部图像上的嘴部动作，使得嘴部动作对应于音频语音；将情绪图标串转换成可显示动画面部图像上的面部动作，使得面部动作对应于与所输入的情绪图标串相关联的表达情绪；以及与音频语音的广播一起显示动画面部图像。

本发明的第五个方面是提供一种可视语音系统，该系统包含一个用于接收包括至少一个情绪图标串的文字数据-其中该至少一个情绪图标串与预定的面部表情相关连-的数据输入系统；一个用于生成能模仿对应于该预定的面部表情的可显示动画面部图像的文字至动画系统。

以下将结合附图来说明本发明的示例性最佳实施例，附图中相同的标记代表相同的部件。

附图说明

图1表示按照本发明最佳实施例的可视语音系统的框图；

图2表示本发明的示例性动画面部图像。

具体实施方式

现在参看图1，图中表示了一个可视语音系统10。在所示实施例中，可视语音系统10包含第一客户机系统12和第二客户机系统42，它们通过网络40互相通信。应当明白，尽管图中显示这个实施例是在多客户机系统上实现的，本发明也能在一个可能是也可能不是与网络相连的计算机系统上实现。然而，如图1中所示的多客户机系统在在线聊天应用中特别有用，在这种应用中，位于第一客户机系统12的用户与位于第二客户机系统42的用户通信。

每个客户机系统(例如客户机系统12)都可以由任何类型的、含有或能访问诸如存储器、处理器、输入/输出等部件的计算机系统来实现。计算机部件可以在一个单一的物理位置，或者可以分布在各种形式的多个物理系统(例如一个客户集合服务器)上。因此，客户即系统12可以由一个能执行计算机程序的独立的个人电脑、能访问可通过服务器获得的应用的浏览器程序、与服务器通信的哑终端等组成。

在每个客户机系统(或每个客户机系统可访问的客户机系统)上存储着包括I/O系统20和文字至语音视频系统30的可执行过程。I/O系统20和文字至语音视频系统30可以以能在处理单元上执行的软件程序的形式实现。每个客户机系统也包括：(1)输入系统14，诸如键盘、鼠标、手持式设备、手机、语音识别系统等等，用于输入文字数据；和(2)视听输出系统，例如由CRT显示器16和音频扬声器18组成。

可视语音系统10的示例性操作如下所述。在客户机系统12与42之间的在线聊天应用中，位于客户机系统12的第一用户可通过输入系统14输入文字数据，对应的动画面部图像和伴随的音频语音将被生成并出现在客户机系统42的显示器46和扬声器48上。类似地，位于客户机系统42的第二用户可作出响应，通过输入系统44输入文字数据，第二对应动画面部图像和伴随的音频语音将被生成并出现在客户机系统12的显示器16和扬声器18上。这样，输入文字数据被转换成由模仿语音的移动动画面部图像组成的远程视听广播。因此，用户不是仅仅接收文字消息，而是接收含有该消息的视频语音广播。

不过，为了使系统更强健，发送消息的用户不能只输入字词，还要输入情绪图标串，情绪图标串将导致显示包含面部表情和情绪的动画图像。(就本说明书而言，术语“面部表情”和“情绪”可以交换使用，可以包括任何非语言的面部动作)。例如，如果位于客户机系统12的用户要随输入的字串表示高兴或快乐，用户也可以键入一个适当的情绪串，即微笑：-)。在显示器46上生成的动画图像于是就会在说出在第一客户机系统上被输入的词语的同时微笑。其它情绪可包括眨眼、悲伤、讥笑、惊讶等等。

附录中提供了一个较详尽的情绪图标的列表，这些情绪图标经常在聊天室、电子邮件以及其它形式的在线通信中被用来表示情绪之类。这些情绪以及未在列表中列举的其它情绪，每个都可以有一个相关联的、能被包括在可显示的动画面部图像中的面部响应。面部表情和/或情绪响应可以在任何口语字词之后或之前出现，最好溶入(morphinto)所说出的词语，与所说出的词语一起，为每个消息提供平滑的过渡。

图2和3表示两例具有不同情绪或面部表情的可显示动画面部图像。图2中的客体被表现得具有中性的面部表情(没有输入的情绪图标)，而图3表现的客体具有生气的面部表情(由于生气情绪图标串>：<的缘故)。尽管图2和3中没有示出，应当明白，动画面部图像可以随着情绪的显示而溶入(morph)谈话。

图2和3的动画面部图像可包含按基于三角形网眼的三维对象塑造的面部几何。可以把图像或光度数据或者不把图像或光度数据层叠在该几何上以获得面部图像。为了实现模拟表情或情绪的面部动作，可以将面部图像按一个被划分成多个行动单元(action unit)的对象来进行处理，这些单元诸如是眉毛、眼睛、嘴等等。对应于每个情绪，可以按照预定的组合和程度来模拟一个或多个行动单元。

现在返回到图1，进一步详细地说明可视语音系统10的操作。首先，通过输入系统将文字数据输入第一客户机系统12。注意到文字数据可以既包含字串又包含情绪图标串。数据被I/O系统20的数据输入系统26接收。此时，可以对文字数据进行处理，用于在客户机系统12的显示器16上显示(即在本地显示)，和/或传送到客户机系统42用于远程显示。例如，在在线聊天的情况下，文字数据要被通过网络40传送到客户机系统42，在此被处理后作为视听语音输出。客户机系统12可以用数据输出系统28来发送数据，数据输出系统把数据输出到网络40。客户机系统42然后用数据输入系统27来输入数据。然后可以将输入的文字数据传送到文字至语音视频系统31作处理。

文字至语音视频系统31有两个主要功能：第一，将文字数据转换成语音；第二，将文字数据转换成对应于可显示面部动作的行动单元。文字数据至语音的转换由文字至音频系统33处理。用于将文字转换至语音的系统是现有技术中已知的。将文字数据转换成面部动作的过程由文字至动画系统35处理。文字至动画系统35有两个部件，字串处理器37和情绪图标串处理器39。字串处理器37主要负责与将以口语的形式广播的字串相关联的嘴部动作。相应地，字串处理器37主要控制由可显示面部图像中的嘴组成的面部行动单元。

情绪图标串处理器39负责处理所接收的情绪图标串并将它们转换成对应的面部表情。相应地，情绪图标串处理器39负责控制所有的面部行动单元，以获得适当的面部响应。应当明白，可以用面部动作的任何类型、组合和程度来产生需要的表情。

文字至动画系统35就这样产生一个完整的动画面部图像，图像中既有表示语音的嘴部动作又有各种代表表情的面部动作。与动画面部图像相随的是与字串相关联的语音。可以用显示驱动器23和音频驱动器25来在显示器46和扬声器48上生成音频和可视信息。

可见，每个客户机系统可以包含基本上相同的、用于通信和生成可视语音的软件。因此，当客户机系统42将响应信息传送回客户机系统12时，在客户机系统12上由I/O系统20和文字至语音视频系统30执行与如上所述的相同的处理步骤。

应该明白，本文所述的系统、功能、机构和模块可以以硬件、软件或硬件与软件的组合的形式实现。它们可以由任何类型的计算机系统或其它适合执行本文所述方法的装置实现。硬件与软件的一种典型的组合可以是带有计算机程序的通用计算机系统，计算机程序被加载并执行时，控制计算机系统执行本文所述的方法。或者，也可以采用含有执行本发明的一个或多个功能任务的专用硬件的专用计算机。本发明也可以被内嵌在一种计算机产品中，该计算机产品包含便于实现本文所述方法和功能的所有特征功能，并且在被装载到计算机系统中时，能够执行这些方法和功能。在本发明的上下文中，计算机程序、软件程序、计算机产品或软件的意思是指任何语言、代码或符号编写的指令集合的表达，用于使具有信息处理功能的系统直接地或在下述一个或两个步骤之后执行特定功能：(a)转换到另一种语言、代码或符号；和/或(b)在不同物质形式中复制。

以上为解释和说明的目的叙述了本发明的最佳实施例。这些实施例不是穷尽性的，也不是要把本法明限制于所述的具体形式；鉴于以上教导，显然可能有许多修改和变体。这些修改和变体对所属领域的熟练人员来说是显而易见的，应包含在如权利要求所界定的本发明的范围内。附录#：-o吃惊％-(迷惑％-)茫然无助>>：-<<狂怒>->眨眼恶魔>-<狂怒>：)小恶魔>：->非常淘气的恶魔<：-<生气>：-<发疯>：-(恼怒>：-)淘气的恶魔>＝^P讨厌<：>魔鬼表情<：->魔鬼表情<：-(傻瓜<：-)天真地问哑巴问题(Innocently asking dumb question)(：&生气(：-&生气(：-(面无笑容(：-)微笑(：-*吻(：-\伤心*吻^^^笑8)睁大眼睛/戴着眼镜8-)睁大眼睛/戴着眼镜8-o吃惊8-O震惊8-P讨厌8-[烦恼；过度紧张8-]发出叫声8-|目瞪口呆：(难过：)微笑：[无聊，难过：|无聊，难过：()高谈阔论，滔滔不绝，喊叫：*吻：**回吻：，(哭：->幸福的微笑或讥笑：-><噘起嘴吻：-<伤心：-(皱眉：-)标准的微笑：-*吻：-假笑：-/做鬼脸：-6筋疲力尽：-9舔嘴唇：-？舔嘴唇，或半开玩笑的：-@尖叫的：-C惊讶的：-c很不快乐的：-D笑：-d~烟鬼：-e失望：-f伸出舌头：-I沉思的，或公平的：-i鬼脸或半笑：-j单方面的笑：-k迷惑：-1单方面的笑：-0张嘴，惊讶：-o惊讶的眼神或呵欠：-Q伸出舌头：-Q~吸烟：-r伸出舌头：-s什么？！：-t面无笑容：-V喊叫：-X我的嘴唇被堵住或吻：-x吻，或我的嘴唇被堵住：-Y在旁边评论：-[不笑的笨蛋；批评：-\′|抽鼻涕：-]微笑的笨蛋或挖苦：-{)带络腮胡子的微笑：-{)}带络腮胡子和小胡子的微笑：-{}吹吻(blowing a kiss)：-|无所谓、无聊或讨厌：-||很生气：-}淘气的笑：.(哭：C惊讶：e失望：P伸出舌头；)使眼色；-)媚眼^^^格格地笑`：-)扬眉|-<>噘起嘴吻|-D大笑：0呵欠|I睡着|^o打鼾}-)歪斜的微笑}：[生气的、失败的~：-(疯狂的

Claims (20)

1.一种可视语音系统，其中该可视语音系统包含：

数据输入系统，用于接收包括字串和情绪图标串的文字数据；

文字至动画系统，用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像。

2.如权利要求1的可视语音系统，还包含用于键入文字数据的键盘。

3.如权利要求1的可视语音系统，还包含能生成对应于所接收字串的音频语音广播的文字至音频系统。

4.如权利要求3的可视语音系统，还包含用于将可显示动画面部图像与音频语音广播一起显示的音视接口。

5.如权利要求1的可视语音系统，其中，文字至动画系统将每个情绪图标串与一个被表达情绪相关联，并且其中被表达情绪被用至少一个面部动作再现于动画面部图像上。

6.如权利要求5的可视语音系统，其中，文字至动画系统将每个字词串与一个口语字词相关联，并且其中口语字词被用至少一个嘴部动作再现于动画面部图像上。

7.如权利要求6的可视语音系统，其中，该至少一个面部动作与该至少一个嘴部动作融合。

8.如权利要求1的可视语音系统，进一步包含用于通过网络接收和发送数据的输入/输出系统。

9.一种存储在可读介质上的程序产品，该程序产品在被执行时提供一种可视语音系统，包含：

数据输入系统，用于接收包括字串和情绪图标串的文字数据；和

文字至动画系统，用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像。

10.如权利要求9的程序产品，其中，输入情绪图标串被用被表达情绪再现于动画面部图像上。

11.如权利要求10的程序产品，其中，输入字词串被用嘴部动作再现于动画面部图像上。

12.如权利要求11的程序产品，其中，被表达情绪与嘴部动作融合。

13.一种具有可视语音功能的在线聊天系统，包含：

第一连网客户机，具有：用于接收包括字串和情绪图标串的文字数据的第一数据输入系统；和用于向网络发送文字数据的数据输出系统；

第二连网客户机，具有：用于从网络接收文字数据的第二数据输入系统；和用于生成能再现对应于所接收字串和所接收情绪图标串的面部动作的可显示动画面部图像的文字至动画系统。

14.如权利要求13的在线聊天系统，其中，每个情绪图标串以被表达情绪的形式再现于动画面部图像上。

15.如权利要求14的在线聊天系统，其中，每个字词串被用嘴部动作再现于动画面部图像上。

16.如权利要求15的在线聊天系统，其中，被表达情绪与嘴部动作融合。

17.一种在具有可显示动画面部图像的系统上表现可视语音的方法，包含以下步骤：

向键盘输入文字数据，其中该文字数据包括字串和情绪图标串；

将字串转换成音频语音；

将字串转换成可显示动画面部图像上的嘴部动作，使得嘴部动作对应于音频语音；

将情绪图标串转换成可显示动画面部图像上的面部动作，使得面部动作对应于与所输入的情绪图标串相关联的表达情绪；

与音频语音的广播一起显示动画面部图像。

18.如权利要求17的方法，其中，嘴部动作和面部动作被融合在一起。

19.如权利要求17的方法，其中，动画面部图像与音频语音的广播一起显示是通过网络远程地进行的。

20.一种可视语音系统，包含：

一个用于接收包括至少一个情绪图标串的文字数据的数据输入系统，其中该至少一个情绪图标串与预定的面部表情相关连；和

一个用于生成能模仿对应于该预定的面部表情的可显示动画面部图像的文字至动画系统。

Images