CN100442803C - 便携式终端，应答消息发送方法和服务器 - Google Patents

Abstract

一种具有电话或无线电通信功能的便携式终端、一种呼叫应答消息发送方法和服务器，用于在用户无法接听打进来的电话时使得便携式终端的用户能够通知呼叫者不允许他/她应答呼叫的他/她的场合。一种便携式终端，包括用于存储有关不同类型的消息的信息的存储器，每个不同类型的消息均与指定姿势或手势的图像相关联，以及接收到呼叫时拍摄图像的照相机部件。该便携式终端从照相机部件拍摄的图像中识别姿势或手势，并从存储器中选择与所识别的姿势或手势相对应的消息，以及将选择的消息发送给呼叫端。

Description

便携式终端，应答消息发送方法和服务器

技术领域

本发明涉及一种像蜂窝式电话这样的便携式终端和一种发送应用于便携式终端的呼叫应答消息的方法，并且尤其涉及一种在接收到呼叫时向呼叫端发送消息的便携式终端和一种发送呼叫应答消息的方法，以及一种用于在便携式终端收到呼叫时向呼叫端发送消息的服务器。

发明背景

几乎所有的蜂窝式电话都具有无声(方式)模式，用于在像火车这样的公共场所中将铃声或乐曲等替换为振动。当在无声模式接收到打进来的电话时，蜂窝式电话通常启动包括振动马达等等的振动器，以通知用户有电话打入。像蜂窝式电话被设置在无声模式的这种环境经常要求用户避免通电话。因此，当在无声模式的蜂窝式电话上接收到呼叫时，该手机用户可能小声应答呼叫，不理睬呼叫或使呼叫保持。对于处在自动应答模式中的蜂窝式电话而言，将向呼叫端发送已记录的或固定的语音信息。

但是，即使用户在需要设置无声模式的环境中低声地应答呼叫时，他/她也可能会打扰他/她身边的其他人。此外，如果用户使呼叫者保持，他/她并不总是随后从保持状态中找回呼叫者，这对呼叫者会造成麻烦。如果用户不理睬呼叫或通过自动应答向呼叫端发送已记录的语音信息，那么他/她无法将他/她不能应答的原因通知给呼叫者。因此，呼叫者可能会重复地呼叫处于无声模式中的蜂窝式电话或者对该用户产生不信任。

例如，在日本未审专利申请2003-274459：参考文献1(第0037段-0044段和图39)中，已提出一种解决上述问题的蜂窝式电话。该蜂窝式电话存储不同类型的语音信息，以便使用户通过键盘等选择一种语音信息并在用户无法应答时将其作为呼叫应答消息发送。作为另一个例子，在日本未审专利申请2002-354128：参考文献2(第0007段-第0009段)中，提出了一种能够将文本消息或图像以及语音消息作为呼叫应答消息发送的蜂窝式电话。

但是，根据参考文献1，当蜂窝式电话的用户无法接听拨进来的电话时，他/她不得不按压该电话的操作部分中的功能键。在使用这种用户接口时，用户必须记住各个应答消息和相应功能键之间的关联。参考文献1描述了用户相对于每种情况而预先设置一条应答消息，以作为减少这种麻烦的一种措施(请参阅第0064段-0066段)。在使用这种方法时，用户不得不事先确定功能键的设定，这仍然会给他/她带来麻烦。

类似地，根据参考文献2，如果用户使得蜂窝式电话根据他/她的场合发送应答消息，那么则需要用户预先设置应答消息或改变他们的设定。换句话说，用户不得不事先确定应答消息的设定，这同样会给他/她带来烦恼。

发明内容

因此，本发明的目的是提供一种具有电话或无线电通信功能的便携式终端，一种发送呼叫应答消息的方法和一种在用户无法接听拨进来的电话时能够使便携式终端的用户通知呼叫者他/她不能应答呼叫的原因和不允许他/她应答呼叫的他/她的场合。

根据本发明的一个方面，为了实现上述目的，提供一种便携式终端，其包括：动作指令信息存储器，用于存储有关与有关形状的信息相关联的动作指令的信息，有关形状的信息指示对象的具体形状或形态或者多个像面部和手(例如人体或身体局部的手势和姿势)这样的对象之间的关系；拍摄装置，用于拍摄图像；动作指令信息选择装置，用于从拍摄装置拍摄的图像中识别一个形状并且从动作指令信息存储器中选择相应于所识别的形状的动作指令；以及控制器，用于根据动作指令信息选择装置选择的动作指令来控制便携式终端。

根据本发明的另一方面，提供一种便携式终端，其包括：发送指令信息存储器，用于存储与形状信息有关联的有关发送指令的信息；拍摄装置，用于在接收到呼叫时拍摄图像；发送指令信息选择装置，用于从拍摄装置拍摄的图像中选择形状并且从发送指令信息存储器中选择形应于所识别的形状的发送指令；以及控制器，用于根据发送指令信息选择装置选择的发送指令将指定的信息发送给呼叫源。

根据本发明的另一方面，提供一种便携式终端，其包括：消息信息存储器，用于存储与形状信息有关联的有关不同类型的消息的信息；拍摄装置，用于在接收到呼叫时拍摄图像；消息信息选择装置，用于从拍摄装置拍摄的图像中选择形状并且从消息信息存储器中选择形应于所识别的形状的消息；以及消息信息发送器，用于将消息信息选择装置选择的消息发送给呼叫源。

存储在存储器中的形状信息的例子包括包含在身体局部(面部图像、手或手指图像，等等)的图像中的形状信息和包含在便携式终端的用户的身体部分的图像中的形状信息。此外，还可以将用户感到难以通过语音和通话来应答打进来的电话的特定地方或位置作为包含形状信息的图像来存储。此外，包含形状信息的图像可以是一种静态图像，或者是一种由多个静态图像组成的运动图像。

优选地，便携式终端还包括：字符串信息存储器，用于存储有关时间信息的字符串信息(例如，时间表信息)；以及信息抽取装置，用于从存储在字符串信息存储器中的字符串信息中抽取用户当前所处的位置或场合(在火车上，在开会，等等)以及该场合的持续时间。在这种情况下，消息信息发送器除了将消息信息选择装置选择的消息发送给呼叫源之外还可以信息抽取装置抽取的信息发送给呼叫源。优选地，信息抽取装置从存储在字符串信息存储器中的字符串信息中抽取与呼入呼叫的时间相对应的信息。

消息信息发送器可发送作为消息的文本消息或音频信号。除了发送消息之外，消息信息发送器还可以发送拍摄装置所拍摄的图像。

优选地，便携式终端还包括：显示器；操作部分，用户通过其提供输入；以及显示控制装置，用于在消息信息发送器将消息发送给呼叫源之前将该消息显示在显示器上。在这种情况下，消息信息发送器可以在用户提供了指示他/她已确定消息适当的确定输入之后发送消息。

优选地，便携式终端还包括：像GPS接收机这样的位置信息输出装置，用于输出指示便携式终端的当前装置的位置信息；以及位置消息发送器，用于在输入拍摄装置拍摄的图像时发送相应于位置信息输出装置输出的位置信息的消息。

根据本发明的又一方面，提供一种便携式终端，其包括：消息信息存储器，用于存储与形状信息有关联的有关不同类型的消息的信息；消息信息选择装置，用于从接收于相对便携式终端的图像中识别形状并且从消息信息存储器中选择相应于所识别的形状的消息；以及消息输出装置，用于输出消息信息选择装置选择的消息。

根据本发明的又一方面，提供一种发送应用于便携式终端的呼叫应答信息的方法，包括步骤：预先存储有关不同类型的消息的与消息信息存储器中的形状信息关联的信息；在接收到呼叫时，通过便携式终端的拍摄装置拍时图像；从拍摄装置拍摄的图像中识别形状；从消息信息存储器中选择相应于所识别的形状的消息；以及将选择的消息发送给呼叫源。优选地，应答消息发送方法应用于不允许输出铃声或乐曲的情况或场合(例如，当讲便携式终端设置为无声模式时)。

根据本发明的又一方面，提供一种服务器，其包括：消息信息存储器，用于存储与形状信息有关联的有关不同类型的消息的信息；消息信息选择装置，用于从已接收来自呼叫源的呼叫的便携式终端发送的图像中识别形状并且从消息信息存储器中选择形应于所识别的形状的消息；以及消息信息发送器，用于将消息信息选择装置选择的消息发送给呼叫源。

如上所述，根据本发明，即使当便携式终端的用户无法应答呼入呼叫时，便携式终端的用户也可以轻易地通知呼叫者他/或她不应答呼叫的理由和他/她的不允许他/他应答呼叫的场合。此外，能够通过输入图像向便携式终端下达操作指令，这简化了用户接口。

附图说明

通过研究以下结合附图的详细描述将更清楚本发明的上述及其他的目的和特征，其中：

图1(A)是根据本发明的一个蜂窝式电话例子的前视图；

图1(B)是蜂窝式电话的后视图；

图2是示出蜂窝式电话的构成的一个例子的结构图；

图3是示出通过控制器所实现的功能的例子的功能结构图；

图4是示出存储在存储器中的数据的例子的说明框图；

图5是示出每一个都与消息关联的模型图像的例子的说明框图；

图6是示出根据本发明第一具体实施例的发送呼叫应答消息的处理的流程图；

图7是示出根据本发明第二具体实施例的发送呼叫应答消息的处理的流程图；

图8是示出根据本发明第三具体实施例的发送呼叫应答消息的处理的流程图；

图9是示出时间表信息和相应于该信息的消息的例子的说明框图；

图10是示出根据本发明第四具体实施例的发送呼叫应答消息的处理的流程图；

图11是示出根据本发明第五具体实施例的发送呼叫应答消息的处理的流程图；

图12(A)是示出作为运动图像的模型图像的帧的例子的说明框图；

图12(B)是示出用于激活应答模式的模型图像的例子的说明框图；

图13是示出根据本发明第七具体实施例的发送呼叫应答消息的处理的流程图；

图14是示出根据本发明第八具体实施例的发送呼叫应答消息的处理的流程图；

图15是示出根据本发明第九具体实施例的发送呼叫应答消息的处理的流程图；

图16是示出根据本发明第十具体实施例的操作的流程图；

图17是示出根据本发明第十一具体实施例的操作的流程图；

图18(A)是示出每个都与多个消息关联的模型图像的例子的说明框图；

图18(B)是示出电话簿信息的例子的说明框图；

图19是示出显示在显示器上的帧的例子的说明框图；以及

图20是示出包括服务器的一种系统构成的例子的框图。

具体实施方式

现在将参考附图，详细地描述本发明的优选具体实施例。

图1示出本发明所应用的作为便携式终端的例子的蜂窝式电话：图1(A)是蜂窝式电话的前视图；而图1(B)是蜂窝式电话的后视图。顺便提及，该蜂窝式电话的引用仅为举例且没有限制。本发明适用于其他任何便携式终端，诸如具有照相功能和无限电通信功能的PDA(个人数字助理)。

请参考图1(A)，折叠式蜂窝式电话100包括上外壳100A、下外壳100B和铰合部100C。上外壳100A可折叠或可铰合地连接下外壳，以便翻转地打开或闭合。在折叠式蜂窝式电话100的上外壳100A的内表面上提供有：立体照相机部件102，包括两个用于拍摄三维图像的照相机；第一扬声器107，用于在经该电话通话期间输出对方的语音；以及主显示器110，用于显示图像或文本消息消息。在下外壳100B的内表面上提供有：设置键部分104A，包括滚动或回车键以及用于确定各种设置和在主显示器110上显示存储信息的功能键；十键部份104B，包括10个键；以及麦克风108，用于在经该电话通话期间输入用户的语音。

布置立体照相机部件102，以便能够在用户注视主显示器110时拍摄用户的面部。因此，在蜂窝式电话100上可以安装实现可视电话功能的应用。

设置键部件104A和十键部件104B构成主操作部件104。在折叠式蜂窝式电话100的下外壳100B的侧面上还提供有子操作部件(侧面键部件)105，包括可在蜂窝式电话100被折叠起来时操作的键或按钮。

可以从图1(B)看到，在上外壳100A的外表面提供有：照相机部件103，用于拍摄二维图像；第二扬声器109，用于输出指示呼入呼叫的铃声或乐曲；子显示器111，用于显示图像或像呼叫源的电话号码这样的信息；发光部件115，在使用照相机部件103时发光；以及天线116。

尽管图1示出的作为例子的蜂窝式电话100具有拍摄三维图像的立体照相机102，但是在应用本发明中并不需要拍摄三维图像的这种装置。应用本发明的便携式终端只要求有某种或其他拍摄装置。虽然蜂窝式电话100具有照相机部件102和103，但是其不必具有两个照相机。应用本发明的便携式终端只需要至少一个拍摄装置。此外，图1作为例子示出折叠式蜂窝式电话，但是本发明还可以应用于直板蜂窝式电话和折叠式或蚌式。另外，照相机部件102和103都具有用于彩色摄影的图像拾取装置。

图2是示出蜂窝式电话100的构成的一个例子的结构图。请参考图2，蜂窝式电话100还包括无线电通信部件101、GPS(全球定位系统)接收机117、呼叫发射-接收机106、打开/闭合检测器112、存储器113和控制器114。

无线电通信部件101对音频信号和数据信号执行调制、解调、变频等等。无线电通信部件101通过天线116从或向基站(未示出)发送/接收无线电信号。GPS接收机117从GPS通讯卫星接收无线电波或信号，以便计算蜂窝式电话100的位置(例如，经度和纬度)。顺便提及，在以下不需位置检测的具体实施例中，蜂窝式电话100不必具有GPS 117。

控制器114可以由根据存储在存储器113中的程序进行操作的CPU(中央处理器)、DSP(数字信号处理器)等来实现。GPS接收机117向控制器114传送指示蜂窝式电话100的定位的位置信息。根据用户通过包括设置键部件104A和十键部件104B的主操作部件104或子操作部件105所提供的输入，控制器114激活立体照相机部件102或照相机部件103，以便输入照相机部件102和103拍摄和产生的图像。当激活照相机部件103时，控制器114使发光部件(闪光灯)115发光。此外，控制器114还从打开/闭合检测器(感测器)112输入检测信号，这检测了蜂窝式电话100是折叠还是打开的：上外壳100A和下外壳100B是处在打开位置还是闭合位置。

当用户通过主操作部件104提供了输入或者接收到呼入呼叫时，控制器114在主显示器110上显示相应于输入的信息或存储在存储器113中的信息。当用户通过子操作部件105提供了输入或者接收到呼入呼叫时，控制器114在子显示器111上显示相应于输入的信息或存储在存储器113中的信息。在用户通过主操作部件104或子操作部件105提供了输入以便在蜂窝式电话100上播放某些音乐，或是接收到呼入呼叫时，控制器114向第二扬声器109传送之前存储在存储器113中的音乐数据。从而，第二扬声器109输出音乐。

呼叫发射-接收机106将在经电话通话期间由无线电通信部件101输出的语音数据或是存储在113中的语音数据转换为模拟信号，并向第一扬声器107传送这些信号。第一扬声器107根据来自呼叫发射-接收机106的音频信号输出语音。此外，呼叫发射-接收机106将输入麦克风108中的音频信号转换为数字信号(语音数据)，并向无线电通信部件101或存储器113传送该信号。存储器113存储从呼叫发射-接收机106输入的语音数据。

图3是示出通过控制器114所实现的功能的例子的功能结构图。请参考图3，控制器114执行传送/接收控制1141、呼叫控制1142、电子邮件控制1143、拍摄控制1144、图像识别控制1145、语音合成控制1146和时间表管理1147。

例如，根据传送/接收控制1141，无线电通信部件101响应用户呼叫输入来操作以便进行呼叫，并且还在将入局呼叫通知给控制器114之后发送响应信号。根据呼叫控制1142，当已建立呼叫，以及输出无线电通信部件101接收的语音数据时，呼叫发射-接收机106根据通过麦克风108输入给无线电通信部件101的音频信号输出语音数据。

作为电子邮件控制1143的例子，控制器114在存储器113中存储无线电通信部件101接收的电子邮件，并在主显示器110上显示构成电子邮件消息的屏幕，以及通过无线电通信部件101发送用户已输入并请求发送的电子邮件消息。此外，作为拍摄控制1144的例子，控制器114响应用户的拍摄输入来激活立体照相机部件102或照相机部件103以拍摄图像，并将使用照相机部件102或103拍摄的图像的图像数据存储在存储器113中，以及在主显示器110或子显示器111上显示该图像。立体照相机部件102和照相机部件103可以拍摄运动图像。

作为图像识别控制1145，控制器114从存储在存储器113中的图像数据中识别出指定图像，并且作为语音合成控制1146，产生与存储在存储器113中的文本数据想对应的音频信号。此外，作为时间表管理1147，控制器114产生并更新有关存储在存储器113中的用户的时间表的信息。顺便提及，图3所示的功能仅作为例子给出且没有限制。控制器114可以具有除上述功能之外的其他功能。图3举例说明的各个功能是通过存储在存储器113中的应用程序来实现的，控制器114按照这个应用程序运行。

图4是示出存储在存储器113中的数据的例子的说明框图。存储器113可以包括闪存储器等等。存储器113除了存储控制器114执行的程序1131之外还存储电话簿信息1132、内收/外发电子邮件信息1133、内接/外拨呼叫历史信息1134、参数信息1135、音乐数据1136、图像数据1137、语音数据1138，文本消息数据1139和时间表信息1140。

电话簿信息1132包括用户可能想要呼叫或联络的已被用户记录的人的电话号码、姓名等。内收/外发电子邮件信息1133包括已接收的电子邮件的数据和已发送及未发送电子邮件的数据。内接/外拨呼叫历史信息1134包括与用户过去已呼叫的人、以及过去呼叫该用户的人的电话号码、姓名等有关的信息。参数信息1135指示蜂窝式电话100的各种设置。语音数据1138包括用户输入的以及厂家预先设置的语音数据。文本消息数据1139包括由用户输入的以及由厂家预先设置的文本消息数据。顺便提及，图4所示的信息和数据仅作为例子给出且没有限制。存储器113可以存储更多的信息。此外，除了包括像闪存储器这样的内存储器之外，存储器113还可以包括像存储卡这样的外部储存器。

第一具体实施例

在下文中，将描述本发明的第一具体实施例。在这个具体实施例中，处于无声模式的便携式终端已被设置为应答呼入呼叫(应答模式)，其向呼叫端发送相应于用户手势或姿势的消息。

图5是示出模型图像和消息之间的关系的例子的说明框图。存储器113存储彼此相关联的模型图像和消息。模型图像指示带有预定手势或姿势的面部图像，这已在存储器113中预先设置。当蜂窝式电话厂商制造蜂窝式电话100时，可以将模型图像和相应的消息设置在存储器113中。例如，厂家将存储器113中的通过使用CG(计算机图形)产生的指定图像等设置为模型图像。在这种情况下，作为模型图像的面部图像不同于蜂窝式电话100的用户的面部图像。

当用户购买蜂窝式电话100时，可以在商店将模型图像设置在存储器113中。在这种情况下，店员等使用数码照相机等拍摄带有手势或姿势的用户的面部图像，并通过指定接口将该面部图像传送到蜂窝式电话100的存储器113中。用户也可以在购买了蜂窝式电话100之后将模型图像设置在存储器113中。在这种情况下，要在蜂窝式电话100上安装用于输入模型图像的应用程序。根据该应用程序，控制器114响应用户通过主操作部件104提供的输入，在主显示器110上显示与要拍摄的手势或姿势有关的指令。控制器114将一条消息和用户按照指令拍摄的该图像关联，以便将它们存储在存储器113中。

在图5中，具有手指指向嘴唇的手势的面部图像与用户无法接电话的消息相关联，具有手的两指在耳朵处形成听筒形状的手势的面部图像与用户将回叫的消息相关联，以及具有手指指向水平方向的手势的面部图像与用户在火车上的消息相关联。这些模型图像、消息和它们之间的关系仅作为例子给出。可以利用或增加具有其他手势或姿势的模型图像、其他消息和其他组合。存储器113还存储有关每个模型图像和消息之间的关联的信息。在下文中将包含这些信息的表称作图像转换表。与模型图像关联的每个消息被存储在存储器113中，例如作为文本消息数据1139。

在下文中，将参考附图6来描述根据第一具体实施例的蜂窝式电话100的操作。图6是示出根据本发明第一具体实施例的发送呼叫应答消息的处理的流程图。

在蜂窝式电话100中，在由无线电通信部件101通知有电话呼入之后(步骤S101，Y)，控制器114检查蜂窝式电话100是否处于无声模式(步骤S102)。例如，在开会或乘火车之前，用户根据预定的操作指令通过主操作部件104提供输入，以便将蜂窝式电话100设置为无声模式。响应用户的输入，控制器114将存储器113中的参数信息1135设置到无声模式。

当蜂窝式电话100处于无声模式时(步骤S102，Y)，控制器114检查蜂窝式电话100是否处于应答模式(步骤S103)。例如，当预想到用户无法应答呼入呼叫的场合时，他/她根据预定的操作指令通过主操作部件104提供输入，以便将蜂窝式电话100设置在应答模式。响应用户的输入，控制器114将存储器113中的参数信息1135设置到应答模式。

如果蜂窝式电话100既不处于无声模式(步骤S102，N)又不处于应答模式(步骤S103，N)，那么蜂窝式电话100正常接听呼入呼叫(步骤S105)。在这种情况下，控制器114使蜂窝式电话100响铃，直到用户执行摘机操作。在摘机操作之后，控制器114启动呼叫控制。

在这个具体实施例中，当用户将上外壳100A和下外壳100B从闭合位置转到打开位置并且打开/闭合感测器112检测到蜂窝式电话100处于打开位置时，或者他/她根据预定的操作指令通过主操作部件104子操作部件105提供输入以将蜂窝式电话100切换至应答模式(S104)时，蜂窝式电话100进入应答模式，这将在下文中描述。例如，可以通过按压主操作部件104或子操作部件105上的一个或多个预定按钮，使蜂窝式电话100进入应答模式。在接收到呼入呼叫时，控制器114在主显示器110或子显示器111上显示像包括在来电信号中的呼叫者的电话号码这样的信息，并继续为该呼叫发出信号、，直到用户执行摘机操作。在已将呼叫者的电话号码和像呼叫者的姓名这样的相应信息一起记录为电话簿信息1132的情况下，控制器114在主显示器110或子显示111上显示该信息，而不是显示电话号码。当打开/闭合感测器112已检测到蜂窝式电话100处于打开位置时，控制器114在主显示器110上显示该信息，而在检测器112检测到蜂窝式电话100处于闭合位置时在子显示器111上显示该信息。

当打开/关闭感测器112检测到从闭合位置到打开位置的变化时，或者，不考虑检测器112的检测结果如何，通过主操作部件104或子操作部件105提供输入时，控制器114将蜂窝式电话100设置到摘机状态，并且将呼入呼叫置于保持(步骤S106)。也就是说，在控制器114的控制下，无线电通信部件101发送呼叫应答信号，并且将存储在存储器113中的保持声音数据输出到无线电通信部件101，以便从其中发射。此外，控制器114激活立体照相机部件102和照相机部件103，以便使它们为拍摄做好准备(步骤S107)。当打开/闭合感测器112已检测到蜂窝式电话100处于打开位置时，控制器114激活立体照相机部件102，而在检测器112已检测到蜂窝式电话100处于闭合位置时激活照相机部件103。顺便提及，不管打开/闭合检测器112所检测的结果如何，控制器114都始终可以激活立体照相机部件102和照相机部件103中的预定的一个。在激活立体照相机部件102的情况下，控制器114可以激活照相机部件102的两个照相机中的一个。

在控制器114的控制下，立体照相机部件102或照相机部件103在经过例如5秒这样的预定时期之后自动地拍摄图像(步骤S108)。在该时期期间，用户向立体照相机部件102或照相机部件103作出相应于他/她的场合的姿势或手势。立体照相机部件102或照相机部件103将拍摄到的图像数据存储在存储器113中。控制器114执行图像识别，以便确定存储在存储器113中的图像是否与图5所示的模型图像中的任一个相匹配(步骤S109)。

控制器114根据存储在存储器113中的程序的图像识别程序执行该图像识别。例如，首先，控制器114确定肤色区域，以便识别面部的轮廓。接着，控制器114确定肤色区域内的不同色彩的区域，以便识别眼和嘴唇的位置。然后，在嘴区域包含色彩与嘴唇的色彩不同且不小于指定区域的一部分区域的情况下，控制器114确定该图像与图5所示图表的顶行中的模型图像匹配。

在面部的左轮廓之外的附近区域(丛图5看到的面部图像的左边)存在不小于指定区域的肤色部分的情况下，控制器114确定图像与图5所示图表的中间行中的模型图像匹配。此外，在面部的下轮廓之外的附近区域存在不小于指定区域的肤色部分的情况下，控制器114确定图像与图5所示图表的底行中的模型图像匹配。例如，在日本未审专利申请HEI7-311833中，可以找到对于在此所采用的面貌识别方法的详细说明。根据该专利申请所描述的技术，即使当模型图像在面部的大小上不同于立体照相机部件102或照相机部件103所拍摄到的图像，但是可以根据眼和嘴唇的位置来检查两个图像之间的匹配。此外，即使面部在图像中是倾斜的，也可以根据眼的嘴唇的位置来抽取面部的轮廓。

上述识别方法仅作为例子给出。也可以利用另外的识别方法，只要其能够检测面部的轮廓和嘴唇的位置以及根据它们能够检测不小于指定区域的部分区域。在这个具体实施例中，虽然是相对于面部轮廓来检测手和手指的位置的，但是为了更精确的匹配，还可以检测手指所构成的形状等。在这种情况下，可以在模型图像中的预定位置(基于面部的位置的预定位置，等等)处的由手指等构成的形状，与例如预定位置处的肤色区域或由立体照相机部件102或照相机部件103拍摄得到的图像的位置附近的肤色区域之间执行模式匹配。

然后，控制器114参考图像转换表(请参见图5)选择与已确定与照相机部件拍摄到的图像相匹配的模型图像相对应的消息，并从存储器113中取出消息(步骤S110)。控制器114在主显示器110或子显示器111上显示自存储器113取出的消息(步骤S121)。在图5的情况下，当他/她在火车上并且无法应答呼入呼叫时，用户假定了了与图表的底行中的模型图像相对应的姿势。当他/她正在开会且无法应答呼入呼叫时，用户假定了与图5所示图表中的顶行中的模型图像相对应的姿势。此外，例如当没必要向呼叫者解释他/她不应答呼入呼叫的理由时，用户假定了与图5所示图表中的中间行的模型图像相对应的姿势。在控制器114正确执行图像识别之后，主显示器110或子显示器111显示与用户所采取的姿势相对应的消息。

如果主显示器110或子显示器111没有显示与用户所采取的姿势相对应的消息(步骤SI22，N)，那么用户通过主操作部件104或子操作部件105提供输入，以便进行补拍。例如，可以通过按压主操作部件104或子操作部件105上的一个或多个预定按钮来提供输入。响应该输入，处理返回步骤S108。从而，立体照相机部件102或照相机部件103对摆姿势的用户进行重拍。

在检测到与该姿势相对应的消息已被显示在主显示器110或子显示111上之后，用户通过主操作部件104或子操作部件105提供指示他/她批准该消息的输入。例如，可以通过按压主操作部件104或子操作部件105上的一个或多个预定按钮来提供该输入。响应该输入，控制器114从存储器113中读出信息，并产生相应于该消息的发声声音的语音数据，以便输出该数据给无线电通信部件101。无线电通信部件101发送相应于该语音数据的音频信号(步骤S123)。顺便提及，相应于每个消息的语音数据可以预先存储在存储器113中，以便控制器114可以从其中读出数据，这就免除了产生语音数据的处理。此后，如果已将存储器中的参数信息1135设置为记录消息(步骤S124，Y)，那么控制器114将无线电通信部件101从呼叫端接收到的语音数据存储在保留给记录消息的区域中，藉此记录来自呼叫者的消息(步骤S125)。随后，例如通过从无线电通信部件101发送断开信号来执行挂机操作(步骤S126)。如果没有将参数信息1135设置为记录信息(步骤S124，N)，那么直接执行挂机操作，而无需步骤S125的处理。

如上所述，在第一具体实施例中，当用户向蜂窝式电话100输入带有特定手势或姿势的图像时，能够向呼叫端发送与该手势或姿势相对应的消息。如图5所示，该消息可以包含用户为什么无法应答呼叫的理由。藉此，呼叫者可以明白为什么蜂窝式电话100的用户不接电话，并且消除了对方不知道情况的担忧。因此，蜂窝式电话100的用户可以更好地与呼叫者进行交流。此外，即使是在蜂窝式电话100的用户感觉经由电话(在火车上，开会等)通话不适当的场合，由于他/她可以通过手势/姿势将他/她的情况通知给呼叫者，因此他/她不会打扰他/她周围的其他人。

另外，因为用户可以通过手势或姿势向呼叫者发送消息，因此消息选择变得更为方便。也就是说，可以定义每个模型图像，以便允许用户作出可以直观地理解消息的手势或姿势。在图5中，手和手指在耳朵处的手势与消息″我将回叫你″相关联，从而当他/她想发送说″我将回叫你″的消息时，用户可以轻易地想到手势。因此，这个具体实施例中，可以实现对于发送呼叫应答消息的用户接口的改进。

顺便提及，在这个具体实施例中，是将消息作为语音消息发送的，也可以作为文本消息发送。例如，当已将呼叫者的电话号码和相应的电子邮件地址作为电话簿信息记录在存储器113中时，控制器114可以将电子邮件消息发送到该地址。在这种情况下，在步骤S108获得的图像数据也可以附于电子邮件消息上。由于有图像数据附于电子邮件上，呼叫者可以更轻易地明白为什么蜂窝式电话100的用户不应答他/她的呼叫。此外，可以通过电子邮件只发送在步骤S108获得的图像数据。同样在这种情况下，呼叫者可以轻易地明白为什么蜂窝式电话100的用户不应答他/她的呼叫。

此外，在这个具体实施例中，在电话100处于无声模式的条件下，控制器114检查蜂窝式电话100是否处于电话100处于应答模式中(步骤S102和103)。但是，即使蜂窝式电话100不是在无声模式下，也可以在设置在应答模式时，向呼叫端发送消息

另外，在这个具体实施例中，存储器(存储器113)存储了每一个均包含形状信息的模型图像，以便保持形状信息。从由照相机拍摄的图像中识别出形状信息的一种方法是将拍摄的图像与模型图像进行比较。根据比较的结果，确定拍摄的图像是否包含形状信息。但是，该方法的引用仅为举例且没有限制。例如，形状或形态的数字化特征(例如由指示指定姿势的手指形成的形状的特定特征的相对坐标值)可以用作形状信息。在这种情况下，通过检查图像是否包含与指示预定形状的特征的值相匹配的一部分，或者是匹配度是否超过指定阈值，来确定拍摄的图像是否包含形状信息。

根据第一具体实施例，用于存储有关与形状信息(例如姿势或手势)关联的动作指令的信息(例如指示要选择的消息的信息)的动作指令存储器是通过存储模型图像、消息和图像转换表的存储器113实现的。用于从拍摄装置所拍摄的图像中识别形状信息、并从动作指令信息存储器中选择与所识别出的形状信息相对应的动作指令的动作指令信息选择装置，和根据动作指令信息选择装置选择的动作指令控制便携式终端的控制器，是通过根据一个或多个程序操作的控制器114来实现的。此外，用于存储有关与形状信息(例如姿势或手势)关联的发送指令的信息(例如指示要发送的消息的信息)的发送指令存储器是通过存储模型图像、消息和图像转换表的存储器113实现的。用于当接收到呼叫时从拍摄装置拍摄的图像中识别出形状信息、并从发送指令信息存储器中选择相应于所识别的形状信息的发送指令的发送指令信息选择装置，以及根据发送指令信息选择装置选择的发送指令控制便携式终端的控制器是通过根据一个或多个程序操作的控制器114来实现的。根据发送指令信息选择装置选择的发送指令将指定信息发送给呼叫源的控制器是通过无线电通信部件101和控制器114来实现的。此外，用于存储有关与形状信息关联的不同类型的消息的信息的消息信息存储器是通过存储模型图像、消息和图像转换表的存储器113来实现的。用于当接收到呼叫时从拍摄装置拍摄的图像中识别形状信息、并从消息信息存储器中选择相应于所识别的形状信息的消息的消息信息选择装置是通过根据一个或多个程序操作的控制器114来实现的。用于将消息信息选择装置选择的消息发送到呼叫源的消息信息发送器是通过无线电通信部件101和控制器114来实现的。

第二具体实施例

在这个具体实施例中，如果便携式终端处于无声模式，那么将相应于用户的手势或姿势的消息发送给呼叫端。

在下文中，将参考附图7来描述根据第二具体实施例的蜂窝式电话的操作。图7是示出根据本发明第二具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第二具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

在由无线电通信部件101通知有呼入呼叫之后(步骤S101，Y)，控制器114检查蜂窝式电话100是否处于无声模式(步骤S102)。当蜂窝式电话100处于无声模式时(步骤S102，Y)，处理直接进行到步骤S104。换句话说，只要蜂窝式电话100处于无声模式，即使其没有被设置在应答模式，当打开/闭合感测器112检测到电话100处于打开位置时，或者用户通过主操作部件104或子操作部件105提供输入以便使电话100进入应答模式时，执行步骤S105的处理。此外，蜂窝式电话100则以与第一具体实施例相同的方式进行操作。

如上所述，在第二具体实施例中，即使没有预先将蜂窝式电话100设置为应答模式，用户也可以使蜂窝式电话100应答呼入呼叫。因此，对易于忘记将他/她的蜂窝式电话设置为应答模式的用户来说很方便。

第三具体实施例

在这个具体实施例中，当消息不适当时，将会自动地显示下一候选信息。

在下文中，将参考附图8来描述根据第三具体实施例的蜂窝式电话的操作。图8是示出根据本发明第三具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第三具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

步骤S101-步骤S121的处理是以与上文结合图6所描述的第一具体实施例相同的方式来执行的。但是，在这个具体实施例中，如果主显示器110或子显示器111没有显示与用户所假定的姿势相对应的消息(步骤S122，N)，那么用户通过主操作部件104或子操作部件105提供指示消息不适当的输入。响应用户的输入，控制器114在主显示器110或子显示器111上显示下一候选消息(步骤S132)。

在这个具体实施例中的图像识别的步骤S109中，控制器114计算通过立体照相机部件102或照相机部件103所获得的图像数据和每个模型图像之间的相似度，作为得分。请参考图5所示的模型图像，当在通过照相机部件所获得的图像数据中的面部左轮廓的外侧附近存在肤色部分，但是该部分在大小方面与模型图像不同，那么大小之间的匹配度为指示类似的得分。以类似的方式，当嘴区域包含与嘴唇的色彩不同的部分时，但是该部分的大小与模型图像不同，那么大小之间的匹配度为指示相似性的得分。另外，如果面部的大小在模型图像和通过立体照相机部件102或照相机部件103拍摄的图像之间存在差异，则控制器114首先执行标准化，以便将通过立体照相机部件102或照相机部件103拍摄的图像中的面部的大小调整或匹配到模型图像中的面部的大小。然后，控制器114在模型图像和通过立体照相机部件102或照相机部件103拍摄的图像之间，对肤色部分的大小或者在嘴区域中与嘴唇颜色不同的部分的大小进行比较。

根据标准化之后的比较，当在面部的下轮廓外侧附近存在肤色部分，但是该部分的大小与模型图像不同，那么大小之间的匹配度为指示相似性的得分。顺便提及，计算相似度或得分的方法仅作为例子给出。也可以利用另外的方法，只要其能够检测面部的轮廓和嘴唇的位置以及根据它们能够检测指定区域。

例如，将图5所示图表的顶行的模型图像称为模型图像A，将中间行的模型图像称为模型图像B，而将底行的模型图像称为模型图像C。此外，将拍摄图像与模型图像A之间的相似性称为得分A，将拍摄图像与模型图像B之间的相似性称为得分B，而将拍摄图像与模型图像C之间的相似性称为得分C。

在步骤S121中，控制器114在主显示器110或子显示器111上显示与最高得分的模型图像相对应的消息。在步骤S122中，当用户提供指示消息不适当的输入时，控制器114检测是否存在与得分为0(表示不匹配)的模型图像不对应的任何消息，其还没有被显示(步骤S131)。如果仍然有这种消息(步骤S131，Y)，那么控制器114在主显示器110或子显示器111上显示与具有下一最高分的模型图像相对应的消息(步骤S132)。重复步骤S122、S131和S132的处理，直到用户提供指示该消息适当的输入，或者不再存在与得分为0不相适应(表示不匹配)的且未被显示的模型图像的消息(步骤S131，N)。

当用户提供指示信息适当的输入时，无线电通信部件101如在第一具体实施例中那样，在控制器114的控制下发送消息(步骤S123)。之后，执行从步骤S124到S126的处理。在检测到没有留下未被显示的消息(步骤S131，N)之后，无线电通信部件101在控制器114的控制下发送预定的固定消息。预定消息可以为图5的图表中的中间行所示的消息。然后，处理进行到步骤S124。

根据第三具体实施例，与第一和第二具体实施例不同，当显示在主显示器110或子显示器111的消息不适当时，不要求用户提供重拍摄的输入。因此，能够减轻用户发送呼叫应答消息的负担。

在这个具体实施例中，尽管图6所示的第一具体实施例的操作加入了步骤S131和S132，但是这些步骤也可以被加到图7的第二具体实施例的操作中。

第四具体实施例

除了上述第一具体实施例的操作之外，这个具体实施例还涉及使用时间表信息。

图9是示出时间表信息和与该信息相对应的消息的例子的说明框图。图9所示的时间表信息存储在存储器113中。例如，在上午10点-12点期间接收到呼入呼叫之后，蜂窝式电话100发送具有用户为何未应答包括在时间表信息内的呼叫的理由的呼叫应答信息(在图9的例子中，从10点到中午开会)。

在下文中，将参考附图10来描述根据第四具体实施例的蜂窝式电话的操作。图10是示出根据本发明第四具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第四具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

图10所示的步骤S101-步骤S110的处理是以与上文结合参考图6所描述的第一具体实施例相同的方式来执行的。在这个具体实施例中，在从存储器113取出消息(步骤S11O)之后，控制器114检测是否已设置了时间表，也就是说检测存储器113是否存储了时间表信息(步骤S141)。在存储器113存储了时间表信息的情况下(步骤S141，Y)，控制器114再检测时间表信息是否包括有关已安排的约会的时间的信息。如果存储器113没有存储时间表信息并且即使已设置了时间表但时间表信息不包括有关已安排的约会的时间的信息(步骤S141，N)，控制器114以与第一具体实施例相同的方式来进行操作。更具体地说，控制器114在主显示器110或子显示器111上显示在步骤S110从存储器113取出的消息(步骤S121)。之后，以与第一具体实施例相同的方式执行步骤S122到S126的处理。

当时间表信息包括有关已安排的约会的时间的信息时，控制器114从时间表信息中抽取信息(时间表)(步骤S142)，并且生成包含抽取信息的消息(以下简称时间表消息)。控制器114在主显示器110或子显示器111上显示带有时间表的消息(步骤S143)。然后，处理进行到步骤S122。

假定蜂窝式电话100在上午10点-12点期间接收到呼入呼叫，并且假定在步骤S109中已确定拍摄的图像与图5所示图表的顶行中的模型图像相匹配。图9举例地示出指示在上午10点-12点开会的时间表信息。根据时间表信息，控制器114生成例如表示″我由于从上午10点-12点开会而无法接电话″的消息。顺便提及，该部分″我由于...而无法接电话″是固定的，并且作为与图5所示图表的顶行中的模型图像相对应的固定消息而被预先存储在存储器113中。控制器114通过向固定信息添加从时间表信息抽取的信息来产生带有时间表的消息。

根据第四具体实施例，当用户感到语音或电话交谈不适当时，他/她可以根据时间表信息向呼叫者发送带有理由(因为在火车上，在开会等)的消息。此外，该消息可以包含有关时期的信息，在该时期内按照时间表信息，用户无法打电话。藉此，该呼叫者也被告知蜂窝式电话100的用户何时将能接电话时。换句话说，通过利用时间表信息，用户可以向呼叫者提供进一步的有关他/她难于通电话的场合。因此，呼叫者不必重复地向蜂窝式电话100的用户打电话。此外，呼叫者无须等待用户回叫。

顺便提及，在上述说明中，与图5所示图表的顶行中的模型图像相对应的消息已包含有关″开会″的信息。也就是说，在与模型图像相对应的消息和时间表信息之间，在有关″开会″的信息方面存在交叠。但是，可以只从时间表信息中获得″时期″的信息。因此，通过使用时间表信息，可以向呼叫端提供更详细的信息。在另一方面，如果与图5所示图表的顶行中的模型图像相对应的消息不包含有关″开会″的信息(例如，如果消息只说″我无法立刻接电话″)，那么则可以仅仅通过使用时间表信息来获得用户无法通话的理由。

在图6所说明的第一具体实施例之外，本具体实施例还涉及时间表信息的利用。但是，图7的第二具体实施例可以包括使用时间表信息的步骤S141-S143。

第五具体实施例

在上述第三具体实施例的操作之外，这个具体实施例还涉及使用时间表信息。

在下文中，将参考附图11来描述根据第五具体实施例的蜂窝式电话的操作。图11是示出根据本发明第五具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第五具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

与图8所示的第三具体实施例的操作相比，图11所示的第五具体实施例的操作还包括步骤S141-S143。步骤S141-S143的处理是与上文结合参考图10所描述的第四具体实施例相同的方式来执行的。

根据第五具体实施例，当显示在主显示器110或子显示器111的消息不适当时，不要求用户提供重拍摄的输入。因此，能够减轻用户发送呼叫应答消息的负担。此外，通过利用时间表信息，用户可以向呼叫者提供更详细的有关他/她难于通电话的场合的信息。

第六具体实施例

在这个具体实施例中，与运动的手势或姿势相对应的消息被发送给呼叫端。

虽然在第一到第五具体实施例中，是使用静止图像来作为每个模型图像，但是也可以将运动运动图像用作模型图像。为了使用运动图像作为模型图像，当向蜂窝式电话100输入具有手势或姿势的图像时，用户通过立体照相机部件102或照相机部件103拍摄具有运动的手势或姿势的图像。例如，如图12(A)所示，用户在他/她的手指从左运动到右时使用立体照相机部件102或照相机部件103拍摄他/她的图像。

在这个具体实施例中，存储器113存储将一运动图像作为模型图像来存储，该运动图像除了包括由图5举例说明的模型图像之外，还是由多个帧构成的。在图12(A)的例子中，存储器113存储由三个帧组成的图像。存储器113还存储与该作为模型图像的运动图像相对应的消息。此外，图像转换表包含指示该作为模型图像的运动图像与该消息关联的信息。当执行图像识别时(步骤S109)，控制器114将通过立体照相机部件102或照相机部件103所获得的各个帧与模型图像的相应帧相比较。从而，控制器114检测是否在通过立体照相机部件102或照相机部件103所获得的帧中存在其中在面部的左下轮廓外侧附近有肤色部分的帧(相应于图12(A)中的左帧，称为帧A)、其中在面部的中下轮廓外侧附近有肤色部分的帧(相应于图12(A)中的中间帧，称为帧B)和其中在面部的右下轮廓附近有肤色部分的帧(相应于图12(A)的右帧，称为帧C)。当存在这种帧并且它们是以时间序列存在的时候，由于与帧A匹配的帧是最早的，而与帧C相匹配的一个帧是最晚的，所以控制器114确定输入图像与作为运动图像的模型图像相匹配。

上述识别方法仅作为例子给出。可以使其他识别方法来识别运动手势或姿势，只要其能够检测具有预定形状的对象的运动。例如，只有图12(A)所示的帧A可以作为模型图像存储在存储器113中。在这种情况下，控制器114检测通过立体照相机部件102或照相机部件103所获得的帧中是否存在相应于帧A的帧，也就是其中在面部的左下轮廓附近有肤色部分的帧。如果有这种帧，控制器114就计算肤色部分的重心位置。此外，控制器114还检测在与帧A对应的一个帧之后的帧中是否存在其中在面部的轮廓附近有肤色部分的帧。如果有这种帧，控制器114就计算肤色部分的重心位置。当重心位置在贯穿多个帧的方向上移动时，控制器114确定已输入了与模型图像匹配的运动图像。在存储器113中，可以仅仅存储具有指定形状的对象(例如翘起手指的手)的图像，而无需存储面部图像。在这种情况下，控制器114检测在通过立体照相机部件102或照相机部件103所获得的帧中是否存在包含有与该形状匹配的部分的帧。如果有这种帧，控制器114就计算该帧中这部分的重心位置。此外，控制器114检测是否在已确定包含该形状的部分的这一帧之后的帧中存在与该形状匹配的部分的帧。如果有这种帧，控制器114就计算这部分的重心位置。当重心位置在贯穿多个帧的一个方向上移动时，控制器114确定已输入了与模型图像匹配的运动图像。

此外，在步骤S109中，控制器114确定所拍摄的图像是否与图5所示的模型图像中的任何一个相匹配。

在确定已输入了与模型图像之一匹配的运动图像之后，控制器114通过无线电通信部件101发送与该运动图像或存储在存储器113中的模型图像相对应的消息。

第七具体实施例

在这个具体实施例中，蜂窝式电话响应运动手势或姿势进入应答模式。

在下文中，将参考附图13来描述根据第七具体实施例的蜂窝式电话的操作。图13是示出根据本发明第七具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第七具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

首先，在已由无线电通信部件101通知呼入呼叫之后(步骤S101，Y)，控制器114激活立体照相机部件102或照相机部件103。然后，控制器114根据通过立体照相机部件102或照相机部件103拍摄的运动图像来确定是否用户已在指定时间(例如，5秒)内作出了预定姿势或手势(步骤S102A)。更具体地说，在经过预定时期之后，立体照相机部件102或照相机部件103在指定的短时期(例如1秒)内拍摄运动图像。控制器114根据由立体照相机部件102或照相机部件103获得的一些帧组成的图像来作出确定。在这个时候，立体照相机部件102或照相机部件103可以执行每秒三个到五个帧的运动图像的伪拍摄。举例来说，预定姿势或手势可以是图12(A)所示的手指从左到右的动作。尽管在这个具体实施例中是使用运动图像将蜂窝式电话切换到应答模式，这与在第六具体实施例中将其用于发送消息有所不同，但是可以以与第六具体实施例相同的方式来确定是否用户已作出预定的运动手势或姿势。

当确定用户已在指定时间内作出预定姿势或手势时，控制器114如第一具体实施例那样，将蜂窝式电话设置为摘机状态并保持该呼入呼叫。之后，执行从步骤S107开始的处理。就此而论，因为已激活了立体照相机部件102或照相机部件103，因此可以跳过步骤S107。

根据第七具体实施例，只是通过利用立体照相机部件102或照相机部件103拍摄带有指定动作的图像，用户即可以将蜂窝式电话100切换至应答模式。因此，能够简化将蜂窝式电话切换至应答模式的用户界面。顺便提及，在图6所示的第一具体实施例之外，这个具体实施例还涉及通过运动的手势或姿势将蜂窝式电话切换至应答模式的处理。但是，图8的第三具体实施例(其中当消息不适当时，自动地显示下一候选消息)或图10的第四具体实施例(其中另外利用时间表信息)也可以涉及通过运动手势或姿势将蜂窝式电话切换至应答模式。

在图13中，在接收到呼入呼叫之后立即开始步骤S102A的处理。但是，优选地，用户指定的预先设置(例如设置无声模式)使蜂窝式电话100执行步骤S102A的处理。除此之外，蜂窝式电话100以与第一至第六具体实施例相同的方式进行操作。

第八具体实施例

在这个具体实施例中，蜂窝式电话响应作为静止图像的手势或姿势进入应答模式。

在下文中，将参考附图14来描述根据第八具体实施例的蜂窝式电话的操作。图14是示出根据本发明第八具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第八具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

尽管在第七具体实施例中，蜂窝式电话是响应运动手势或姿势进入应答模式的，但是其也可以响应静止手势或姿势进入应答模式。图12(B)示出作为模型图像范例的具有手形成和平手势的手势的图像。例如，如图12(B)所示，具有手形成和平手势的姿势或手势可以将蜂窝式电话切换至应答模式。

首先，在已由无线电通信部件101通知呼入呼叫之后(步骤S101，Y)，控制器114激活立体照相机部件102或照相机部件103。然后，控制器114根据通过立体照相机部件102或照相机部件103拍摄的图像来确定是否用户已在指定时间(例如，5秒)内作出了预定姿势或手势(步骤S102B)。更具体地说，在经过预定的时期之后，立体照相机部件102或照相机部件103自动地拍摄图像。控制器114根据由立体照相机部件102或照相机部件103拍摄的图像作出确定。

例如，在使用图12(B)所示的模型图像的情况下，控制器114检测在通过立体照相机部件102或照相机部件103拍摄的图像中的面部的右下轮廓外侧附近是否存在具有两个突出物的肤色部分，藉此确定拍摄的图像是否与模型图像相匹配。上述确定方法仅作为举例给出，也可以利用其他方法。

当确定用户已在指定时间内作出预定姿势或手势时，控制器114如第一具体实施例那样，将蜂窝式电话设置为摘机状态并保持呼入呼叫(步骤S106)。之后，执行从步骤S107开始的处理。就此而论，已激活了立体照相机部件102或照相机部件103，并因此可以跳过步骤S107。

根据第八具体实施例，用户可以仅仅通过利用立体照相机部件102或照相机部件103拍摄指定姿势或手势的图像，即可将蜂窝式电话100切换至应答模式。因此，能够简化将蜂窝式电话切换至应答模式的用户界面。顺便提及，除了图6所示的第一具体实施例之外，本具体实施例还涉及通过指定的手势或手势将蜂窝式电话切换至应答模式的处理。但是，图8的第三具体实施例(其中当消息不适当时，自动地显示下一候选消息)或图10的第四具体实施例(其中另外利用时间表信息)还可以进一步涉及通过指定的姿势或手势将蜂窝式电话切换至应答模式。

另外，在这个具体实施例中，利用除了如图5所示出的与消息相对应的模型图像之外的模型图像来将蜂窝式电话切换至应答模式。每一个均与消息对应的模型图像中的一个可被用于这个目的。此外，在图14中，可以是跳过步骤S107-S109的处理。在这种情况下，可以根据在步骤S102B用于确定的图像来选择消息。利用这个结构，一旦接收到呼入呼叫，用户不光可以将蜂窝式电话100切换至应答模式，他/她还可以通过拍摄的与该消息所对应的他/她的姿势或手势的图像，使其向呼叫者发送作为呼叫应答消息的期望消息。

在图14中，在接收到呼入呼叫之后立即开始步骤S102B的处理。但是，优选地，用户指定的预先设置(例如设置无声模式)使蜂窝式电话100执行步骤S102A的处理。之外，蜂窝式电话100则以与第一到第六具体实施例相同的方式进行操作。

在第七和第八具体实施例中，用于将蜂窝式电话切换至应答模式的姿势或手势相应于与动作指令信息有关联的形状信息。存储器113还存储与应答模式和指定姿势或手势之间的关联有关的信息，作为用于将蜂窝式电话应答模式的形状信息。

第九具体实施例

在这个具体实施例中，蜂窝式电话根据时间表信息的设置进入应答模式。

在下文中，将参考附图15来描述根据第九具体实施例的蜂窝式电话的操作。图15是示出根据本发明第九具体实施例的发送呼叫应答消息的处理的流程图。顺便提及，第九具体实施例中的蜂窝式电话与先前结合图1和图2所描述的蜂窝式电话100的结构相同。

首先，在已由无线电通信部件101通知有呼入呼叫时(步骤S101，Y)，控制器114检查蜂窝式电话100是否处于无声模式(步骤S102)。随后，控制器114检测是否已设置了时间表(步骤S103A)。在已设置了时间表的情况下(步骤S103A，Y)，如第一实施例中一样，当打开/闭合感测器112检测到电话100处于打开位置时，或者用户通过主操作部件104或子操作部件105根据预定操作指令来提供输入以便将电话100切换至应答模式时，蜂窝式电话100进入应答模式(步骤S104)。顺便提及，在这个具体实施例中，当存储器113存储时间表信息并且时间表信息也包括有关已安排的约会的时间的信息时，控制器114确定已设置了时间表。

另外，可以将特定的标记、符号、字等等定义为用于将蜂窝式电话100切换至应答模式的关键字，以便在控制器114在由时间表信息中的关键字指示的时期期间接收到呼入呼叫时使电话100进入应答模式。在这种情况下，当设置时间表信息时，用户将关键字附到他/她不能够应答呼入呼叫的时期上。

根据第九具体实施例，当将蜂窝式电话100设置在无声模式时，其会根据时间表信息自动地进入应答模式。因此，能够进一步地简化将蜂窝式电话切换至应答模式的用户界面。顺便提及，在图6所示的第一具体实施例之外，本具体实施例还涉及根据时间表信息将蜂窝式电话切换至应答模式的处理。但是，图8的第三具体实施例(其中当消息不适当时，自动地显示下一候选消息)或图10的第四具体实施例(其中另外利用时间表信息)也可以进一步涉及根据时间表信息将蜂窝式电话切换至应答模式。

在图15中，可以在没有步骤S102的处理的情况下直接执行步骤S103A的处理。此外，步骤S103A和S104的顺序可以调换。也就是说，控制器114可以在打开/闭合感测器112检测到打开位置之后检测是否已设置了时间表，并且在已设置时间表时将蜂窝式电话切换至应答模式。

第十具体实施例

在这个具体实施例中，更新或定制模型图像。

在上述具体实施例中，假定设置了模型图像和相应的消息，例如当蜂窝式电话厂商制造蜂窝式电话100时：在用户购买该电话之前，已将模型图像设置在存储器113中。用户可以改变模型图像。图16是示出当用户根据本发明第十具体实施例将一个模型图像改变为另一个模型图像时所进行的处理的流程图。

当用户通过主操作部件104提供输入来改变模型图像时，控制器114响应该输入在主显示器110上显示消息列表(步骤S201)。随后，控制器114例如激活立体照相机部件102(步骤S202)。用户从消息列表中选择一条消息(步骤S203)。然后，用户通过立体照相机部件102拍摄他/她的与所选择的信息相关联的姿势或手势的图像。立体照相机部件102向控制器114输出所获得的图像数据。控制器114在存储器113中存储立体照相机部件102输出的图像数据，并在主显示器110上显示照相机部件102拍摄的图像。

在检测到所期望的图像(具有所需手势或姿势的图像)已显示在主显示器110上之后(步骤S205，Y)，用户通过主操作部件104键入指示他/她对该图像的批准的输入。响应输入，控制器114用在步骤S204拍摄的图像来替换与在步骤S203选择的消息相对应的模型图像(步骤S206)。当用户提供指示图像不适当或不是所期望的图像的输入时(步骤S205，N)，重复执行从步骤S204开始的处理。

如刚才所述，如果在蜂窝式电话100上安装有更新或定制模型图像的应用程序，那么能够设置或改变模型图像，以便适应用户的需要。因此，在步骤S109中，可以提高控制器114执行的图像识别的准确度。第十一具体实施例

在这个具体实施例中，改变与模型图像相对应的消息。

在上述具体实施例中，假定例如当蜂窝式电话厂商制造蜂窝式电话100时设置了每一个对应一个模型图像的消息：在用户购买该电话之前，已将信息设置在存储器113中。用户可以改变消息。图17是示出当用户根据本发明第十一具体实施例将一个信息改变为另一个信息时所进行的处理的流程图。

当用户通过主操作部件104提供输入来改变一条消息时，控制器114响应该输入在主显示器110上显示模型图像列表(步骤S211)。用户从模型图像列表中选择模型图像(步骤S212)。然后，用户使用主操作部件104的按键或按钮输入消息(步骤S213)。藉此，控制器114用在步骤S213输入的消息替换与在步骤S212选择的模型图像相对应的消息(步骤S214)。

正如所述，如果在蜂窝式电话100上安装有用于更新或定制消息的应用程序，那么能够设置或改变消息，以便适应用户的需要。

根据第十一具体实施例，与第十具体实施例结合，用户可以将一个任意模型图像和任一消息关联起来。例如，在进入难以通过语音或电话交谈来应答呼入呼叫的地方之前，用户可以拍摄该地方的特征，以便将其图像作为模型图像记录在蜂窝式电话100中，并将该图像与像″我现在无法接电话″这样的消息关联。因此，当实际接收到呼叫时，用户可以通过拍摄该地方的特征将消息发送给呼叫者。难于经由电话来交谈的地方的例子可以列举的是嘈杂的地方，诸如娱乐场或游戏厅。在娱乐场中，可以拍摄游戏机作为该地方的特征。此外，，也可在蜂窝式电话厂商制造蜂窝式电话100时，相对于一些往往难于经由电话交谈的地方来将模型图像(和相应的消息)设置在存储器113中。

第十二具体实施例

尽管在上述具体实施例中，每个模型图像都与图5所示的一个消息相关联，但是如图18(A)那样，其可与一个以上的消息相关联，这样可以从消息中选择出适当的一个。

例如，如图18(B)所示，如果可以在电话薄信息将该用户可以联络的人分组，那么每个组都与一条消息关联。在图18中，当呼入信号包括被分到组A的呼叫者的电话号码时，控制器114在步骤S110从存储器113中取出图18(A)所示表的行″A″中的消息。在另一方面，当呼入信号包括被分到组B的呼叫者的电话号码时，控制器114在步骤S110从存储器113中取出图18(A)所示表的行″B″中的消息。顺便提及，在图18(A)的例子中，分类为″A″的消息是礼仪性的或是正式的表达方式，并且通常发送给用户的上级、远亲等等。而分类为″B″的消息是随意的或非正式的表达方式，并且一般发送给用户的朋友等等。

图18中的组和分类仅作为例子给出并无限制。可以将电话簿信息中的人任意地分为任何数目的组。此外，已说明了其中根据电话簿信息的分类从与一个模型图像关联的多个消息中选择消息的情况。但是，可以不同地和任意地选择消息，例如根据接收到呼叫时的时间或季节。

在上述具体实施例中，当在步骤S108拍摄图像时，用户对蜂窝式电话100进行调整，以便适当地设置他/她的面部在图像中的位置。在这个时候，控制器114可以在主显示器110或子显示器111上显示相应于面部图像识别区域的帧301，此时，如图19所示，主显示器110或子显示器111用作立体照相机部件102和照相机部件103的取景器。图19示出例如在主显示器110上显示的帧301。通过使用帧301，用户可以拍摄图像，以便他/她的面部位于控制器114的面部图像识别区域内。藉此，可以定义其中控制器114识别或抽取面部的轮廓的区域。因此，可以以更高速度并更精确地执行图像识别。

另外，在上述具体实施例中，当已确定在步骤S108拍摄的图像不与模型图像中的任何一个相匹配时，控制器114可以例如通过激活振动器或在主显示器110或子显示器111上显示信息来向用户提供这个信息。

此外，在如上所述的具体实施例中，尽管蜂窝式电话100的图像识别功能被用来选择呼叫应答消息，但是其也可用于其它目的。例如，如果通过通信可以遥控呼叫端的参数，那么控制器114可以通过无线电通信部件发送用于控制参数的命令，从而呼叫端中止对蜂窝式电话100的传送。

响应像蜂窝式电话这样的终端呼入的呼叫，蜂窝式电话100可以通过电子邮件等发送呼叫端图像数据而不是发送与用户输入的图像相对应的呼叫应答消息。在这种情况下，上述模型图像和相应的应答消息被存储在呼叫端的存储器中。此外，除了图像识别功能外，呼叫端的控制器还具有根据图像识别确定应答消息的功能。在呼叫端中，控制器对接收自蜂窝式电话100的图像的图像数据执行图像识别，并从该终端的音频输出单元输出与该识别出的图像相对应的消息。使用这种结构，呼叫者也可理解蜂窝式电话100的用户无法应答电话及其理由。顺便提及，与所识别的图像相对应的消息也可以显示在呼叫端的显示器上，而不是通过音频输出单元的语音来输出，或者也可以在显示器上显示并通过音频输出单元来语音输出。

更具体地说，呼叫端或呼叫蜂窝式电话可以包括：消息信息存储器，用于存储有关不同类型的消息的信息，该不同类型的消息与形状信息相关联；消息信息选择装置，用于从作为对方的蜂窝式电话100接收的图像中识别形状信息并从消息信息存储器中选择相应于所识别的形状信息的消息；以及消息输出装置，诸如音频输出单元或显示器，用于输出由消息信息选择装置选择的消息。

更进一步，蜂窝式电话100能够通过图2所示的安装在其上的GPS接收机117来确定其定位。因此，在蜂窝式电话100可以安装有应用程序，该应用程序实现定位和发送基于识别出的图像相对应的消息的组合功能。例如，当向另一终端发送通过立体照相机部件102或照相机部件103拍摄的风景图像的图像数据时，控制器114可以生成例如由从GPS接收机117获得的位置信息和像″我在″这样的固定消息组成的消息，藉此将一起发送该图像数据和与该消息一起发送。在蜂窝式电话100存储有地理信息的情况下，控制器114根据位置信息从地理信息中抽取地理名称或地区名称(皇宫，迪斯尼乐园等等)，以便生成由地区名称和像″我在″这样的固定消息组成的消息，藉此将该和图像数据与该消息一起发送。在这个时候，用户可以例如通过如第七和第八具体实施例所采用的拍摄他/她的具有特定姿势或手势的图像，来将蜂窝式电话100切换至用于将包含位置信息的消息添加至要发送给呼叫者的图像的模式。在这种情况下，存储器113还存储有关这个模式和形状信息(例如，特定姿势或手势)之间的关联的信息，以用于将蜂窝式电话切换至该模式。顺便提及，当从立体照相机部件102或照相机部件103输入图像数据时，控制器114可以通过语音或文本来来仅仅发送包含像地名这样的位置信息的消息，而无需照相机部件所获得的图像数据。

更进一步，在上述具体实施例中，主要使用图像中的面部附近的手和手指的特定姿势或手势来作为待识别的形状信息。但是，用于图像识别的形状信息不仅仅局限为这样的姿势或手势。形状信息的例子包括但不限于如第十一具体实施例中所描述的在难以经由电话通话的场所的特征。

第十三具体实施例

在上述具体实施例中，虽然蜂窝式电话100执行所有的处理，即执行识别图像、选择与识别出的图像相对应的消息和发送所选择的消息。但是，一部分处理可以由其他设备来执行。图20是示出一种包括服务器的系统的构成的例子的框图。该系统包括像因特网这样的通信网络400、基站401、网关402和服务器500。服务器500包括数据库501。如从图20看到的那样，蜂窝式电话100可通过通信网络400、基站401和网关402来访问服务器500。如果服务器500存储有每个都与一条消息相关联的模型图像，则蜂窝式电话100可向服务器500一同发送在步骤S108获得的图像数据和用于识别呼叫端的信息，诸如电话号码和电子邮件地址。一旦接收到来自蜂窝式电话100的图像数据，服务器500就可以检索与该图像数据匹配的模型图像，以便将与该模型图像相对应的消息发送给呼叫端。

服务器500具有存储器，该存储器的结构与先前描述的存储器113的结构相同，该存储器113存储有与消息相关联的模型图像。服务器500还具有像CPU(中央处理器)这样的控制器，其根据一个或多个程序进行操作。控制器对从蜂窝式电话100接收来的图像数据执行图像识别，并通过例如电子邮件将与所识别的图像相对应的消息发送给呼叫端。

更具体地说，服务器500包括：消息信息存储器，用于存储有关不同类型的消息的信息，该不同类型的消息与形状信息相关联；控制器，用于在程序控制下，用于在从已接收来自呼叫源的呼叫的便携式终端所发送来的图像中识别出形状信息，并且从消息信息存储器中选择与识别出的形状信息相对应的消息，以及将选择的消息发送给呼叫源。

在这个设计中，数据库501可以具有用于各个用户的区域，这样每个用户都可以向服务器500发送通过立体照相机部件102或照相机部件103获得的图像数据，以便将该数据存储在数据库501中的分配给他/她的区域中。

如上所述，根据本发明，即使当便携式终端的用户无法应答呼入呼叫时，便携式终端的用户也可以轻易地通知呼叫者他/或她不应答呼叫的理由和他/她的不允许他/她应答呼叫的场合。此外，能够通过输入图像向便携式终端下达操作指令，这简化了用户界面。

此外，本发明适用于像蜂窝式电话这样的具有照相机功能和无线电通信功能的各种便携式终端。

虽然已参考特定说明性的具体实施例描述了本发明，但是本发明并不受这些具体实施例的限定，而是只受附加的权利要求的限定。本领域熟练的技术人员将理解到在不脱离本发明的范围和精神的情况下可以对具体实施例进行替换和修改。

Claims (18)

1.一种便携式终端，包括：

无线电通信装置；

传送指令信息存储器，用于存储有关传送指令的信息，该传送指令与有关形状的信息相关联；

拍摄装置，用于在接收到呼叫时拍摄图像；

传送指令信息选择装置，用于从拍摄装置拍摄的图像中识别形状，并从传送指令信息存储器中选择与所识别出的形状相对应的传送指令；以及

控制器，根据发送指令信息选择装置选择的发送指令将指定信息发送给呼叫源。

2.根据权利要求1所述的便携式终端，其中传送指令信息存储器存储身体部分的图像，来作为包含形状信息的图像。

3.一种便携式终端，包括：

无线电通信装置；

消息信息存储器，用于存储有关不同类型的消息的信息，所述不同类型的消息与有关形状的信息相关联；

拍摄装置，用于在接收到呼叫时拍摄图像；

消息信息选择装置，用于从拍摄装置拍摄的图像中识别形状，并从消息信息存储器中选择与所识别出的形状相对应的消息；以及

消息信息发送器，用于将消息信息选择装置选择的消息发送给呼叫源。

4.根据权利要求3所述的便携式终端，其中消息信息存储器存储身体部分的图像，来作为包含形状信息的图像。

5.根据权利要求4所述的便携式终端，其中消息信息存储器存储便携式终端用户的身体部分的图像，来作为包含形状信息的图像。

6.根据权利要求3所述给通电话，其中消息信息存储器存储用户难以经由电话交谈的场所的特征的图像，来作为包含形状信息的图像。

7.根据权利要求3所述的便携式终端，其中消息信息存储器存储静态图像，来作为包含形状信息的图像。

8.根据权利要求3所述的便携式终端，其中消息信息存储器存储运动图像，来作为包含形状信息的图像。

9.根据权利要求3所述的设备，还包括：

字符串信息存储器，用于存储与时间信息关联的字符串信息；以及

信息抽取装置，用于从存储在字符串信息存储器中的字符串信息中抽取指示位置和/或场合的信息；

其中消息信息发送器除了将消息信息选择装置选择的消息发送给呼叫源之外还信息抽取装置抽取的信息发送给呼叫源。

10.根据权利要求9所述的便携式终端，其中信息抽取装置从存储在字符串信息存储器中的字符串信息中抽取与呼入呼叫的时间相对应的信息。

11.根据权利要求3所述的便携式终端，其中消息信息发送器发送文本消息来作为消息。

12.根据权利要求3所述的便携式终端，其中消息信息发送器包括话音合成器，用于合成与消息相对应的发话声，并发送音频信号来作为消息。

13.根据权利要求3所述的便携式终端，其中消息信息发送器除了发送消息之外还发送拍摄装置拍摄的图像。

14.根据权利要求3所述的设备，还包括：

显示器；

操作部件，用户通过其提供输入；以及

显示控制装置，用于在消息信息发送器将消息发送给呼叫源之前将消息显示在显示器上；

其中消息信息发送器在用户提供确认输入之后发送消息。

15.根据权利要求3所述的设备，还包括：

位置信息输出装置，用于输出指示便携式终端的当前位置的位置信息；以及

位置消息发送器，用于在输入拍摄装置拍摄的图像时，发送与位置信息输出装置输出的位置信息相对应的消息。

16.一种应用于具有拍摄装置和无线电通信装置的便携式终端的呼叫应答消息发送方法，包括以下步骤：

预先存储有关不同类型的消息的信息，所述不同类型的消息与有关形状的信息相关联；

在接收到呼叫时，通过便携式终端的拍摄装置拍摄图像；

从拍摄装置拍摄的图像中识别形状；

选择与所识别的形状相对应的消息；以及

将所选择的消息发送给呼叫源。

17.根据权利要求16所述的呼叫应答消息发送方法，其中该方法应用于不允许输出铃声的情况。

18.一种通过通信网络与便携式终端通信的服务器，包括：

消息信息存储器，用于存储有关不同类型的消息的信息，所述不同类型的消息与有关形状的信息相关联；

消息信息选择装置，用于从已接收到呼叫源的呼叫的便携式终端发送来的图像中识别形状，并从消息信息存储器中选择与所识别的形状相对应的消息；以及

消息信息发送器，用于将消息信息选择装置选择的消息发送给呼叫源。

Images