CN1692341B - 信息处理设备和信息处理方法 - Google Patents
信息处理设备和信息处理方法 Download PDFInfo
- Publication number
- CN1692341B CN1692341B CN2003801002127A CN200380100212A CN1692341B CN 1692341 B CN1692341 B CN 1692341B CN 2003801002127 A CN2003801002127 A CN 2003801002127A CN 200380100212 A CN200380100212 A CN 200380100212A CN 1692341 B CN1692341 B CN 1692341B
- Authority
- CN
- China
- Prior art keywords
- information
- terminal
- user
- vector
- undefined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/217—Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/70—Game security or game management aspects
- A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1081—Input via voice recognition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
- A63F2300/206—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards
- A63F2300/208—Game information storage, e.g. cartridges, CD ROM's, DVD's, smart cards for storing personal settings or data of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/55—Details of game data or player data management
- A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
- A63F2300/572—Communication between players during game play of non game information, e.g. e-mail, chat, file transfer, streaming of audio and streaming of video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
Abstract
本发明涉及信息处理设备、信息处理方法、程序以及存储介质,能够利用信息处理设备根据未定义信息来识别用户的情绪/状态,所述未定义信息诸如生命指征信息。通过输入单元(91)获得用户的脉搏信息以及人体运动信息。特征提取器(112)生成与脉搏信息以及人体运动信息相关联的特征向量。学习单元(94)通过比较生成的特征向量和在存储单元(95)中累积的特征向量来识别用户的情绪/状态。将表明由此识别的用户的情绪/状态的信息通过输出控制器(114)输出到输出单元(92)。将生成的特征向量添加到存储单元中累积的现存特征向量中,并且对包括最新添加的特征向量的所有特征向量重新计算分布、分布的中心以及标准离差。将结果存储在存储单元中。
Description
技术领域
本发明涉及一种信息处理设备、信息处理方法、程序以及存储介质,具体而言,涉及这样一种信息处理设备、信息处理方法、程序以及存储介质,其能够提取并且学习来自于各种信息的特征,在所述信息中反映出用户的情绪或者状态,并且能够根据学习结果来识别用户的情绪或者状态以及情绪或者状态的强度等级。
背景技术
在传统的利用信息处理设备的通信技术中,在没有利用信息处理设备的面对面通信中,不仅利用语言上的字来传递意思,而且还要通过面部表达、动作、心情和/或其他手段来传递诸如表明情绪/状态信息的其他信息。与此相反,在利用电话、邮件或者聊天的通信中,虽然可以利用语言上的文字传递意思,但是无法传递利用文字不能传递的情绪、状态或者心情。经由互联网在虚拟通信中使用称为化身的计算机图形图像是众所周知的。然而,化身不能较好地表示用户的情绪。
由此,目前,在利用信息设备的通信中,信息传输非常受限。
为了克服上述限制,已经提议了一种通信设备,其发送语音信息、图像信息以及生命指征信息,根据所接收的信息推测用户的心理或者生理状态,并输出推测值(此技术的特定示例例如可以在公开号为2002-34936的日本未经审查的专利申请公开(以下简称为专利文献1)中发现)。
在专利文献1公开的技术中,对与用户相关联的生命指征信息的不同项目计算均值离差,并且根据计算的离差来推测用户的情绪或者状态。然而,这种简单的算法不能正确地推测用户的情绪或者状态,诸如“高兴”、“愤怒”、“忧愁”或者“快乐”。在用户之间的通信过程中,不正确地显示涉及用户情绪的信息可能会导致误会。
已经建议了显示信息的各种方式。人们所熟知的技术之一就是利用表、图表或者图形图象来显示信息。另一个技术是改变面部表达或者面部颜色。根据正接收的信息调制语音或者声音也是人们所熟知的。然而,任何那些已知的技术都无法较好地表示根据生命指征信息推测的用户的情绪或者状态。而且难于显示用户的动作或者心情。
发明内容
本发明的目的在于提供一种识别用户情绪/状态以及所述情绪/状态的强度等级的技术。本发明的另一个目的在于提供一种允许利用非语言信息进行通信的技术。
本发明提供了一种信息处理设备,包括:输入装置,用于同时输入用户的未定义信息以及已定义信息,其中所述已定义信息可以唯一地解释,而所述未定义信息可以依照多种方式解释或者难以解释;提取装置,用于从所述已定义信息中提取情绪信息;学习装置,用于通过将输入的未定义信息关联到提取的情绪信息来学习用户的情绪;存储装置,用于存储作为学习装置执行学习的结果而获得的信息;以及输出装置,用于将输入的未定义信息或者存储的未定义信息转换为预定形式的信号,并且输出作为结果产生的转换信号,其中当输入新的未定义信息时,所述学习装置根据所述新的未定义信息和存储在存储装置中的未定义信息之间的比较来识别用户的情绪;并且输出装置输出学习装置执行的识别结果。
所述学习装置可以学习用户的情绪连同情绪的强度等级。
所述存储装置可以存储对应于由学习装置识别的情绪的新未定义信息,如此将新的未定义信息添加到存储装置中累加的现存未定义信息。
所述信息处理设备还可以包括特征提取装置,用于生成未定义信息的特征的向量,并且所述学习装置可以对特征向量执行统计处理,并且可以在存储装置中存储作为结果产生的特征向量的统计数值。
所述学习装置通过比较由参数生成装置根据所输入的未定义信息生成的参数和存储在存储装置中的参数,可以识别用户的情绪。
所述输入装置可以输入与用户相关联的脉搏信息或者人体运动信息作为未定义信息。
所述输入装置可以输入当用户按压键盘时表明生成的振动的振动信息作为未定义信息。
所述输入装置可以输入表明用户抓取鼠标时的抓取压力的抓取压力信息或者周围温度信息作为未定义信息。
所述信息处理设备可以是用于玩在线游戏的游戏机。
所述输入装置可以输入与游戏机控制器相关联的加速度信息或者抓取压力信息作为未定义信息。
所述输出装置可以从存储的未定义信息中提取用户指定的特定未定义信息,依照预定形式将提取出的未定义信息转换为信号,并且向由用户指定的另一个游戏机输出作为结果产生的信号。
本发明还提供了一种信息处理方法,包括以下步骤:同时输入用户的已定义信息以及未定义信息,其中所述已定义信息可以唯一地解释,而所述未定义信息可以依照多种方式解释或者难以解释;从所述已定义信息中提取情绪信息;通过将输入的未定义信息关联到提取的情绪信息来学习用户的情绪;存储作为在学习步骤中执行学习的结果而获得的信息;以及将输入的未定义信息或者存储的未定义信息转换为预定形式的信号,并且输出作为结果产生的转换信号,其中该方法还包括,当输入新的未定义信息时,根据所述新的未定义信息和所存储的未定义信息之间的比较来识别用户的情绪,以及输出识别结果。
本发明还提供了一种程序,用于令计算机执行包括以下控制步骤的进程,所述控制步骤包括:输入已定义信息以及未定义信息;通过将所输入的未定义信息关联到已定义信息来学习用户的情绪;存储作为在学习控制步骤中执行学习的结果而获得的信息;并且将所输入的未定义信息或者存储的未定义信息依照预定形式转换为信号,并且输出作为结果产生的转换信号。
一种存储介质,包括存储在其中的程序,所述程序用于令计算机执行包括以下控制步骤的进程,所述控制步骤包括:输入已定义信息以及未定义信息;通过将所输入的未定义信息关联到已定义信息来学习用户的情绪;存储作为在学习控制步骤中执行学习的结果而获得的信息;并且将所输入的未定义信息或者存储的未定义信息依照预定形式转换为信号;并且输出作为结果产生的转换信号。
在依照本发明的信息处理设备、信息处理方法、程序以及存储介质中,输入未定义信息以及已定义信息,并且通过将所输入的未定义信息关联到已定义信息来对其执行学习。将所输入的未定义信息或者存储的未定义信息以预定形式转换为信号并且输出。
在本说明书中,术语“情绪”不仅用于描述诸如高兴或者讨厌的状态的情绪状态,而且也描述诸如用户的生命状态或者稳定状态的一般状态。
附图说明
图1是示出了依照本发明连接信息处理设备的方式的图表;
图2是依照本发明示出了输入到信息处理设备的信息以及存储在其中的信息的图表;
图3是示出了对应于情绪/状态的特征值的分布的图表;
图4是示出了对应于情绪/状态的特征值向量的分布的图表;
图5是示出了依照本发明的第一类型信息处理设备的结构示例的框图;
图6是示出了图5中所示输入单元的结构示例的框图;
图7是示出了图5中所示输出单元的结构示例的框图;
图8是示出了图5中所示输出单元的结构示例的框图;
图9是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图10是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图11是示出了传输设置信息的内容和接收设置信息的内容的示例的图表;
图12是示出了生命指征信息存储处理的流程图;
图13是示出了生命指征信息存储处理的流程图;
图14是示出了生成特征值向量Vc1的处理的流程图;
图15是示出了生成特征值向量Vc1的处理的流程图;
图16是示出了极性检测处理的流程图;
图17是示出了tv生成处理的流程图;
图18是示出了检测Vmin和Vmax的处理的流程图;
图19是示出了采样波形信息的方式的图表;
图20是示出了通过tv生成处理和Vmin/Vmax检测处理获得信息的示例图表;
图21是示出了生成特征值向量Vc2的处理的流程图;
图22是示出了生成特征值向量Vc2的处理的剩余部分流程图;
图23是示出了显示情绪/状态的文字的示例表;
图24是示出了显示情绪/状态的强度等级的文字的示例的表;
图25是示出了脉搏信息波形的示例的图表;
图26是示出了人体运动信息波形的示例的图表;
图27是示出了存储在终端B的存储单元中的信息示例的图表;
图28是示出了情绪/状态识别处理的流程图;
图29是示出了生成特征值向量Vc1的处理的流程图;
图30是示出了生成特征值向量Vc1的处理的剩余部分流程图;
图31是示出了生成特征值向量Vc2的处理的流程图;
图32是示出了生成特征值向量Vc2的处理的剩余部分流程图;
图33是示出了识别Vcl的情绪/状态和强度等级的处理的流程图;
图34是示出了Vcl的计算的内积和各种向量的示例的图表;
图35是示出了Vcl和各种向量的分布的图表;
图36是示出了识别Vc2的情绪/状态和强度等级的处理的流程图;
图37是示出了Vc2的计算的内积和各种向量的示例的图表;
图38是示出了Vc2和各种向量的分布的图表;
图39是示出了输出识别结果的处理和重算处理的流程图;
图40是示出了信息输出处理的流程图;
图41是示出了信息输出处理剩余部分的流程图;
图42是示出了信息输出处理中信息输出波形的示例的图表;
图43是示出了信息输出处理中信息输出波形的示例的图表;
图44是示出了依照本发明的第二类型信息处理设备的结构示例的框图;
图45是示出了图44中所示输入单元的结构示例的框图;
图46是示出了图44中所示输出单元的结构示例的框图;
图47是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图48是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图49是示出了振动信息存储处理的流程图;
图50是示出了振动信息存储处理剩余部分的流程图;
图51是示出了生成特征值向量Vc的处理的流程图;
图52是示出了生成特征值向量Vc的处理的剩余部分流程图;
图53是示出了存储在终端B的存储单元中的信息示例的图表;
图54是示出了键盘振动信息波形的示例的图表;
图55A是示出了从键盘振动信息中获得的数据的示例的图表;
图55B是示出了从键盘振动信息中获得的数据的示例的图表;
图56是示出了情绪/状态识别处理的流程图;
图57是示出了生成特征值向量Vch的处理的流程图;
图58是示出了生成特征值向量Vch的处理的剩余部分流程图;
图59是示出了识别Vch的情绪/状态和强度等级的处理的流程图;
图60是示出了Vch和各种向量的分布的图表;
图61是示出了输出识别结果的处理和重算处理的流程图;
图62是示出了信息输出处理的流程图;
图63是示出了信息输出处理剩余部分的流程图;
图64是示出了信息输出处理中信息输出波形的示例的图表;
图65是示出了信息输出处理中信息输出波形的示例的图表;
图66是示出了依照本发明的第三类型信息处理设备的结构示例的框图;
图67是示出了图66中所示输入单元的结构示例的框图;
图68是示出了图66中所示输出单元的结构示例的框图;
图69是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图70是示出了在终端A和终端B之间发送/接收信息的方式的示例图表;
图71是示出了存储点击信息和抓取压力信息的处理的流程图;
图72是示出了存储点击信息和抓取压力信息的处理的剩余部分的流程图;
图73是示出了生成特征值向量Vc的处理的流程图;
图74是示出了计算点击特征值的处理的流程图;
图75是示出了计算抓取压力特征值的处理的流程图;
图76是示出了情绪/状态说明图的示例的图表;
图77是示出了情绪/状态说明信息的一组项目的示例的图表;
图78是示出了存储在终端B的存储单元中的信息示例的图表;
图79是示出了键盘振动信息波形的示例的图表;
图80是示出了鼠标抓取压力信息波形的示例的图表;
图81是示出了情绪/状态识别处理的流程图;
图82是示出了生成特征值向量Vc的处理的流程图;
图83是示出了计算点击特征值的处理的流程图;
图84是示出了计算抓取压力特征值的处理的流程图;
图85是示出了识别Vc的情绪/状态和强度的处理的流程图;
图86是示出了Vc和各种向量的分布的图表;
图87是示出了输出识别结果的处理和重算处理的流程图;
图88是示出了信息输出处理的流程图;
图89是示出了信息输出处理剩余部分的流程图;
图90是示出了信息输出处理中信息输出波形的示例的图表;
图91是示出了信息输出处理中信息输出波形的示例的图表;
图92是依照本发明示出了连接游戏机的方式的图表;
图93是示出了依照本发明的游戏机的结构示例的图表;
图94是示出了依照本发明的游戏机控制器的结构示例的图表;
图95是示出了在游戏机A、游戏机B和服务器之中发送/接收信息的方式的示例图表;
图96是示出了在游戏机A、游戏机B和服务器之中发送/接收信息的方式的示例图表;
图97是示出了特征信息存储处理的流程图;
图98是示出了特征信息存储处理剩余部分的流程图;
图99是示出了生成特征值向量Vc的处理的流程图;
图100是示出了计算加速度信息的特征值的处理的流程图;
图101是示出了计算加速度信息的特征值处理的剩余部分的流程图;
图102是示出了与游戏机控制器相关联的加速度信息波形的示例的图表;
图103是示出了从与游戏机控制器相关联的加速度信息中获得的数据的示例的图表;
图104是示出了提取抓取压力信息的特征值的处理的流程图;
图105是示出了提取抓取压力信息的特征值处理的剩余部分的流程图;
图106是示出了与游戏机控制器右手部分相关联的抓取压力信息波形的示例的图表;
图107是示出了与游戏机控制器的左右部分相关联的抓取压力信息波形的示例的图表;
图108是示出了从与游戏机控制器的右手部分相关联的抓取压力信息中获得的数据的示例的图表;
图109是示出了从与游戏机控制器的左手部分相关联的抓取压力信息中获得的数据的示例的图表;
图110是示出了与游戏机控制器相关联的加速度信息波形的示例的图表;
图111是示出了与游戏机控制器的右手部分相关联的抓取压力信息波形的示例的图表;
图112是示出了与游戏机控制器的左手部分相关联的抓取压力信息波形的示例的图表;
图113是示出了存储在游戏机的存储单元中的信息示例的图表;
图114是示出了情绪/状态识别处理的流程图;
图115是示出了生成特征值向量Vcag的处理的流程图;
图116是示出了与Vcag相关联的情绪/状态识别处理的流程图;
图117是示出了Vcag和各种向量的分布的图表;
图118是示出了输出识别结果的处理和重算处理的流程图;
图119是示出了信息输出处理的流程图;
图120是示出了信息输出处理的剩余部分的流程图;
图121是示出了输出存储信息的处理的流程图;
图122是示出了用于驱动振动显示单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出;
图123是示出了用于驱动光发射单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出;
图124是示出了用于驱动光发射单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出;
图125是示出了用于驱动振动显示单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出;
图126是示出了用于驱动光发射单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出;以及
图127是示出了用于驱动光发射单元的驱动信号波形的示例图表,所述驱动信号在信息输出处理中输出。
具体实施方式
下面将结合附图参照具体实施例更加详细地描述本发明。图1示出了利用依照本发明的信息处理设备的通信系统的结构。
在图1中,终端1、终端2以及终端3是依照本发明的信息处理设备,并且它们与网络11相连以便使它们相互通信。
终端1(终端A)、终端2(终端B)和终端3(终端C)中的每一个均包括用于输入信息的输入单元91A、91B或者91C,用于处理经由输入单元输入的信息的处理单元93A、93B或者93C,用于根据输入信息学习/识别用户的情绪/状态和强度等级的学习单元94A、94B或者94C,用于存储学习单元学习/识别的信息的存储单元95A、95B或者95C,用于输出由学习单元识别的信息或者用于输出存储在存储单元中的信息的输出单元92A、92B或者92C,用于发送/接收信息的通信单元96A、96B或者96C,以及用于控制各种部件的系统控制器97A、97B或者97C。
所述终端1(终端A)、终端2(终端B)以及终端3(终端C)在结构上彼此相似,并且它们的部件在功能上相似,所述部件即诸如终端1的输入单元91A,...,系统控制器97A的部件,终端2的输入单元91B,...,系统控制器97B的部件,终端3的输入单元91C,...,系统控制器97C的部件。在随后的描述中,当不需要在终端之间区别那些部件时,以通用的方式表示所述部件,诸如输入单元91,...,系统控制器97。
如图2所示,可以将经由它们的输入单元输入到终端1、终端2或者终端3的信息分类为已定义信息和未定义信息。已定义信息指的是可以唯一地解释而不需要任何其他附加信息的信息。已定义信息的示例是语言上的文字、指定唯一意思的码元、响应用户执行的特定操作发送的自我声明信息。
未定义信息指的是可以依照多种方式解释的信息或者难以解释的信息。未定义信息的示例是生理学的信息,诸如脉搏、血流、血压、呼吸、体温、皮肤表面温度、皮肤电阻、出汗、脑电波和脑磁性、人体运动、头部运动或者用户别的部分的动作,当按压键盘时发生的振动和抓取鼠标时的压力。
所述处理单元93从输入的已定义信息中提取用户的情绪/状态以及情绪/状态的强度等级(情绪信息E)。所述处理单元93还从未定义信息中提取特征值C以及信号电平的序列。将提取出的信息、特征值以及信号电平提供给学习单元94。
学习单元94将所接收的情绪信息E、特征值C以及信号电平序列并入单个数据中,并且分别为每个用户在存储单元中存储它。所存储的数据包括PID、CD以及CSD。
PID是识别特定用户的信息。PID可以包括姓名、昵称、电子邮件地址、分配给用户的标识号、性别、生日、住宅地址和/或血型。
CD包括与识别信息PID识别的用户相关联的情绪信息E,从输入的未定义信息中提取的特征值的分布fc,分布fc的中心值μ,分布fc的标准离差σ,表明用户所处环境的环境信息Kp(诸如温度、湿度、环境声音、附近人员的数目、气象信息和/或位置信息),当用户输入信息时的时间,当存储信息时的日期/时间T。
将情绪/状态分类为十二个类别,如表1所示。
<表1>
情绪/状态 |
高兴 |
惊奇 |
忧愁 |
愤怒 |
讨厌 |
感兴趣 |
羞愧 |
喜欢 |
不稳定 |
稳定 |
生气 |
不生气 |
将每种情绪/状态分为三个强度等级:高级、中级以及低级。由此,存在总共36(=12X3)种不同的情绪信息E。因此,每个特征存在36个CD。如果特征值的数目是m,那么每个用户存在36×m个CD。
存储的信息CDS包括与识别信息PID识别的用户相关联的情绪信息E,从未定义信息中提取的特征值C的组合的分布fvc,分布的中心向量Vμ,分布的标准离差向量V6,表明用户所处位置环境的环境信息Kp(诸如温度、湿度、环境声音、附近人员的数目、气象信息和/或位置信息),用户输入信息时的时间,以及存储所述信息时的日期/时间T。
将情绪/状态分类为十二个类别,如表1所示,并且将每种情绪/状态分为三个强度等级:高级,中级以及低级。因此,每个用户存在36个CSD。
存储在存储单元95中的信息与学习或者识别用户状态的时间有关。将新的信息存储在存储单元95中,以便将其添加到存储在存储单元95中的现存信息中。
一旦将足够的信息量存储在存储单元95中,所述信息处理设备可以仅仅从未定义信息识别特定用户的情绪/状态以及等级。为了识别所述情绪,来自于未定义信息的特定用户的状态以及等级、未定义信息的特征值被提取,并且将其与存储在存储单元95中与特定用户相关联的信息作比较。
例如,处理单元93从与特定用户a相关联的未定义信息中提取特征值C1、C2,...,Cm,并且学习单元94根据提取出的特征值生成特征值向量Vcx(C1,C2,...,Cm)。
此外,学习单元94从存储单元95读取与用户a相关联的多条存储信息CSD,并且学习单元94提取对应于所有各种情绪/状态和强度等级的中心向量Vμ1,Vμ2,...Vμ36。
然后,学习单元94计算特征值向量Vcx和每个中心向量Vμn(n=1,2,...,36)的内积(Vcx,Vμn)。然后依照内积(Vcx,Vμn)的递减顺序审查每个矢量分量,以便确定是否满足(Vμnm-σnm)≤Vcxm≤(Vμnm+σnm),其中Vμnm表示Vμn的第m个分量,σnm表示分布fvcn的标准离差向量cn的第m个分量,并且Vcxm表示Vcx的第m个分量。
图3示出了对应于情绪信息E1到En的特征值C的分布,其中纵轴显示特征值分布fc而横轴显示特征值C。在图3中所示的示例中,特征值C是Vcxm,而在对应于情绪信息E2的分布中满足条件(Vμ2m-σ2m)≤Vcxm≤(Vμ2m+σ2m)。
依照上述方式审查向量的所有分量以便确定是否满足条件。满足上述条件的分布,即对应于最大内积(Vcx,Vμn)的分布被检测,并且确定所述特征向量属于检测到的分布。
图4示出了根据输入的未定义信息生成的特征值向量Vcx以及对应于存储在存储单元95中的某种情绪信息的特征值向量的分布。那些向量的每个都具有m个分量,并且在具有轴ch1,ch2,...,chm的m维空间中被绘图。在此空间中,存在对应于情绪信息E1的特征值向量的分布fvcl,分布fvcl的中心向量Vμ1、对应于情绪信息E2的特征值向量的分布fvc2,分布fvc2的中心向量Vμ2,以及对应于情绪信息En的特征值向量的分布fvcn。
对于Vcx和相应中心向量Vμl、Vμ2和Vμn的内积(Vcx,Vμ1)、(Vcx,Vμ2)以及(Vcx,Vμn)来说,内积(Vcx,Vμ2)在数值上最大,并且对于Vcx以及Vμ2的所有m个分量来说,满足条件(Vμ2m-σ2m)≤Vcxm≤(Vμ2m+σ2m),并且由此认为Vcx属于情绪信息E2。
依照上述方式能够根据输入的未定义信息识别特定用户的情绪、状态、等级。
示例1
图5示出了依照本发明的第一类型信息处理设备的结构示例。此信息处理设备例如可以应用于便携式电话。所述信息处理设备包括用于输入用户的语音信息、脉搏信息以及距离信息的输入单元91,用于处理经由输入单元91输入的信息的处理单元93,用于根据从处理单元93输出的属性信息以及情绪信息执行学习以及识别的学习单元94,用于存储从学习单元94输出的学习信息以及识别信息的存储单元95,用于根据从处理单元93输出的输出信息来输出信息的输出单元92,用于通信的通信单元96以及用于控制各种部件的系统控制器97。
所述处理单元93包括信息鉴别器111,用于分类经由输入单元91输入的语音信息、脉搏信息或者人体运动信息的信息;特征提取器112,用于从脉搏信息以及人体运动信息中提取属性信息;意思提取器113,用于从语音信息中提取情绪信息;以及输出控制器114,用于向输出单元92输出信息。通信单元96包括用于发送信息的信息发送单元121以及用于接收信息的信息接收单元122。
图6示出了输入单元91的结构示例。在图6中所示的例子中,输入单元93包括麦克风131,用于捕获用户语音;脉搏传感器132,用于检测用户脉搏;距离传感器133,用于检测用户的人体运动;语音识别器135,用于识别经由键盘134输入的文本或者数字信息或者经由麦克风131输入的语音信息;电源/放大器136,用于放大从脉搏传感器132输出的信号;以及电源/放大器137,用于放大从距离传感器133中输出的信号。
图7以及8示出了输出单元92的示例。在图7中所示的示例中,所述输出单元92包括运动目标152,用于依照特殊的信号移动目标;以及电源/驱动器151,用于驱动运动目标152;其中运动目标152包括目标173、传动皮带174、伺服电动机171以及转动轴172。
在图8中所示的示例中,所述输出单元92包括用于依照特殊的信号发射光的光发射单元192,以及用于驱动光发射单元192的电源/放大器191。
在此,用户a的信息处理设备由终端A表示,用户b的信息处理设备由终端B表示。用户a以及用户b可以依照图9中所示过程、利用他们的终端A以及B相互通信。首先,终端A向终端B发送连接请求。作为响应,终端B向终端A返回连接确认信号。此后,在终端A和终端B之间发送诸如邮件或者聊天的电文信息、诸如会话的语音信息、或者利用CCD摄像机等等获得的图像信息。
终端A执行与发送/接收生命指征信息(在此具体示例中是用户的脉搏信息和人体运动信息)相关联的初始设置,并且向终端B发送发送/接收请求和传输设置信息和接收设置信息,诸如图11中所示那些。
所述传输设置信息包括信息传输模式选择ms、信息处理模式选择ts以及信息输出模式选择权限ds。所述接收设置信息包括信息接收模式选择mr、信息处理模式选择tr以及信息输出模式选择权限dr。
信息传输模式选择ms的参数表明是否发送生命指征信息。信息处理模式选择ts的参数表明当发送生命指征信息时是否处理生命指征信息。信息输出模式选择权限ds的参数表明是否在发送端或者接收端执行对发送生命指征信息的方式的设置。
信息接收模式选择mr的参数表明是否接收生命指征信息。信息处理模式选择tr的参数表明当接收生命指征信息时是否处理它。信息输出模式选择权限dr的参数表明是否在接收端或者发送端执行对生命指征信息的输出方式的选择。
如果终端B接收来自于终端A的生命指征信息传输请求,那么终端B改变与生命指征信息的发送/接收相关联的设置,并且向终端A返回确认信号。
然后,终端A向终端B发送用户a的生命指征信息,并且终端B向终端A发送用户b的生命指征信息。终端A和终端B存储所接收的生命指征信息。
如果终端A向终端B发送连接结束请求,那么终端B发送连接结束确认信号,并且结束通信。
在终端A和终端B之间依照上述方式执行通信,并且将生命指征信息存储在终端A和终端B中。在存储了足够数量的生命指征信息之后,如图10所示那样执行信息的发送/接收。如果在终端A和终端B之间发送生命指征信息,那么终端A和终端B检测用户的情绪或者状态。
参见图12,下面将描述终端B执行的存储生命指征信息的处理。首先,在步骤S1中,在与终端A开始通信的时候,终端B的系统控制器97获得信息(例如姓名或者昵称)PID,用于识别与终端A通信的用户a。在步骤S2中,终端B的系统控制器97命令信息鉴别器111确定是否从终端A接收用户a的语音信息。如果还没有接收语音信息,那么所述处理等到接收了语音信息为止。
如果在步骤S2中确定输入了语音信息,那么处理进行到步骤S3。在步骤S3中,终端B的系统控制器97命令特征提取器112开始采样与从终端A接收的用户a相关联的脉搏信息和人体运动信息。在接下来的步骤S4中,终端B的系统控制器97命令意思提取器113识别所述语音。在步骤S5中,终端B的系统控制器97确定识别的语音是否包括表明情绪/状态和其强度等级的文字。如果确定识别的语音不包括表明情绪/状态和情绪/状态的强度等级的文字,那么处理返回到步骤S2,并且重复上述处理。图23示出了表明情绪或者状态的文字的示例,并且图24示出了表明强度等级的文字的示例。
在步骤S5确定所识别的语音包括表明情绪/状态或者情绪/状态的强度等级的文字的情况下,那么在步骤S6中,终端B的系统控制器97确定检测到文字的对象是否是用户a,即检测到的文字是否表明用户a的情绪/状态或者情绪/状态的强度等级。如果对象不是用户a,那么处理返回到步骤S2,并且重复上述处理。
当在步骤S6中确定用户是所述对象的情况下,处理进行到步骤S7。在步骤S7中,终端B的系统控制器97确定用户a的语音的一个短语是否已经输入。如果还没有输入语音的一个短语,那么终端B的系统控制器97等到输入语音的一个短语为止。
如果在步骤S7中确定已经输入了一个短语,那么在步骤S8中,终端B的系统控制器97命令特征提取器112结束对脉搏信息以及人体运动信息的采样。
脉搏信息以及人体运动信息的采样可以由终端A的特征提取器112执行,并且可以将采样信息发送到终端B。
在步骤S9中,终端B的系统控制器97命令意思提取器113提取情绪信息E。
例如,如果用户a表达“这听起来没什么兴趣。”,那么对应于文字“兴趣”的情绪/状态是“感兴趣”,并且对应于文字“没什么”的强度等级是“低级”。由此,将“微弱的兴趣”作为情绪信息E提取。
在步骤S10中,终端B的系统控制器97命令特征提取器112根据用户a的脉搏信息生成特征向量Vcl。在步骤S11中,所述终端B的系统控制器97从存储单元95读取对应于信息PID的脉搏信息以及情绪信息E,其中所述信息PID用于识别用户。在此具体情况中,读取对应于用户a的微弱兴趣的脉搏信息的特征向量。然后在步骤S12中,终端B的系统控制器97命令学习单元94将最新生成的特征向量Vc1添加到所读取的特征向量中,并且重新计算向量分布fvc1、分布中心向量vμ1以及标准离差向量Vσ1。在步骤S13中,将重新计算的向量存储在存储单元95中。
在步骤S14中,终端B的系统控制器97命令特征提取器112根据用户a的人体运动信息生成特征向量Vc2。在步骤S15中,所述终端B的系统控制器97从存储单元95读取对应于信息PID的人体运动信息以及情绪信息E,其中所述信息PID用于识别用户。在此具体情况中,读取对应于用户a的微弱兴趣的人体运动信息的特征向量。然后在步骤S16中,终端B的系统控制器97命令学习单元94将生成的特征向量Vc2添加到读出的特征向量中,并且重新计算向量分布fvc2、分布中心向量Vμ2以及标准离差向量Vσ2。在步骤S17中,将重新计算的向量存储在存储单元95中。
现在,下面将参见图14和15描述生成脉搏信息的特征向量Vc1的处理。此处理由终端B的特征提取器112执行。在步骤S31中,终端B的特征提取器112读出采样的脉搏信息。在步骤S32中,特征提取器112执行极性检测处理,将稍后描述。在步骤S33中,特征提取器112执行tv生成处理,将稍后描述。在步骤S34中,特征提取器112执行vmin/vmax检测处理,将稍后描述。
参见图16到18,将描述极性检测处理、TV生成处理和vmin/vmax检测处理。
首先,参见图16,描述采样波形的极性检测处理。在步骤S61中,终端B的特征提取器112将参数n设置为1。在步骤S62中,终端B的特征提取器112读出Vs(n)。如果图19中所示的波形211以间隔Tclk采样,那么获得采样值Vs1,Vs2,Vs3,...,Vsn。在此极性检测处理中,根据n的当前值读出Vs(n),如此当n=1时读出Vs1,当n=2时读出Vs2等等。
在步骤S63中,终端B的特征提取器112确定是否存在Vs(n)。如果确定不存在Vs(n),那么结束处理。如果在步骤S63中确定存在Vs(n),那么所述处理进行到步骤S64。在步骤S64中,终端B的特征提取器112确定Vs(n)是否小于阈值-Vth0。如果确定Vs(n)不小于-Vth0,那么所述处理进行到步骤S65。在步骤S65中,还确定Vs(n)是否大于阈值Vth0。如果确定Vs(n)不大于Vth0,那么所述处理进行到步骤S66。在步骤S66中,将Sig(n)设定为1。
当在步骤S64中确定Vs(n)小于阈值-Vth0的情况下,终端B的特征提取器112将Sig(n)设置为-1。当在步骤S65中确定Vs(n)大于阈值Vth0的情况下,终端B的特征提取器112将Sig(n)设置为1。
在步骤S67中,终端B的特征提取器112将n的值加1。然后,所述处理返回到步骤S62,并且重复上述处理。
由此,生成表明波形极性的参数Sig(n)。也就是说,当在极性中波形是正相时,将Sig(n)设定为1,而当在极性中波形是阴极时,将Sig(n)设置为-1。当所述波形既不是正相又不是阴极时,即当所述波形是零时,将Sig(n)设定为0。
现在,下面将参见图17描述TV生成处理。在步骤S71中,终端B的特征提取器112将参数n设置为2,而将参数P设置为1。在步骤S72中,终端B的特征提取器112读出作为极性检测处理结果生成的Sig(n)。在步骤S73中,确定是否存在Sig(n)。如果确定不存在Sig(n),那么结束处理。
当在步骤S73中确定存在Sig(n)的情况下,所述处理进行到步骤S74。在步骤S74中,终端B的特征提取器112读出Sig(n-1)。在步骤S75中,特征提取器112确定Sig(n)和Sig(n-1)在值上是否彼此相等,如果确定Sig(n)和Sig(n-1)在值上彼此相等,那么在步骤S76中,还确定Sig(n)是否等于-1。如果确定Sig(n)不等于-1,那么在步骤S78中,确定Sig(n)是否等于1。如果确定Sig(n)不等于1,所述处理进行到步骤S80。在步骤S80中,将参数c加1。此后,所述处理进行到步骤S93。
当在步骤S76中确定Sig(n)等于-1的情况下,所述处理进行到步骤S77。在步骤S77中,终端B的特征提取器112将参数a加1。此后,所述处理进行到步骤S93。当在步骤S78中确定Sig(n)等于1的情况下,所述处理进行到步骤S79。在步骤S79中,终端B的特征提取器112将参数b加1。此后,所述处理进行到步骤S93。
在步骤S93中,终端B的特征提取器112将n的值加1。然后,所述处理返回到步骤S72,并且重复上述处理。
如果在步骤S75中确定Sig(n)和Sig(n-1)在值上彼此不等,那么所述处理进行到步骤S81。在步骤S81中,终端B的特征提取器112确定Sig(n-1)是否等于-1。如果确定Sig(n-1)不等于-1,那么所述处理进行到步骤S86。在步骤S86中,终端B的特征提取器112确定Sig(n-1)是否等于1。如果确定Sig(n-1)不等于1,那么所述处理进行到步骤S90。在步骤S90中,将Tv0(P)的值设置为c*Tclk。那么在步骤S91中,终端B的特征提取器112输出Tv0(P),并且将参数c的值重置为0。此后,所述处理进行到步骤S93。
当在步骤S81中确定Sig(n-1)等于-1的情况下,所述处理进行到步骤S82。在步骤S82中,终端B的特征提取器112将Tv-(P)的值设置为a*Tclk。然后,在步骤S83中,输出Tv-(P)。此外,在步骤S84中,将参数a的值重置为0。然后处理进行到步骤S85。在步骤S85中,将参数P的值加1,并且所述处理进行到步骤S93。
当在步骤S86中确定Sig(n-1)等于-1的情况下,所述处理进行到步骤S87。在步骤S87中,终端B的特征提取器112将Tv+(P)的值设置为b*Tclk。然后在步骤S88中,终端B的特征提取器112输出Tv+(P),并且在步骤S86中,将参数b的值重置为0。此后,所述处理进行到步骤S93。
由此,在上述重复循环中,当检测到波形为阴极时,将a的值加1,而当检测到波形为正相时,将b的值加1。当检测到波形为0时,将c的值加1。当波形的极性发生转换时,将a,b或者c乘以采样间隔Tclk。由此,如图20所示,将波形是正相期间的周期以Tv+(1)、Tv+(2)等等给出,波形的输出电平在-Vth0到+Vth0范围内时的周期以Tv0(1),Tv0(2),Tv0(3)等等给出。波形是阴极时的周期以Tv-(1),Tv-(2)等等给出。
现在,将在下文中参照图18描述vmin/vmax检测处理。首先在步骤S111中,终端B的特征提取器112将参数n设置为2,而将参数P设置为1。然后在步骤S112中,特征提取器112读出Vs(n)。在步骤S113中,特征提取器112确定是否存在Vs(n)。如果确定不存在Vs(n),那么结束处理。当在步骤S113中确定存在Vs(n)的情况下,所述处理进行到步骤S114。在步骤S114中,终端B的特征提取器112读出Vs(n-1),并且在步骤S115中,将Vs(n)-Vs(n-1)的值设置为ΔVs(n-1)。在步骤S116中,存储ΔVs(n-1)的值。
在步骤S117中,终端B的特征提取器112确定ΔVs(n-1)是否小于0。如果确定ΔVs(n-l)小于0,那么在步骤S118中,特征提取器112将ΔVSig(n)设置为-1。如果在步骤S117中确定ΔVs(n-1)不小于0,所述处理进行到步骤S119。在步骤S119中,如果ΔVsig(n)为1,那么处理进行到步骤S120。在步骤S120中,确定ΔVSig(n-1)是否存在。如果确定不存在ΔVSig(n-1),那么所述处理进行到步骤S127。在步骤S127中,将n的值加1。此后,所述处理返回到步骤S112。
当在步骤S120中确定存在ΔVSig(n-1)的情况下,所述处理进行到步骤S121。在步骤S121中,终端B的特征提取器112读取ΔVSig(n-1)。在步骤S122中,特征提取器112确定ΔVSig(n)和ΔVSig(n-1)在值上是否彼此相等。如果确定ΔVSig(n)和ΔVSig(n-1)在值上彼此不相等,那么所述处理进行到步骤S123。在步骤S123中,特征提取器112确定Vs(n)是否小于Vth0。如果确定Vs(n)不小于Vth0,那么所述处理进行到步骤S125。在步骤S125中,将Vmax(P)设定为等于Vs(n-1),并且输出Vmax(P)。然后,将P的值加1,并且所述处理进行到步骤S127。
如果在步骤S122中确定ΔVSig(n)和ΔVsig(n-1)在值上是否彼此相等,那么终端B的特征提取器112使处理前进到步骤S127。
当在步骤S123中确定Vs(n)小于Vth0的情况下,那么所述处理进行到步骤S124。在步骤S124中,终端B的特征提取器112将Vmin(P)的值设置为等于Vs(n-1)的值,并输出Vmin(P)。此后,所述处理进行到步骤S127。
由此,如图20所示,在波形221的相应周期Tv+(1)和Tv+(2)获得峰值Vmax(1)和Vmax(2),并且同样地,在波形221的相应的周期Tv-(1)和Tv-(2)中获得峰值Vmin(1)和Vmin(2)。
再次参照图15,在步骤S35中,终端B的特征提取器112将参数P设置为1。在步骤S36中,终端B的特征提取器112确定Tv+(P)或者Tv-(P)是否存在。如果确定存在Tv+(P)或者Tv-(P),那么所述处理进行到步骤S37。在步骤S37中,将Tv+(P)的值设置为Tppg+(P),并且在步骤S38中,将Tv-(P)的值设置为Tpp-(P)。此外,在步骤S39中,终端B的特征提取器112将Tppg+(P)和Tppg-(P)的和设置为Tppgi(P)。然后在步骤S40中,将参数P的值加1。然后所述处理返回到步骤S36,并且重复上述处理。
例如,当在步骤S33中输出TV的结果而获得了Tv+(1)、Tv+(2)、Tv-(1)以及Tv-(2)之后、将P设定为3时,在步骤S36中确定Tv+(P)或者Tv-(P)不存在。在该情况下,在步骤S41中,终端B的特征提取器112如下计算每个Tppg+、Tppg-以及Tppgi的平均值作为Tppg+m、Tppg-m以及Tppgim,即:Tppg+m=(TPPg+(1)+Tppg+(2))/2,Tppg-m=(Tppg-(1)+Tppg-(2))/2,以及Tppgim=(Tppgi(1)+Tppgi(2))/2。
在接下来的步骤S42,终端B的特征提取器112将参数P的值设置为1。然后,在步骤S43中,终端B的特征提取器112确定是否存在Vmax(P)或者Vmin(P)。如果确定存在Vmax(P)或者Vmin(P),那么在步骤S44中,将Vmax(P)的值设置为Appg+(P),并且还在步骤S45中,将Vmin(P)的值设置为Appg-(P)。然后在步骤S46中,将参数P的值加1。然后所述处理返回到步骤S43,并且重复上述处理。
在作为步骤S34的Vmin/Vmax检测处理结果获得了Vmax(1)、Vmax(2)、Vmin(1)以及Vmin(2)之后,当将参数P的值设定为3时,在步骤S43中确定不存在Vmax(P)或者Vmin(P)。在该情况下,在步骤S47中,终端B的特征提取器112依照以下公式计算Appg+以及Appg-的平均值Appg+m以及Appg-m,所述公式为:
Appg+m=(Appg+(1)+Appg+(2))/2以及
Appg-m=(Appg-(1)+Appg-(2))/2。
然后在步骤S48,终端B的特征提取器112生成特征值向量Vc1(Tppg+m,Tppg-m,Tppgim,Appg+m,Appg-m)。
图25示出了脉搏波形241的示例。在图25中,Tppg+表示波形241的输出是正相时的周期,Tppg-表示波形241的输出是反相的周期,Tppgi表示一个脉搏周期,Appg+表示在周期Tppg+中脉搏波形的峰值,并且Appg-表示在Tppg-周期中脉搏波形的峰值。
依照上述方式,生成对应于用户a的低级兴趣的脉搏信息的特征向量Vc1。
参见图21,生成用户a的人体运动信息的特征向量Vc2的处理描述如下。
在步骤S141,终端B的特征提取器112读出采样的人体运动信息。然后在步骤S142,终端B的特征提取器112执行参照图16描述的极性检测处理,然后在步骤S143,执行参照图17描述的TV生成处理,并且还在步骤S144,执行Vmin/Vmax检测处理。然后在步骤S145,终端B的特征提取器112将参数P的值设置为1。在步骤S146,终端B的特征提取器112读出存储在Vmax/Vmin检测处理(图18中所示的步骤S116)ΔV的值。
图26示出了人体运动信息的波形261的示例。在读取ΔV(P)的处理中,当P=1时读出ΔV1,并且当P=2时读出ΔV2。在步骤S147,终端B的特征提取器112确定是否存在ΔV(P)。如果确定存在ΔV(P),那么在步骤S148,终端B的特征提取器112将|ΔV(P)|/Tclk的值设置为Vel(P),然后在步骤S149,将∑ΔV+|ΔV(p)|的值设置为∑ΔV。此后,在步骤S150,终端B的特征提取器112将P的值加1,并且流程返回到步骤S146以便重复上述处理。
因为ΔV(P)显示用户a在时间周期Tclk中移动的距离,所以Vel(P)表明用户a移动的速度,并且∑ΔV表明用户a移动的总距离。
如果在步骤S147确定ΔV(P)不存在,那么在步骤S151,终端B的特征提取器112将∑ΔV的值设置为D,并且计算速度Vel的平均值Velm。然后在步骤S152,终端B的特征提取器112生成特征向量Vc2(Velm,D)。
依照上述方式,生成对应于用户a的低级兴趣的人体运动信息的特征向量Vc2。
由此,终端B根据从终端A和终端B发送的用户a的脉搏信息以及人体运动信息生成特征值向量Vc1和Vc2,其中所述终端A和终端B存储有生成的特征值向量Vc1和Vc2。同样地,终端B根据用户b的脉搏信息和人体运动信息生成特征值向量,并且存储生成的特征值向量。因此,如图27所示,为用户a和用户b分别将与脉搏信息相关联的学习结果281和与人体运动信息相关联的学习结果282存储在终端B的存储单元95中。
同样地,终端A分别存储用户a和用户b的与脉搏信息和人体运动信息相关联的学习结果。
一旦作为重复上述生命指征信息存储处理的结果而已经存储了足够数量的生命指征信息,就能够根据生命指征信息识别每个用户的情绪/状态和等级。
参见图28,下面将描述终端B执行的识别情绪状态的处理。
首先在步骤S171,在与终端A开始通信的时候,终端B的系统控制器97获得信息PID,所述信息PID识别与其通信的终端A的用户a。在步骤S172中,终端B的系统控制器97命令信息鉴别器111确定是否从终端A接收用户a的语音信息。如果还没有接收语音信息,那么所述处理等到接收了语音信息。如果确定已经输入了语音信息,那么在步骤S173中,终端B的系统控制器97命令特征提取器112开始采样用户a的脉搏信息和人体运动信息。然后在步骤S174中,终端B的系统控制器97命令意思提取器113识别所述语音。
在步骤S175中,终端B的系统控制器97确定用户a的语音的一个短语是否已经输入。如果还没有输入语音的一个短语,那么终端B的系统控制器97等到输入语音的一个短语为止。
如果在步骤S175中确定已经输入了一个短语,那么在步骤S176中,终端B的系统控制器97命令特征提取器112结束对脉搏信息以及人体运动信息的采样。
脉搏信息以及人体运动信息的采样可以由终端A的特征提取器112执行,并且可以将采样信息发送到终端B。
在步骤S177中,终端B的系统控制器97命令特征提取器112根据用户a的脉搏信息生成特征向量Vc1。在步骤S178中,终端B的系统控制器97命令特征提取器112根据用户a的人体运动信息生成特征向量Vc2。在步骤S179,终端B的系统控制器97命令学习单元94识别Vc1的情绪状态和其等级。在步骤S180,终端B的系统控制器97命令学习单元94识别Vc2的情绪状态和其等级。在步骤S181,终端B的系统控制器97命令学习单元94输出识别结果并且执行重算。
现在,下文将参见图29和30描述生成脉搏信息的特征向量Vc1的处理。此处理由终端B的特征提取器112执行。在步骤S201中,终端B的特征提取器112读出采样的脉搏信息。在步骤S202,终端B的特征提取器112执行参照图16描述的极性检测处理,并且在步骤S203执行参照图17描述的TV生成处理,并且还在步骤S204执行参照图18描述的Vmin/Vmax检测处理。
在图30中所示的步骤S205中,终端B的特征提取器112将参数P的值设置为1。在步骤S206中,终端B的特征提取器112确定Tv+(P)或者Tv-(P)是否存在。如果确定存在Tv+(P)或者Tv-(P),那么处理进行到步骤S207。在步骤S207,将Tv+(P)的值设置为Tppg+(P)。在步骤S208,将Tv-(P)的值设置为Tppg-(P)。在步骤S209中,终端B的特征提取器112将Tppg+(P)和Tppg-(P)的和设置为rppgi(P)。然后在步骤S210中,将参数P的值加1。然后,所述流程返回到步骤S206,并且重复上述处理。
如果在步骤S206确定Tv+(P)或者Tv-(P)不存在,那么处理跳入步骤S211。在步骤S211,终端B的特征提取器112计算分别每个Tppg+,Tppg-以及Tppgi的平均值为Tppg+m,Tppg-m以及Tppgim。
在接下来的步骤S212,终端B的特征提取器112将参数P的值设置为1。在步骤S213中,终端B的特征提取器112确定是否存在Vmax(P)或者Vmin(P)。如果确定存在Vmax(P)或者Vmin(P),那么所述处理进行到步骤S214。在步骤S214,将Vmax(P)的值设置为Appg+(P),并且在步骤S215,将Vmin(P)的值设置为Appg-(P)。然后在步骤S216中,将参数P的值加1。此后,所述流程返回到步骤S213,并且重复上述处理。
如果在步骤S213确定不存在Vmax(P)或者Vmin(P),所述处理进行到步骤S217。在步骤S217,终端B的特征提取器112分别计算每个Appg+和Appg-的平均值,并记作Appg+m和Appg-m。
然后在步骤S218,终端B的特征提取器112生成特征值向量Vc 1(Tppg+m,Tppg-m,Tppgim,Appg+m,Appg-m)。
依照上述方式,生成用户a的脉搏信息的特征向量Vc1。
现在,将参照图31描述生成用户a的人体运动信息的特征向量Vc2的处理。
在步骤S231,终端B的特征提取器112读出采样的人体运动信息。在步骤S232,终端B的特征提取器112执行参照图16描述的极性检测处理,并且在步骤S233执行参照图17描述的TV生成处理,并且还在步骤S234执行参照图18描述的Vmin/Vmax检测处理。然后在步骤S235,终端B的特征提取器112将参数P设置为1。在步骤S236,终端B的特征提取器112读出存储在Vmax/Vmin检测处理(图18中所示的步骤S116)中的ΔV的值。
在步骤S237,终端B的特征提取器112确定是否存在ΔV(P)。如果确定存在ΔV(P),那么在步骤S238,终端B的特征提取器112将|ΔV(P)|/Tclk的值设置为Vel(P),并且在步骤S239,将∑ΔV+|ΔV(P)|的值设置为∑ΔV。此后,在步骤S240,终端B的特征提取器112将P的值加1,并且流程返回到步骤S236以便重复上述处理。
如果在步骤S237确定不存在ΔV(P),所述处理进行到步骤S241。在步骤S241,终端B的特征提取器112将∑ΔV的值设置为D并且计算Vel的平均值Velm。然后在步骤S252,终端B的特征提取器112生成特征向量Vc2(Velm,D)。
依照上述方式,生成用户a的人体运动信息的特征向量Vc2。
现在,参照图33在下文描述识别Vc1的情绪状态和等级的处理。此处理由终端B的学习单元94执行。
在步骤S261,终端B的学习单元94从存储单元95中读取与用户a的脉搏信息相关联的特征值向量分布fvc1,分布中心向量Vμl和分布标准离差向量Vσ1。
如上所述,将情绪/状态分类为十二个类别,如表1所示,并且将每种情绪/状态分为三个强度等级:高级,中级以及低级。因此,存在总共36种情绪信息。由此,对应于相应的36种情绪信息、存在36个特征值向量分布fvc1、36个分布中心向量Vμ1和36个分布标准离差向量Vσl。
在步骤S262,终端B的学习单元94将参数Q设置为1。然后在步骤S263,终端B的学习单元94计算向量Vμ1(Q)和在步骤S177(图28中)计算的特征值向量Vc1的内积,并且存储涉及所述内积的Vμ1(Q)。然后在步骤S264,终端B的学习单元94将Q的值加1。在步骤265,终端B的学习单元94确定对所有种类的情绪信息的计算是否完成,即对所有36个中心向量Vμ1的内积计算是否完成。如果确定没有对所有种类的情绪信息计算内积,那么流程返回到步骤S263,并且重复上述处理。
当完成对对应于各种情绪信息的所有36个中心向量Vμ1的内积计算时,如图34所示,将数据存储在终端B的学习单元94的存储单元(未示出)中。在步骤S266,终端B的学习单元94依照内积的递减顺序对数据排序。
在步骤S267,终端B的学习单元94将参数R设置为1。在步骤S268,终端B的学习单元94确定是否读取了与各种情绪信息相关联的数据。如果确定没有读取与各种情绪信息相关联的数据,那么所述处理进行到步骤S269。在步骤S269,读取排序的数据。在表2中所示示例中,对应于“中级稳定状态”的特征值向量的中心向量Vμ1-29具有最大内积,并且由此首先读取对应于中心向量Vμ1-29的数据。
在步骤S270,终端B的学习单元94将参数m设置为1。然后在步骤S271,终端B的学习单元94确定是否满足条件Vμ1(R)m-Vσ1(R)m≤Vc1m≤Vμ1(R)m+Vσ1(R)m,其中Vμ1(R)m表示向量Vμ1(R)的第m个分量,Vσ1(R)m和Vc1m分别表示向量Vσ1和Vcl的分量。如上所述,脉搏信息的特征值向量包括以下五个分量:Tppg+m,Tppg-m,Tppgim,Appg+m和Appg-m。当m=1时,将分量Tppg+m从每个向量Vμ1(R),Vσ1(R),Vc1中提取并且经受所述处理。
如果在步骤S271确定不满足条件Vμ1(R)m-Vσ1(R)m≤Vc1m≤Vμ1(R)m+Vσ1(R)m,那么在步骤S276,终端B的学习单元94将R的值加1,并且流程返回步骤S268以重复上述处理。如果在步骤S271确定满足条件Vμ1(R)m-Vσ1(R)m≤Vc1m≤Vμ1(R)m+Vσ1(R)m,那么在步骤S272,终端B的学习单元94将m的值加1,并且前进到步骤S273。在步骤S273,终端B的学习单元94确定m是否等于6。如果确定m不等于6,流程返回到步骤S271以重复上述处理。
如果在步骤S273确定m等于6,即如果确定条件Vμ1(R)m-Vσ1(R)m≤Vchm≤Vμ1(R)m+Vσ1(R)m对相应向量Vμ1(R),Vσ1(R)和Vcc的所有五个分量是适用的,那么所述处理进行到步骤S274。在步骤S274,终端B的学习单元94确定Vc1属于对应于R的情绪信息E1。当R=1时,对应于R的情绪信息E1是“中级稳定状态”。
如果在步骤S268确定读取了与各种情绪信息相关联的数据,那么终端B的学习单元94确定Vc1的情绪/状态和等级无法识别,并且结束处理。
图35示出了对应于用户a的某种情绪信息的脉搏信息特征向量的示例。在此图中,在5维空间中绘图了特征向量,5维空间包括Tppg+m轴、Tppg-m轴、Tppgim轴、Appg+m轴和Appg-m轴。在图28中在步骤S177生成的特征值向量381(Vcl)接近对应于“中级稳定状态”的特征值向量分布383的中心向量382(Vμ1-29),并且由此作为识别Vc1的情绪/状态和等级的处理的结果,将特征值向量381(Vc1)确定为对应于“中级稳定状态”的特征值向量。
现在,将参照图36在下文描述识别Vc2的情绪状态以及等级的处理。此处理由终端B的学习单元94执行。
在步骤S291,终端B的学习单元94从存储单元95读取与用户a的人体运动信息相关联的特征值向量分布fvc2,分布中心向量Vμ2以及分布标准离差向量Vσ2。
如上所述,将情绪/状态分类为十二个类别,如表1所示,并且将每种情绪/状态分为三个强度等级:高级、中级以及低级。因此,存在总共36个种类的情绪信息。由此,对应于相应的36种类的情绪信息、存在36个特征值向量分布fvc2、36个分布中心向量Vμ2以及36个分布标准离差向量Vσ2。
在步骤S292,终端B的学习单元94将参数Q设置为1。在步骤S293,终端B的学习单元94计算向量Vp2(Q)和在步骤S178(图28中)计算的特征值向量Vc2的内积,并且存储涉及内积的Vμ2(Q)。然后在步骤S294,终端B的学习单元94将Q的值加1。在步骤295,终端B的学习单元94确定对所有种类的情绪信息的计算是否完成,即对所有36个中心向量Vμ2的内积计算是否完成。如果确定没有对所有种类的情绪信息计算内积,那么流程返回到步骤S293,并且重复上述处理。
当对应于相应种类情绪信息的所有36个中心向量Vμ2完成内积计算时,如图37所示,在终端B的学习单元94的存储单元(未示出)中存储数据。在步骤S296,终端B的学习单元94依照内积的递减顺序对数据排序。
在步骤S297,终端B的学习单元94将参数R设置为1。在步骤S298,终端B的学习单元94确定是否读取了与各种情绪信息相关联的数据。如果确定没有读取与各种情绪信息相关联的数据,那么所述处理进行到步骤S299。在步骤S299,读取排序的数据。在图31中所示的示例中,对应于“中级的稳定状态”的特征值向量的中心向量Vμ2-29具有最大内积,由此首先读取对应于中心向量Vμ2-29的数据。
在步骤S270,终端B的学习单元94将参数m设置为1。然后在步骤S271,终端B的学习单元94确定是否满足条件Vμ2(R)m-Vσ2(R)m≤Vc2m≤Vμ2(R)m+Vσ2(R)m,其中Vμ2(R)m表示向量Vμ2(R)的分量,Vσ2(R)m和Vc2m分别表示矢量Vσ2和Vc2的分量。如上所述,人体运动信息的特征值向量包括二个分量Velm和D。当m=1时,提取每个向量Vμ2(R),Vσ2(R)和Vc2的分量并且经受所述处理。
如果在步骤S301确定不满足条件Vμ2(R)m-Vσ2(R)m≤vc2m≤Vμ2(R)m+Vσ2(R)m,那么在步骤S306,终端B的学习单元94将R的值加1,并且并且流程返回到步骤S298以重复上述处理。另一方面,如果在步骤S301确定满足条件Vμ(R)m-Vσ2(R)m≤Vc2m≤Vμ2(R)m+Vσ2(R)m,那么在步骤S302,终端B的学习单元94将m的值加1并且处理前进到步骤S303。在步骤S303,终端B的学习单元94确定m是否等于3。如果确定m不等于3,那么流程返回到步骤S301以重复上述处理。
如果在步骤S303确定m等于3,即如果确定条件Vμ2(R)m-Vσ2(R)m≤Vc2m≤Vμ2(R)m+Vσ2(R)m 对相应向量Vμ2(R),Vσ2(R)和Vc2的两个分量是适用的,那么所述处理进行到步骤S274。在步骤S274,终端B的学习单元94确定Vc2属于对应于R的情绪信息E2。当R=1时,对应于R的情绪信息E2是“中级的稳定状态”。
如果在步骤S298确定读取了与各种情绪信息相关联的数据,那么终端B的学习单元94确定Vc2的情绪/状态和等级无法识别,并且结束处理。
图38示出了对应于用户a的某种情绪信息的人体运动信息特征向量的示例。在图38中,在2维空间中绘制人体运动信息的特征向量,2维空间包括Velm轴和D轴。在图28的步骤S178中生成的特征值向量401(Vc2)接近对应于“中级稳定状态”的特征值向量分布403的中心向量402(Vμ2-29),并且由此作为Vc2的识别情绪/状态和等级的处理的结果,将特征值向量401(Vc2)确定为对应于“中级稳定状态”的特征值向量。
现在,参考图39在下文描述输出识别结果和执行重算的处理。此处理由终端B的学习单元94执行。在步骤S321,终端B的学习单元94确定由Vc1识别的情绪信息El和由Vc2识别的情绪信息E2是否彼此相同。如果确定El和E2彼此不相同,那么在步骤S322,终端B的学习单元94修正识别结果,以便使在步骤S178(图28)生成的人体运动信息的特征值向量Vc2归于El。如上所述,由根据脉搏信息生成的特征值向量Vc1识别情绪信息El,而根据人体运动信息识别情绪信息E2。E1和E2不必彼此相同。如果E1和E2不同,那么选择由具有更大数值、即具有更大维数的分量的向量识别的情绪信息。在此具体情况中,选择了由5维向量Vc1识别的情绪信息El,并且修正由2维向量Vc2识别的情绪信息E2,如此特征值向量Vc2必须对应于情绪信息El。
在步骤S323,终端B的学习单元94向输出控制器114输出识别结果。在步骤S324,终端B的学习单元94重新计算对应于用户a的情绪信息El的脉搏信息特征值向量的分布fvc1和分布fvc1的中心向量Vμ1及标准离差向量Vσ1,以及重新计算对应于用户a的情绪信息El的人体运动信息特征值向量的分布fvc2和分布fvc2的中心向量Vμ2及标准离差向量Vσ2,并且终端B的学习单元94存储重新计算的结果。更具体地说,将在步骤S177和S178(图28)生成的特征值向量Vc1和Vc2分别添加到表明用户a的“中级稳定状态”的脉搏信息特征值向量以及存储在存储单元中的人体运动信息的特征值向量中,并且重新计算fvc1、Vμ1以及Vσ1和fvc2、Vμ2和Vσ2,并且存储在存储单元95中。
以这种方式,根据脉搏信息和人体运动信息识别情绪/状态和等级,并且存储与识别出的情绪状态和等级的特征向量相关联的信息。
由此,终端B根据从终端A发送的用户a的人体运动信息脉搏信息来生成特征值向量Vc1和Vc2,而终端B根据生成的特征值向量Vc1和Vc2识别情绪/状态和强度等级。同样地,终端B也可以根据用户b的人体运动信息脉搏信息生成特征值向量,并且可以识别情绪/状态和其等级。
同样地,终端A识别用户a和用户b的情绪/状态和强度等级。
现在参考图40和41在下文描述输出信息的处理。在步骤S341,系统控制器97确定是否选择待输出的信息。如果未选择待输出的信息,那么处理等到选择待输出的信息为止。选择待输出的信息例如可以通过显示在终端显示器上的菜单项执行。由用户使用以选择待输出信息的选择菜单包括以下四个项目:“识别结果”、“基于特征值的信息”、“波形信息”以及“存储信息”。
如果在步骤S341确定选择了待输出的信息,那么在步骤S342,系统控制器97确定选择待输出的信息是否是识别结果。如果确定选择的待输出信息是识别结果,那么在步骤S343,系统控制器97向输出控制器114发送2位选择信息00,表明应该输出识别结果。
在步骤S344,输出控制器114输出与情绪/状态和其等级相关联的识别结果。例如,在终端显示器上显示文本消息“检测到中级稳定状态”
如果在步骤S342确定选择待输出的信息不是识别结果,那么在步骤S345,系统控制器97确定选择待输出的信息是否是基于特征值的信息。如果确定选择待输出的信息是基于特征值的信息,那么在步骤S346,系统控制器97向输出控制器114发送2位选择信息01,表明应该输出基于特征值的信息。
在步骤S347,输出控制器114从特征提取器112获得特征值(Tppg+,Tppg-,Tppgi,Appg+,Appg-)。在步骤S348,输出控制器114生成光发射单元驱动信号。更具体地说,如图42所示,产生了具有振幅Appg+、接通时间Tppg+和断开时间Tppg-的正弦波信号。在步骤S349,输出控制器114驱动光发射单元192。
在步骤S350,输出控制器114从特征提取器112获得特征值(Vel,ΔV)。然后在步骤S351,输出控制器114生成驱动信号,用于令运动目标以移动速度Vel移动距离ΔV。在步骤S352,输出控制器114驱动运动目标152。
如果在步骤S345确定选择待输出的信息不是基于特征值的信息,那么在步骤S353,系统控制器97确定选择待输出的信息是否是波形信息。如果确定选择待输出的信息是波形信息,那么系统控制器97向输出控制器114发送2位选择信息10,表明应该输出波形信息。在步骤S356,输出控制器114从特征提取器112获得采样的脉搏信息并且生成波形信号。在步骤S357,输出控制器114驱动光发射单元192。
在步骤S358,输出控制器114从特征提取器112获得采样的脉搏信息并且生成波形信号。在步骤S359,输出控制器114驱动运动目标152。
如果在步骤S353确定选择待输出的信息不是波形信息,那么在步骤S360,系统控制器97确定选择待输出的信息是否是存储的信息。如果确定选择待输出的信息是存储的信息,那么在步骤S361,系统控制器97向输出控制器114发送2位选择信息01,表明应该输出存储的信息。
当选择待输出的信息是存储信息的情况下,还将子菜单显示在终端的显示器上,以便用户可以规定待输出的存储信息项。更具体地说,用户可以对信息项inf1或者inf2做出选择,所述信息项诸如脉搏信息或者人体运动信息、识别用户的信息PID以及情绪信息E。例如,选择脉搏信息作为inf1、人体运动信息作为inf2、表明用户a的信息作为PID以及″强烈的兴趣″作为情绪信息E。
在步骤S362,系统控制器97确定是否选择了信息项inf1和inf2、识别用户的信息PID以及情绪信息E。如果不执行选择,处理等到进行选择为止。
在步骤S363,系统控制器97依照用户做出的选择生成信息(inf1、inf2、PID、E),并且向输出控制器114发送生成的信息。
在步骤S364,根据(inf1、inf2、PID、E),输出控制器114从存储单元95获得脉搏信息的中心向量以及人体运动信息的中心向量。在此具体情况中,从存储单元中获得了对应于用户a的“高级的兴趣”的脉搏信息特征值向量的中心向量Vμ1(Tppg+,Tppg-,Tppgi,Appg+,Appg-),以及对应于用户a的“高级的兴趣”的人体运动信息特征值向量的中心向量Vμ2(Velm,D)。
在步骤S365,输出控制器114依照中心向量Vμ1生成光发射单元驱动信号。更具体地说,如图43所示,产生了具有振幅Appg+、接通时间Tppg+和断开时间Tppg-的正弦波信号441。然后在步骤S365,输出控制器114依照生成的驱动信号驱动光发射单元三次。
在步骤S366,根据中心向量Vμ2,输出控制器114生成驱动信号,用于令运动目标以移动速度Vel移动距离D。然后在步骤S367,输出控制器114驱动运动目标152。
如果在步骤S360确定选择待输出的信息不是存储的信息,那么在步骤S368,系统控制器97执行错误处理。在完成错误处理之后,处理结束。
由此,显示根据生命指征信息识别出的情绪/状态和其强度等级,以便用户可以识别他们。此外,光线可以闪烁,和/或物体可以移动,以便用户可以通过身体的感觉识别生命指征信息。
示例2
图44示出了依照本发明第二实施例的信息处理设备的结构示例。此信息处理设备例如可以应用于个人计算机。所述信息处理设备包括输入单元301,用于输入语言信息和/或键盘振动信息;处理单元303,用于处理经由输入单元301输入的信息;学习单元304,用于根据从处理单元303输出的属性信息和情绪信息执行学习和识别;存储单元305,用于存储从学习单元304输出的学习信息和识别信息;输出单元302,用于根据从处理单元303输出的输出信息来输出信息;用于通信的通信单元306,以及用于控制各种部件的系统控制器307。
处理单元303包括信息鉴别器321,用于将经由输入单元301输入的信息分类为语言信息或者键盘振动信息;特征提取器322,用于从键盘振动信息中提取属性信息;意思提取器323,用于从语言信息中提取情绪信息;输出控制器324,用于向输出单元302输出信息。通信单元306包括用于发送信息的信息发送单元325以及用于接收信息的信息接收单元326。
图45示出了输入单元301的结构示例。在图45中所示的示例中,输入单元301包括键盘341,用于检测当用户按压键盘341时生成的振动的振动传感器342,用于放大从振动传感器342输出的信号的电源/放大器343。
图46示出了输出单元302的示例。在图46中所示的示例中,输出单元302包括振动电动机362,依照驱动信号振动的振动显示单元362,以及用于驱动振动显示单元的电源/放大器361。
在此,用户a的信息处理设备由终端A表示,而用户b的信息处理设备由终端B表示。用户a和用户b依照图47中所示的处理、可以利用他们的终端A和B相互通信。首先,终端A向终端B发送连接请求。作为响应,终端B向终端A返回连接确认信号。此后,在终端A和终端B之间发送诸如邮件或者聊天的电文信息。
终端A执行与振动信息(在此具体示例中是当用户按压键盘时产生的振动)的发送/接收相关联的初始设置,并且向终端B发送发送/接收请求连同传输设置信息和接收设置信息,如示例1的图11中所示的那些。
如果终端B接收来自于终端A的振动信息传输请求,那么终端B改变与振动信息的发送/接收相关联的设置,并且向终端A返回确认信号。
然后,终端A向终端B发送用户a的振动信息,并且终端B向终端A发送用户b的振动信息。终端A和终端B存储所接收的振动信息。
如果终端A向终端B发送连接结束请求,那么终端B发送连接结束确认信号,并且结束通信。
依照上述方式在终端A和终端B之间执行通信,并且将振动信息存储在终端A和终端B中。在存储了足够数量的振动信息之后,如图48所示那样执行信息的发送/接收。如果在终端A和终端B之间发送振动信息,那么终端A和终端B检测用户的情绪或者状态。
参考图49,在下文描述由终端B执行以存储振动信息的处理。首先,在步骤S381中,在与终端A开始通信的时候,终端B的系统控制器307获得信息(例如姓名或者昵称)PID,其用于识别与其通信的终端A的用户a。在步骤S382中,终端B的系统控制器307命令信息鉴别器321确定是否按压终端A的键盘以输入信息。如果还没有接收到经由键盘输入的信息,那么所述处理等到接收了经由键盘输入的信息为止。
如果在步骤S382确定通过按压键盘输入了信息,那么在步骤S383,终端B的系统控制器307命令特征提取器322开始采样振动信息,所述振动信息也就是当用户a按压键盘时生成的信息,并且将其从终端A发送出去。然后在步骤S384,终端B的系统控制器307利用意思提取器323分析输入的文本信息。在步骤S385,终端B的系统控制器97确定识别的文本信息是否包括表明用户a的情绪、状态和情绪/状态强度等级的文字。如果确定识别的文本信息不包括表明情绪、状态或者情绪/状态强度等级的文字,那么所述处理返回到步骤S382,并且重复上述处理。表明情绪或者状态的文字可以诸如图23中所示那些,并且表明强度等级的文字可以诸如图24中所示那些,参照示例1。
当在步骤S385确定文本信息包括表明情绪、状态或者情绪/状态的强度等级的文字的情况下,那么在步骤S386中,终端B的系统控制器307确定检测到的文字的对象是否是用户a,即检测到的文字是否表明用户a的情绪、状态或者情绪/状态的等级。如果对象不是用户a,那么所述处理返回到步骤S382,并且重复上述处理。
当在步骤S386确定用户是对象的情况下,所述处理进行到步骤S387。在步骤S387,终端B的系统控制器307确定是否已经输入文本信息的短语。如果还没有输入语音的一个短语,那么终端B的系统控制器307等到输入了文本信息的一个短语为止。
如果在步骤S387确定已经输入了一个短语,那么在步骤S388,终端B的系统控制器307命令特征提取器322结束采样振动信息,所述振动信息表明由按压键盘引起的振动。
对表明由按压键盘引起的振动的振动信息的采样可以由终端A的特征提取器322执行,并且可以将采样信息发送到终端B。然后在步骤S389,终端B的系统控制器307经由意思提取器323提取情绪信息E。
例如,当用户a输入“我非常欣喜。”时,对应于文字“欣喜”的情绪状态是高兴,并且对应于文字“非常”的强度等级是高级。由此,高级的高兴状态作为情绪信息E被检测。
在步骤S390中,终端B的系统控制器307命令特征提取器322根据用户a的脉搏信息生成特征向量Vc。在步骤S391,从存储单元305中读取对应于识别用户的信息PID的振动信息以及情绪信息E。在此具体情况中,读取对应于用户a的微弱兴趣的振动信息的特征向量。然后在步骤S392,利用学习单元304,终端B的系统控制器307将所生成的特征向量Vc添加到读出的特征向量,并且重新计算向量分布fvc、分布中心向量Vμ以及标准离差向量Vσ。在步骤S393中,将重新计算的向量存储在存储单元305中。
现在,下文将参照图51和52描述生成振动信息的特征向量Vc的处理。此处理由终端B的特征提取器322执行。在步骤S401,终端B的特征提取器322读出采样的振动信息。参照示例1,此后在步骤S402,终端B的特征提取器322执行参照图16描述的极性检测处理,并且在步骤S403中执行参照图17描述的TV生成处理,此外在步骤S404中,执行参照图18描述的Vmin/Vmax检测处理。
图54示出了当按压键盘时生成的振动波形491的示例。所述波形491包括具有由用户执行向下按压按键引起的明确振动的部分492以及494,以及包括因用户没有按压按键而基本上不具有振动的部分493以及495。如果采样具有明确振动的部分492或者494,并且使采样的数据历经极性检测处理以及TV生成处理,那么由此获得Tv+,Tv0,Tv-,Tv0,Tv+...。另一方面,当采样基本上不具有振动的部分493或者495时,并且采样的数据历经极性检测处理以及TV生成处理时,仅仅获得具有过大值的Tv0。因此,如果输出的Tv0小于预定阈值Th,那么能够确定用户向下按压了按键。另一方面,当输出的Tv0大于预定阈值Th时,那么能够确定用户没有向下按压按键。
在图52所示的步骤S405中,终端B的特征提取器322将参数n和P都设置为1。然后在步骤S406,终端B的特征提取器322确定Tv0(P)是否大于阈值Th。如果确定Tv0(P)大于阈值Th,那么在步骤S407,终端B的特征提取器322将Tstr(n)+Tv+(P)+Tv-(P)设置为Tstr(n)。注意,将Tstr(n)最初设置为0。
在步骤S408,终端B的特征提取器322确定Vmax(P)是否大于Imax(n)。注意,Imax(n)的初始值是0。如果在步骤S408确定Vmax(P)大于Imax(n),那么在步骤S409,终端B的特征提取器322将Vmax(P)的值设置为Imax(n)。此后,在步骤S410,终端B的特征提取器322将P的值加1,并且流程返回到步骤S406以便重复上述处理。另一方面,如果在步骤S408确定Vmax(P)不大于Imax(n),那么跳过步骤S409。
当在步骤S406确定TvO(P)大于阈值Th的情况下,那么在步骤S411,终端B的特征提取器322将Tv0(P)的值设置为Tint(n),将P的值加1,并且生成特征值向量Vc1(Tstr(n),Tint(n),Imax(n))。在步骤S413,终端B的特征提取器322确定是否存在Tv0(P)。如果确定存在Tv0(P),那么在步骤S414,终端B的特征提取器322将n的值加1。此后,所述流程返回到步骤S406,并且重复上述处理。
另一方面,如果在步骤S413确定不存在Tv0(P),那么终端B的特征提取器322结束该处理。
由此,如图55A所示,根据图54中所示的波形491获得Tstr(1)511、Tint(1)512、Tstr(2)513、Tint(2)514、Tstr(3)515、Tint(3)516、Tstr(4)517、Tint(4)518、Tstr(5)511以及Tint(5)512。Tstr(1)到Tstr(5)表明用户向下按压一些按键的周期,而Tint(1)到Tint(5)表明向下按压一些按键期间的两个相邻周期之间的间隔。在此具体示例中,向下按压按键五次。
此外,如图55B所示,根据图54中所示波形491获得Imax(1)531、Imax(2)532、Imax(3)533、Imax(4)534以及Imax(5)535,其中Imax(1)到Imax(5)表明第一到第五振动周期的最大振动强度。
依照上述方式,生成对应于用户a的高级的高兴的振动信息的特征向量Vc。
如上所述,依照从用户a的终端A接收的键盘振动信息,终端B生成特征值向量Vc并且存储它。同样地,终端B根据与用户b的键盘相关联的振动信息生成特征值向量,并且存储所生成的特征值向量。由此,如图53所示,对于用户a和用户b,分别将与键盘振动信息相关联的学习结果461存储在终端B的存储单元95中。
同样地,终端A分别为用户a和用户b存储与键盘振动信息相关联的学习结果。
一旦作为重复上述振动信息存储处理的结果已经存储了足够的振动信息量,就能够根据振动信息识别每个用户的情绪/状态和强度等级。
参见图56,下面将描述终端B执行的识别情绪状态的处理。
首先在步骤S431,在与终端A开始通信的时候,终端B的系统控制器307获得信息PID,所述信息PID识别与其通信的终端A的用户a。在步骤S432中,终端B的系统控制器307命令信息鉴别器321确定是否按压终端A的用户a的键盘以输入信息。如果还没有接收到经由键盘输入的信息,那么所述处理等到接收经由键盘输入了信息为止。
如果在步骤S432确定按压键盘输入了信息,那么在步骤S433,终端B的系统控制器97命令特征提取器322开始采样振动信息,所述振动信息也就是当用户a按压键盘时生成的信息,并且将其从终端A发送出去。那么在步骤S434,终端B的系统控制器307命令意思提取器323确定是否已经输入了文本信息的一个短语。如果还没有输入电文信息的一个短语,那么处理等到输入了电文信息的一个短语为止。如果在步骤S434确定已经输入了一个短语,那么终端B的系统控制器307命令特征提取器322结束采样振动信息,所述振动信息是当用户a按压键盘时生成的信息,并且从终端A发送。
对表明由按压键盘引起的振动的振动信息的采样可以由终端A的特征提取器322执行,并且可以将采样信息发送到终端B。
在步骤S436,终端B的系统控制器307命令特征提取器112生成特征向量Vch。在步骤S437,终端B的系统控制器307命令学习单元304识别Vch的情绪/状态以及其强度等级。在步骤S438,终端B的系统控制器307命令学习单元304输出识别结果并且执行重算。
现在,下面将参照图57以及58描述Vch生成处理。此处理由终端B的特征提取器322执行。在步骤S451,终端B的特征提取器322读出采样的振动信息。此后,参照示例1,在步骤S452,终端B的特征提取器322执行参照图16描述的极性检测处理,并且在步骤S453中执行参照图17描述的TV生成处理,此外在步骤S454中,执行参照图18描述的Vmin/Vmax检测处理。
在图58所示的步骤S455中,终端B的特征提取器322将参数n和P都设置为1。然后在步骤S456,终端B的特征提取器322确定Tv0(P)是否大于阈值Th。如果确定Tv0(P)大于阈值Th,那么在步骤S457,终端B的特征提取器322将Tstr(n)+Tv+(P)+Tv-(P)设置为Tstr(n)。注意,将Tstr(n)最初设置为0。
在步骤S458,终端B的特征提取器322确定Vmax(P)是否大于Imax(n)。注意,Imax(n)的初始值是0。如果在步骤S458确定Vmax(P)大于Imax(n),那么在步骤S459,终端B的特征提取器322将Vmax(P)的值设置为Imax(n)。此后,在步骤S460,终端B的特征提取器322将P的值加1,并且流程返回到步骤S456以便重复上述处理。另一方面,如果在步骤S458确定Vmax(P)不大于Imax(n),那么跳过步骤S459。
当在步骤S456确定TvO(P)大于阈值Th的情况下,那么在步骤S461,终端B的特征提取器322将Tv0(P)的值设置为Tint(n),并且将P的值加1。此外在步骤S462,终端B的特征提取器322生成特征值向量Vc(Tstr(n),Tint(n),Imax(n))。在步骤S463,终端B的特征提取器322确定是否存在Tv0(P)。如果确定存在Tv0(P),那么在步骤S465,终端B的特征提取器322将n的值加1。此后,所述流程返回到步骤S456,并且重复上述处理。
另一方面,如果在步骤S463确定不存在Tv0(P),那么在步骤S464,终端B的特征提取器322生成Vc的均值向量Vch。
例如,如果终端A的用户a输入字母字符“How about that?”,那么将振动信息发送到终端B。响应接收所述振动信息,终端B对应于所输入的包括空格的十五个字符生成十五个特征值向量Vc,并且生成那十五个特征向量Vc的均值向量Vch。
参照图59在下文描述识别vch的情绪、状态以及强度等级的处理。此处理由终端B的学习单元304执行。
在步骤S481,终端B的学习单元304从存储单元305读出与用户a的振动信息相关联的特征值向量分布fvc、分布中心向量Vμ以及分布标准离差向量Vσ。
如上所述,存在36种情绪信息,并且存在对应于相应的36种情绪信息的36个特征值向量分布fvc,36个分布中心向量Vμ以及36个分布标准离差向量Vσ。
在步骤S482中,终端B的学习单元304将参数Q的值设置为1。然后在步骤S483,终端B的学习单元304计算在步骤S436(在图56中)计算的向量Vμ(Q)和特征值向量Vch的内积,并且存储相关的所述内积的Vμ(Q)。然后在步骤S484,终端B的学习单元304将Q的值加1。在步骤485,终端B的学习单元304确定对所有种类的情绪信息是否完成了计算,即是否完成了对所有36个中心向量Vμ的内积计算。如果确定没有对所有种类的情绪信息计算内积,那么流程返回到步骤S483,并且重复上述处理。
当完成了对应于各种情绪信息的36个中心向量Vμ的内积计算时,将与情绪信息相关联的数据、内积、表明中心向量Vμ的种类的数据以及表明内积顺序的数据存储在终端B的学习单元304的存储单元(未示出)中,如示例1所示。在步骤S486,终端B的学习单元304依照内积的递减顺序排序所述数据。
在步骤S487中,终端B的学习单元304将参数R设置为1。在步骤S488,终端B的学习单元304确定是否读取了与各种情绪信息相关联的数据。如果确定没有读取与各种情绪信息相关联的数据,那么在步骤S489,终端B的学习单元304读取排序的数据。在步骤S490中,终端B的学习单元304将参数m设置为1。在步骤S491,终端B的学习单元304确定是否满足条件Vμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Vσ(R)m,其中Vμ(R)m表示向量Vμ(R)的分量,而Vσ(R)m和Vchm分别表示向量Vσ和Vch的第m个分量。如上所述,振动信息的每个特征值向量包括三个分量:Tstr,Tint和Imax。当m=1时,从每个向量Vμ(R)、Vσ(R)和Vc中提取分量Tstr,并且经受所述处理。
如果在步骤S491确定不满足条件Vμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Vσ(R)m,那么在步骤S496,终端B的学习单元304将R的值加1。然后所述处理返回到步骤S488,并且重复上述处理。另一方面,如果在步骤S491确定满足条件Vμ(R)mVμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Vσ(R)m,那么在步骤S492,终端B的学习单元304将m的值加1。在步骤S493,终端B的学习单元302确定m是否等于4。如果确定m不等于4,那么流程返回到步骤S491,并且重复上述处理。
如果在步骤S493确定m等于4,即如果确定对每个向量Vμ(R),Vσ(R)和Vch的所有三个分量来说、条件Vμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Vσ(R)m都满足,那么在步骤S494,终端B的学习单元304确定Vch属于对应于R的情绪信息E。
如果在步骤S488确定读取了与各种情绪信息相关联的数据,那么终端B的学习单元304确定无法识别Vch的情绪/状态和强度等级,并且结束所述处理。
图60示出了对应于用户a的某种情绪信息的振动信息的特征向量。在图60中,以包括Tstr轴、Tint轴和Imax轴的3维空间方式绘制特征向量。在图56的步骤S436中生成的特征值向量555(Vch)接近对应于“低级的讨厌”的特征值向量分布557的中心向量556(Vμ15),并且由此作为Vch的情绪/状态和其强度等级的识别处理的结果,将特征值向量555(Vch)识别为对应于“低级的讨厌”的特征值向量。
以这种方式,根据特征值向量Vch识别出情绪/状态以及其强度等级。
现在,下面将参照图61描述输出识别结果并且执行重算的处理。此处理由终端B的学习单元304执行。在步骤S511,终端B的学习单元304向输出控制器324输出识别结果。在步骤S512,终端B的学习单元304重新计算对应于用户a的情绪信息E的振动信息特征值向量的分布fvc和中心向量Vμ,以及分布fvc的标准离差向量Vσ,并且终端B的学习单元304存储重新计算的结果。也就是说,将在步骤S436(图56)中生成的特征值向量Vch添加到存储在存储单元中的振动信息的特征值向量中,所述振动信息表明用户a的“微弱的讨厌状态”,并且重新计算fvc,Vμ和Vσ且存储在存储单元305中。
以这种方式,根据振动信息识别情绪/状态和其强度等级,并且存储与识别出的情绪/状态和其强度等级的特征向量相关联的信息。
如上所述,依照从用户a的终端A接收的键盘振动信息,终端B生成特征值向量Vch并且识别Vch的情绪/状态及其强度等级。同样地,依照与用户b的键盘相关联的键盘的振动信息,终端B生成特征值向量Vch并且识别Vch的情绪/状态以及强度等级。
同样地,终端A识别用户a以及用户b的情绪/状态及其强度等级。
现在,下面将参照图62以及63描述信息输出处理。首先在步骤S531,系统控制器307确定是否选择了待输出的信息。如果没有选择待输出信息,那么所述处理等到选择待输出信息为止。待输出信息的选择例如可以参照示例1、通过点击显示在终端的显示器上的菜单项来执行。由用户使用的以选择待输出信息的选择菜单包括以下四项:“识别结果”、“基于特征值的信息”、“波形信息”以及“存储的信息”。
如果在步骤S531确定选择了待输出信息,那么在步骤S532,系统控制器307确定选择的待输出信息是否是识别结果。如果确定选择的待输出信息是识别结果,那么在步骤S533,系统控制器307向输出控制器324发送2位选择信息00,表明应该输出识别结果。
在步骤S534,输出控制器324输出与情绪/状态以及其强度等级相关联的识别结果。例如,将文字“用户A处于微弱的讨厌状态”显示在终端的显示器上。
如果在步骤S532确定选择的待输出信息不是识别结果,那么在步骤S307,系统控制器307确定选择的待输出信息是否是基于特征值的信息。如果确定选择的待输出信息是基于特征值的信息,那么在步骤S536,系统控制器307向输出控制器324发送2位选择信息01,表明应该输出基于特征值的信息。
在步骤S537,输出控制器324根据特征提取器322获得特征值(Tstr,Tint,Imax)。然后在步骤S538,输出控制器324生成振动显示单元驱动信号。更具体地说,如图64所示,生成了具有输出电平Imax、接通时间Tstr以及断开时间Tint的矩形波信号。然后在步骤S539,输出控制器324驱动振动显示单元362。
如果在步骤S535确定选择的待输出信息不是基于特征值的信息,那么在步骤S540,系统控制器307确定选择的待输出信息是否是波形信息。如果确定选择的待输出信息是波形信息,那么系统控制器307向输出控制器324发送2位选择信息10,表明应该输出波形信息。在步骤S542,输出控制器324根据特征提取器322获得采样的振动信息,并且生成波形信号。在步骤S543,输出控制器324驱动振动显示单元362。
如果在步骤S540确定选择的待输出信息不是波形信息,那么在步骤S544,系统控制器307确定选择的待输出信息是否是存储的信息。如果确定选择的待输出信息是存储信息,那么在步骤S545,系统控制器307向输出控制器324发送2位选择信息01,表明应该输出存储的信息。
当选择的待输出信息是存储的信息的情况下,还将子菜单显示在终端的显示器上,以便用户可以规定待输出的存储的信息项目。更具体地说,用户可以根据信息项inf作出选择,所述信息项诸如键盘振动信息、识别用户的信息PID以及情绪信息E。例如,用户可以选择键盘振动信息作为inf,表明用户a的信息作为PID并且“强烈的有生气状态”作为情绪信息E。
在步骤S546,所述系统控制器307确定是否选择了表明特殊种类信息、识别用户的PID以及情绪信息E的inf。如果没有执行选择,那么所述处理等到作出选择为止。
在步骤S547,系统控制器307依照用户作出的选择生成信息(inf,PID,E),并且向输出控制器324发送生成的信息。
在步骤S548,依照(inf,PID,E),输出控制器324从存储单元305获得与键盘相关联的振动信息的中心向量。在此具体情况中,从存储单元获得对应于用户a的“高级的有生气的”的脉搏信息特征值向量的中心向量Vμ(Tstr,Tint,Imax)。
在步骤S549,输出控制器324依照中心向量Vμ生成振动显示单元驱动信号。更具体地说,如图65所示,生成了具有输出电平Imax、接通时间Tstr以及断开时间Tint的矩形波信号591。然后在步骤S550,输出控制器324依照生成的驱动信号驱动振动显示单元362三次。
如果在步骤S544确定选择的待输出信息不是存储信息,那么在步骤S551,系统控制器307执行错误处理。在完成错误处理之后,结束所述处理。
由此,显示根据振动信息识别出的情绪/状态以及其强度等级,以便用户可以识别它们。此外,驱动振动显示单元,以便用户可以经由身体的感觉识别振动信息。
示例3
图66示出了依照本发明第三实施例的信息处理设备的结构示例。此信息处理设备例如可以应用于个人计算机。所述信息处理设备包括输入单元611,用于输入情绪声明信息、鼠标点击信息、鼠标抓取压力信息或者周围温度信息;处理单元613,用于处理经由输入单元611输入的信息;学习单元614,用于根据从处理单元613输出的属性信息以及情绪信息执行学习以及识别;存储单元615,用于存储从学习单元614输出的学习信息和识别信息;输出单元612,用于根据从处理单元613输出的输出信息来输出信息;用于通信的通信单元616以及用于控制各个部件的系统控制器617。
所述处理单元613包括信息鉴别器631,用于将经由输入单元611输入的信息分类为情绪/状态声明信息、周围温度信息或者鼠标点击/抓取压力信息,特征提取器632用于从鼠标点击信息以及鼠标抓取压力信息中提取属性信息,以及输出控制器612,用于向输出单元612输出信息。通信单元616包括用于发送信息的信息发送单元634以及用于接收信息的信息接收单元635。
图67示出了输入单元611的结构示例。在图67中所示的示例中,所述输入单元611包括抓取压力传感器671,用于检测用户抓取鼠标时的抓取压力;压力监测器652,用于将从抓取压力传感器671输出的信号转换为压力信号;温度传感器653,用于检测周围温度;以及电源/放大器654,用于放大从温度传感器653输出的信号。
图68示出了输出单元612的结构示例。在此例子中,所述输出单元612包括温度显示单元692,用于依照驱动信号发热,以及电源/放大器691,用于驱动温度显示单元692。所述温度显示单元692例如由Peltier设备693形成,其温度根据通过Peltier设备693的电流来改变。
在此,用户a的信息处理设备由终端A表示,用户b的信息处理设备由终端B表示。用户a以及用户b可以依照图69中所示处理、利用他们的终端A以及B相互通信。首先,终端A向终端B发送连接请求。作为响应,终端B向终端A返回连接确认信号。此后,在终端A和终端B之间发送诸如邮件或者聊天的电文信息。
终端A执行与发送/接收点击信息和抓取压力信息(在此具体示例中是用户抓取鼠标时的抓取压力)相关联的初始设置,并且向终端B发送一条发送/接收请求连同传输设置信息和接收设置信息,参照示例1。
如果终端B接收了来自于终端A的振动信息传输请求,那么终端B改变与点击信息和抓取压力信息的发送/接收相关联的设置,并且向终端A返回确认信号。
然后,终端A向终端B发送用户a的点击信息和抓取压力信息,并且终端B向终端A发送用户b的振动信息。终端A和终端B存储所接收的点击信息和抓取压力信息。
如果终端A向终端B发送连接结束请求,那么终端B发送连接结束确认信号,并且结束通信。
在终端A和终端B之间依照上述方式执行通信,并且将点击信息和抓取压力信息存储在终端A和终端B中。在存储了足够的点击信息和抓取压力信息量之后,如图70所示那样执行信息的发送/接收。如果在终端A和终端B之间发送点击信息和抓取压力信息,那么终端A和终端B检测用户的情绪或者状态。
现在,下面将参照图71描述终端B执行以存储点击信息和抓取压力信息的处理。首先,在步骤S571中,在与终端A开始通信的时候,终端B的系统控制器617获得信息(例如姓名或者昵称)PID,其用于识别与其通信的终端A的用户a。在步骤S572,终端B的系统控制器617获得从终端A发送的周围温度信息K。在步骤S572中,终端B的系统控制器617命令信息鉴别器631确定是否从终端A输入了的情绪/状态声明信息。如果还没有输入情绪/状态声明信息,那么所述处理等到输入了情绪/状态声明信息为止。
将诸如图76中示出的情绪/状态图显示在终端A的显示器上。用户a通过利用鼠标点击情绪/状态图的相应区域特定的次数来声明他/她的情绪/状态。如果利用鼠标点击了情绪/状态图,那么将诸如图77中所示的情绪/状态信息从终端A发送到终端B。在所述声明处理中,通过点击情绪/状态图的次数来表明情绪/状态的强度等级。更具体地说,通过点击两次表明低级,通过点击三次表明中级,通过点击四次表明高级。
与用户相关联的情绪/状态声明信息可以通过利用在虚拟空间中分配给用户的代理(诸如化身)来获得。
当在步骤S573确定输入了情绪/状态声明信息的情况下,那么在步骤S574,终端B的系统控制器617命令特征提取器632开始采样与从终端A发送的用户a相关联的点击信息和抓取压力信息。然后在步骤S575,终端B的系统控制器617从情绪/状态声明信息中提取情绪信息E。在步骤S576,终端B的系统控制器617命令特征提取器632结束对点击信息和抓取压力信息的采样。
可以由终端A的特征提取器632执行鼠标点击信息和抓取压力信息的采样,并且可以将作为结果产生的采样信息发送到终端B。
例如,当用户a利用鼠标点击情绪/状态声明图中分配给惊奇的区域四次时,将“强烈的惊奇”提取作为情绪信息E。
在步骤S577,终端B的系统控制器617命令特征提取器632根据用户a的点击信息和抓取压力信息生成特征向量Vc。在步骤S578,确定周围温度K是否等于或者高于参考值K1。如果确定周围温度K等于或者高于参考值K1,那么在步骤S579,从存储单元615中读取对应于K≤K1时的信息PID以及情绪信息E的点击信息和抓取压力信息。在此具体情况中,读取对应于在周围温度等于或者高于K1时、用户a的强烈惊奇的点击信息和抓取压力信息的特征值向量。
当在步骤S578确定周围温度K低于参考值K1时,那么在步骤S580,终端B的系统控制器617从存储单元615中读取对应于K≥K1时的信息PID以及情绪信息E的点击信息和抓取压力信息。在此具体情况中,读取对应于在周围温度低于K1时、用户a的强烈惊奇的点击信息和抓取压力信息的特征值向量。
在步骤S581,利用学习单元614,终端B的系统控制器617将最新生成的特征向量Vc添加到读取的特征向量中,并且重新计算向量分布fvc,分布中心向量Vμ以及标准离差向量Vσ。在步骤S582中,将重新计算的向量存储在存储单元615中。
现在,下文将参照图73描述生成点击信息和抓取压力信息的特征向量Vc的处理。此处理由终端B的特征提取器632执行。在步骤S591,终端B的特征提取器632读出采样的点击信息和抓取压力信息。此后,参照示例1,在步骤S592,终端B的特征提取器632执行参照图16描述的极性检测处理,在步骤S593中执行参照图17描述的TV生成处理,此外在步骤S594中,执行参照图18描述的Vmin/Vmax检测处理。在步骤S595,终端B的特征提取器632执行点击特征值计算以获得Tclm以及Tcim。稍后将描述计算处理的细节。
然后在步骤S596,终端B的特征提取器632读出采样的抓取压力信息。在步骤S597,终端B的特征提取器632执行极性检测处理,并且在步骤S598执行TV生成处理,还在步骤S599执行Vmin/Vmax检测处理。在步骤S600,终端B的特征提取器632执行抓取压力特征值计算以获得Tgrpm以及Igrpm。稍后将描述计算处理的细节。
在步骤S601,终端B的特征提取器632生成特征值向量Vc(Tclm,Tcim,Tgrpm,Igrpm)。
现在,下面将参照图74描述计算点击特征值的处理。图79示出了当用户点击鼠标时生成点击信息的波形示例。也就是说,当用户向下点击所述点击按钮时,当用户向下按压鼠标的点击按钮时,输出脉冲771、脉冲773、脉冲775以及脉冲777。当没有按压点击按钮时,在772,774以及776表示的周期中所述输出成为0。如果采样此波形,并且使采样的数据历经极性检测处理以及TV生成处理,那么由此获得Tv+,Tv0,Tv+,Tv0,Tv+...。
在图74的步骤S621中,终端B的特征提取器632将参数n和P都设置为1。然后在步骤S622,终端B的特征提取器632将Tv+(P)的值设置为Tc1(n),并且将Tv0(P)的值设置为Tci(n)。然后在步骤S623,终端B的特征提取器632将P的值加1。在步骤S624中,终端B的特征提取器632确定Tv+(P)或者Tv0(P)是否存在。如果确定存在Tv+(P)或者Tv0(P),那么流程返回到步骤S622,并且重复上述处理。
如果在步骤S624确定Tv+(P)或者Tv-(P)不存在,那么在步骤S625,终端B的特征提取器632计算Tcl的平均值Tclm以及Tci的平均值Tcim。在图79中所示的具体示例中,依照以下等式分别计算Tclm以及Tcim。
Tclm=(Tcl(l)+Tcl(2)+Tcl(3)+Tcl(4))/4
Tcim=(Tci(l)+Tci(2)+Tci(3))/3
现在,下面将参照图75描述计算抓取压力特征值的处理。图80示出了用户抓取鼠标时的抓取压力波形791示例。如果采样此波形,并且使采样的数据历经极性检测处理以及TV生成处理,那么作为结果获得Tv+,Tv0,Tv+...。也就是说,当用户以高于阈值Vth0的抓取压力抓取鼠标时获得Tv+,而当抓取压力低于阈值Vth0时获得Tv0。
通过执行Vmax/Vmin检测处理,获得在周期Tv+期间表明最大抓取压力的Vmax,在所述期间内用户以高于阈值Vth0的抓取压力抓取鼠标。
在步骤S641中,终端B的特征提取器632将参数n和P都设置为1。然后在步骤S642,将Tv+(P)的值设置为Tgrp(n),并且将Vmax(P)的值设置为Igrp(n)。
在步骤S643,终端B的特征提取器632将P的值加1。在步骤S644中,终端B的特征提取器632确定Tv+(P)或者Tv-(P)是否存在。如果确定存在Tv+(P)或者Tv-(P),那么在步骤S44,终端B的特征提取器632计算Tgrp的平均值Tgrpm以及Igrp的平均值Igrpm。在图80所示的具体示例中,依照以下等式分别计算Tgrpm以及Igrpm。
Tgrpm=(Tgrp(l)+Tgrp(2))/2
Igrpm=(Igrp(1)+Igrp(2))/2
依照上述方式,生成对应于用户a的强烈惊奇的点击信息和抓取压力信息的特征向量Vc。
由此,终端B根据与从终端A接收的用户a的鼠标相关联的点击信息和抓取压力信息来生成特征值向量Vc,并且终端B存储所生成的特征值向量Vc。同样地,终端B根据与用户b的鼠标相关联的点击信息和抓取压力信息生成特征值向量,并且存储所生成的特征值向量。因此,如图78所示,分别对应于周围温度K≥Kl的情况731以及周围温度K<K1的情况732、将与鼠标点击信息和抓取压力信息相关联的学习结果711存储在终端B的存储单元615中。在周围温度K≥K1以及K<K1的情况731以及732的每个中,分别存储与用户a相关联的以及与用户b相关联的鼠标点击/抓取压力信息。
同样地,终端A分别为用户a和用户b存储与鼠标点击/抓取压力信息相关联的学习结果。
一旦作为重复上述鼠标点击/抓取压力信息存储处理的结果已经存储了足够数量的鼠标点击/抓取压力信息,就能够根据鼠标点击/抓取压力信息识别每个用户的情绪/状态和强度等级。
参见图81,下面将描述终端B执行的识别情绪状态的处理。
首先在步骤S661,在与终端A开始通信的时候,终端B的系统控制器617获得信息PID,所述信息PID识别与其通信的终端A的用户a。在步骤S662中,终端B的系统控制器617命令信息鉴别器631确定用户a是否点击了鼠标以输入信息。如果没有点击鼠标,那么所述处理等到点击鼠标以输入信息为止。
如果在步骤S662确定通过点击鼠标输入了信息,那么在步骤S663,终端B的系统控制器617命令特征提取器632开始采样与从终端A发送的用户a的鼠标相关联的点击信息和抓取压力信息。然后在步骤S664,终端B的系统控制器617命令信息鉴别器631确定是否完成利用鼠标输入信息。如果没有完成利用鼠标输入信息,那么所述处理等到输入完成为止。
如果在步骤S664确定完成利用鼠标的输入,那么终端B的系统控制器617命令特征提取器632结束采样与从终端A发送的用户a的鼠标相关联的点击信息和抓取压力信息。
可以由终端A的特征提取器632执行与鼠标相关联的点击信息和抓取压力信息的采样,并且可以将作为结果产生的采样信息发送到终端B。
在步骤S666,终端B的系统控制器317命令特征提取器632生成特征向量Vc。在步骤S667,终端B的系统控制器317命令学习单元614识别Vc的情绪/状态以及其强度等级。此外,在步骤S668,终端B的系统控制器317命令学习单元614输出识别结果并且执行重算。
下面将参照图82描述Vc生成处理。此处理由终端B的特征提取器632执行。在步骤S681,终端B的特征提取器632读取采样的点击信息和抓取压力信息。在步骤S682,终端B的特征提取器632执行极性检测处理,并且在步骤S683执行TV生成处理,还在步骤S684执行Vmin/Vmax检测处理。在步骤S685,终端B的特征提取器632执行点击特征值计算以获得Tclm以及Tcim。稍后将描述计算处理的细节。
在步骤S686,终端B的特征提取器632读取采样的抓取压力信息。在步骤S687,终端B的特征提取器632执行极性检测处理,并且在步骤S688执行TV生成处理,还在步骤S689执行Vmin/Vmax检测处理。在步骤S690,终端B的特征提取器632执行抓取压力特征值计算以获得Tgrpm以及Igrpm。稍后将描述计算处理的细节。
在步骤S691,终端B的特征提取器632生成特征值向量Vc(Tclm,Tcim,Tgrpm,Igrpm)。
下面将参照图83描述计算点击特征值的处理。
在步骤S711中,终端B的特征提取器632将参数n和P都设置为1。在步骤S712,终端B的特征提取器632将Tv+(P)的值设置为Tc1(n),并且将Tv0(P)的值设置为Tci(n)。然后在步骤S713,终端B的特征提取器632将P和n的值加1。在步骤S714中,终端B的特征提取器632确定Tv+(P)或者Tv-(P)是否存在。如果确定存在Tv+(P)或者Tv-(P),流程返回到步骤S712以重复上述处理。
如果在步骤S714确定Tv+(P)或者Tv-(P)不存在,那么在步骤S715,终端B的特征提取器632计算Tcl的平均值Tclm以及Tci的平均值Tcim。
下面将参照图84描述计算抓取压力特征值的处理。在步骤S731中,终端B的特征提取器632将参数n和P都设置为1。然后在步骤S732,终端B的特征提取器632将Tv+(P)的值设置为Tgrp(n),并且将Vmax(P)的值设置为Igrp(n)。
然后在步骤S733,终端B的特征提取器632将P的值加1。然后在步骤S734中,终端B的特征提取器632确定Tv+(P)或者Tv-(P)是否存在。如果确定存在Tv+(P)或者Tv-(P),那么在步骤S735,终端B的特征提取器632计算Tgrp的平均值Tgrpm以及Igrp的平均值Igrpm。
由此,根据与用户a相关联的鼠标点击/抓取压力信息生成特征值向量Vc。
下面将参照图85描述识别Vc的情绪/状态以及强度等级的处理。此处理由终端B的学习单元614执行。
在步骤S751,终端B的学习单元614确定从终端A接收的周围温度K是否等于或者高于参考值K1。如果确定周围温度K等于或者高于参考值K1,终端B的学习单元614从存储单元615读取点击信息和抓取压力信息的特征值向量的分布向量fvc、分布中心向量Vμ以及分布标准偏差向量Vσ,其中所述点击信息和抓取压力信息与K≥K1时的用户a的鼠标相关联。当在步骤S751确定K低于参考值K1的情况下,终端B的学习单元614从存储单元615读取点击信息以及所述抓取压力信息的特征值向量的分布向量fvc、分布中心向量Vμ以及分布标准偏差向量Vσ,所述点击信息和抓取压力信息与K<K1时的用户a的鼠标相关联。
如上所述,存在36种情绪信息,并且存在对应于相应的36种情绪信息的36个特征值向量分布fvc、36个分布中心向量Vμ并且36个分布标准偏差向量Vσ。
在步骤S754中,终端B的学习单元614将参数Q设置为1。在步骤S755,终端B的学习单元614计算在步骤S666(图81)计算的向量Vμ(Q)和特征值向量Vc的内积,并且存储相关的所述内积的Vμ(Q)。然后在步骤S756,终端B的学习单元614将Q的值加1。在步骤757,终端B的学习单元304确定是否对所有各种情绪信息完成了计算,即是否完成了对所有36个中心向量Vμ的内积计算。如果确定没有对所有种类的情绪信息计算内积,那么流程返回到步骤S755,并且重复上述处理。
当完成了对应于各种情绪信息的36个中心向量Vμ的内积计算,将与情绪信息相关联的数据、内积、表明中心向量Vμ的种类的数据以及表明内积顺序的数据存储在终端B的学习单元304的存储单元(未示出)中,参数示例1。在步骤S758,终端B的学习单元614依照内积递减顺序排序所述数据。
在步骤S759中,终端B的学习单元614将参数R设置为1。在步骤S760,终端B的学习单元614确定是否读取了与各种情绪信息相关联的数据。如果确定没有读取与各种情绪信息相关联的所有数据,那么终端B的学习单元614读取已排序的数据。在步骤S762中,终端B的学习单元614将参数m设置为1。然后在步骤S763,终端B的学习单元614确定是否满足条件Vμ(R)m-Vσ(R)m≤Vcm≤Vμ(R)m+Vσ(R)m,其中Vμ(R)m表示向量Vμ(R)的第m个分量,而且Vσ(R)m和Vcm分别表示Vσ和Vch的第m个分量。如上所述,鼠标点击/抓取压力信息的每个特征值向量均包括四个分量:Tclm、Tcim、Tgrpm和Igrpm。当m=1时,从每个向量Vμ(R)、Vσ(R)和Vc中提取Tclm分量,并且使其经历所述处理。
如果在步骤S763确定不满足条件Vμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Vσ(R)m,那么在步骤S768,终端B的学习单元614将R的值加1。此后,流程返回到步骤S760,并且重复上述处理。另一方面,如果在步骤S763确定满足条件Vμ(R)m-Vσ(R)m≤Vcm≤Vμ(R)m+Vσ(R)m,那么在步骤S764,终端B的学习单元614将m的值加1。然后在步骤S765,终端B的学习单元614确定m是否等于5。如果确定m不等于5,那么流程返回到步骤S763,并且重复上述处理。
如果在步骤S493确定m等于5,即如果确定对每个向量Vμ(R)、Vσ(R)以及Vch的所有四个分量来说满足条件Vμ(R)m-Vσ(R)m≤Vcm≤Vμ(R)m+Vσ(R)m,那么所述处理进行到步骤S766。在步骤S766,终端B的学习单元614确定Vc属于对应于R的情绪信息E。
如果在步骤S760确定读取了与各种情绪信息相关联的数据,那么终端B的学习单元614确定无法识别Vc的情绪/状态以及强度等级,并且终端B的学习单元614结束所述处理。
图86示出了与对应于用户a的某种情绪信息的鼠标相关联的点击信息和抓取压力信息的特征值向量的示例。在图86中,在包括Tclm轴、Tcim轴、Tgrpm轴和Igrpm轴的4维空间中绘制特征向量。在图81的步骤S666中生成的特征值向量811(Vc)接近对应于“高级的高兴”状态的特征值的分布813的中心向量812(Vμ1),并且由此作为Vc的情绪/状态和强度等级的识别处理的结果,将特征值向量811(Vc)识别为对应于“强烈的高兴”的特征值向量。
以这种方式,根据特征值向量Vc识别用户a的情绪/状态和强度等级。
现在,下面将参照图61描述输出识别结果并且执行重算的处理。此处理由终端B的学习单元614执行。在步骤S691,终端B的学习单元614向输出控制器633输出识别结果。在步骤S692,终端B的学习单元614重新计算对应于用户a的情绪信息E的鼠标点击信息和抓取压力信息的特征值向量的分布fvc,分布fvc的中心向量Vμ以及标准离差向量Vσ,并且终端B的学习单元614存储重新计算的结果。也就是说,将在步骤S666(图81)生成的特征值向量Vc添加到存储在存储单元中、表明用户a的“强烈的高兴”的鼠标点击/抓取压力信息的特征值向量中,重新计算fvc、Vμ以及Vcr并且存储在存储单元615中。
以这种方式,根据鼠标点击/抓取压力信息识别情绪/状态以及等级,并且存储与识别出的情绪/状态及其强度等级的特征向量相关联的信息。
由此,终端B根据与从终端A接收的用户a的鼠标相关联的点击/抓取压力信息来生成特征值向量Vc,并且终端B识别情绪/状态和其强度等级。同样地,终端B根据与用户b的鼠标相关联的点击/抓取压力信息来生成特征值向量Vc,并且终端B识别情绪/状态和其强度等级。
同样地,终端A识别用户a和用户b的情绪/状态和强度等级。
现在,下面将参照图88和89描述信息输出处理。在步骤S781,系统控制器617确定是否选择了待输出的信息。如果没有选择待输出信息,那么所述处理等到选择了待输出信息为止。待输出信息的选择例如可以通过点击显示在终端的显示器上的菜单项来执行,参照示例1。由用户使用以选择待输出信息的选择菜单包括以下四个项目:“识别结果”、“基于特征值的信息”、“波形信息”以及“存储信息”。
如果在步骤S781确定选择了待输出的信息,那么在步骤S782,系统控制器617确定选择的待输出信息是否是识别结果。如果确定选择的待输出信息是识别结果,那么在步骤S783,系统控制器617向输出控制器633发送2位选择信息00,表明应该输出识别结果。
在步骤S784,输出控制器633输出与情绪/状态以及其强度等级相关联的识别结果。例如,将处于强烈的高兴状态的用户A显示在终端的显示器上。
如果在步骤S782确定选择的待输出信息不是识别结果,那么在步骤S785,系统控制器617确定选择的待输出信息是否是基于特征值的信息。如果确定选择的待输出信息是基于特征值的信息,那么在步骤S786,系统控制器617向输出控制器633发送2位选择信息01,表明应该输出基于特征值的信息。
在步骤S787,输出控制器633从特征提取器632获得特征值(Tgrp,Igrp)。然后在步骤S788,输出控制器633生成温度显示单元驱动信号。更具体地说,如图90所示,生成了具有输出电平Igrp以及接通时间Tgrp的矩形波信号。然后在步骤S789,输出控制器633驱动温度显示单元692。
如果在步骤S785确定选择的待输出信息不是基于特征值的信息,那么在步骤S790,系统控制器617确定选择的待输出信息是否是波形信息。如果确定选择的待输出信息是波形信息,那么在步骤S791,系统控制器617向输出控制器633发送2位选择信息10,表明应该输出波形信息。在步骤S792,输出控制器633从特征提取器632获得采样的鼠标点击/抓取压力信息,并且根据获得的信息生成波形信号。在步骤S793,输出控制器633驱动温度显示单元692。
如果在步骤S790确定选择的待输出信息不是波形信息,那么在步骤S794,系统控制器617确定选择的待输出信息是否是存储信息。如果确定选择的待输出信息是存储信息,那么在步骤S795,系统控制器617向输出控制器324发送2位选择信息01,表明应该输出存储信息。
当选择的待输出信息是存储信息的情况下,还将子菜单显示在终端的显示器上,以便用户可以规定待输出的存储信息项目。更具体地说,用户可以根据信息项inf做出选择,所述信息项inf诸如鼠标点击信息或者抓取压力信息、识别用户的信息PID以及情绪信息E。例如,用户可以选择鼠标点击信息和抓取压力信息作为inf,选择表明用户a的信息作为PID,以及选择“轻微的惊奇”作为情绪信息E。
在步骤S796,系统控制器617确定是否选择了表明特定种类的信息的inf、识别用户的PID以及情绪信息E。如果没有选择待输出信息,那么所述处理等到选择了待输出信息为止。
在步骤S797,系统控制器617依照用户作出的选择生成信息(inf,PID,E),并且向输出控制器633发送生成的信息。
在步骤S798,依照(inf,PID,E),输出控制器633从存储单元615中获得与键盘相关联的振动信息的中心向量。在此具体情况中,从存储单元获得对应于用户a的“微弱的惊奇”的脉搏信息特征值向量的中心向量Vp(Tcl、Tci、Tgrp、Igrp)。
在步骤S799,输出控制器633依照中心向量Vμ生成温度显示单元驱动信号。更具体地说,如图91所示,生成了具有输出电平Igrp,接通时间Tgrp以及断开时间Tgrp的矩形波信号851。在步骤S800,输出控制器633依照生成的驱动信号驱动温度显示单元692三次。
如果在步骤S794确定选择的待输出信息不是存储信息,那么在步骤S801,系统控制器617执行错误处理。在完成错误处理之后,结束所述处理。
由此,显示根据鼠标点击/抓取压力信息识别的情绪/状态及其强度等级,以便用户可以识别它们。此外,驱动温度显示单元,以便用户可以经由身体的感觉识别抓取信息。
示例4
图92示出了利用依照本发明的信息处理设备的第二类型通信系统的结构。在此通信系统中,图1所示的系统中的终端1、终端2和终端3以游戏机871、游戏机872和游戏机873代替。游戏机871到873经由网络880与诸如互联网的服务器881相连,以便它们可以彼此通信。
如图1中所示的通信系统,游戏机871(游戏机A)、游戏机872(游戏机B)以及游戏机873(游戏机C)的每一个均包括用于输入信息的输入单元891A、891B或者891C,用于处理经由输入单元输入的信息的处理单元893A、893B或者893C,用于根据输入的信息学习/识别用户的情绪/状态和强度等级的学习单元894A、894B或者894C,用于存储由学习单元学习/识别的信息的存储单元895A、895B或者895C,用于输出由学习单元识别的信息或者输出存储在存储单元的信息的输出单元892A、892B或者892C,用于发送/接收信息的通信单元896A、896B或者896C,以及用于控制各种部分的系统控制器897A、897B或者897C。
游戏机871(游戏机A)、游戏机872(游戏机B)以及游戏机873(游戏机C)在结构上彼此相似,并且其部分在功能上相似,所述部分即:诸如游戏机871的输入单元891A,...,系统控制器897A的部分,诸如游戏机872的输入单元891B,...,系统控制器897B的部分以及诸如游戏机873的输入单元891C,...,系统控制器897C的部分。在随后的描述中,当不需要鉴别游戏机当中的那些部分时,以一般的方式表现那些部分,诸如输入单元891,...,系统控制器897。
图93示出了游戏机871到873的结构示例。如图93所示,所述游戏机包括输入单元891,用于输入与游戏机的控制器941(图94)相关联的语音信息、加速度信息和抓取压力信息;处理单元893,用于经由输入单元891处理输入的信息;学习单元894,用于根据从处理单元893输出的属性信息以及情绪信息执行学习和识别;存储单元895,用于存储从学习单元894输出的学习信息以及识别信息;输出单元892,用于根据从处理单元893输出的输出信息来输出信息;用于通信的通信单元896以及用于控制各种部分的系统控制器897。
处理单元893包括信息鉴别器911,用于将经由输入单元891输入的信息分类为加速度信息、抓取压力信息或者语音信息;特征提取器912,用于从与控制器941相关联的加速度信息和抓取压力信息中提取属性信息;意思提取器913,用于从语音信息提取情绪信息;以及输出控制器914,用于向输出单元892输出信息。通信单元896包括用于发送信息的信息发送单元921,以及用于接收信息的信息接收单元922。
所述输入单元891包括麦克风、用于沿三个轴(彼此垂直的X、Y以及Z轴)在方向检测加速度的加速度传感器;和抓取压力传感器,用于检测用户抓取控制器941时的压力。输入单元891被设置在游戏机的控制器941上。输出单元892包括用于依照驱动信号发射光的光发射单元,比如包括依照驱动信号进行振动的振动电动机的振动显示单元。所述输出单元892还设置在控制器941上。
图94示出了控制器941的结构示例。用户可以通过操作控制器941上的特定按钮来玩游戏。在控制器941的上部中心处设置了3轴加速度传感器961。如果用户移动了控制器941,那么3轴加速度传感器961沿X轴方向(在图94的页面上沿从左到右的方向)、Y轴方向(在图94的页面上沿从下到上的方向)以及Z轴方向(沿垂直于图94的页面)检测加速度。将麦克风962设置在控制器941的下半部的中心。通过麦克风962检测用户生成的语音。将抓取压力传感器963L以及963R设置在控制器941的底部的左右端。当用户使用控制器941时,大概设置抓取压力传感器963L和963R上的部分由用户的左右手抓取。
将光发射部件964L和964R分别设置在接近于3轴加速度传感器961的左右位置上。将振动显示单元965L和965R设置在与抓取压力传感器963L和963R基本上相同的位置上,但是是在下面。如上所述,振动显示单元965L和965R由设置在控制器941中的振动电动机形成。
让我们假定,用户a使用游戏机A,而用户b使用游戏机B。利用游戏机A和B,用户a和用户b可以参与多游戏者的在线游戏。在在线游戏中,每个游戏者可以与其他游戏者进行语音通信。例如,将用户a的语音输入游戏机A的控制器的麦克风962并且发送到游戏机B。接收语音信号时,游戏机B从与游戏机B相连的电视机的扬声器或者从设置在游戏机B上的扬声器输出用户a的语音,以便用户b可以听到用户a的语音。同样地,将用户b生成的语音发送到游戏机A,以便用户a可以听到用户b的语音。由此,用户a和用户b可以彼此进行语音通信。
依照图95示出的处理执行信息的发送/接收。首先,在步骤S1001,游戏机A向服务器881发送连接请求。在步骤S1101,服务器881接收所述连接请求。在步骤S1102,服务器881执行与连接请求相关联的认证。从游戏机A发送的连接请求包括识别用户a的信息,诸如用户a的姓名或者昵称,以及需要参与游戏的密码。服务器881根据这种信息确定(认证)用户a是否被授权参与所述游戏。如果确定用户a被授权参与所述游戏,那么在步骤S1103,服务器881向游戏机A发送连接请求接受消息。在步骤S1002,游戏机A接收所述连接请求接受消息。在步骤S1003,游戏机A开始所述游戏。
当依照类似方式在游戏机B和服务器881之间发送/接收信息之后(步骤S1201(对应于步骤S1001),步骤S1104(对应于步骤S1101),步骤S1105(对应于步骤S1102),步骤S1106(对应于步骤S1103)以及步骤S1202(对应于步骤S1003)),在步骤S1203游戏机B开始所述游戏。
在步骤S1004,游戏机A向服务器881发送连接到游戏机B的请求。在步骤S1107,服务器881接收连接到游戏机B的请求。在步骤S1109,服务器881向游戏机A发送连接请求接受消息。在步骤S1005,游戏机A接收所述连接请求接受消息。在步骤S1108,服务器881呼叫游戏机B。在步骤S1204,由游戏机B收到呼叫。在步骤S1205,游戏机B向服务器881返回确认消息。在步骤S1110,服务器881接收所述确认消息。在步骤S1111,开始游戏机A和游戏机B的连接处理。在步骤S1112,服务器881向游戏机A发送连接链路建立通知。在步骤S1006,游戏机A接收所述通知。
此后,游戏机A经由服务器881向游戏机B发送语音信息,并且游戏机B还经由服务器881向游戏机A发送语音信息(步骤S1007、S1113、S1114、S1206、S1207、S1115、S1116以及S1008)。
在步骤S1009,游戏机A执行与加速度信息和抓取压力信息的发送/接收相关联的初始设置。在步骤S1010,游戏机A向服务器881发送加速度/抓取压力信息发送/接收请求。在步骤S1117,服务器881接收所述请求。在步骤S1118,服务器881向游戏机B发送所述加速度/抓取压力信息发送/接收请求,以及诸如图11中所示的从游戏机A发送的传输设置信息和接收设置信息,参照示例1。
在步骤S1208,游戏机B接收从服务器881发送的加速度/抓取压力信息发送/接收请求。作为响应,在步骤S1209,游戏机B改变与加速度信息和抓取压力信息的发送/接收相关联的设置。在步骤S1210,游戏机B向服务器881发送确认消息。在步骤S1120,服务器881接收从游戏机B发送的确认消息。作为响应,在步骤S1121,服务器881开始在游戏机A和B之间发送/接收加速度/抓取压力信息。在步骤S1122,服务器881向游戏机A发送通信开始通知消息。在步骤S1012,游戏机A接收所述通知消息。由此,游戏机A识别要将与用户b相关联的加速度信息和抓取压力信息从游戏机B发送出去,并且所述游戏机B识别要将与用户a相关联的加速度信息和抓取压力信息从游戏机A发送出去。
将加速度/抓取压力信息从游戏机A经由服务器881发送到游戏机B(步骤S1013、S1123、S1124以及S1211)。在步骤S1112,游戏机B存储特征值信息。同样地,将加速度/抓取压力信息从游戏机B经由服务器881发送到游戏机A(步骤S1213、S1125、S1126以及S1014)。在步骤S1015,游戏机A存储特征值信息。稍后将参照图97描述特征值信息存储处理的细节。
如果在步骤S1016游戏机A经由服务器881向游戏机B发送连接结束请求,那么在步骤S1127由服务器881接收连接结束请求。在步骤S1128,服务器881向游戏机B传输连接结束请求。在步骤S1214,游戏机B接收所述连接结束请求。作为响应,在步骤S1215,游戏机发送确认消息。在步骤S1130,服务器881接收所述确认消息。因此,通信结束。在步骤S1129,服务器881向游戏机A发送连接结束请求接受消息。在步骤S1190,游戏机A接收所述接受消息。
以这种方式,经由服务器881执行游戏机A和游戏机B之间的通信,并且存储加速度信息和抓取压力信息。在已经存储了足够数量的加速度信息和抓取压力信息之后,在游戏机A和游戏机B中执行情绪信息识别处理。稍后将参照图114描述情绪信息识别处理的细节。在此处理中,如图96所示发送/接收信息。
在图96所示的处理中,除了步骤S1315之外,游戏机A执行的步骤S1301到S1317与图95所示处理中的步骤S1001到S1017相似,在步骤S1315中,游戏机A根据从游戏机B接收的加速度信息和抓取压力信息执行情绪信息识别。在图96所示的处理中,除了步骤S1512之外,游戏机B执行的步骤S1501到S1515与图95所示处理中的步骤S1201到S1215相似,在步骤S1512中,游戏机B根据从游戏机A接收的加速度信息和抓取压力信息来执行情绪信息识别。
在图96所示的处理中,服务器881执行的步骤1401到1430与图95所示的处理中步骤S1101到1130相似,并且因此在此没有给出那些步骤的重复描述。
参照图97,下面将描述游戏机A和游戏机B执行的特征信息存储处理(图95中的步骤S1015和S1212)。游戏机A可以存储基于从与其相耦合的控制器941输出的与用户a相关联的加速度信息和抓取压力信息的特征信息,并且可以存储基于从游戏机B发送的与用户b相关联的加速度信息和抓取压力信息的特征信息。
首先,下面将描述游戏机A存储基于与用户a相关联的加速度信息和抓取压力信息时的处理。在步骤S1621,游戏机A的系统控制器897获得识别游戏机A的用户a的信息(例如姓名或者昵称)PID。在步骤S1622,系统控制器897命令信息鉴别器911确定用户a是否输入了语音信息。如果还没有输入语音信息,那么所述处理等到输入了语音信息为止。
如果在步骤S1622确定输入了语音信息,所述处理进行到步骤S1623。在步骤S1623,系统控制器897命令特征提取器912开始采样与用户a相关联的加速度信息和抓取压力信息。在步骤S1624,系统控制器897利用意思提取器913识别输入的语音信息,
在步骤S1625,系统控制器897确定所识别的语音是否包括表明用户a的情绪、状态或情绪/状态强度等级的文字。如果确定所识别的语音不包括表明情绪、状态或者情绪强度或等级的文字,那么所述处理返回到步骤S1622,并且重复上述处理。表明情绪或者状态的文字可以诸如图23中所示那些,并且表明强度等级的文字可以诸如图24中所示那些,参照示例1。
当在步骤S1625确定所识别语音包括表明情绪、状态或者情绪/状态的强度等级的文字的情况下,那么在步骤S1626中,系统控制器897确定检测到的文字的对象是否是用户a,即检测到的文字是否表明用户a的情绪、状态或者情绪的等级。如果对象不是用户a,那么所述处理返回到步骤S1622,并且重复上述处理。
当在步骤S1626确定用户是对象的情况下,所述处理进行到步骤S897。在步骤S897中,系统控制器897确定用户a的语音的一个短语是否已经输入。如果还没有输入语音的一个短语,那么终端B的系统控制器897等到输入语音的一个短语为止。如果在步骤S1627确定已经输入了一个短语,那么在步骤S1628,系统控制器897命令特征提取器912结束采样加速度信息和抓取压力信息。
在步骤S1629,系统控制器897命令意思提取器913提取情绪信息E。
例如,如果用户a表达“我惊奇!”,那么对应于文字“惊奇”的情绪/状态是惊奇。在该情况下,在用户a表达的语音信息中不包括副词(诸如“非常”或者“少许”),并且由此认为强度等级是中级。从而,将“中级的惊奇”检测作为情绪信息E。
在步骤S1630,系统控制器897命令特征提取器912根据用户a的加速度信息和抓取压力信息生成特征向量Vc。在步骤S1631,从存储单元895读取对应于信息PID和情绪信息E的加速度信息和抓取压力信息。在此具体情况中,读取对应于用户a的惊奇的加速度/抓取压力信息的特征向量。
在步骤S1632,系统控制器897利用学习单元894将最新生成的特征向量Vc添加到读出的特征向量中,并且重新计算向量分布fvc、分布中心向量Vμ和标准离差向量Vσ。在步骤S1633中,将重新计算的向量存储在存储单元895中。
由此,根据加速度信息和抓取压力信息生成对应于用户a的惊奇的特征值向量,并且重新计算存储向量分布、分布中心向量和标准离差向量。
下文将参照图99描述生成加速度信息和抓取压力信息的特征向量Vc的处理。此处理由特征提取器912执行。在步骤S1651,特征提取器912计算加速度信息的特征值。稍后将参照图100和101描述此计算处理的细节。从而,对于特征值向量Vc的分量来说,首先获得十二个分量(Acc+(1)、Acc+(2)、Acc+(3)、Tac+(l)、Tac+(2)、Tac+(3)、Acc-(1)、Acc-(2)、Acc-(3)、Tac-(1)、Tac-(2)、Tac-(3))。在步骤S1652,特征提取器912计算抓取压力信息的特征值。稍后将参照图104和105描述此计算处理的细节。从而,对于特征值向量Vc的分量来说,获得了第十三到第二十个分量(lgr_R(1)、lgr_R(2)、Tgr_R(1)、Tgr_R(2)、Igr_L(1)、Igr_L(2)、Tgr_L(1)、Tgr_L(2))。
在步骤S1653,特征提取器912生成特征向量Vc(Acc+(1)、Acc+(2)、Acc+(3)、Tac+(l)、Tac+(2)、Tac+(3)、Acc-(1)、Acc-(2)、Acc-(3)、Tac-(1)、Tac-(2)、Tac-(3)、Igr_R(1)、Igr_R(2)、Tgr_R(1)、Tgr_R(2)、Igr_L(1)、Igr_L(2)、Tgr_L(1)、Tgr_L(2))。
由此,根据加速度信息和抓取压力信息生成对应于用户a惊奇的特征值向量Vc。
现在,参照图100和101,在下文描述与图99中的步骤S851相关联的加速度信息的特征值计算处理。在步骤S1671,特征提取器912读出采样的加速度信息。此后,在步骤S1673,参照示例1,特征提取器912执行参照图16描述的极性检测处理,然后在步骤S1673执行参照图17描述的TV生成处理,此外在S1674执行参照图18描述的Vmin/Vmax检测处理。
图102示出了从设置在控制器941中的3轴加速度传感器961输出的加速度信息的波形示例。如上所述,3轴加速度传感器961检测沿X轴的加速度、沿Y轴的加速度和沿Z轴的加速度。在图102中,图表的纵轴表明沿X、Y和Z轴的加速度和,而横轴表明时间。如果采样此波形,并且在步骤S1672使采样的数据历经极性检测处理以及在步骤S1674历经TV生成处理,那么可由此获得
Tv+,Tv0,Tv-,Tv0,Tv+...。
Tv+表明在所述控制器上施加可能的加速度时的时间周期。Tv-表明在所述控制器上施加负加速度时的时间周期。Tv0表明在所述控制器上基本上不施加加速度时的时间周期。
此外,在步骤S1674经由所述Vmin/Vmax检测处理,获得周期Tv+中的输出值Vmax以及在周期Tv-中的输出值Vmin。从而,获得如图103所示的波形信息。
在图101所示的步骤S1675,特征提取器912将目前按时间递增顺序排列的输出值Vmax(P)按照值的递减顺序排序,并且特征提取器912提取输出值Vmax(1)、Vmax(2)以及Vmax(3)。在步骤S1676,特征提取器912提取对应于相应输出值Vmax(1)、Vmax(2)以及Vmax(3)的时间周期Tv+(l)、Tv+(2)以及Tv+(3)。
更具体地说,对于图103所示的具有负输出值的三个矩形波信号来说,首先选择具有最大振幅的矩形波信号(也就是说,从图103最左端数起的第三个矩形波信号),并且分别将输出值的值以及其周期设置为Vmax(1)以及Tv+(1)。同样地,分别将具有第二大振幅的输出值以及时间周期设置为Vmax(2)以及Tv+(2),并且分别将具有第三大振幅的输出值以及时间周期设置为Vmax(3)以及Tv+(3)。在图103所示的示例中,所述波形包括三个正相矩形波信号。当所述波形包括仅仅两个正相矩形波信号时,分别将Vmax(3)以及Tv+(3)设置为0。
再次参照图101,在步骤S1677,特征提取器912首先将Vmax(1)、Vmax(2)、Vmax(3)、Tv+(1)、Tv+(2)以及Tv+(3)的值分别设置为特征向量Vc的六个分量Acc+(1)、Acc+(2)、Acc+(3)、Tac+(1)、Tac+(2)以及Tac+(3)。
在步骤S1678,特征提取器912将目前按时间递增顺序排列的输出值Vmin(P)按照值的升序排序,并且特征提取器912提取输出值Vmin(1)、Vmin(2)以及Vmin(3)。在步骤S1679,特征提取器912提取对应于相应的输出值Vmin(1)、Vmin(2)以及Vmin(3)的时间周期Tv-(1)、Tv-(2)以及Tv-(3)。
更具体地说,对于图103所示的具有负输出值的三个矩形波信号来说,首先选择具有最大绝对振幅的矩形波信号(也就是说,处于最左端的矩形波信号),并且分别将输出值的值以及其周期设置为Vmin(1)以及Tv-(1)。同样地,分别将具有第二大绝对振幅的输出值以及时间周期设置为Vmin(2)以及Tv-(2),并且分别将具有第三大绝对振幅的输出值以及时间周期设置为Vmin(3)以及Tv-(3)。在图103所示的示例中,所述波形包括三个反相矩形波信号。当所述波形仅仅包括两个反相矩形波信号时,分别将Vmin(3)以及Tv-(3)设置为0。
再次参照图101,在步骤S1680,特征提取器912将Vmin(1)、Vmin(2)、Vmin(3)、Tv-(1)、Tv-(2)、以及Tv-(3)分别设置为特征向量Vc的第七到第十二个分量Acc-(l)、Acc-(2)、Acc-(3)、Tac-(1)、Tac-(2)以及Tac-(3)。
以这种方式,计算加速度信息的特征值。
现在,下面将参照图104以及105描述在图99的步骤S1652计算与抓取压力信息相关联的特征值的处理。将抓取压力信息从控制器941的右手抓取压力传感器963R和左手抓取压力传感器963L中输出。对从抓取压力传感器963R输出的抓取压力信息和从抓取压力传感器963L输出的抓取压力信息的每个计算抓取压力信息的特征值。
在步骤S1701,特征提取器912读取采样的抓取压力信息。此后,参照示例1,在步骤S1702,特征提取器912执行参照图16描述的极性检测处理,并且在步骤S1703中执行参照图17描述的TV生成处理,此外在步骤S1704中,执行参照图18描述的Vmin/Vmax检测处理。图106示出了从抓取压力传感器963R输出抓取压力信息的波形示例,而图107示出了从抓取压力传感器963L输出抓取压力信息的波形示例。在图106和107中,图表的纵轴表明抓取压力,而横轴表明时间。
如果采样此波形,并且在步骤S1702使采样的数据历经极性检测处理并且在步骤S1703历经TV生成处理,那么由此获得Tv+,Tv0,Tv+,Tv0,...。
Tv+表明用户a以高于预定值的抓取压力抓取控制器时的时间周期。Tv0表明用户a以低于预定值的抓取压力抓取控制器时的时间周期。
此外,在步骤S1704经由所述Vmin/Vmax检测处理,获得周期Tv+中的输出值Vmax以及在周期Tv-中的输出值Vmin。从而,根据图106中所示的抓取信息获得了诸如图108中所示的波形信息,并且根据图107所示的抓取信息获得了图109中示出的波形信息。
在图105所示的步骤S1705,特征提取器912将从右手抓取压力传感器963R输出的值Vmax(P)从当前时间升序的顺序依照值的递减顺序来排序,并且特征提取器912提取输出值Vmax(1)和Vmax(2)。在步骤S1706,特征提取器912提取对应于相应的输出值Vmax(1)和Vmax(2)的时间周期Tv+(l)和Tv+(2)。
更具体地说,对于图108所示的两个反相矩形波信号来说,首先选择具有最大振幅的矩形波信号(也就是说,处于图108最左端的矩形波信号),并且分别将输出值的值以及其周期设置为Vmax(1)以及Tv+(1)。同样地,分别将具有第二大振幅的输出值和时间周期设置为Vmax(2)和Tv+(2)。在图103所示的示例中,所述波形包括两个正相矩形波信号。当所述波形包括仅仅一个正相矩形波信号时,分别将Vmax(2)以及Tv+(2)设置为0。
再次参照图105,在步骤S1707,特征提取器912将Vmax(1)、Vmax(2)、Tv+(1)和Tv+(2)的值分别设置为特征向量Vc的第十三到第十六分量Igr_R(1)、Igr_R(2)、Tgr_R(1)和Tgr_R(2)。
在步骤S1708,特征提取器912将从左手抓取压力传感器963L输出的值Vmax(P)从当前时间升序的顺序依照值的递减顺序来排序,并且特征提取器912提取输出值Vmax(1)和Vmax(2)。在步骤S1709,特征提取器912提取对应于相应输出值Vmax(1)和Vmax(2)的时间周期Tv+(l)和Tv+(2)。
在步骤S1710,特征提取器912将Vmax(1)、Vmax(2)、Tv+(1)和Tv+(2)的值分别设置为特征向量Vc的第十七到第二十分量Igr_L(1)、Igr_L(2)、Tgr_L(1)和Tgr_L(2)。
以这种方式,计算抓取压力信息的特征值。
已经在上文描述了游戏机A存储基于与用户a相关联的加速度信息和抓取压力信息时的处理。所述游戏机还可以存储从游戏机B发送的与用户b相关联的基于加速度信息和抓取压力信息的特征信息。在该情况下,由游戏机B的特征提取器912采样与用户b相关联的加速度信息和抓取压力信息,并且将其连同报头经由输出控制器914和信息发送单元921发送到游戏机A。将用户b表达的语音信息发送到游戏机A,并且游戏机A的意思提取器913从用户b的语音信息中提取情绪信息。
如果游戏机A从游戏机B接收与用户b相关联的加速度信息和抓取压力信息,那么游戏机A执行参照图97和98描述的特征值存储处理。例如,如果用户b表达“我困窘”,那么在图97的步骤S1629的特征信息存储处理中,游戏机A提取“中级的不稳定”作为情绪信息。另一方面,在游戏机B中,当用户b表达“我困窘”时,游戏机B的控制器941的3轴加速度传感器961检测具有图110所示的波形的信号,游戏机B的控制器941的抓取压力传感器963R检测具有图1ll所示波形的信号,并且游戏机B的控制器941的抓取压力传感器963L检测具有图112所示波形的信号。
由游戏机B的特征提取器912以间隔Tclk来采样具有图110到112所示波形的信号。根据图110所示的信号,采样值Vsl、Vs2、Vs3,...,Vsn作为加速度信息被获得,并且连同报头一起被发送到游戏机A,所述头部表明所述信息是与用户b相关联的加速度信息。根据图111所示的信号,采样值VsRl、VsR2、VsR3,...,VsRn作为抓取压力信息被获得,并且连同报头一起被发送到游戏机A,所述报头表明所述信息是与用户b相关联的右手的抓取压力信息。同样地,根据图112所示的信号,采样值VsLl、VsL2、VsL3,...,VsLn作为抓取压力信息被获得,并且连同报头一起被发送到游戏机A,所述报头表明所述信息是与用户b相关联的左手的抓取压力信息。在图98的步骤S1630中生成特征值向量Vc处理中,游戏机A根据从游戏机B发送的加速度信息和抓取压力信息生成对应于用户b的中级不稳定的特征值向量,并且所述游戏机存储作为结果产生的特征值向量Vc。
所述终端B根据与用户b相关联的加速度信息和抓取压力信息生成特征值向量,并且存储生成的特征值向量,并且终端B还根据从游戏机A发送的与用户a相关联的加速度信息和抓取压力信息生成特征值向量,并且存储生成的特征值向量。从而,如图113所示,将与加速度信息和抓取压力信息相关联的学习结果981存储在游戏机A和游戏机B的每个的存储单元895中,其中学习结果981包括与用户a相关联的信息991以及与用户b相关联的信息992。
一旦通过重复上述的特征信息存储处理存储了足够数量的加速度值信息和抓取压力信息,就能够根据加速度信息和抓取压力信息来识别每个用户的情绪/状态和强度等级。
现在,下面将参照图114描述终端B执行的识别用户a的情绪状态的处理。在步骤S1731,游戏机B的系统控制器897获得用于识别与其通信的游戏机A的用户a的信息PID。在步骤S1732,游戏机B的系统控制器897命令信息鉴别器911确定与用户a相关联的加速度信息或者抓取压力信息中至少一个的输出值是否超过阈值。如果任何一个低于所述阈值,那么所述处理等到与用户a相关联的加速度信息或者抓取压力信息中至少一个的输出值超过阈值为止。所述阈值可以在程序等等中预定设置,或者每当执行通信时、由用户来执行阈值。
如果在步骤S1732确定与用户a相关联的加速度信息或者抓取压力信息中至少一个的输出值超过所述阈值,那么在步骤S1733,系统控制器897将与用户a相关联的加速度信息或者抓取压力信息存储到特征提取器912的存储单元(未示出)中。然后在步骤S1734,系统控制器897命令信息鉴别器911确定与用户a相关联的加速度信息或者抓取压力信息的输出值是否成为并且保持小于阈值达长于预定值的周期之久(例如10秒)。如果确定与用户a相关联的加速度信息或者抓取压力信息没有成为并且保持小于阈值达长于预定值的周期之久,那么所述处理返回到步骤S1733。
如果在步骤S1734确定与用户a相关联的加速度信息或者抓取压力信息成为并且保持小于所述阈值达长于预定值的周期之久,那么在步骤S1735,系统控制器897命令特征提取器912生成特征向量Vcag,这些稍后将参照图115描述。由此,根据与用户a相关联的加速度信息和抓取压力信息生成特征向量Vcag。在步骤S1736,系统控制器897命令学习单元执行与相关联Vcag的情绪信息识别处理。稍后将参照图120描述情绪信息识别处理的细节。由此,识别对应于特征向量Vcag的情绪信息。在步骤S1737,系统控制器897命令学习单元894输出识别结果并且执行重算。稍后将参照图122描述此处理的细节。
现在,下面将参照图115描述生成Vcag的处理。此处理由游戏机B的特征提取器912执行。在步骤S1751,特征提取器912执行与加速度信息相关联的特征值的计算处理(此处理可以按类似参照图100和101描述的方式执行,并且由此在此没有给出所述处理的细节的重复描述)。在步骤S1752,特征提取器912执行与抓取压力信息相关联的特征值计算处理(此处理可以按类似参照图104和105描述的方式执行,并且由此在此没有给出所述处理的细节的重复描述)。然后在步骤S1753,特征提取器912生成特征向量Vcag(Acc+(1)、Acc+(2)、Acc+(3)、Tac+(l)、Tac+(2)、Tac+(3)、Acc-(1)、Acc-(2)、Acc-(3)、Tac-(1)、Tac-(2)、Tac-(3)、Igr_R(1)、Igr_R(2)、Tgr_R(1)、Tgr_R(2)、Igr_L(1)、Igr_L(2)、Tgr_L(1)、Tgr_L(2))。
由此,根据与用户a相关联的加速度信息和抓取压力信息生成特征向量Vcag。
现在,下面将参照图116描述与Vcag相关联的情绪信息识别处理。此处理由游戏机B的学习单元894执行。
在步骤S1831,学习单元894从存储单元895中读出与用户a的加速度信息和抓取压力信息相关联的特征值向量分布fvc、分布中心向量Vμ和分布标准偏差向量Vσ。
如上所述,存在36种情绪信息,并且存在对应于相应36种情绪信息的36个特征值向量分布fvc、36个分布中心向量Vμ和36个分布标准偏差向量Vσ。
那么在步骤S1832中,终学习单元894将参数Q设置为1。注意,根据处理的36种情绪信息之一,参数Q可以是从1到36的范围内的整数。在步骤S1833,终端B的学习单元894计算在步骤S1735(图114)生成的向量Vμ(Q)和特征值向量Vcag的内积,并且存储相关的内积的Vμ(Q)。然后在步骤S1834,学习单元894将Q的值加1。在步骤S1835,终端B的学习单元894确定是否完成对所有种类的情绪信息的计算,即是否完成对所有36个中心向量Vμ的内积计算。如果确定没有对所有种类的情绪信息计算内积,那么流程返回到步骤S1833,并且重复上述处理。
当完成对对应于各种情绪信息的所有36个中心向量Vμ的内积计算时,将与所述情绪信息相关联的数据、所述内积、表明中心向量Vμ的种类的数据和表明内积顺序的数据存储在学习单元894的存储单元(未示出)中,如示例1那样。在步骤S1836,学习单元894依照内积递减顺序排序所述数据。内积的数值顺序由R表示,其可以是从1到36范围内获得的整数值。
在步骤S1837中,终学习单元894将参数R设置为1。在步骤S1838,学习单元894确定是否读取了与各种情绪信息相关联的数据。如果确定没有读取与各种情绪信息相关联的数据,那么在步骤S1839,学习单元894逐个读取在步骤S1836中排序的数据。如上所述,在步骤S1833中计算对应于36种情绪信息的特征向量Vcag和中心向量的内积,并且选择所有内积中最大的一个。如果对应于检测到的中心向量和特征向量Vcag的最大内积的中心向量例如是对应于用户a的情绪信息“强烈的有生气的”的特征向量的中心向量Vμ30,那么当R=1时,读出对应于用户a的情绪信息“强烈的有生气的”的中心向量vμ30和标准离差向量Vσ30。
在步骤S1840中,学习单元894将参数m设置为1。然后在步骤S1841,学习单元894确定是否满足条件Vμ(R)m-Vσ(R)m≤Vcagm≤Vμ(R)m+Vσ(R)m,其中Vμ(R)m表示向量Vμ(R)的第m个分量,并且Vσ(R)m和Vcagm分别表示向量Vσ和Vcag的第m个分量。如上所述,与加速度信息和抓取压力信息相关联的特征向量包括以下20个分量:Acc+(l),Acc+(2),Acc+(3),Tac+(1),Tac+(2),Tac+(3),Acc-(1),Acc-(2),Acc-(3),Tac-(1),Tac-(2),Tac-(3),Igr_R(1),Igr_R(2),Tgr_R(1),Tgr_R(2),Igr_L(1),Igr_L(2),Tgr_L(1)以及Tgr_L(2)。当m=1时,从每个向量Vμ(R),Vσ(R)以及Vcag中提取Acc+(1)并且经受所述处理。
如果在步骤S1841确定不满足条件Vμ(R)m-Vσ(R)m≤Vcagm≤Vμ(R)m+Vσ(R)m,那么所述处理进行到步骤S1846。在步骤S1846,学习单元894将R的值加1,并且所述流程返回到步骤S1838以重复上述处理。当在步骤S1841确定满足条件Vμ(R)m-Vσ(R)m≤Vchm≤Vμ(R)m+Va(R)m时,所述处理进行到步骤S1842。在步骤S1842,学习单元894将m的值加1,并且流程前进到步骤S1843。在步骤S1843,学习单元894确定m是否等于21,即是否已经对相应向量Vμ(R)、Vσ(R)以及Vcag的所有20个分量执行了涉及上述条件的判断。如果确定m不等于21,那么所述处理返回到步骤S1841,并且重复上述处理。
另一方面,如果在步骤S1843确定m等于21,即如果确定条件Vμ(R)m-Vσ(R)m≤Vcagm≤Vμ(R)m+Vσ(R)m对相应向量Vμ(R)、Vσ(R)以及Vcag的所有20个分量都适用,那么在步骤S1844,学习单元894确定Vcag属于对应于R的情绪信息E。例如,当R=1时,如果条件Vμ30m-Vσ30m≤Vcagm≤Vμ30m+Vσ30m对相应的向量Vμ30以及Vσ30的所有20个分量都是适用的,那么认为特征向量Vcag属于情绪信息“强烈的有生气的”。
如果在步骤S1838确定读出了与各种情绪信息相关联的数据,那么所述处理进行到步骤S1845。在步骤S1845,学习单元894确定无法识别对应于Vcag的情绪信息,并且结束所述处理。也就是说,当对与相应的36种情绪信息对应的所有36个中心向量Vμ(R)以及所有36个标准偏差向量Vσ(R)审查了条件Vμ(R)m-Vσ(R)m≤Vcagm≤Vμ(R)m+Vσ(R)m时,如果对于任意的R来说,相应向量Vμ(R)、Vσ(R)以及Vcag的所有20个分量不满足条件Vμ(R)m-Vσ(R)m Vcagm≤Vμ(R)m+Vσ(R)m,那么确定无法识别对应于Vcag的情绪信息。
图117示出了对应于用户a的某种情绪信息的振动信息的特征向量。在图117中,在20维空间中绘制特征向量,所述20维空间包括Acc+(1)轴,Acc+(2)轴,Acc+(3)轴,Tac+(1)轴,Tac+(2)轴,Tac+(3)轴,Acc-(1)轴,Acc-(2)轴,Acc-(3)轴,Tac-(1)轴,Tgr_R(1)轴,Tgr_R(2)轴,Igr_L(1)轴,Igr_L(2)轴,Tgr_L(1)轴以及Tgr_L(2)轴。在此空间中,举例来说,绘制了对应于用户a的情绪信息“微弱的忧愁”的特征向量V9的分布及其中心向量Vμ9、对应于用户a的情绪信息“微弱的讨厌”的特征向量V15的分布及其中心向量Vμ15以及对应于用户a的情绪信息“中等的感兴趣”的特征向量V17的分布及其中心向量Vμ17。在此空间中还可以存在对应于其他种类情绪信息的其他特征向量。
在对应于各种情绪信息的中心向量之中,在图114的步骤S1735中生成的特征值向量Vcag接近对应于情绪信息“强烈的有生气的”的特征向量V30的分布的中心向量Vμ30,并且由此,作为与Vcag相关联的情绪信息识别处理的识别结果,将Vcag确定为对应于“强烈的有生气的”的特征向量。
以这种方式,根据特征值向量Vcag识别出用户a的情绪/状态以及强度等级。
现在,下面将参照图118描述输出识别结果并且执行重算的处理。此处理由游戏机B的学习单元894执行。在步骤S1861,命令学习单元894向输出控制器914输出识别结果。在步骤S1862,终端B的学习单元894重新计算对应于用户a的情绪信息E的加速度信息和抓取压力信息的特征值向量分布fvc以及中心向量Vμ,以及分布fvc的标准离差向量Vσ,并且终端B的学习单元894存储重新计算的结果。也就是说,将在步骤S1735(图114)生成的特征值向量Vcag添加到存储在存储单元895中的表明用户a的“强烈的积极性”的加速度/抓取压力信息的特征值向量中,并且重新计算fvc、Vμ以及Vσ并且存储在存储单元895中。
以这种方式,根据加速度信息和抓取压力信息识别情绪/状态和等级,并且存储与识别出的情绪/状态和其强度等级的特征向量相关联的信息。
由此,游戏机B根据从游戏机A接收的与用户a相关联的加速度信息和抓取压力信息生成特征值向量Vcag,并且游戏机B识别情绪/状态以及其强度等级。所述游戏机B还可以根据与用户b相关联的加速度信息和抓取压力信息生成特征值向量,并且可以识别情绪/状态以及其强度等级。
同样地,游戏机A识别用户a以及用户b的情绪/状态以及强度等级。
现在,下面将参照图119以及120描述信息输出处理。在步骤S1881,系统控制器897确定是否选择了待输出信息。如果没有选择待输出信息,那么所述处理等到选择待输出信息为止。待输出信息的选择例如可以通过点击显示在与终端的游戏机相连的显示器或者电视机上的菜单项来执行。用户用以选择待输出信息的选择菜单包括以下四项:“识别结果”、“基于特征值的信息”、“波形信息”以及“存储信息”。
如果在步骤S1881确定选择了待输出信息,那么在步骤S1882,系统控制器897确定选择的待输出信息是否是识别结果。如果确定选择的待输出信息是识别结果,那么在步骤S1883,系统控制器897向输出控制器914发送2位选择信息00,表明应该输出识别结果。
在步骤S1884,输出控制器914根据情绪信息的识别结果来控制人物符号的显示。将用户选择的人物符号显示在与游戏机相连的电视机或者显示器上,并且输出控制器914依照识别出的情绪信息控制人物符号的表情以及动作。例如,当“强烈的有生气的”被识别为情绪信息时,显示生动的面部表情的人物符号,并且上下移动人物符号的胳膊和脚。
如果在步骤S1882确定选择的待输出信息不是识别结果,那么在步骤S1885,系统控制器897确定选择的待输出信息是否是基于特征值的信息。如果确定选择的待输出信息是基于特征值的信息,那么在步骤S1886,系统控制器897向输出控制器914发送2位选择信息01,表明应该输出基于特征值的信息。
在步骤S1887,输出控制器914从特征提取器912获得特征值(Acc+(1)、Acc+(2)、Acc+(3)、Tac+(1)、Tac+(2)、Tac+(3)、Acc-(1)、Acc-(2)、Acc-(3)、Tac-(1)、Tac-(2)、Tac-(3))。然后在步骤S1888,输出控制器914生成振动显示单元驱动信号。也就是说,如图122所示,生成由具有输出电平Acc+(l)、Acc+(2)、Acc+(3)以及接通时间Tac+(1)、Tac+(2)以及Tac+(3)的矩形波信号组成,以及由具有输出电平Acc-(1)、Acc-(2)、Acc-(3)以及接通时间Tac-(1)、Tac-(2)、Tac-(3)的矩形波信号组成的驱动信号。然后在步骤S1889,输出控制器914依照生成的驱动信号同时驱动振动显示单元965l和965R。
在步骤S1890,输出控制器914从特征提取器912获得特征值(Igr_R(1)、Igr_R(2)、Tgr_R(1)、Tgr_R(2)、Igr_L(1)、Igr_L(2)、Tgr_L(1)、Tgr_L(2))。然后在步骤S1891,输出控制器914生成光发射单元驱动信号。更具体地说,如图123所示,输出控制器914生成这种的驱动信号,所述驱动信号由具有振幅Igr_R和接通时间Tgr_R(1)的正弦波信号、具有振幅Igr_R(2)和接通时间Tgr_R(2)的正弦波信号的组成,并且如图124所示,还生成这样一种驱动信号,所述驱动信号由具有振幅Igr_L(1)和接通时间Tgr_L(1)的正弦波信号、具有振幅Igr_L(2)和接通时间Tgr_L(2)的正弦波信号组成。
在步骤S1892,输出控制器914依照图123所示的驱动信号驱动光发射单元964R,并且依照图124所示的驱动信号驱动光发射单元964L。
如果在步骤S1885确定选择的待输出信息不是基于特征值的信息,那么在步骤S1893,系统控制器897确定选择的待输出信息是否是波形信息。如果确定选择的待输出信息是波形信息,那么在步骤S1894,系统控制器897向输出控制器914发送2位选择信息10,表明应该输出波形信息。
在步骤S1895,输出控制器914从特征提取器912获得采样的加速度信息,并且生成驱动信号,用于根据获得的加速度信息驱动振动显示单元965L和965R。在步骤S1896,输出控制器914依照所生成的驱动信号同时驱动所述振动显示单元965L和965R两者。在步骤S1897,输出控制器914从特征提取器912获得采样的抓取压力信息,并且生成用于根据获得的右手抓取压力信息(由抓取压力传感器963R检测到的抓取压力信息)来驱动光发射单元964R的驱动信号,并且还生成用于根据获得的左手抓取压力信息(由抓取压力传感器963L检测到的抓取压力信息)驱动光发射单元964L的驱动信号。在步骤S1898,输出控制器914依照各个生成的驱动信号驱动光发射单元964R和964L。
如果在步骤S1893确定选择的待输出信息不是波形信息,那么在步骤S1899,系统控制器897确定选择的待输出信息是否是存储信息。如果确定选择的待输出信息不是存储信息,那么所述处理跳入步骤S1904。在步骤S1904,系统控制器897执行错误处理。如果在步骤S1899确定选择的待输出信息是存储信息,那么在步骤S1900,系统控制器897向输出控制器914发送2位选择信息01,表明应该输出存储信息。
当选择的待输出信息是存储信息的情况下,将子菜单显示在与游戏机相连的电视机或者显示器上,以便用户可以规定待输出的存储信息的项目,并且还可以规定将存储的信息输出到哪个游戏机。更具体地说,用户可以根据信息项inf作出选择,所述信息项诸如加速度信息或者抓取压力信息、识别用户的信息PID以及情绪信息E,以及表明目的地游戏机的信息To。例如,用户可以选择加速度信息或者抓取压力信息作为inf,选择表明用户a的信息作为PID,选择“强烈的有生气的”作为情绪信息E,并且选择用户b作为目的地。
在步骤S1901,所述系统照片897确定是否选择了表明特殊种类信息、识别用户的PID、情绪信息E以及目的地To的inf。如果没有执行选择,那么所述处理等到作出选择为止。
在步骤S1902,系统控制器897依照用户作出的选择生成信息(inf,PID,E,To),并且向输出控制器914发送所生成的信息。
在步骤S1903,输出控制器914输出存储信息。稍后将参照图121描述此处理的细节。在此处理中,依照表明所选种类信息、识别用户的PID以及情绪信息E来生成信号,并且将所生成的信号发送到所选的目的地To。
参照图121,下面将描述在图120的步骤S1903中的输出存储信息的处理。
在步骤S1921,依照所选信息(PID、E),输出控制器914从存储单元895获得加速度信息以及抓取压力信息的中心向量。在此具体示例中,从存储单元895获得对应于用户a的“强烈的有生气的”的加速度信息以及抓取压力信息的特征向量的中心向量,即获得了中心向量
Vμ30(Acc+30(1),Acc+30(2),Acc+30(3),Tac+30(1),Tac+30(2),Tac+30(3),Acc-30(1),Acc-30(2),Acc-30(3),Tac-30(1),Tac-30(2),Tac-30(3),Igr_R30(1),Igr_R30(2),Tgr_R30(1),Tgr_R30(2),Igr_L30(1),Igr_L30(2),Tgr_L30(1),Tgr_L30(2))。
在步骤S1922,输出控制器914确定加速度信息是否被选为信息inf的种类。如果确定选择了加速度信息,所述处理进行到步骤S1923。在步骤S1923,输出控制器914提取Vμ30的第一到第十二个分量。
在步骤S1924,输出控制器914生成振动显示单元驱动信号。也就是说,如图125所示,输出控制器914生成由具有输出电平Acc+30(1)、Acc+30(2)、Acc+30(3)以及接通时间Tac+30(1)、Tac+30(2)以及Tac+30(3)的矩形波信号组成的,以及由具有输出电平Acc-30(1)、Acc-30(2)、Acc-30(3)以及接通时间Tac-30(1)、Tac-30(2)、Tac-30(3)的矩形波信号组成的驱动信号。
在步骤S1925,输出控制器914确定信息的目的地To是否是当前用户的终端(游戏机)。如果确定目的地不是当前用户的终端,所述处理进行到步骤S1927。在步骤S1927,输出控制器914向规定为目的地的终端发送驱动信号。例如,当将用户b规定为目的地To的情况下,将驱动信号发送到用户b的终端(游戏机B)。在步骤S1928,游戏机B经由信息接收单元922接收驱动信号。将所接收的驱动信号经由信息鉴别器911提供给输出控制器914。游戏机B的输出控制器914依照所述驱动信号同时驱动所述振动显示单元965L和965R两者。
另一方面,如果在步骤S1925确定目的地To是当前用户的终端(游戏机),那么所述处理进行到步骤S1926。在步骤S1926,输出控制器914依照所述驱动信号同时驱动当前终端(游戏机)的振动显示单元965R和965L两者。
当在步骤S1922确定没有选择加速度信息作为信息inf的种类的情况下(即选择了抓取压力信息),那么所述处理进行到步骤S1929。在步骤S1929,输出控制器914提取Vμ30的第十三到第二十个分量。
然后在步骤S1930,输出控制器914生成光发射单元驱动信号。更具体地说,如图126所示,输出控制器914生成这种的驱动信号,所述驱动信号由具有振幅Igr_R30(1)和接通时间Tgr_R30(1)的正弦波信号、具有振幅Igr_R30(2)和接通时间Tgr_R30(2)的正弦波信号的组成,并且如图127所示,还生成这样一种驱动信号,所述驱动信号由具有振幅Igr_L30(1)和接通时间Tgr_L30(1)的正弦波信号、具有振幅Igr_L30(2)和接通时间Tgr_L30(2)的正弦波信号组成。
在步骤S1931,输出控制器914确定信息的目的地To是否是当前用户的终端(游戏机)。如果确定目的地不是当前用户的终端,所述处理进行到步骤S1933。在步骤S1933,输出控制器914向规定为目的地的终端发送驱动信号。例如,当将用户b规定为目的地To的情况下,将驱动信号发送到用户b的终端(游戏机B)。在步骤S1934,游戏机B经由信息接收单元922接收驱动信号。将所接收的驱动信号经由信息鉴别器911提供给输出控制器914。游戏机B的输出控制器914依照图126所示的驱动信号驱动光发射单元964R,并且依照图127所示的驱动信号驱动光发射单元964L。
另一方面,如果在步骤S1931确定目的地To是当前用户的终端(游戏机),那么所述处理进行到步骤S1932。在步骤S1932,输出控制器914依照图126所示的驱动信号驱动当前终端(游戏机)的光发射单元964R,并且依照图127所示的驱动信号驱动当前终端(游戏机)的光发射单元964L。
由此,显示根据加速度信息以及抓取压力信息识别出的情绪/状态及其强度等级,以便用户可以识别它们。游戏机的控制器被振动,以便用户可以通过身体的感觉来识别加速度信息。此外,从游戏机的控制器发出光,以便用户可以通过身体的感觉来识别抓取信息。对于用户来说,还能够规定对应于特定用户的特定种类情绪信息的加速度信息或者抓取压力信息,并且规定向其呈现加速度信息或者抓取压力信息的特定用户,以便用户可以通过身体的感觉识别加速度信息或者抓取压力信息。
在在线游戏过程中,用户可以通过身体的感觉识别对立游戏者的情绪/状态和强度等级。这能够使游戏者在在线游戏处理中感受到真是的感觉。
上文已经参照具体示例1到4描述了本发明。终端可以不依照上述示例1到4中公开的技术的组合来形成。
在每个示例中描述的处理步骤的顺序可以按照与上述步骤相同的时间顺序来执行,也可以不按时间顺序来执行。例如,可以依照并行或者独立的方式来执行这些步骤。
工业实用性
如上所述,本发明能够根据生命指征信息、键盘振动信息、鼠标点击信息、鼠标抓取压力信息和/或与施加到游戏机的控制器的加速度/抓取压力有关的信息来识别用户的情绪/状态和强度等级。可以依照传统技术发送文本信息、语音信息和图像信息,而且可以依照各种方式来发送并且输出生命指征信息、键盘振动信息、鼠标点击信息、鼠标抓取压力信息、与施加到游戏机控制器的加速度/抓取压力有关的信息及其他相似信息,由此能够实现亲密的通信,所述通信允许彼此直接地传达情绪。
Claims (13)
1.一种信息处理设备,包括:
输入装置,用于同时输入用户的未定义信息以及已定义信息,其中所述已定义信息可以唯一地解释,而所述未定义信息可以依照多种方式解释或者难以解释;
提取装置,用于从所述已定义信息中提取情绪信息;
学习装置,用于通过将输入的未定义信息关联到提取的情绪信息来学习用户的情绪;
存储装置,用于存储作为学习装置执行学习的结果而获得的信息;以及
输出装置,用于将输入的未定义信息或者存储的未定义信息转换为预定形式的信号,并且输出作为结果产生的转换信号,
其中,当输入新的未定义信息时,所述学习装置根据所述新的未定义信息和存储在存储装置中的未定义信息之间的比较来识别用户的情绪;并且
所述输出装置输出学习装置执行的识别结果。
2.如权利要求1所述的信息处理设备,其中所述学习装置学习用户的情绪连同情绪的强度等级。
3.如权利要求1所述的信息处理设备,其中所述存储装置存储对应于由学习装置识别的情绪的新未定义信息,如此将新的未定义信息添加到存储装置中累积的现存未定义信息中。
4.如权利要求1所述的信息处理设备,还包括特征提取装置,用于生成所述未定义信息的特征向量,
其中所述学习装置对所述特征向量执行统计处理,并且在存储装置中存储作为结果产生的特征向量的统计数值。
5.如权利要求4所述的信息处理设备,其中所述学习装置通过比较由特征提取装置根据所输入的未定义信息生成的特征向量和存储在存储装置中的特征向量,识别用户的情绪。
6.如权利要求1所述的信息处理设备,其中所述输入装置输入与用户相关联的脉搏信息或者人体运动信息作为未定义信息。
7.如权利要求1所述的信息处理设备,其中所述输入装置输入表明用户按压键盘时生成的振动的振动信息作为未定义信息。
8.如权利要求1所述的信息处理设备,其中所述输入装置输入表明用户抓取鼠标时的抓取压力的抓取压力信息或者周围温度信息作为未定义信息。
9.如权利要求1所述的信息处理设备,其中所述信息处理设备是用于玩在线游戏的游戏机。
10.如权利要求9所述的信息处理设备,其中所述输入装置输入与游戏机的控制器相关联的加速度信息或者抓取压力信息作为未定义信息。
11.如权利要求9所述的信息处理设备,其中所述输出装置可以从存储的未定义信息中提取用户指定的特定未定义信息,依照预定形式将提取出的未定义信息转换为信号,并且向由用户指定的另一个游戏机输出作为结果产生的信号。
12.如权利要求1所述的信息处理设备,其中所述已定义信息是下述信息之一:语言文字、指定唯一含义的码元、和情绪声明信息。
13.一种信息处理方法,包括以下步骤:
同时输入用户的已定义信息以及未定义信息,其中所述已定义信息可以唯一地解释,而所述未定义信息可以依照多种方式解释或者难以解释;
从所述已定义信息中提取情绪信息;
通过将输入的未定义信息关联到提取的情绪信息来学习用户的情绪;
存储作为在学习步骤中执行学习的结果而获得的信息;以及
将输入的未定义信息或者存储的未定义信息转换为预定形式的信号,并且输出作为结果产生的转换信号,
其中该方法还包括,当输入新的未定义信息时,根据所述新的未定义信息和所存储的未定义信息之间的比较来识别用户的情绪;以及
输出识别结果。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP359823/2002 | 2002-12-11 | ||
JP2002359823 | 2002-12-11 | ||
JP2003040993A JP2004237022A (ja) | 2002-12-11 | 2003-02-19 | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP040993/2003 | 2003-02-19 | ||
PCT/JP2003/012758 WO2004053702A1 (ja) | 2002-12-11 | 2003-10-06 | 情報処理装置および方法、プログラム、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1692341A CN1692341A (zh) | 2005-11-02 |
CN1692341B true CN1692341B (zh) | 2010-12-08 |
Family
ID=32510652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2003801002127A Expired - Fee Related CN1692341B (zh) | 2002-12-11 | 2003-10-06 | 信息处理设备和信息处理方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7548891B2 (zh) |
EP (1) | EP1574961A4 (zh) |
JP (1) | JP2004237022A (zh) |
KR (1) | KR100994906B1 (zh) |
CN (1) | CN1692341B (zh) |
WO (1) | WO2004053702A1 (zh) |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041988A (ja) * | 2005-08-05 | 2007-02-15 | Sony Corp | 情報処理装置および方法、並びにプログラム |
JP2007280485A (ja) * | 2006-04-05 | 2007-10-25 | Sony Corp | 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体 |
EP2022039B1 (en) * | 2006-05-04 | 2020-06-03 | Sony Computer Entertainment America LLC | Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands |
KR101131856B1 (ko) * | 2006-11-03 | 2012-03-30 | 엘지전자 주식회사 | 방송 신호 송신 장치 및 이를 이용한 방송 신호 송수신방법 |
US20080215994A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Virtual world avatar control, interactivity and communication interactive messaging |
EP2132650A4 (en) * | 2007-03-01 | 2010-10-27 | Sony Comp Entertainment Us | SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD |
JP2008225550A (ja) * | 2007-03-08 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP4506795B2 (ja) * | 2007-08-06 | 2010-07-21 | ソニー株式会社 | 生体運動情報表示処理装置、生体運動情報処理システム |
US8262474B2 (en) * | 2009-04-21 | 2012-09-11 | Mcmain Michael Parker | Method and device for controlling player character dialog in a video game located on a computer-readable storage medium |
US8902050B2 (en) * | 2009-10-29 | 2014-12-02 | Immersion Corporation | Systems and methods for haptic augmentation of voice-to-text conversion |
KR101130761B1 (ko) * | 2010-02-26 | 2012-03-28 | 대구가톨릭대학교산학협력단 | 비씨아이 기반 뇌파 측정장치 |
EP2554124B1 (en) * | 2010-11-11 | 2014-01-01 | Olympus Medical Systems Corp. | Ultrasound observation device with the associated method and operating program |
WO2012063976A1 (ja) * | 2010-11-11 | 2012-05-18 | オリンパスメディカルシステムズ株式会社 | 超音波診断装置、超音波診断装置の作動方法および超音波診断装置の作動プログラム |
JP5745265B2 (ja) | 2010-12-22 | 2015-07-08 | 株式会社ソニー・コンピュータエンタテインメント | 信号処理装置、タッチパネルユニット、情報処理装置および信号処理方法 |
US20120311032A1 (en) * | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Emotion-based user identification for online experiences |
EP2832288A4 (en) * | 2012-03-30 | 2015-11-18 | Seiko Epson Corp | PULSE DETECTION DEVICE, ELECTRONIC DEVICE AND PROGRAM |
US10175750B1 (en) * | 2012-09-21 | 2019-01-08 | Amazon Technologies, Inc. | Projected workspace |
CN108670230B (zh) * | 2014-03-14 | 2019-11-22 | 上海万泽精密铸造有限公司 | 自闭症患者用随身佩戴装置的工作方法 |
US10675532B2 (en) * | 2014-04-21 | 2020-06-09 | Steelseries Aps | Variable actuators of an accessory and methods thereof |
US10022622B2 (en) | 2014-04-21 | 2018-07-17 | Steelseries Aps | Programmable actuation inputs of an accessory and methods thereof |
CN106659398B (zh) * | 2014-06-28 | 2022-06-07 | 英特尔公司 | 脉搏诊断 |
CN104462906A (zh) * | 2014-12-19 | 2015-03-25 | 中国农业银行股份有限公司 | 一种具有信息采集功能的鼠标和身份识别方法及系统 |
CN104808989A (zh) * | 2015-04-16 | 2015-07-29 | 深圳市金立通信设备有限公司 | 一种终端控制方法 |
CN104808990A (zh) * | 2015-04-16 | 2015-07-29 | 深圳市金立通信设备有限公司 | 一种终端 |
CN105100435A (zh) * | 2015-06-15 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 移动通讯应用方法和装置 |
CN105244023A (zh) * | 2015-11-09 | 2016-01-13 | 上海语知义信息技术有限公司 | 课堂教学中教师情绪的提醒系统及方法 |
US10241583B2 (en) * | 2016-08-30 | 2019-03-26 | Intel Corporation | User command determination based on a vibration pattern |
CN106419936A (zh) * | 2016-09-06 | 2017-02-22 | 深圳欧德蒙科技有限公司 | 一种基于脉搏波时间序列分析的情绪分类方法及装置 |
WO2019087916A1 (ja) * | 2017-11-01 | 2019-05-09 | アルプスアルパイン株式会社 | 生体情報測定装置、情報処理装置、情報処理方法、プログラム |
JP2019159707A (ja) * | 2018-03-12 | 2019-09-19 | 富士ゼロックス株式会社 | 情報提示装置、情報提示方法及び情報提示プログラム |
CN108577866A (zh) * | 2018-04-03 | 2018-09-28 | 中国地质大学(武汉) | 一种多维情感识别与缓解的系统及方法 |
US11243957B2 (en) * | 2018-07-10 | 2022-02-08 | Verizon Patent And Licensing Inc. | Self-organizing maps for adaptive individualized user preference determination for recommendation systems |
CN109697472B (zh) * | 2018-12-28 | 2021-05-04 | 泰州市津达电子科技有限公司 | 一种子情绪划归方法 |
CN109460752B (zh) * | 2019-01-10 | 2020-10-16 | 广东乐心医疗电子股份有限公司 | 一种情绪分析方法、装置、电子设备及存储介质 |
DE112021000332T5 (de) * | 2020-06-12 | 2022-09-22 | Murata Manufacturing Co., Ltd. | Greifbeurteilungsvorrichtung, Greifbeurteilungsmethode und Greifbeurteilungsprogramm |
GB2618814A (en) * | 2022-05-18 | 2023-11-22 | Sony Interactive Entertainment Inc | Player selection system and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5918222A (en) * | 1995-03-17 | 1999-06-29 | Kabushiki Kaisha Toshiba | Information disclosing apparatus and multi-modal information input/output system |
JP2001160021A (ja) * | 1999-12-03 | 2001-06-12 | Sony Corp | 仮想空間による通信システム |
JP2002202943A (ja) * | 2000-12-28 | 2002-07-19 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0716349A (ja) | 1993-07-02 | 1995-01-20 | Pioneer Electron Corp | ビデオゲーム装置 |
JPH08191952A (ja) | 1995-01-18 | 1996-07-30 | Yutaka Nakano | 仮想現実体感方法及び装置 |
JPH0981632A (ja) | 1995-09-13 | 1997-03-28 | Toshiba Corp | 情報公開装置 |
US6157913A (en) * | 1996-11-25 | 2000-12-05 | Bernstein; Jared C. | Method and apparatus for estimating fitness to perform tasks based on linguistic and other aspects of spoken responses in constrained interactions |
JP3159242B2 (ja) * | 1997-03-13 | 2001-04-23 | 日本電気株式会社 | 感情生成装置およびその方法 |
JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
JPH1147444A (ja) | 1997-07-29 | 1999-02-23 | Sony Corp | 通信型ゲーム装置 |
JPH11119791A (ja) * | 1997-10-20 | 1999-04-30 | Hitachi Ltd | 音声感情認識システムおよび方法 |
US6102846A (en) * | 1998-02-26 | 2000-08-15 | Eastman Kodak Company | System and method of managing a psychological state of an individual using images |
JPH11333139A (ja) | 1998-05-26 | 1999-12-07 | Fuji Electronics Co Ltd | 動態画像のコントロール装置 |
JP3914636B2 (ja) | 1998-06-12 | 2007-05-16 | 有限会社アンブレラ | 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 |
US6249780B1 (en) * | 1998-08-06 | 2001-06-19 | Yamaha Hatsudoki Kabushiki Kaisha | Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object |
US6230111B1 (en) * | 1998-08-06 | 2001-05-08 | Yamaha Hatsudoki Kabushiki Kaisha | Control system for controlling object using pseudo-emotions and pseudo-personality generated in the object |
US7263489B2 (en) * | 1998-12-01 | 2007-08-28 | Nuance Communications, Inc. | Detection of characteristics of human-machine interactions for dialog customization and analysis |
US7055101B2 (en) * | 1998-12-18 | 2006-05-30 | Tangis Corporation | Thematic response to a computer user's context, such as by a wearable personal computer |
US6513046B1 (en) * | 1999-12-15 | 2003-01-28 | Tangis Corporation | Storing and recalling information to augment human memories |
US6466232B1 (en) * | 1998-12-18 | 2002-10-15 | Tangis Corporation | Method and system for controlling presentation of information to a user based on the user's condition |
KR20010053481A (ko) * | 1999-05-10 | 2001-06-25 | 이데이 노부유끼 | 로봇 장치 및 그 제어 방법 |
JP2001034410A (ja) * | 1999-07-26 | 2001-02-09 | Matsushita Electric Ind Co Ltd | 感性入力装置および感性推定方法 |
US6418435B1 (en) * | 1999-08-11 | 2002-07-09 | Connotative Reference Corporation | System for quantifying intensity of connotative meaning |
US6480826B2 (en) * | 1999-08-31 | 2002-11-12 | Accenture Llp | System and method for a telephonic emotion detection that provides operator feedback |
JP2001215993A (ja) | 2000-01-31 | 2001-08-10 | Sony Corp | 対話処理装置および対話処理方法、並びに記録媒体 |
JP2001236162A (ja) * | 2000-02-24 | 2001-08-31 | Sony Computer Entertainment Inc | エンタテインメント装置、記録媒体及びコンピュータプログラム |
JP2001249945A (ja) * | 2000-03-07 | 2001-09-14 | Nec Corp | 感情生成方法および感情生成装置 |
JP2002282543A (ja) * | 2000-12-28 | 2002-10-02 | Sony Computer Entertainment Inc | オブジェクトの音声処理プログラム、オブジェクトの音声処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、及びオブジェクトの音声処理方法 |
JP2002230011A (ja) | 2001-02-05 | 2002-08-16 | Seiko Epson Corp | 感情認識システム |
JP2002298155A (ja) | 2001-03-29 | 2002-10-11 | Hic:Kk | 感情による3dコンピュータグラフィックス表情モデル形成システム |
EP1298645A1 (en) * | 2001-09-26 | 2003-04-02 | Sony International (Europe) GmbH | Method for detecting emotions in speech, involving linguistic correlation information |
US7007001B2 (en) * | 2002-06-26 | 2006-02-28 | Microsoft Corporation | Maximizing mutual information between observations and hidden states to minimize classification errors |
-
2003
- 2003-02-19 JP JP2003040993A patent/JP2004237022A/ja active Pending
- 2003-10-06 EP EP03748712A patent/EP1574961A4/en not_active Withdrawn
- 2003-10-06 CN CN2003801002127A patent/CN1692341B/zh not_active Expired - Fee Related
- 2003-10-06 KR KR1020047012342A patent/KR100994906B1/ko not_active IP Right Cessation
- 2003-10-06 US US10/503,121 patent/US7548891B2/en not_active Expired - Fee Related
- 2003-10-06 WO PCT/JP2003/012758 patent/WO2004053702A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5918222A (en) * | 1995-03-17 | 1999-06-29 | Kabushiki Kaisha Toshiba | Information disclosing apparatus and multi-modal information input/output system |
JP2001160021A (ja) * | 1999-12-03 | 2001-06-12 | Sony Corp | 仮想空間による通信システム |
JP2002202943A (ja) * | 2000-12-28 | 2002-07-19 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
Non-Patent Citations (1)
Title |
---|
JP平9-081632(A) 1997.03.28 |
Also Published As
Publication number | Publication date |
---|---|
CN1692341A (zh) | 2005-11-02 |
EP1574961A1 (en) | 2005-09-14 |
JP2004237022A (ja) | 2004-08-26 |
KR100994906B1 (ko) | 2010-11-16 |
US7548891B2 (en) | 2009-06-16 |
US20050149467A1 (en) | 2005-07-07 |
WO2004053702A1 (ja) | 2004-06-24 |
EP1574961A4 (en) | 2011-10-26 |
KR20050084771A (ko) | 2005-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1692341B (zh) | 信息处理设备和信息处理方法 | |
CN108326855A (zh) | 一种机器人的交互方法、装置、设备以及存储介质 | |
CN109117952B (zh) | 一种基于深度学习的机器人情感认知的方法 | |
CN108602191A (zh) | 动作信息生成装置 | |
Savva et al. | Automatic recognition of affective body movement in a video game scenario | |
Stern et al. | Designing hand gesture vocabularies for natural interaction by combining psycho-physiological and recognition factors | |
CN115951786B (zh) | 一种利用aigc技术的多结局创意社交游戏的创作方法 | |
Murray et al. | Learning backchanneling behaviors for a social robot via data augmentation from human-human conversations | |
Chernova et al. | Crowdsourcing real world human-robot dialog and teamwork through online multiplayer games | |
JP4525712B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
Chen et al. | Facial expression recognition and positive emotion incentive system for human-robot interaction | |
Nishimura et al. | Design support system for emotional expression of robot partners using interactive evolutionary computation | |
CN111949773A (zh) | 一种阅读设备、服务器以及数据处理的方法 | |
CN108416618A (zh) | 用于模拟器的智能型服务系统、装置与方法 | |
CN113505750A (zh) | 一种识别方法、装置、电子设备及计算机可读存储介质 | |
Solanki et al. | Handbook of research on emerging trends and applications of machine learning | |
Kirandziska et al. | Human-robot interaction based on human emotions extracted from speech | |
Bohara | Artificial intelligence and machine learning: Face detection and recognition with python | |
Sharifara et al. | A robot-based cognitive assessment model based on visual working memory and attention level | |
US20200410884A1 (en) | Network learning system and method thereof | |
Vircikova et al. | Design of verbal and non-verbal human-robot interactive system | |
McCallum et al. | Supporting Feature Engineering in End-User Machine Learning | |
Sun et al. | Intelligent Adaptive Agents and Trust in Virtual and Augmented Reality | |
Rajendran et al. | User Profiling Based Proactive Interaction Manager for Adaptive Human-robot Interaction | |
Ganie et al. | A VGG16 Based Hybrid Deep Convolutional Neural Network Based Real-Time Video Frame Emotion Detection System for Affective Human Computer Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101208 Termination date: 20121006 |