CN1302056A - 信息处理设备,信息处理方法和存储介质 - Google Patents

信息处理设备,信息处理方法和存储介质 Download PDF

Info

Publication number
CN1302056A
CN1302056A CN00137498A CN00137498A CN1302056A CN 1302056 A CN1302056 A CN 1302056A CN 00137498 A CN00137498 A CN 00137498A CN 00137498 A CN00137498 A CN 00137498A CN 1302056 A CN1302056 A CN 1302056A
Authority
CN
China
Prior art keywords
image
behavior
user
result
robot device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00137498A
Other languages
English (en)
Other versions
CN1204543C (zh
Inventor
山下润一
小川浩明
本田等
赫尔穆特·卢克
田丸英司
藤田八重子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1302056A publication Critical patent/CN1302056A/zh
Application granted granted Critical
Publication of CN1204543C publication Critical patent/CN1204543C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

公开了一种执行各种动作的机器人装置。麦克风拾取的用户的语音由语音识别器识别。CCD拾取的用户的示意动作由图像识别器识别。行为决定单元根据语音识别器提供的语音信息和图像识别器提供的图像信息,决定机器人装置采取的行为。

Description

信息处理设备，信息处理方法和存储介质
本发明涉及信息处理设备，信息处理方法和存储介质，并且特别涉及使用语音信息和图像信息决定机器人装置的行为的信息处理设备、信息处理方法，以及用于存储信息处理方法的软件程序的存储介质。
现在市场上有大量的玩具机器人装置(某些时候被充滞(stuffed))。一些机器人装置根据触动开关的按动输出合成语音。另一些机器人装置识别用户发出的话音并且说话来进行应答，这样用户乐于与这样的机器人装置交谈。
市场上也有许多机器人装置，它们拾取图像用于图像识别，并且估计它们周围的环境，以自我控制的方式移动。
当用户的语音不很清楚时，语音识别是不稳定的识别。具体地说，当用户的词语包括没有被清楚定义并且有几种解释的指示代词时，机器人装置不能识别该代词指示的物体。
上述机器人装置根据语音或图像以自我控制的方式移动，并且难以根据语音信息和图像信息运行。
因此，本发明的一个目的是提供一种使用语音和图像信息可靠执行语音识别的机器人装置，从而给机器人装置提供多种运动。
在本发明的一个方面中，机器人装置中使用的一种信息处理设备包括：语音识别器，用于识别语音；图像识别器，用于识别图像；和决定单元，根据由语音识别器提供的语音识别结果和由图像识别器提供的图像识别结果中的至少一个结果，决定机器人装置的行为。
信息处理设备可以包括：存储单元，存储描述语音识别器提供的话音识别结果和图像识别器提供的图像识别结果的关系、和根据语音识别结果和图像识别结果唯一确定的机器人装置的行为的表。
当语音识别不由语音识别器唯一确定时，决定单元可以按照由图像识别器唯一确定的图像识别结果，决定机器人装置的行为。
当多个物体出现在图像识别器识别的图像区域内时，决定单元可以按照由语音识别器唯一确定的语音识别结果，决定机器人装置的行为。
图像识别器可以识别在用户的手指、面部、眼睛和下领中的用户的预定部分之一所指的方向上出现的场景的图像。
该信息处理设备还进一步包括：存储单元，用于存储由用户施行的示意动作数据，其中图像识别器识别用户的图像，以检测与存储在存储单元中的示意动作数据匹配的示意动作；并且将所检测的示意动作看作图像识别结果。
该信息处理设备还进一步包括：检测器，用于检测用户的面部；和距离查找器，用于根据检测器检测的用户面部的大小，测量用户和机器人装置之间的距离，其中决定单元使用测量的距离决定机器人装置的行为。
语音识别器可以检测包含在背景声音中的旋律，并且将检测的旋律当成语音识别结果。
语音识别器可以从背景声音中检测声学现象，并且将所检测的声学现象当成语音识别结果来处理。
在本发明的另一方面中，机器人装置使用的信息处理设备的信息处理方法包括：语音识别步骤，识别语音；图像识别步骤，识别图像；和决定步骤，根据在语音识别步骤提供的语音识别结果和在图像识别步骤提供的图像识别结果中的至少一个结果，决定机器人装置的行为。
在本发明的另一方面中，在机器人装置中使用的信息处理设备的软件程序包括：用于执行下列步骤的程序代码：识别语音的语音识别步骤、识别图像的图像识别步骤、根据在语音识别步骤提供的语音识别结果和在图像识别步骤提供的图像识别结果中的至少一个结果泱定机器人装置行为的决定步骤。
在本发明的另一方面中，存储介质存储机器人装置中使用的信息处理设备的软件程序。包括执行下列步骤的程序代码：识别语音的语音识别步骤、识别图像的图像识别步骤、根据在语音识别步骤提供的语音识别结果和在图像识别步骤提供的图像识别结果中的至少一个结果决定机器人装置行为的决定步骤。
图1是本发明的机器人装置的一个实施例的外观图；
图2是图1所示的机器人装置内部结构的方框图；
图3是图2的控制器的功能方框图；
图4是执行语音和图像识别的机器人装置一部分的功能方框图；
图5是语音识别器的内部结构方框图；
图6是图像识别器的内部结构方框图；
图7是行为决定单元的内部结构方框图；
图8是行为表存储单元中存储的行为表；
图9是在行为分类表存储单元中存储的行为分类表；
图10是语音识别过程的流程图；
图11是图像识别过程的流程图；
图12是行为决定过程的流程图；
图13是使用语音信息和图像信息输出识别结果的过程流程图；
图14是使用语音信息和图像信息输出识别结果的另一过程流程图；
图15是使用语音信息和图像信息输出识别结果的又一过程流程图；
图16示出了用户和机器人装置的几何图；
图17示出了语音识别器的另一结构；
图18示出了行为表存储单元中存储的另一行为表；
图19示出了行为表存储单元中存储的另一行为表；
图20示出了存储介质。
图1是本发明的机器人装置1的一个实施例的外观图，图2示出了机器人装置1的电气结构。
该实施例的机器人装置1模拟一只狗。腿单元3A、3B、3C和3D分别连接到左前侧、右前侧、左后侧和右后侧的躯干单元2。头单元4和尾单元5分别连接到在前和后方的躯干单元2。
尾单元5从躯干单元2的基底部分5B可两个自由度地延伸，使得尾单元5弯曲或转动。躯干单元2内装：控制器10，用于控制整个机器人装置1；电池11，作为机器人装置1的电源；和内部传感器14，诸如电池传感器12和热传感器13。
头单元4包括：与狗的“耳朵”对应的麦克风15；与狗的“眼睛”对应的CCD(电荷耦合器件)摄像机16；与狗的触觉对应的触觉传感器17；和与狗的“嘴部”对应的扬声器18。
致动器3AA1到3AAK、3BA1到3BAK、3CA1到3CAK和3DA1到3DAK分别设置在腿单元3A、3B、3C和3D中，并且分别在腿单元3A、3B、3C、3D和躯干单元2之间的关节处。致动器4A1到4AL设置在头单元4和躯干单元2之间的关节处，并且致动器5A1和5A2设置在尾单元5和躯干单元2之间的关节处。这些关节使得各连接单元以预定的自由度转动。
在头单元4中的麦克风15拾取包含用户语音的周围声音，并且将产生的声音信号输出到控制器10。CCD摄像机16拾取机器人装置1周围的图像，并且将产生的图像信号传送到控制器10。
设置在头单元4的顶部的触觉传感器17检测施加于其上的物理作用压力，诸如“被抚摸”或“被敲打”，并且将检测结果作为压力信号发送到控制器10。
在躯干单元2中的电池传感器12检测在电池11中剩余的电力，并且将检测的电力电平作为剩余电力指示信号输出到控制器10。热传感器13检测机器人装置1内积累的热量，并且将检测结果作为热电平信号传送到控制器10。
控制器10包括CPU(中央处理单元)10A和存储器10B。CPU10A通过执行存储在存储器10B中的控制程序，执行各种处理。具体地说，控制器10根据分别由麦克风15、CCD摄像机16、触觉传感器17、电池传感器12和热传感器13提供的语音信号、图像信号、压力信号、电池剩余电力指示信号和热电平信号，确定机器人装置1周围的情况、来自用户的命令、和用户动作的存在或不存在。
根据确定结果，控制器10决定采取什么动作或行为。响应于决定结果，致动器3AA1到3AAK、3BA1到3BAK、3CA1到3CAK和3DA1到3DAK、4A1到4AL和5A1和5A2根据需要被驱动。头单元4可以纵向或横向转动，尾单元5可以摆动，腿单元3A到3D可以被驱动，从而机器人装置1进行任何动作诸如四足行走。
控制器10按照需要合成声音，并且通过扬声器18输出合成的声音。设置在机器人装置1的眼睛位置的LED(发光二极管)(未示出)可以接通，可以熄灭或可以眨动。
用此方法，机器人装置1响应于其周围情况，以自我控制方式动作。
图3是图2所示的控制器10的功能方框图。当CPU 10A执行存储在存储器10B中的控制程序时，机器人装置1按照图3所示的功能方框图操作。
控制器10包括：传感器信号处理器31，用于识别机器人装置1周围的特定情况；情感/本能模型单元32，用于表达机器人装置1的感情和本能状态；行为决定单元33，根据由传感器信号处理器31提供的识别结果，决定要采取的动作；姿态转换单元34，用于按照行为决定单元33提供的决定结果驱动机器人装置1动作；驱动控制器35，用于驱动和控制致动器3AA1到5A2；语音合成器36，语音合成声音；和声音处理器37，用于控制语音合成器36的输出。
传感器信号处理器31按照分别由麦克风15、CCD摄像机16和触觉传感器17提供的语音信号、图像信号和压力信号，识别机器人装置1周围的特定情况、用户采取的特定行动、和用户给出的指令。传感器信号处理器31将指示识别结果的识别信息输出到情感/本能模型单元32和行为决定单元33。
具体地说，传感器信号处理器31包括语音识别器31A。在行为决定单元33的控制下，语音识别器31A对来自麦克风15的语音信号进行语音识别。语音识别器31A将语音识别结果诸如象“走”、“躺下”、“跟着球走”之类的命令等通知给情感/本能模型单元32和行为决定单元33。
传感器信号处理器31还包括图像识别器31B。该图像识别器31B对来自CCD摄像机16的图像信号进行图像识别。例如，当图像识别器31B已经检测到“红色和圆形物体”或“从地面垂直延伸并且比预定高度高的平面”时，图像识别器31B将图像识别结果通知给情感/本能模型单元32和行为决定单元33，该图像识别结果可能指示“有一个球”或“有一堵墙”。传感器信号处理器31还识别用户的示意动作，并且将相应识别结果通知给行为决定单元33。
传感器信号处理器31还包括处理器识别器31C。处理器识别器31C处理来自触觉传感器17的压力信号。当触觉传感器17检测到高于预定阈值电平的、短持续时间的压力时，处理器识别器31C识别机器人装置1正在被“敲打(或惩罚)”。当触觉传感器17检测到低于预定阈值电平的、长持续时间的压力时，处理器识别器31C识别为“被抚摸(或表扬)”。然后，处理器识别器31C将识别结果馈送给情感/本能模型单元32和行为决定单元33。
情感/本能模型单元32管理机器人装置1的表达情感状态的情感模型和本能模型。行为决定单元33根据传感器信号处理器31的识别结果、情感/本能模型单元32的情感/本能状态信息和过去的时间决定采取的下一个行为。然后行为决定单元33将行为信息作为行为命令信息送给姿态转换单元34。
响应于来自行为决定单元33的行为命令信息，姿态转换单元34产生姿态转换信息，该信息用来使机器人装置1从当前姿态转换到下一个姿态。姿态转换信息送给驱动控制器35。响应于来自姿态转换单元34的姿态转换信息，驱动控制器35产生控制信号，用于驱动致动器3AA1到5A1，并且分别输出控制信号到致动器3AA1到5A2。致动器3AA1到5A1和5A2按照各控制信号被驱动。于是机器人装置1以自我控制方式工作。
机器人装置1识别用户的语音和示意动作，由此决定其行为。图4示出了图3所示的系统的一部分，在识别用户语音和示意动作之后其决定机器人装置的行为。参照图4，示出了识别用户语音的麦克风15和语音识别器31A；识别用户的示意动作的CCD摄像机16和图像识别器31B；和行为决定单元33。基于语音识别器31A和图像识别器31B提供的识别结果，行为决定单元33决定机器人装置1采取的下一个动作。
图5详细示出了语音识别器31A。用户的语音输入到麦克风15，在此将用户的语音转换成电语音信号。电语音信号送给语音识别器31A中的模拟数字(AD)转换器51。AD转换器51将是模拟信号的电语音信号采样、量化并且由此转换成数字语音信号。该数字语音信号送给特征提取器52。
特征提取器52每隔合适数目的帧，从来自AD转换器51的语音数据中提取特征参数，诸如频谱、线性预测系数、倒谱系数和线性频谱对。然后，该特征提取器52将特征参数送给特征参数缓冲器53和匹配单元54。特征参数缓冲器53临时存储来自特征提取器52的特征参数。
基于来自特征提取器52的特征参数和来自特征参数缓冲器53的特征参数，匹配单元54在参照声学模型数据库55、字典数据库56和语法数据库57的同时，识别输入到麦克风15的语音。
声音模型数据库55以将被识别的语言来存储代表语音中的声学特性诸如音素和音节的声学模型。作为一个声学模型，可以采用HMM(隐含马尔克夫模型)。字典数据库56存储包含要被识别的每个词语的发音信息(发音信息)的词语字典。语法数据库57存储描述在字典数据库56中登记的每个词语如何被链接的语法。该语法可以是上下文无关语法(CFG)，或基于词语链概率的规则(N语法)。
匹配单元54通过参考字典数据库56中的字典，连接存储在声学模型数据库55中的声学模型，产生新词语(词语模型)。匹配单元54还通过参考存储在语法数据库57中的语法，连接几个词语模型，并且基于特征参数通过连续HMM方法处理所连接的词语模型，从而识别输入到麦克风15的语音。于是匹配单元54的语音识别结果以文本输出。
当匹配单元54需要再处理输入的语音时，使用存储在特征参数缓冲器53中的特征参数。用该方法，没有必要请求用户再次说话。
图6示出了图像识别器31B的内部结构。由CCD摄像机16拾取的图像输入到图像识别器31B中的AD转换器61。图像数据由AD转换器61转换成数字图像数据，然后输出到特征提取器62。特征提取器62从输入图像数据中提取各特征，诸如图像中的物体的边缘和密度变化，从而确定特征量，诸如特征参数或特征矢量。
由特征提取器62提取的特征量输出到面部检测器63。面部检测器63从输入特征量中检测用户的面部，并且将检测的结果输出到距离查找器64。距离查找器64在测量用户的面部看去的方向的同时，使用面部检测器63的输出测量到用户的距离。测量结果被输出到行为决定单元33。
到用户的距离可以从面部大小的变化来测量。例如，距离测量可以使用Henrv A.Rowley,Shumeet Baluja和Takeo Kanade在论文“Neural Nerwork-Based Frace Detection(基于面部检测的神经网络)”IEEE模式分析和机器智能化中描述的方法。
在该实施例中，面部的大小使用单条图像信号线测量。或者，为了匹配可以比较在两条信号线上的两个图像信号(立体图像)以测量到用户的距离。例如，从立体图像提取三维信息的方法公开于论文“Section 3.3.1 Point PatternMatching,Image Analysis Handbook(节3.3.1点模式匹配，图像分析手册)”中，该论文由Takagi,Shimoda编辑，东京大学出版。
特征提取器62提取的特征量输出到面部检测器63和匹配单元65。匹配单元65将输入特征量与存储在标准模式数据库66中的模式信息比较，并且将比较结果送给行为决定单元33。存储在标准模式数据库66中的数据包含示意动作图像数据和指示行为模式的特征的数据。对于示意动作识别，参考日本机器人装置技术杂志，Vol.17,No.7,pp.933-936,1999由SeijiINOKUCHI所著的、题为“Gesture Recognition for Kansei Expression(用于Kansei表达的示意动作识别)”的论文。
语音识别器31A提供的识别结果和图像识别器31B提供的识别结果(测量结果)输入到行为决定单元33。图7示出了行为决定单元33的内部结构。语音识别器31A提供的语音识别结果输入到行为决定单元33中的文本解析器71。文本解析器71基于存储在字典数据库72和语法数据库73中的数据，对输入语音识别结果进行词素分析和语法分析。文本解析器71基于在字典数据库72中字典的内容，提取输入语音的意义和意图。
具体地说，字典数据库72存储应用词语和语法需要的讲话信息的部件和各词语的含义信息。语法数据库73根据存储在字典数据库72中的各词语信息存储描述链接词语中的约束。使用这些数据段，文本解析器71分析输入语音识别结果。
语法数据库73存储文本解析所需的数据，诸如正规语法，上下文无关语法，词语链的统计建立，和包括用于语义解析的诸如HPSG(Head-driven PhraseStructure Grammar，驱动头短语结构语法)的语义学。
文本解析器71提供的分析结果输出到关键词提取器74。响应于输入分析结果，关键词提取器74参考存储在关键词数据库75中的数据，并且提取发出语音的用户的意图。提取结果送给行为表参考单元76。关键词数据库75存储指示用户意图诸如叫喊和命令、并且在查找关键词中用作关键词的数据。更具体地说，用作后续阶段行为表参考单元76中语音信息索引的表达和对应于该表达的词语被存储为关键词数据。
行为表参考单元76按照关键词提取器74提供的提取结果和图像识别器31B提供的识别结果，参照分别存储在行为表存储单元77和行为分类表存储单元78中的表，决定机器人装置1的行为。现在讨论存储在行为表存储单元77中的表。图8示出了存储在行为表存储单元77中的行为表。
此处，图像识别结果分成“召唤”、“用手指指着”、“握手”、“招手”和“没有结果”。根据每种图像识别结果，可能需要或可以不需要增补信息。此外，也参照语音识别结果。
例如，发现图像识别结果是“召唤”，需要现在用户在何处及用户多远的信息，换言之，需要测量结果。当用户召唤时，如果语音识别结果表示“过来”的命令，决定“走近用户”的动作。当语音识别结果表示“离开”的命令时，泱定“离开”的动作。即使当用户说“过来”时，不总是决定走近用户的动作，后面将对此描述。
于是行为表描述了单个行为，该行为根据机器人装置对于用户的状态，由用户的示意动作(图像识别结果)、用户的语音(语音识别结果)和到用户的距离(测量结果)的三部分信息确定。
图9表示存储在行为分类表存储单元78中的行为分类表。行为分类表列出在图8中所示行为表中所列行为的分类。表中的行为被分成图9中所列出的四类：“相对于机器人装置位置的行为”、“相对于用户位置的行为”、“绝对行为”和“其它行为”。
相对于机器人装置位置的行为包括根据到机器人装置当前位置的距离和方位确定的行为。例如，当用户说“向右去”时，如果用户处在其右侧与机器人装置的左手侧对齐的面对面位置，面对机器人装置1，机器人装置1从它自己的位置向左移动。
相对于用户位置的行为包括根据到用户当前位置的距离和方位确定的行为。例如，当用户说“过来”时，机器人装置1确定在用户的80cm范围内移动多远，例如按照确定结果实际移动。
绝对行为包括在不管机器人装置1和用户的当前位置的情况下确定的行为。例如，当用户说“向西去”时，机器人装置1仅向西移动，因为不管当前机器人装置自己的位置和当前用户的位置来确定向西方向。
其它行为是既不需要方位信息也不需要距离信息的行为，例如包括机器人装置1产生的语音。
现在讨论机器人装置1的行为的决定。机器人装置1的行为由用户的语音和动作来决定。现在参照图10所示的流程图讨论用户语音的识别。在步骤S1中，由麦克风15拾取的用户语音接着在语音识别器31A的语音识别过程中被处理。
在步骤S2中，由语音识别器31A提供的语音识别结果输入到行为决定单元33中的文本解析器71用于文本分析。在步骤S3中，关键词提取器74使用分析结果执行关键词匹配。在步骤S4中，确定是否已经提取了一个关键词。当在步骤S4中确定已经提取了一个关键词时，处理进行到步骤S5。
在步骤S5中提取的关键词被当作语言信息。当在步骤S4中确定没有提取到关键词，处理转到步骤S6，并且没有关键词的信息被当成语言信息。当步骤S5或步骤S6被完成时，在步骤S7中，语言信息被输出到行为表参考单元76。该处理在机器人装置1的操作期间被重复。
在上述语音识别处理进行的同时，也处理用户的图像。现在参照图11所示的流程图讨论机器人装置1的图像处理。在步骤S11中，在图像识别器31B中的特征提取器62从CCD摄像机16拾取的图像中提取特征量。在步骤S12中，根据识别结果确定是否有被登记的示意动作。具体地说，使用从特征提取器62输出的特征量，匹配单元65确定识别结果是否与存储在标准模式数据库66中的任何一个示意动作模式信息匹配。当发现该示意动作与一种示意动作模式信息匹配时，处理转到步骤S13。
然后在步骤S13中判定所确定的与登记的示意动作匹配的示意动作是否有增补信息。例如，具有增补信息的示意动作可以是用户用他自己的手指指向一个方向，并且在此情况下，出现在用户手指所指的方向的物体的信息是增补信息。当在步骤S13中确定示意动作具有它自己的增补信息时，在步骤S14中检测该增补信息。当在步骤S14中完成增补信息的检测时，处理转到步骤S15。
当在步骤S12中确定没有登记示意动作时，或当在步骤S13中确定该示意动作没有关联增补信息时，处理转到步骤S15。在步骤S15中，行为信息输出到行为表参考单元76。
当处理从步骤S12进行到步骤S15时，行为信息是没有示意动作的信息，换言之，图像识别结果指示没有决定机器人装置1采取行为的信息。当处理从步骤S13进行到步骤S15时，行为信息只含有关于示意动作的信息。当过程从步骤S14到步骤S15时，行为信息含有关于示意动作的信息和增补信息。
在机器人装置1的操作期间重复该图像识别处理。在步骤S13的增补信息可以根据需要包括面部检测器63和距离查找器64提供的测量结果。
在行为决定单元33中的行为表参考单元76使用语音识别结果的语言信息和图像识别结果的行为信息决定机器人装置1的行为。现在参照图12讨论行为表参考单元76的操作。在步骤S21中，行为表参考单元76接收来自关键词提取器74的语言信息和来自图像识别器31B的行为信息。在步骤S22中，根据输入的语言信息和行为信息，行为表参考单元76参照存储在行为表存储单元77中的行为表和存储在行为分类表存储单元78中的行为表分类表，唯一决定机器人装置1的行为。
现在讨论行为表参考单元76的决定操作。基于图8所示的表，进行决定操作。例如，当图像识别结果(行为信息)是“召唤”并且语音识别结果(语言信息)表示“过来”的命令时，设定走近用户、离开用户和不理用户的三种行为。当用户“召唤”并且告诉机器人装置1“来”时，机器人装置1通常选择走近用户的动作。然而，如果机器人装置1总是响应相同的方式，用户可能厌倦了机器人装置1的这种响应。
即使当用户作相同的示意动作和说相同的话时，可以设计机器人装置1有不同的响应。采取三种行为中哪一种可以按顺序决定、可以以随机方式决定、可以用概率值决定、可以由关键词决定或可以根据当时的情感决定。
当用概率值进行行为决定时，走近用户的行为能有50％的概率，离开用户的行为能有30％的概率，而不理用户的行为能有20％的概率。
当按照关键词进行行为决定时，可有采用当前动作、当前话、先前动作和先前话的组合。例如，当在先前动作中用户拍他的手时，并且在当前动作中召唤接着说“过来”命令时，将机器人装置1设计成总是选择走近用户的行为。当用户在先前动作中敲打机器人装置1时，并且在当前动作中召唤接着说“过来”的命令时，将机器人装置1设计成选择离开用户的行为。
用此方法，在决定行为中可以采用当前动作、当前话、先前动作和先前话的组合。
当根据机器人装置1的情感进行行为决定时，机器人装置1参照在情感/本能模型单元32中的信息。例如，当用户召唤并且告诉正在害怕的机器人装置1到用户这边来时，机器人装置可以走近用户。当用户召唤并且告诉正在生气的机器人装置1时，机器人装置1可以不理用户。
用此方法，根据语言信息和行为信息，行为表参考单元76决定参照行为表的行为。在步骤S23中，行为表参照单元76将决定的行为告诉姿态转换单元34(参见图12)。机器人装置1按照后续的过程执行预定操作。
在上述实施例中，检测用户手指所指的方向，并且检测在那个方向上出现的物体作为增补信息。或者，可通过检测用户面部的朝向、用户眼睛所看的方向、和用户下领所指的方向检测增补信息。
除了上述示意动作，标准模式数据库66可以存储各种其它示意动作，以传递意图和感情，诸如上下摇某人的头表达“是”，横向摇某人的“头”表达“不是”，胜利或和平的标志，祈祷，欢呼，或其它各种示意动作。
当机器人装置1识别用户的语音时，声音本身可能是不清楚的(不清楚地发音)，引起错误的识别。例如，用户可能用不清楚的语音说“请取一本书(book)”，传感器信号处理器31可能用错误的讲话“请取一个钩子(hook)”识别那句话。图13是通过图像数据的帮助避免这种错误识别的处理流程图。
当用户说话时，然后他的声音由麦克风15拾进机器人装置1，并且在步骤S31输入至语音识别器31A。在步骤S32，语音识别器31A识别输入的语音，由此，产生可能是用户说的多个词语候选者。在步骤S33，对于最可能第一候选者和第二候选者执行处理步骤。
在步骤S33，确定第一候选者和第二候选者之间的分数差是否落在预定阈值之内。当确定分数差在预定阈值之外时，换言之，当由于第一候选者远离第二候选者，候选者被当成一个候选结果而没有任何问题时，处理转到步骤S37。第一候选者现在被确认为正确结果。
当在步骤S33中确定第一候选者和第二候选者之间的分数差落在阈值之内时，换言之，当确定第一候选者可能是一个错误结果时，过程进行到步骤S34。然后处理具有高分数的多个候选者。在步骤S36中，执行图像识别。在步骤S35中，对用户说话时拾取的图像、或在用户说话之前已经拾取的图像、或用户说话之后拾取的图像进行图像识别处理。
然后使用在步骤S35中获得的图像识别结果，补充语音识别处理结果。
如上所述，当用户说“请取一本书”时，第一候选者是“请取一本书”，而第二候选者是“请取一个钩子”。如果第一候选者和第二候选者之间的分数差落在预定阈值内，则难以确定哪个是正确的。当图像识别结果表明在图像中书是被取的画面，“请取一本书”的第一候选者被确定是正确的。当图像识别结果表明在图像中钩子是被取的画面，“请取一个钩子”的第二候选者被确定是正确的。
于是在步骤S37，补充语音识别结果，并且确认为正确的结果。当这样语音识别结果是不确定的时，使用图像识别结果帮助确定语音识别结果。
在上述讨论中，只比较第一候选者和第二候选者。可选的是，可以比较第一到第十候选者，以确定它们之间的差。
例如，用户A和用户B现在谈话。用户A说“看这个”。用户B说“那是什么”。日常生活中这样的谈话经常交流。用户A使用“这个”指示一个物体，而用户B使用“那个”指示同一物体。这样，指示代词根据情况变化。
当用户与机器人装置1谈话时，可能发生同样的事情。于是机器人装置1需要识别用户用指示代词指示什么。图14是机器人装置1确定指示代词的物体的处理流程图。在步骤S41中，用户说话，并且在步骤S42中，执行语音识别，以识别用户的语音。
在步骤S43中，根据语音识别结果，确定用户的讲话中是否包含指示代词。当确定不包含指示代词时，在步骤S46中，确认语音识别结果是正确结果。
当在步骤S43中确定用户的讲话中包含指示代词时，处理转到步骤S44，进行图像识别。对当用户说话时拾取的图像、或在用户手指所指的方向上拾取的图像进行图像识别。
在步骤S44中，对图像进行图像识别，从而在步骤S45中，使用图像识别结果确定指示代词的物体。例如，现在用户对机器人装置1说“取那个”，然后用户通过示意动作例如通过将他的手指指着那个物体指示对应于“那个”的物体。
在步骤S42中，响应于用户的讲话，机器人装置1进行语音识别，然后确定该讲话包含指示代词“那个”。机器人装置1还从用户说话的时刻拾取的图像，确定用户已经执行将他的手指指向一个方向的示意动作。
在步骤S44中，机器人装置1确定指示代词“那个”所指的用户指示的方向，拾取在那个方向上的图像，并且对所取的图像进行图像识别。例如，当图像识别结果表明该物体是“纸”时，由指示代词“那个”指示的物体被发现是“纸”。当在步骤S45中用该方法确定指示代词的物体时，处理转到步骤S46。于是在步骤S46确认语音识别结果为正确的结果。
于是，通过使用图像信息可靠识别指示代词的物体。
当机器人装置1拾取图像时，多个物体可能出现在那个图像中。图15是确定多个物体中哪一个是用户在他的讲话中指示的物体的处理流程图。在步骤S51中，由用户执行然后由CCD摄像机16识别的示意动作送给机器人装置1。
当该示意动作指示特定的方向时，机器人装置1需要识别用户所指的方向上场景的图像，以得到增补信息。于是，拾取用户所指的方向上场景的图像，并且在步骤S52图像识别器31B对图像进行图像识别处理。在步骤S53，图像识别结果用来确定是否有多个物体包含在该图像内。当在步骤S53中确定没有出现多个物体，即一个物体时，处理转到步骤S56。于是输出该物体的图像识别结果。
当在步骤S53确定在该图像内包含多个物体时，处理转到步骤S54，并且进行语音识别。对当用户作示意动作时拾取的语音进行语音识别。在步骤S55，步骤S54的语音识别结果(语音信息)用来补充图像识别结果。下面更具体地讨论这种处理。
例如，用户在作指一个预定方向的示意动作的同时，用户说“取一个球”。机器人装置1响应用户的示意动作，并且识别用户在其示意动作中指向特定方向。机器人装置1拾取在用户指示的方向上的图像，并且对图像进行图像识别。当机器人装置1确定多个物体出现在该图像内时，机器人装置1对用户在作示意动作的同时所说的话进行语音识别。
当语音识别结果表明请求“取一个球”时，确定该球是图像内多个物体中用户最想要的物体。于是图像识别结果由语音信息得到补充。当由语音信息补充图像识别结果时，处理转到步骤S56。于是输出补充图像识别结果。
这样，借助于语音信息通过补偿图像信息的不清楚部分可以得到正确的图像信息。
根据语音信息动作的机器人装置只在用户语音过来的方向上移动，而根据图像信息动作的机器人装置在用户所处的场景中的方向上移动。本发明的机器人装置参照语音信息和图像信息的组合，决定用户希望的行为，并且相应地具体移动。将机器人装置1的行为分类如图9中所列出的，对此也一进行了描述。
通过识别用户的语音，并且检测用户和机器人装置1本身的当前位置，来泱定采取的行为。具体地说，当用户说“过来”，机器人装置1识别该话语，然后从图像信息检测用户的位置。当决定走近用户的行为时，然后确定到目标位置的距离和方位。
参照图16，目标位置设定为在用户前方距用户80cm。面部检测器63使用在图像识别器31B(图6)中的特征提取器62提取的特征量，识别用户的面部，而距离查找器64参照用户的面部大小，测量机器人装置1和用户之间的距离。使用被测的距离，机器人装置1于是确定走多远到达距用户前方80cm的目标位置。
响应于用户的示意动作的机器人装置1的行为通过测量用户的位置并且在行为中说明测量的位置，变得更精确。
在上述实施例中使用用户实际说的词语。机器人装置1的行为可以响应于用户的拍手声(旋律)或用户的脚步声来决定。
当用户产生的语音包括旋律和声音时，语音识别器31A可以配置为如图17所示。麦克风15拾取的语音输入到AD转换器51被进行模拟数字转换。然后数字数据被输入到旋律/声音识别器81。旋律/声音识别器81获得旋律和声音信息。
旋律/声音识别器81提供的识别结果送给行为决定单元33。图17省去了识别用户语音的部分，即图5所示的部分。从A/D转换器51输出的数字语音信号送给特征提取器52(见图5)，并且送给旋律/声音识别器81(见图17)。
旋律/声音识别器81提供的识别结果送给行为决定单元33，但是在此情况下，直接送给行为决定单元33中的行为表参考单元76，而不是给文本解析器(见图7)。
现在讨论语音识别旋律的旋律/声音识别器81的识别方法。旋律/声音识别器81通过检测打击乐器的拍子(包括用户的拍手声)或经和弦变化检测拍子，检测旋律。输出表示何时检测到拍子、什么小节、多少拍等的检测结果。
在下列论文中著有旋律的检测方法：日本电子学、信息和通信工程师协会学报，J77-DⅡ,No.5 pp.901-991,1994年Masataka GOTO和YoichiMURAOKA所著的题为“A Sound Source Separation System for PercussionInstruments(用于打击乐器的声源分离系统)”的论文；日本电子学、信息和通信工程师协会学报，J81-D11,No.2 pp.227-237,1998年Masataka GOTO和Yoichi MURAOKA所著的题为“A Real-Time Beat Tracking System for AudioSignals(音频信号的实时节拍跟踪系统)”的论文。此处公开的方法也用于本发明中。
下面讨论的是机器人装置1跳舞作为行为决定单元33(行为表参考单元76)使用旋律/声音识别器81提供的旋律识别结果决定的行为的情况。行为表存储单元77存储行为表，如图18所示。例如，当旋律识别结果表明用落在一分钟0到60拍范围的拍子速率选择一二重小节时，机器人装置1选择跳舞A。当旋律识别结果表明用落在一分钟0到60拍范围的拍子速率即没有选择二重小节、也没有选择三重小节、也没有四重小节时，机器人装置1选择跳舞A。这样，跳舞的类型是由小节和拍子速率信息唯一确定的。
在行为决定单元33之后的阶段中，根据参照存储在行为决定单元33中的行为表存储单元77中的行为所决定的行为表参照单元76的行为，相应地控制机器人装置1。
在上述讨论中，从语音中获得旋律信息。或者，可以从用户的示意动作中获得旋律信息。为了从示意动作获得旋律，图6所示的图像识别器31B工作。可以使用在Seiji INOKUCHI所著论文中的从示意动作获得旋律信息的方法，该论文题为“Gesture Recognition for Kansei Expression(用于Kansei表达的示意动作识别)”日本机器人装置学会杂志，Vol.17,No.7。
可选的是，可以从语音和示意动作获得旋律。
下面讨论的是通过声音决定机器人装置1的行为。旋律/声音识别器81提供的声音识别结果可以指示诸如脚步声或尖叫类的声音，以及谁或什么发出声音的声源。例如，可以根据是不喜欢的人还是喜欢的人发出声音或根据什么发出声音，期望不同的行为。
旋律/声音识别器81提供的识别结果输出到行为表参考单元76。行为表参考单元76参照存储在行为表存储单元76中的行为表，从而决定匹配输入声音的识别结果的行为。图19列出了存储在行为表存储单元77中的响应于声音的行为。
参照图19所示的行为列表，行为由声音识别结果唯一决定。例如，当声音识别表明机器人装置1听到机器人装置1喜欢的一个人的脚步声时，机器人装置1高兴地走近他。喜欢的人和不喜欢的人的信息由机器人装置1本身根据机器人装置1和用户之间的交谈、和用户的态度确定。
图像信息可以与声音一起使用。例如，当机器人装置1听到脚步声时，机器人装置1可以从脚步声确定谁正在走来。如果图像被拾取和识别，识别出走近的人。于是，机器人装置1确定走近的人是机器人装置1喜欢的人还是不喜欢的人，然后决定采取什么动作。
通过比较语音信息和图像信息，机器人装置1能够进行不同的动作。在行为决定处理的语音和图像识别阶段，机器人装置1通过组合这些信息来进行更精确的识别处理。
上述一系列处理步骤以硬件实现，或者，上述一系列处理步骤可使用软件实现。当通过软件实现所述一系列处理步骤时，构成软件的程序代码从存储介质安装到具有其自己专用硬件的计算机或执行多种用途的通用个人计算机。
参照图20，存储介质不仅包括封装介质，而且包括ROM 112或包括存储单元118的硬盘，封装介质可以与计算机分开提供给用户以提供软件程序，诸如磁盘131(诸如软盘)、光盘132(诸如CD-ROM(光盘只读存储器))、磁光盘133(诸如MD(小型盘))或半导体存储器134,ROM 112或硬盘提供有在计算机中预装其上的软件程序。
描述存储介质中提供的软件程序的处理步骤不需要按每个流程图中描述的顺序执行。几个处理步骤可以并行或分开执行。
在本说明书中，系统指由多个设备构成的单个实体。
按照本发明，识别语音，识别图像，以及语音识别结果或图像识别结果中的至少一种结果用来决定机器人装置1采取的行为。从而进行更精确的语音和图像识别。

Claims (12)

1、一种机器人装置中使用的信息处理设备，包括：
语音识别器装置，用于识别语音；
图像识别器装置，用于识别图像；和
决定装置，根据由语音识别器装置提供的语音识别结果和由图像识别器装置提供的图像识别结果中的至少一种结果，决定机器人装置的行为。
2、如权利要求1所述的信息处理设备，还包括：存储装置，存储描述语音识别器装置提供的语音识别结果和图像识别器装置提供的图像识别结果的关系、和根据语音识别结果和图像识别结果唯一确定的机器人装置的行为的表。
3、如权利要求1所述的信息处理设备，其中，当语音识别不由语音识别器唯一确定时，决定装置可以按照由图像识别器装置唯一确定的图像识别结果，决定机器人装置的行为。
4、如权利要求1所述的信息处理设备，其中，当多个物体出现在图像识别器装置识别的图像区域内时，决定装置可以按照由语音识别器装置唯一确定的语音识别结果，决定机器人装置的行为。
5、如权利要求1所述的信息处理设备，其中，图像识别器装置可以识别在用户的手指、面部、眼睛和下领中的用户的预定部分之一所指的方向上出现的场景的图像。
6、如权利要求1所述的信息处理设备，还包括：存储装置，用于存储由用户施行的示意动作的数据，
其中图像识别器装置识别用户的图像，以检测与存储在存储装置中的示意动作数据匹配的示意动作，并且将所检测的示意动作当作图像识别结果。
7、如权利要求1所述的信息处理设备，还包括：检测器装置，用于检测用户的面部；和
距离查找器，用于根据检测器装置检测的用户面部的大小，测量用户和机器人装置之间的距离，
其中决定装置使用测量的距离决定机器人装置的行为。
8、如权利要求1所述的信息处理设备，其中，语音识别器装置检测包含在背景声音中的旋律，并且将检测的旋律当成语音识别结果。
9、如权利要求1所述的信息处理设备，其中，语音识别装置从背景声音中检测声学现象，并且将所检测的声学现象当成语音识别结果来处理。
10、一种机器人装置中使用的信息处理设备的信息处理方法，包括：
语音识别步骤，识别语音；
图像识别步骤，识别图像；和
决定步骤，根据在语音识别步骤中提供的语音识别结果和在图像识别步骤中提供的图像识别结果中的至少一个结果，决定机器人装置的行为。
11、一种在机器人装置中使用的信息处理设备的软件程序，包括用于执行下列步骤的程序代码：
语音识别步骤，用于识别语音；
图像识别步骤，用于识别图像；和
决定步骤，根据在语音识别步骤中提供的语音识别结果和在图像识别步骤中提供的图像识别结果中的至少一种结果决定机器人装置的行为。
12、一种存储介质，存储机器人装置中使用的信息处理设备的软件程序，包括执行下列步骤的程序代码：
语音识别步骤，用于识别语音；
图像识别步骤，用于识别图像；
决定步骤，根据在语音识别步骤中提供的语音识别结果和在图像识别步骤中提供的图像识别结果中的至少一种结果决定机器人装置的行为。
CNB001374982A 1999-12-28 2000-12-28 信息处理设备，信息处理方法和存储介质 Expired - Fee Related CN1204543C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP375773/1999 1999-12-28
JP37577399A JP2001188555A (ja) 1999-12-28 1999-12-28 情報処理装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
CN1302056A true CN1302056A (zh) 2001-07-04
CN1204543C CN1204543C (zh) 2005-06-01

Family

ID=18506042

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001374982A Expired - Fee Related CN1204543C (zh) 1999-12-28 2000-12-28 信息处理设备，信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US6509707B2 (zh)
JP (1) JP2001188555A (zh)
KR (1) KR20010062767A (zh)
CN (1) CN1204543C (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1343115A1 (en) * 2001-08-23 2003-09-10 Sony Corporation Robot apparatus, face recognition method, and face recognition apparatus
CN1312576C (zh) * 2003-07-03 2007-04-25 索尼株式会社 语音通信系统和方法、及机器人装置
CN100351750C (zh) * 2004-07-27 2007-11-28 索尼株式会社 信息处理设备，信息处理方法，记录介质，以及程序
CN102012740A (zh) * 2010-11-15 2011-04-13 中国科学院深圳先进技术研究院 人机交互方法及系统
CN102141812A (zh) * 2010-11-16 2011-08-03 深圳中科智酷机器人科技有限公司 机器人
CN102074232B (zh) * 2009-11-25 2013-06-05 财团法人资讯工业策进会 结合影音的行为辨识系统及其辨识方法
CN103257703A (zh) * 2012-02-20 2013-08-21 联想(北京)有限公司 一种增强现实装置及方法
CN103578471A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语音辨识方法及其电子装置
WO2015176467A1 (zh) * 2013-05-24 2015-11-26 文霞 机器人
CN105229726A (zh) * 2013-05-07 2016-01-06 高通股份有限公司 用于关键字检测的自适应音频帧处理
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106125925A (zh) * 2016-06-20 2016-11-16 华南理工大学 基于手势和语音控制的智能抓捕方法
CN107026940A (zh) * 2017-05-18 2017-08-08 北京神州泰岳软件股份有限公司 一种确定会话反馈信息的方法和装置
CN109358630A (zh) * 2018-11-17 2019-02-19 国网山东省电力公司济宁供电公司 一种机房用巡检机器人系统
CN109961781A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 基于机器人的语音信息接收方法、系统及终端设备
CN109981970A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种确定拍摄场景的方法、装置和机器人
CN111429888A (zh) * 2020-05-12 2020-07-17 珠海格力智能装备有限公司 机器人的控制方法及装置、存储介质和处理器
CN112894831A (zh) * 2021-04-21 2021-06-04 广东电网有限责任公司电力科学研究院 一种双臂机器人绝缘导线剥皮系统及方法

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6616464B1 (en) * 1999-05-10 2003-09-09 Sony Corporation Robot device
EP1126409A4 (en) * 1999-05-10 2003-09-10 Sony Corp IMAGE PROCESSING APPARATUS AND METHOD, AND ROBOT THEREOF
US6983239B1 (en) * 2000-10-25 2006-01-03 International Business Machines Corporation Method and apparatus for embedding grammars in a natural language understanding (NLU) statistical parser
US20020137013A1 (en) * 2001-01-16 2002-09-26 Nichols Etta D. Self-contained, voice activated, interactive, verbal articulate toy figure for teaching a child a chosen second language
JP4143305B2 (ja) * 2001-01-30 2008-09-03 日本電気株式会社 ロボット装置、照合環境判定方法、及び照合環境判定プログラム
JP2002239256A (ja) * 2001-02-14 2002-08-27 Sanyo Electric Co Ltd 自動応答玩具における感情決定装置および自動応答玩具
JP2002283261A (ja) * 2001-03-27 2002-10-03 Sony Corp ロボット装置及びその制御方法、並びに記憶媒体
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US20030001908A1 (en) * 2001-06-29 2003-01-02 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on speech and gesture control
JP4689107B2 (ja) * 2001-08-22 2011-05-25 本田技研工業株式会社 自律行動ロボット
WO2003035334A1 (fr) * 2001-10-22 2003-05-01 Sony Corporation Appareil robotique et procede de commande pour un tel appareil
KR100446725B1 (ko) * 2001-11-02 2004-09-01 엘지전자 주식회사 로봇의 행동 학습방법
WO2004027685A2 (en) * 2002-09-19 2004-04-01 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
ATE527086T1 (de) * 2002-12-10 2011-10-15 Honda Motor Co Ltd Steuervorrichtung, steuerverfahren und steuerprogramm für einen roboter
US7379560B2 (en) * 2003-03-05 2008-05-27 Intel Corporation Method and apparatus for monitoring human attention in dynamic power management
JP2004299033A (ja) * 2003-04-01 2004-10-28 Sony Corp ロボット装置、情報処理方法、およびプログラム
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
JP4661074B2 (ja) * 2004-04-07 2011-03-30 ソニー株式会社 情報処理システム、情報処理方法、並びにロボット装置
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) * 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
JP2006015436A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 監視ロボット
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
JP4600736B2 (ja) * 2004-07-22 2010-12-15 ソニー株式会社 ロボット制御装置および方法、記録媒体、並びにプログラム
KR100723402B1 (ko) * 2005-02-15 2007-05-30 삼성전자주식회사 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
KR100741773B1 (ko) 2005-02-23 2007-07-24 엘지전자 주식회사 이동로봇의 경로지정방법
JP4266211B2 (ja) 2005-03-23 2009-05-20 株式会社東芝 ロボット装置、ロボット装置の移動方法、および、プログラム
KR100723404B1 (ko) * 2005-03-29 2007-05-30 삼성전자주식회사 음성 인식 및 반응을 위한 음성 처리 장치와 방법
KR20060127452A (ko) * 2005-06-07 2006-12-13 엘지전자 주식회사 로봇청소기 상태알림장치 및 방법
US7720572B2 (en) 2005-09-30 2010-05-18 Irobot Corporation Companion robot for personal interaction
JP4718987B2 (ja) * 2005-12-12 2011-07-06 本田技研工業株式会社 インターフェース装置およびそれを備えた移動ロボット
JP4940698B2 (ja) * 2006-02-27 2012-05-30 トヨタ自動車株式会社 自律移動型ロボット
JP2007257088A (ja) * 2006-03-20 2007-10-04 Univ Of Electro-Communications ロボット装置及びそのコミュニケーション方法
KR100847136B1 (ko) 2006-08-14 2008-07-18 한국전자통신연구원 어깨 윤곽선 추출 방법, 이를 이용한 로봇 깨움 방법 및이를 위한 장치
KR101443404B1 (ko) * 2006-09-15 2014-10-02 구글 인코포레이티드 페이퍼 및 전자 문서내의 주석의 캡처 및 디스플레이
KR100822880B1 (ko) * 2006-10-25 2008-04-17 한국전자통신연구원 지능형 로봇 환경에서 오디오-비디오 기반 음원추적을 통한화자 인식 시스템 및 방법
JP4764377B2 (ja) * 2007-05-09 2011-08-31 本田技研工業株式会社 移動型ロボット
WO2009018988A2 (de) * 2007-08-03 2009-02-12 Ident Technology Ag Spielzeug, insbesondere in der art einer puppe oder stofftieres
WO2009027999A1 (en) * 2007-08-27 2009-03-05 Rao, Aparna External stimuli based reactive system
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8638363B2 (en) * 2009-02-18 2014-01-28 Google Inc. Automatically capturing information, such as capturing information using a document-aware device
CN101411946B (zh) * 2007-10-19 2012-03-28 鸿富锦精密工业（深圳）有限公司 玩具恐龙
US10296874B1 (en) 2007-12-17 2019-05-21 American Express Travel Related Services Company, Inc. System and method for preventing unauthorized access to financial accounts
US8545283B2 (en) * 2008-02-20 2013-10-01 Ident Technology Ag Interactive doll or stuffed animal
TWI392983B (zh) * 2008-10-06 2013-04-11 Sonix Technology Co Ltd 利用音調的自動控制方法及其裝置
TW201019242A (en) * 2008-11-11 2010-05-16 Ind Tech Res Inst Personality-sensitive emotion representation system and method thereof
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105246A2 (en) 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8507781B2 (en) * 2009-06-11 2013-08-13 Harman International Industries Canada Limited Rhythm recognition from an audio signal
IL200921A (en) * 2009-09-14 2016-05-31 Israel Aerospace Ind Ltd A robotic carry system for infantry and useful methods for the above purpose
KR20110036385A (ko) * 2009-10-01 2011-04-07 삼성전자주식회사 사용자 의도 분석 장치 및 방법
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
FR2963132A1 (fr) * 2010-07-23 2012-01-27 Aldebaran Robotics Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US9431027B2 (en) * 2011-01-26 2016-08-30 Honda Motor Co., Ltd. Synchronized gesture and speech production for humanoid robots using random numbers
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
KR101842459B1 (ko) 2011-04-12 2018-05-14 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP2011193483A (ja) * 2011-04-14 2011-09-29 Toshiba Corp テレビジョン受像装置及びテレビジョン受像方法
US8136724B1 (en) 2011-06-24 2012-03-20 American Express Travel Related Services Company, Inc. Systems and methods for gesture-based interaction with computer systems
US8714439B2 (en) 2011-08-22 2014-05-06 American Express Travel Related Services Company, Inc. Methods and systems for contactless payments at a merchant
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
JP5838781B2 (ja) * 2011-12-20 2016-01-06 富士通株式会社 複合語読み表示方法及びプログラム，並びに読み生成装置
EP3522570A3 (en) * 2012-03-14 2019-08-14 Nokia Technologies Oy Spatial audio signal filtering
US8924011B2 (en) * 2012-04-03 2014-12-30 Knu-Industry Cooperation Foundation Intelligent robot apparatus responsive to environmental change and method of controlling and reconfiguring intelligent robot apparatus
JP6044819B2 (ja) * 2012-05-30 2016-12-14 日本電気株式会社 情報処理システム、情報処理方法、通信端末、情報処理装置およびその制御方法と制御プログラム
DE102012105608A1 (de) * 2012-06-27 2014-01-02 Miele & Cie. Kg Selbstfahrendes Reinigungsgerät und Verfahren zur Bedienung eines selbstfahrenden Reinigungsgeräts
JP5921756B2 (ja) * 2013-02-25 2016-05-24 三菱電機株式会社 音声認識システムおよび音声認識装置
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9666194B2 (en) * 2013-06-07 2017-05-30 Flashbox Media, LLC Recording and entertainment system
US11138971B2 (en) 2013-12-05 2021-10-05 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands
CN104715753B (zh) * 2013-12-12 2018-08-31 联想(北京)有限公司 一种数据处理的方法及电子设备
US10276154B2 (en) * 2014-04-23 2019-04-30 Lenovo (Singapore) Pte. Ltd. Processing natural language user inputs using context data
CN106462747B (zh) 2014-06-17 2020-03-17 河谷控股Ip有限责任公司 活动识别系统和方法
CN105881535A (zh) * 2015-02-13 2016-08-24 鸿富锦精密工业（深圳）有限公司 可根据音乐节拍跳舞的机器人
JP6551507B2 (ja) * 2015-02-17 2019-07-31 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム
US9769367B2 (en) 2015-08-07 2017-09-19 Google Inc. Speech and computer vision-based control
US10225511B1 (en) 2015-12-30 2019-03-05 Google Llc Low power framework for controlling image sensor mode in a mobile image capture device
US9836484B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
US10732809B2 (en) 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9836819B1 (en) 2015-12-30 2017-12-05 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
US9838641B1 (en) 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
EP3403146A4 (en) 2016-01-15 2019-08-21 iRobot Corporation AUTONOMOUS MONITORING ROBOT SYSTEMS
US20170282383A1 (en) * 2016-04-04 2017-10-05 Sphero, Inc. System for content recognition and response action
JP2017205313A (ja) * 2016-05-19 2017-11-24 パナソニックＩｐマネジメント株式会社 ロボット
JP6751536B2 (ja) * 2017-03-08 2020-09-09 パナソニック株式会社 装置、ロボット、方法、及びプログラム
JP6833601B2 (ja) * 2017-04-19 2021-02-24 パナソニック株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
US10100968B1 (en) 2017-06-12 2018-10-16 Irobot Corporation Mast systems for autonomous mobile robots
JP6841167B2 (ja) * 2017-06-14 2021-03-10 トヨタ自動車株式会社 コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム
JP1622874S (ja) * 2017-12-29 2019-01-28 ロボット
JP2019185360A (ja) * 2018-04-09 2019-10-24 富士ゼロックス株式会社 情報処理装置およびプログラム
JP2020034461A (ja) * 2018-08-30 2020-03-05 Ｚホールディングス株式会社 提供装置、提供方法、及び提供プログラム
US11110595B2 (en) 2018-12-11 2021-09-07 Irobot Corporation Mast systems for autonomous mobile robots
WO2020184733A1 (ko) * 2019-03-08 2020-09-17 엘지전자 주식회사 로봇
KR20210067539A (ko) * 2019-11-29 2021-06-08 엘지전자 주식회사 정보 처리 방법 및 정보 처리 장치
US11731271B2 (en) * 2020-06-30 2023-08-22 Microsoft Technology Licensing, Llc Verbal-based focus-of-attention task model encoder
JP7272521B2 (ja) * 2021-05-24 2023-05-12 三菱電機株式会社 ロボット教示装置、ロボット制御システム、ロボット教示方法、及びロボット教示プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6332624A (ja) * 1986-07-28 1988-02-12 Canon Inc 情報処理装置
JP3159242B2 (ja) * 1997-03-13 2001-04-23 日本電気株式会社 感情生成装置およびその方法
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1343115A1 (en) * 2001-08-23 2003-09-10 Sony Corporation Robot apparatus, face recognition method, and face recognition apparatus
EP1343115A4 (en) * 2001-08-23 2005-03-09 Sony Corp ROBOTIC APPARATUS, FACIAL RECOGNITION METHOD, AND FACIAL RECOGNITION APPARATUS
US7369686B2 (en) 2001-08-23 2008-05-06 Sony Corporation Robot apparatus, face recognition method, and face recognition apparatus
CN1312576C (zh) * 2003-07-03 2007-04-25 索尼株式会社 语音通信系统和方法、及机器人装置
CN100351750C (zh) * 2004-07-27 2007-11-28 索尼株式会社 信息处理设备，信息处理方法，记录介质，以及程序
CN102074232B (zh) * 2009-11-25 2013-06-05 财团法人资讯工业策进会 结合影音的行为辨识系统及其辨识方法
CN102012740A (zh) * 2010-11-15 2011-04-13 中国科学院深圳先进技术研究院 人机交互方法及系统
CN102141812A (zh) * 2010-11-16 2011-08-03 深圳中科智酷机器人科技有限公司 机器人
CN103257703B (zh) * 2012-02-20 2016-03-30 联想(北京)有限公司 一种增强现实装置及方法
CN103257703A (zh) * 2012-02-20 2013-08-21 联想(北京)有限公司 一种增强现实装置及方法
CN105229726A (zh) * 2013-05-07 2016-01-06 高通股份有限公司 用于关键字检测的自适应音频帧处理
CN105229726B (zh) * 2013-05-07 2019-04-02 高通股份有限公司 用于关键字检测的自适应音频帧处理
WO2015176467A1 (zh) * 2013-05-24 2015-11-26 文霞 机器人
CN103578471B (zh) * 2013-10-18 2017-03-01 威盛电子股份有限公司 语音辨识方法及其电子装置
CN103578471A (zh) * 2013-10-18 2014-02-12 威盛电子股份有限公司 语音辨识方法及其电子装置
CN106125925B (zh) * 2016-06-20 2019-05-14 华南理工大学 基于手势和语音控制的智能抓捕方法
CN106095109A (zh) * 2016-06-20 2016-11-09 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN106125925A (zh) * 2016-06-20 2016-11-16 华南理工大学 基于手势和语音控制的智能抓捕方法
CN106095109B (zh) * 2016-06-20 2019-05-14 华南理工大学 基于手势和语音进行机器人在线示教的方法
CN107026940A (zh) * 2017-05-18 2017-08-08 北京神州泰岳软件股份有限公司 一种确定会话反馈信息的方法和装置
CN109961781A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 基于机器人的语音信息接收方法、系统及终端设备
CN109961781B (zh) * 2017-12-22 2021-08-27 深圳市优必选科技有限公司 基于机器人的语音信息接收方法、系统及终端设备
CN109981970A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 一种确定拍摄场景的方法、装置和机器人
CN109358630A (zh) * 2018-11-17 2019-02-19 国网山东省电力公司济宁供电公司 一种机房用巡检机器人系统
CN111429888A (zh) * 2020-05-12 2020-07-17 珠海格力智能装备有限公司 机器人的控制方法及装置、存储介质和处理器
CN112894831A (zh) * 2021-04-21 2021-06-04 广东电网有限责任公司电力科学研究院 一种双臂机器人绝缘导线剥皮系统及方法

Also Published As

Publication number Publication date
US6509707B2 (en) 2003-01-21
JP2001188555A (ja) 2001-07-10
CN1204543C (zh) 2005-06-01
KR20010062767A (ko) 2001-07-07
US20010020837A1 (en) 2001-09-13

Similar Documents

Publication Publication Date Title
CN1204543C (zh) 信息处理设备，信息处理方法和存储介质
CN1199149C (zh) 会话处理设备及方法
CN1236422C (zh) 机器人装置、字符识别方法和装置
US11017779B2 (en) System and method for speech understanding via integrated audio and visual based speech recognition
AU2018204246B2 (en) Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method
CN116547746A (zh) 针对多个用户的对话管理
CN1132149C (zh) 游戏装置，声音选择装置和声音反应装置
US20190371318A1 (en) System and method for adaptive detection of spoken language via multiple speech models
CN1894740A (zh) 信息处理系统、信息处理方法以及信息处理用程序
CN101030370A (zh) 信息处理系统和方法、及机器人装置
CN1488134A (zh) 语音识别装置及语音识别方法
CN1461463A (zh) 语音合成设备
CN1220174C (zh) 话音输出装置和方法
CN1932807A (zh) 用于翻译语音和进行翻译结果的语音合成的装置和方法
US20220101856A1 (en) System and method for disambiguating a source of sound based on detected lip movement
CN114051639A (zh) 使用说话者基线进行情绪检测
Attamimi et al. Learning novel objects using out-of-vocabulary word segmentation and object extraction for home assistant robots
CN1221936C (zh) 词序列输出设备
KR20230076733A (ko) 감정 및 기억 기반의 대화형 인공지능 아바타 영어 말하기 교육 방법, 장치 및 이에 대한 시스템
CN1461464A (zh) 语言处理装置
CN110364164B (zh) 对话控制装置、对话系统、对话控制方法以及存储介质
CN116661603A (zh) 复杂人机交互场景下的多模态融合的用户意图识别方法
JP2020204711A (ja) 登録システム
CN107457787B (zh) 一种服务机器人交互决策方法和装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee