CN1177274C - 用于重叠窗口的音频标识符的数据处理器控制的显示系统 - Google Patents

用于重叠窗口的音频标识符的数据处理器控制的显示系统

Info

Publication number
CN1177274C
CN1177274C CNB001179802A CN00117980A CN1177274C CN 1177274 C CN1177274 C CN 1177274C CN B001179802 A CNB001179802 A CN B001179802A CN 00117980 A CN00117980 A CN 00117980A CN 1177274 C CN1177274 C CN 1177274C
Authority
CN
China
Prior art keywords
window
sensing equipment
windows
cursor
hierarchy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB001179802A
Other languages
English (en)
Other versions
CN1291741A (zh
Inventor
���С�J�����޹�˹��
小J·马达洛兹佐
G·F·麦布里蒂
J·M·－H·希赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1291741A publication Critical patent/CN1291741A/zh
Application granted granted Critical
Publication of CN1177274C publication Critical patent/CN1177274C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Abstract

提供一种用于复杂窗口分级结构图形用户界面内的窗口的交互处理和分类的用户友好显示接口系统。该系统提供在显示屏幕显示这些多个部分重叠窗口的装置。提供并存储用于这些窗口中的每一个的不同音频标识符。提供进一步的装置，响应指向设备并与用于通告所述指向设备输入的每个窗口的音频标识符的装置协同，用于来回移动并定位一个指向设备。指向设备可以是一个用户控制的光标，一个触针，甚至为触摸敏感显示系统内的一个手指。

Description

用于重叠窗口的音频标识符的 数据处理器控制的显示系统
技术领域
本发明涉及用户交互计算机支持显示技术，特别是涉及对用户友好并通过易于使用的接口环境提供交互用户的图形用户界面。
背景技术
20世纪90年代已被认为是由数据处理工业与消费电子工业共同驱动的技术革命。在过去两年通过因特网所包含的扩展消费者和商业进一步推动了这一进步。作为这种变化的结果，似乎可以认为在工业化世界内人类努力的所有方面实际上都需要人-机接口。存在这样一种要求，即，必须使得计算机所涉及的活动对世界人口的绝大部分来说是易于接近的，其中，直到几年前，该世界人口的绝大部分为计算机盲，或充其量，对计算机无兴趣。为使大量计算机支持的市场继续存在并且具有商业生产性，对于大量计算机，不同的消费者会涉及在计算机接口中。
随着计算机功能的提高，大大增加了交互用户可用的功能和资源。然而，伴随这种功能增加所带来的是用户在显示屏幕界面可用的窗口的数量和种类的增加。自然，这使得界面更为复杂，界面具有数十，甚至数百个包含诸如图标之类的交互数据元素的可用窗口。这些窗口设置在重叠窗口的堆栈内，通过多-排列显示或诸如美国专利5,241,656中所述的深度缓冲器之类的帧缓冲器控制和跟踪重叠窗口的显示。
事实上，窗口的多-排列分级结构已经变得很普通，以致其经常用于多个桌面对话级。一个桌面对话常常由几个重叠窗口层构成，由深度帧缓冲器索引和跟踪重叠窗口层。另外，创建窗口界面以处理未激活并存储在帧缓冲器外部，但是当激活对话时其可以交互地移入和移出到帧缓冲器的附加的分级窗口的桌面对话。使用这样复杂的结构，在任何给定时间多个窗口将被重叠窗口整体或部分地掩盖或隐藏，这是显而易见的。
在最初开发窗口操作环境时，交互用户仅仅必须处理少数的窗口。从那时起，使用一个包括窗口的名称或标题的标题条识别每个窗口已成为惯例。对于较少的窗口，即使存在某些重叠，用户使用其光标移动窗口以便暴露标题条和识别窗口，也是比较简单的。现在，对于上述窗口的数量和复杂的分级结构，用户移动或拖拉显示窗口以暴露足够的标题条以识别相应的窗口，常常是一个繁重和困难的任务。本发明提出一种改进以简化这种窗口识别。
发明内容
本发明提供一种用于复杂窗口分级图形用户界面内窗口的交互处理和分类的用户友好显示界面系统。该系统提供可以以选择的顺序显示以相互重叠的窗口分级的存储，从而多个所述窗口为部分可视。提供用于在显示屏幕显示多个部分重叠窗口的装置，提供并存储用于这些窗口中的每一个的不同音频标识符。提供与响应指向设备组合的用于来回移动并定位一个指向设备，例如显示屏幕上的一个光标的装置，指向设备用于通知所述指向设备输入的每个窗口的音频标识符的装置。指向设备可以是一个用户控制光标，一个触针，甚至为触摸敏感显示系统内的一个手指。音频标识符可以方便地作为窗口的标题条内的名称。
参照下面结合附图所作的描述，本发明将更加易于理解，其各种目的和优点对本领域技术人员来说更为显而易见，其中：
附图说明
图1是一个交互数据处理器控制显示系统的方框图，该系统包括一个能够实现本发明的音频窗口识别和通知的中央处理单元；
图2是表示用于显示本发明的窗口堆栈或分级结构的显示屏幕的概略图，本发明包括堆栈内的每个窗口的音频标识符并表示指向设备，即，在一个窗口内的光标；
图3是与图2的显示屏幕相同的概略图，其中光标移入另一个窗口；
图4是与图3的显示屏幕相同的概略图，其中光标移入再一个窗口；
图5是使图3的每个窗口与其存储的音频标识符相关的存储表的概略原理图；
图6是创建本发明的音频窗口识别系统所包含的程序步骤的流程图；和
图7是示出图6的程序所创建的运行步骤的流程图。
具体实施方式
参照图1，示出一个一般的数据处理系统，该系统可用于控制根据本发明处理的窗口堆栈分级结构并提供窗口的音频存储和通知作为由指向设备输入的窗口的计算机控制显示终端。提供一个中央处理单元(CPU)10，例如由国际商业机器公司(IBM)推出的，一个PC微处理器，或工作站，例如，从IBM可得到的RISC系统/6000(TM)序列(RS/6000)(RISC系统/6000是国际商业机器公司的商标)并将其通过系统总线12互连到各种其他部件。操作系统41运行在CPU10，并提供控制及用于协调图1的各种部件的功能。操作系统41可以是诸如从IBM可得到的AIX6000(TM)操作系统或OS/2(TM)操作系统之类的商业可用操作系统窗口类型之一(AIX6000和OS/2是国际商业机器公司的商标)；微软的Windows98(TM)或Windows NT(TM)，以及UNIX和AIX操作系统。由系统控制的应用程序40移入和移出主存储器，随机存取存储器(RAM)14。这些程序包括后续所述的提供窗口音频标识符内的本发明的程序。只读存储器(ROM)16经总线12连接到CPU10并包括控制基本的计算机功能的基本输入/输出系统(BIOS)。RAM14，I/O适配器18和通信适配器34也互连到系统总线12。应该注意到包括操作系统41和应用程序40的软件组件加载到RAM14，RAM14为计算机系统的主存储器。I/O适配器18可以是一个与盘存储设备20，即，硬盘通信的较小计算机系统适配器。通信适配器34通过使数据处理系统与其他这样的系统通信的一个外部网络互连总线12。在当前系统，从网络，例如因特网内的其他的计算机站发送窗口数据。
I/O设备经用户接口适配器22和显示适配器36也连接到系统总线12。键盘24，跟踪球32，鼠标26和扬声器28通过用户接口适配器22全部互连到总线12。可通过这样的输入设备实现本发明显示内所包含的用户交互功能。显示适配器36包括一个帧缓冲器39，该帧缓冲器39为一个保留显示屏幕38上的每个像素显示的存储设备。图像可以保留在用于通过各种部件，例如，数字到模拟转换器(未示出)以及类似部件在监视器38上显示的帧缓冲器39。如前所述，为适应重叠和隐藏窗口的分级结构，帧缓冲器应为一个深度缓存器，例如，美国专利5,241,565的深度缓存器。通过使用前述的I/O设备，用户能够将信息通过键盘24，跟踪球32或鼠标26输入到系统并从系统经扬声器28和显示器38接收输出信息。自然，是通过扬声器28将指向设备或光标输入的窗口通知给交互用户的。
现在将描述参照图2到4的显示屏幕的本发明的一个简单示例。当描述显示图像时，应该理解，可以通过诸如图1系统中的RAM14内的任何常规窗口操作系统内的存储图像和文本创建程序来描绘这些图像。作为操作系统41在图1概略地示出了该操作系统。图2到图4的显示屏幕展示给图1的显示监视器38的收看者。根据常规技术，用户可以控制通过诸如图1的鼠标26之类的常规I/O设备交互的屏幕，其中鼠标26通过用户界面22与操作系统41协同操作以调用RAM14内的程序来创建控制监视器38上的显示的显示适配器36的帧缓冲器39内的图像。如前所述，特定窗口I.D.的音频通告通过扬声器28实现。
参照图2，一个重叠窗口的分级结构，或堆栈占据屏幕，很多重叠窗口被部分隐藏。为表示方便，已经从底层窗口移走某些对象或图标和文本，并且仅有一部分图标显示在最上面的窗口50。堆栈内剩余的部分可视窗口为窗口51，52，53，54，55和56。可以通过位于相应窗口上部的其标题条内的其名称可视识别这些窗口中的每一个。根据本发明，窗口的名称被记录在计算机视频系统并存储为图5所示的表60，其中各个窗口50到56的名称被存储为被通知为首先进入每个窗口的光标5 7的相应的多个通告61。这样，在图2，由于窗口53内的光标57，当光标第一次进入该窗口时，音频通告为“搜索帮助”。接着，如图3所示，当光标57第一次进入窗口52时，通告将为“控制面板”，并且如图4所示，当光标57第一次进入窗口56时，通告将为“无标题显示”。
现在，参照图6，将描述根据本发明的程序所实现的一种处理，该处理用于每次光标进入窗口分级结构内的一个窗口时动态进行窗口名称的音频通告。由图6的处理创建的程序例行测试实现参照图2到5所述的操作。在图6的流程图，在步骤71，使用管理窗口分级结构的任何操作系统，例如，Windows 95(TM)，OS/2(TM)和用于Unix或AIX的Motif，建立一个基本类型的操作系统。接着，在步骤72，提供用于将每个窗口的音频标识符记录和存储在窗口分级结构的处理。一般地，该标识符可以为窗口标题框内出现的相应窗口的名称。接着，在步骤73，建立用于进行所记录的每个标识符的音频通告的处理。在步骤74建立一种处理，该处理响应于进入已进入的窗口的音频I.D.的音频通告的窗口的光标移动。在步骤75，该通告来自并由存储音频I.D.’s的更新表支持。
既然已描述并示出了基本程序，参照图7将描述给出如何运行程序用于多个窗口的相应I.D.’s的音频通告的简单操作的流程图。首先，在步骤81，显示一个窗口的分级结构，其中很多窗口被部分重叠和可视。在步骤82，已由用于该目的的窗口操作系统使用的处理跟踪光标或其他指向设备。在步骤83，就该光标是否已进入一个新的窗口作出确定。如果为否，则处理返回步骤82并继续光标的跟踪。如果为是，则在步骤84，在图5的表内查询进入窗口的音频I.D.，并在步骤85，通告该音频I.D.。接着，在步骤86，就对话期是否结束作出确定。如果为是，则结束对话期。如果为否，则处理返回步骤82并如上所述继续光标的跟踪。
当窗口的文本名称被直接转换为由直接读取文本的代码表示并将这样的代码转换为音频输出的常规可用系统输出的语音输出时，可获得最好的结果。在Coker等人的美国专利3,704,345，Lin等人的美国专利4,398,058，；Anotov等人的美国专利4,278,838，描述了这样的文本到音频输出系统。通过这样的系统，当窗口被启动时，读取并动态转换各个窗口内的标题框或其他文本标识符。作为一种替换，图5表内的文本可以根据需要读取并转换为语音输出。
本发明的一个优选实现方式是在计算机操作期间，构成驻留在RAM14，图1的编程步骤或指令的操作系统内的一个例行程序。在计算机系统需要程序指令之前，程序指令可以存储在例如，盘驱动器20这样的另一个可读介质，或者诸如用于CD ROM计算机输入的光盘或用于软盘驱动计算机输入的软盘之类的一个可移动存储器。进一步，当本发明的用户需要时，在用于本发明的系统并经一个局域网(LAN)或广域网(WAN)，例如，因特网发送之前程序指令可以存储在另一个计算机的存储器内。
本领域技术人员应该认识到能够以各种形式的计算机可读介质的形式分布控制本发明的程序。
尽管已示出和描述了确定的优选实施例，应该明白在不脱离附属权利要求的范围和目的情况下，可以作出很多变化和修改。

Claims (8)

1.一种计算机控制的交互显示系统，包括：
用于在显示屏幕显示相互重叠的窗口的分级结构，从而多个所述窗口为部分可视的装置，
用于提供所述分级结构内的每个窗口的音频标识符的装置，
用于在所述显示器屏幕定位一个指向设备的装置，和
响应所述指向设备用于通告所述指向设备输入的每个窗口的音频标识符的装置。
2.如权利要求1所述的显示系统，其中所述指向设备为一个用户控制光标。
3.如权利要求1所述的显示系统，其中所述指向设备为一个触针。
4.如权利要求1所述的显示系统，其中所述音频标识符至少包括在窗口的标题条内出现的窗口名称部分。
5.一种识别计算机控制的交互显示内的部分隐藏窗口的方法，包括：
在显示屏幕显示相互重叠的窗口的分级结构，从而多个所述窗口为部分可视，
提供所述分级结构内的每个窗口的音频标识符，
在所述显示器屏幕定位一个指向设备，和
响应所述指向设备，通告所述指向设备输入的每个窗口的音频标识符。
6.如权利要求5所述的方法，其中所述指向设备的所述定位通过一个用户控制光标完成。
7.如权利要求5所述的方法，其中所述指向设备的所述定位通过为一个用户触针完成。
8.如权利要求1所述的方法，其中所述音频标识符至少包括在窗口的标题条内出现的窗口名称部分。
CNB001179802A 1999-06-03 2000-06-02 用于重叠窗口的音频标识符的数据处理器控制的显示系统 Expired - Lifetime CN1177274C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/325404 1999-06-03
US09/325,404 US6728675B1 (en) 1999-06-03 1999-06-03 Data processor controlled display system with audio identifiers for overlapping windows in an interactive graphical user interface

Publications (2)

Publication Number Publication Date
CN1291741A CN1291741A (zh) 2001-04-18
CN1177274C true CN1177274C (zh) 2004-11-24

Family

ID=23267753

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001179802A Expired - Lifetime CN1177274C (zh) 1999-06-03 2000-06-02 用于重叠窗口的音频标识符的数据处理器控制的显示系统

Country Status (6)

Country Link
US (1) US6728675B1 (zh)
JP (1) JP2001022494A (zh)
KR (1) KR100369213B1 (zh)
CN (1) CN1177274C (zh)
CA (1) CA2307296A1 (zh)
TW (1) TW469397B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463100A (zh) * 2014-05-30 2017-02-22 追踪有限公司 用于选择显示器操作模式的系统和方法

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6806869B2 (en) * 2001-03-02 2004-10-19 Seiko Epson Corporation Data processing system utilizing discrete operating device
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
US7107532B1 (en) * 2001-08-29 2006-09-12 Digeo, Inc. System and method for focused navigation within a user interface
US7080394B2 (en) * 2001-08-29 2006-07-18 Digeo, Inc. System and method for capturing video frames for focused navigation within a user interface
US20030046694A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for displaying option representations with multiple levels of specificity
US7055104B1 (en) 2002-03-29 2006-05-30 Digeo, Inc. System and method for focused navigation using filters
US20030046693A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for focused navigation within an interactive television user interface
US7650569B1 (en) * 2001-08-29 2010-01-19 Allen Paul G System and method for focused navigation within a user interface
US7735102B1 (en) 2001-08-29 2010-06-08 Billmaier James A System and method for focused navigation within a user interface
US7594246B1 (en) 2001-08-29 2009-09-22 Vulcan Ventures, Inc. System and method for focused navigation within a user interface
US20030046695A1 (en) * 2001-08-29 2003-03-06 Digeo, Inc. System and method for enabling focused navigation using filtering and direct-tune buttons
US8099680B1 (en) 2002-03-12 2012-01-17 Arris Group, Inc. System and method of contextual pre-tuning
US7487444B2 (en) * 2002-03-19 2009-02-03 Aol Llc Reformatting columns of content for display
CN100440189C (zh) * 2003-06-04 2008-12-03 无敌科技(西安)有限公司 结合图形描绘的语言学习系统及其运作方法
US7502480B2 (en) * 2003-08-19 2009-03-10 Microsoft Corporation System and method for implementing a flat audio volume control model
US8744852B1 (en) * 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
US7735012B2 (en) * 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
US7321856B1 (en) * 2005-08-03 2008-01-22 Microsoft Corporation Handling of speech recognition in a declarative markup language
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
KR100754211B1 (ko) * 2006-03-15 2007-09-03 삼성전자주식회사 멀티태스킹을 위한 사용자 인터페이스 방법 및 그 방법을수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR100699050B1 (ko) * 2006-06-30 2007-03-28 삼성전자주식회사 문자정보를 음성정보로 출력하는 이동통신 단말기 및 그방법
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8473868B1 (en) 2006-10-27 2013-06-25 Arris Group, Inc. System and method for reverse hierarchical navigation within a user interface
US20080104944A1 (en) * 2006-10-31 2008-05-08 Caterpillar Inc. Engine emissions control system
JP4403561B2 (ja) * 2007-01-31 2010-01-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 画面の表示を制御する技術
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20080282230A1 (en) * 2007-05-07 2008-11-13 International Business Machines Corporation Product, method and system for using window authentication in testing graphical user interface applications
US7847677B2 (en) * 2007-10-04 2010-12-07 International Business Machines Corporation Method and system for providing auditory feedback for the visually impaired when defining visual models
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8433828B2 (en) 2010-02-26 2013-04-30 Apple Inc. Accessory protocol for touch screen device accessibility
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140173500A1 (en) * 2012-12-19 2014-06-19 Qnx Software Systems Limited User interface with navigation context
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN105264524B (zh) 2013-06-09 2019-08-02 苹果公司 用于实现跨数字助理的两个或更多个实例的会话持续性的设备、方法、和图形用户界面
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
JP6163266B2 (ja) 2013-08-06 2017-07-12 アップル インコーポレイテッド リモート機器からの作動に基づくスマート応答の自動作動
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
USD861023S1 (en) * 2017-10-27 2019-09-24 Canva Pty Ltd. Display screen or portion thereof with a graphical user interface

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305435A (en) * 1990-07-17 1994-04-19 Hewlett-Packard Company Computer windows management system and method for simulating off-screen document storage and retrieval
FR2693810B1 (fr) * 1991-06-03 1997-01-10 Apple Computer Systemes d'interfaces d'utilisateurs a acces direct a une zone secondaire d'affichage.
JPH0540589A (ja) * 1991-08-02 1993-02-19 Canon Inc マルチウインドウ表示方法及びその装置
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US6046722A (en) * 1991-12-05 2000-04-04 International Business Machines Corporation Method and system for enabling blind or visually impaired computer users to graphically select displayed elements
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
JP3286339B2 (ja) * 1992-03-25 2002-05-27 株式会社リコー ウインドウ画面制御装置
JP3426267B2 (ja) * 1992-09-29 2003-07-14 沖電気工業株式会社 音声出力制御方法
JP3160462B2 (ja) * 1993-06-01 2001-04-25 松下電器産業株式会社 音声出力機能付きマルチウインドウ装置
US5956030A (en) * 1993-06-11 1999-09-21 Apple Computer, Inc. Computer system with graphical user interface including windows having an identifier within a control region on the display
CA2133877A1 (en) * 1993-10-25 1995-04-26 Mark A. Malamud Quick info windows and audio information cursors
JP2610114B2 (ja) * 1993-12-30 1997-05-14 インターナショナル・ビジネス・マシーンズ・コーポレイション ポインティング・システム、コンピュータ・システムおよび力応答方法
US5534887A (en) * 1994-02-18 1996-07-09 International Business Machines Corporation Locator icon mechanism
JPH08166867A (ja) * 1994-12-15 1996-06-25 Fujitsu Ltd 音声ガイダンス装置
US5826051A (en) * 1995-12-27 1998-10-20 Intel Corporation Method and apparatus for simplifying active window selection, application activation, and shared command execution in a multi-application environment
US6147684A (en) * 1998-02-06 2000-11-14 Sun Microysytems, Inc. Techniques for navigating layers of a user interface

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463100A (zh) * 2014-05-30 2017-02-22 追踪有限公司 用于选择显示器操作模式的系统和方法

Also Published As

Publication number Publication date
KR100369213B1 (ko) 2003-01-24
CN1291741A (zh) 2001-04-18
JP2001022494A (ja) 2001-01-26
KR20010020890A (ko) 2001-03-15
TW469397B (en) 2001-12-21
US6728675B1 (en) 2004-04-27
CA2307296A1 (en) 2000-12-03

Similar Documents

Publication Publication Date Title
CN1177274C (zh) 用于重叠窗口的音频标识符的数据处理器控制的显示系统
US9836192B2 (en) Identifying and displaying overlay markers for voice command user interface
US6275227B1 (en) Computer system and method for controlling the same utilizing a user interface control integrated with multiple sets of instructional material therefor
US5396590A (en) Non-modal method and apparatus for manipulating graphical objects
US5546525A (en) Computer user interface with multimode selection of displayed controls
US5757370A (en) Method, memory, and apparatus for effectively locating an object within a compound document
CN103425479A (zh) 用于远程设备的用户接口虚拟化
US20070168873A1 (en) Computer controlled user interactive display interface for accessing graphic tools with a minimum of display pointer movement
JP2002502999A (ja) 知識の本体の抽象化およびアクセスのためのコンピュータ・システム、方法およびユーザ・インターフェース構成要素
US20030020734A1 (en) Method and apparatus for displaying information elements
US6118939A (en) Method and system for a replaceable application interface at the user task level
JPH05298047A (ja) オブジェクトを作成するためのシステム及び方法
JPH05224859A (ja) グラフィカル・ユーザ・インターフェース
CN101299220A (zh) 多页面浏览器窗口拆分方法、合并方法和多页面浏览器
JP2011081778A (ja) ディスプレイ非依存のコンピュータによるガイダンス方法および装置
JP2000172398A (ja) 表示装置上の表示領域の間で切り替えるためのインタ―フェ―ス・コントロ―ル
JP2642698B2 (ja) ハイパーテキスト間の関連性表示方法
US20150072334A1 (en) Method and system for managing assessments
JPH04233627A (ja) 改良型ダイナミックメニュー選択付きグラフィックディスプレイ装置
JP3422596B2 (ja) オブジェクトの表示方法
US20210365280A1 (en) System & method for automated assistance with virtual content
JP2619487B2 (ja) フアイル操作方式
JPH07295778A (ja) 文書格納システム
CN1858691A (zh) 控制数据输入的系统和方法
JP2532973B2 (ja) 文書処理装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20041124

CX01 Expiry of patent term