CN102549655B - 自适应成流音频对象的系统 - Google Patents

自适应成流音频对象的系统 Download PDF

Info

Publication number
CN102549655B
CN102549655B CN201080041989.0A CN201080041989A CN102549655B CN 102549655 B CN102549655 B CN 102549655B CN 201080041989 A CN201080041989 A CN 201080041989A CN 102549655 B CN102549655 B CN 102549655B
Authority
CN
China
Prior art keywords
audio
stream
objects
information
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080041989.0A
Other languages
English (en)
Other versions
CN102549655A (zh
Inventor
詹姆斯·特雷西
泰米斯·卡奇诺斯
阿兰·D·克拉梅尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DTS Inc
Original Assignee
DTS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DTS Inc filed Critical DTS Inc
Publication of CN102549655A publication Critical patent/CN102549655A/zh
Application granted granted Critical
Publication of CN102549655B publication Critical patent/CN102549655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/308—Electronic adaptation dependent on speaker or headphone connection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Abstract

描述了一种用于提供面向对象的音频的系统和方法。通过将声源与这些声源的属性(例如位置、速度、方向性等)相关联来创建音频对象。可以除声道以外还使用音频对象，或替代声道来使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。对象可以限定空间中与二维坐标和三维坐标相关联的位置。可以基于可用网络资源和客户端设备资源使对象自适应成流传送至客户端设备。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。再现器还基于与客户端设备的再现环境相关的信息来调整对象的回放。还描述了音频对象创建技术的多种示例。

Description

自适应成流音频对象的系统
相关申请
本申请要求根据35U.S.C第119条第(e)项享有2009年8月14提交的发明名称为“Production，Transmission，Storage and RenderingSystem for Multi-Dimensional Audio”的美国临时专利申请No.61/233,931的优先权，在此并入其公开的全部作为参考。
背景技术
诸如立体声和环绕声之类的现有音频分发系统基于非灵活的范例，其中实现了从产生点至回放环境的固定数目的声道。传统上，贯穿整个音频链，在创建的声道的数目与物理上传输或记录的声道数目之间存在一对一的对应关系。在一些情况下，通过被称作混合(mix-down)的过程减少了可用声道的数目以适应回放配置，其中所述回放配置具有比传输流中提供的声道数目要少的再现声道。混合的普通示例是将立体声混入单声道以经由单个扬声器再现，以及将多声道环绕声混入立体声以经由两个扬声器回放。
音频分发系统也不适于3D视频应用，因为其不能够从三维空间中精确地再现声音。这些系统受到扬声器的数目和位置的限制，并且受到以下事实的限制：一般会忽视心理声学原理。结果，即使最精巧的声音系统也只是创建了对声学空间的粗糙仿真，而并没有接近真实的3D或多维呈现。
发明内容
描述了一种用于提供面向对象的音频的系统和方法。在一些实施例中，通过将声源与这些声源的属性(例如位置、速度、方向性等)相关联来创建音频对象。可以除声道以外还使用音频对象，或替代声道来使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。对象可以限定空间中与二维坐标和三维坐标相关联的位置。可以基于可用网络资源和客户端设备资源使对象自适应成流传送至客户端设备。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。再现器还基于与客户端设备的再现环境相关的信息来调整对象的回放。还描述了音频对象创建技术的多种示例。
在一些实施例中，一种自适应传输面向对象的音频流的方法可以包括：从远程计算机系统接收针对音频内容的请求；从远程计算机系统接收与该远程计算机系统的可用计算资源相关的资源信息；利用一个或多个处理器以至少部分地基于资源信息及与多个音频对象相对应的优先级信息来可编程地选择与音频内容相关联的所述多个音频对象中的一个或多个音频对象；以及经由网络向远程计算机系统传输选定的所述一个或多个音频对象。
在一些实施例中，一种用于自适应传输面向对象的音频流的系统可以包括：网络资源监视器，可以经由网络从远程计算机系统接收音频内容请求，并且访问关于网络可用资源的网络资源信息。系统还可以包括由一个或多个处理器实现的面向对象编码器，其中所述面向对象的编码器可以至少部分地基于可用网络资源及与多个音频对象相关联的优先级信息来选择所述多个音频对象中的一个或多个音频对象，以从音频流中去除。系统还可以包括音频传输模块，所述音频传输模块可以经由网络向远程计算机系统传输音频流。
在一些实施例中，一种自适应再现面向对象的音频流的方法可以包括：利用计算机系统经由网络从远程服务器接收具有多个音频对象的音频流；访问关于与计算机系统相关联的回放环境的环境信息；利用计算机系统以至少部分地基于环境信息来选择所述多个音频对象中的一个或多个音频对象；再现选定的所述一个或多个音频对象以产生输出音频，以及向一个或多个扬声器提供所述输出音频。
在多种实施例中，一种再现面向对象的音频流的方法可以包括：经由网络从远程服务器接收音频流，其中所述音频流具有对象元数据部分和音频信号部分。方法还可以包括访问所述对象元数据部分以识别音频流中包括的音频对象的一个或多个对象属性，通过至少将所述一个或多个对象属性用作提示来再现所述音频信号部分以产生输出音频，以及向一个或多个扬声器提供所述输出音频。
在一些实施例中，一种用于创建面向对象的音频的系统可以包括：对象创建模块，所述对象创建模块可以接收针对第一声源的第一位置数据和第一音频数据，接收针对第二声源的第二位置数据和第二音频数据，创建包括所述第一音频数据和与所述第一位置数据相对应的第一位置的第一音频对象以及创建具有所述第二音频数据和与所述第二位置数据相对应的第二位置的第二音频对象。系统还可以包括由一个或多个处理器实现的对象链接模块。对象链接模块可以通过所述一个或多个处理器创建所述第一音频对象与所述第二音频对象之间的关联，并且可以将所述第一音频对象与所述第二音频对象之间的关联存储在计算机存储器中。
在一些实施例中，一种创建面向对象的音频的方法可以包括：接收从声源获得的音频数据，从与所述声源相关联的位置跟踪设备接收位置数据，根据所述位置数据计算可以参照用于获取所述声源的一个或多个图像的摄像机而确定的位置，自动地创建与所述音频数据和所计算的位置相关联的音频对象，以及将所述音频对象存储在计算机存储器中。
在一些实施例中，一种创建面向对象的音频的方法可以包括：接收针对第一声源的第一位置数据和第一音频数据，接收针对第二声源的第二位置数据和第二音频数据，创建包括所述第一音频数据和与所述第一位置数据相对应的第一位置的第一音频对象以及创建具有所述第二音频数据和与所述第二位置数据相对应的第二位置的第二音频对象，利用一个或多个处理器创建所述第一音频对象与所述第二音频对象之间的关联，并且可以将所述第一音频对象与所述第二音频对象之间的关联存储在计算机存储器中。
为了概括本公开，本文已经描述了本发明的一些方面、优势和新颖特征。应该理解，根据本文公开的本发明的任意特定实施例，可能没有必要实现所有这些优势。因此，可以以如下方式实现或执行本文所公开的发明：实现或优化根据本文教导的一个优势或一组优势，而没有必要实现可能是本文教导或建议的其它优势。
附图说明
贯穿附图，参考数字被重复使用，以指示所引用元件之间的对应性。提供附图来示出本文所描述的本发明的实施例，而非限制本发明的范围。
图1A和1B示出了面向对象的音频系统的实施例；
图2示出了面向对象的音频系统的另一实施例；
图3示出了用于本文所描述的任意面向对象的音频系统中的成流模块的实施例。
图4示出了面向对象的音频流格式的实施例；
图5A示出了音频流组装过程的实施例；
图5B示出了音频流再现过程的实施例；
图6示出了自适应音频对象成流系统的实施例；
图7示出了自适应音频对象成流过程的实施例；
图8示出了自适应音频对象再现过程的实施例；
图9示出了针对面向对象的音频捕获的示例场景；
图10示出了用于面向对象的音频捕获的系统的实施例；以及
图11示出了用于面向对象的音频捕获的过程的实施例。
具体实施方式
I.介绍
除了以上描述的现有系统的问题之外，音频分发系统还没有充分地考虑听众的回放环境。相反，音频系统被设计为向最终的收听环境传送指定数目的声道，而没有对环境、听众偏好或心理声学原理的实现进行任意的补偿。传统上，将这些功能和能力留给了系统集成器。
本公开描述了用于使面向对象的音频成流的系统和方法，其解决了这些问题中的至少一部分。在一些实施例中，通过将声源与这些声源的属性(例如，位置、速度、方向性等)相关联来创建音频对象。可以使用音频对象来替代声道，或者除了声道之外还使用音频对象，以例如通过使音频对象成流来经由网络向客户端设备分发声音。在一些实施例中，这些对象与声道不相关或者没有横跨(pan)声道之间的位置，而是利用相关联的二维或三维坐标限定了其在空间上的位置。客户端设备上的再现器可以使用对象的属性来确定如何再现对象。
在一些实施例中，再现器还可以基于可用计算资源来调整再现和/或流化，以考量再现器的环境。类似地，可以基于诸如可用带宽之类的网络条件来调整音频对象的流化。还描述了音频对象创建技术的各种示例。有利地，本文描述的系统和方法可以减少或克服关于刚性音频声道分发模型的缺点。
作为概括，图1A和1B介绍了面向对象的音频系统的实施例。后面的附图描述了这些面向对象的音频系统可以实现的技术。例如，图2至图5B描述了用于使面向对象的音频成流的各种示例技术。图6至8描述了用于基于环境和网络条件使面向对象的音频自适应地成流并对其进行再现的示例技术。图9至11描述了示例音频对象创建技术。
当用于本文时，术语“成流(streaming)”及其派生词，除了具有其通常含义之外，还意味着将内容从一个计算系统(例如服务器)分发至另一计算系统(例如客户端)。术语“成流”及其派生词还可以涉及通过使用包括BitTorrent和相关协议的各种协议中的任意一种协议来经由对等网络分发内容。
II.面向对象的音频系统概要
图1A和1B示出了面向对象的音频系统100A、100B的实施例。可以以计算机硬件和/或软件实现面向对象的音频系统100A、100B。有利地，在一些实施例中，面向对象的音频系统100A、100B可以启用内容创建者创建音频对象、使这些对象成流以及再现对象，而不用被绑定到固定的声道模型上。
具体地参考图1A，面向对象的音频系统100A包括音频对象创建系统110A、在内容服务器120A中实现的成流模块122A以及用户系统140中实现的再现器142A。音频对象创建系统110A可以向用户提供创建和修改音频对象的功能。安装在内容服务器120A上的成流模块122A可以用于使音频对象成流来经由网络130向用户系统140传送。网络130可以包括LAN、WAN、因特网、或其组合。用户系统140上的再现器142A可以再现音频对象，以输出至一个或多个扬声器。
在所描述的实施例中，音频对象创建系统110A包括对象创建模块114和面向对象编码器112A。对象创建模块114可以例如将音频数据与该音频数据的属性相关联，以提供用于创建对象的功能。任意类型的音频可以被用于产生音频对象。可以将音频生成为对象并使其成流的一些示例可以包括与电影、电视、电影预告、音乐、音乐视频、其它在线视频、视频游戏等相关联的音频。
首先，音频数据可以是记录的或获取的。对象创建模块114可以提供用户接口，使得用户能够访问、编辑或操纵音频数据。音频数据可以表示声源或声源的集合。声源的一些示例包括对话、背景音乐以及任意物体(例如汽车、飞机或任意道具)产生的声音。更一般地，声源可以是任意音频片段。
声源可以具有一个或多个属性，对象创建模块114可以将该属性与音频数据相关联，以创建对象。属性的示例包括声源的位置、声源的速度、声源的方向性等。一些属性可以从音频数据直接获得，例如反映了何时记录音频的时间属性。用户可以向对象创建模块114提供其它属性，例如产生音频的声源类型(例如，汽车与演员)。此外，对象创建模块114还可以从其它设备自动导入其它属性。作为示例，可以从全球定位系统(GPS)设备中获得声源位置，并将其导入对象创建模块114。下文将更详细地描述属性的附加示例和用于识别属性的技术。对象创建模块114可以将音频对象存储在对象数据储存库116中，该对象数据储存库116可以包括数据库或其它数据存储库。
面向对象编码器112A可以将一个或多个音频对象编码为音频流，以经由网络传输。在一个实施例中，面向对象编码器112A将音频对象编码为未压缩脉码调制(PCM)音频和相关联的属性元数据。在另一实施例中，面向对象编码器112A还在创建流时压缩对象。
有利地，在一些实施例中，面向对象编码器产生的音频流可以包括至少一个对象，该对象由元数据报头和音频有效载荷表示。音频流可以由帧构成，每个帧可以包括对象元数据报头和音频有效载荷。一些对象可以只包括元数据而没有音频有效载荷。其它对象可以包括音频有效载荷但具有少量元数据或几乎没有元数据。下文将更详细地描述这些对象的示例。
音频对象创建系统110A可以经由网络(未示出)向内容服务器120A提供已编码的音频对象。内容服务器120A可以驻留已编码的音频对象，以用于后续传输。内容服务器120A可以包括一个或多个机器，例如物理计算设备。用户系统可以经由网络130访问内容服务器120A。例如，内容服务器120A可以是web服务器、内容传送网络(CDN)中的边缘节点等。
用户系统140可以访问内容服务器120A，以请求音频内容。响应于接收到这个请求，内容服务器120A可以使音频内容成流、向用户系统140上传或发送音频内容。任意形式的计算设备可以访问音频内容。例如，用户系统140可以是桌上型设备、膝上型设备、平板设备、个人数字助理(PDA)、电视、无线手持式设备(例如电话)等。
用户系统140上的再现器142A可以对已编码的音频对象进行解码，并再现音频对象，以输出至一个或多个扬声器。再现器142A可以包括多种不同的再现特征、音频增强、心理声学增强等，以再现音频对象。再现器142A可以将音频对象的对象属性用作关于如何再现对象的提示。
参考图1B，面向对象的音频系统100B包括系统100A的多种特征，例如音频对象创建系统110B、内容服务器120B和用户系统140。所示部件的功能可以与上述描述的部件的功能相同，但此处应注意具有一些差异。例如，在所描述的实施例中，内容服务器120B包括自适应成流模块122B，其可以动态地适应要成流被传送至用户系统140的对象数据的数量。同样地，用户系统140包括自适应再现器142B，其可以适应于音频成流和/或用户系统140再现对象的方式。
如从图1B中可见，面向对象编码器112B已经从音频对象创建系统110B移动到了内容服务器120B。在所描述的实施例中，音频对象创建系统110B向内容服务器120B上传音频对象而非音频流。内容服务器120B上的自适应成流模块122B包括面向对象编码器112B。因此，在所描述的实施例中，在内容服务器120B上执行对音频对象的编码。备选地，音频对象创建系统110B可以使已编码对象成流来传送至自适应成流模块122B，自适应成流模块122B对音频对象解码，以用于进一步操纵和后来的重新编码。
通过编码内容服务器120B上的对象，自适应成流模块122B可以在使成流之前动态地调整对对象编码的方式。自适应成流模块122B可以监视可用的网络130资源，例如网络带宽、等待时间等。基于可用的网络资源，自适应成流模块122B可以将或多或少的音频对象编码为音频流。例如，随着更多的网络资源变得可用，自适应成流模块122B可以将相对更多的音频对象编码为音频流，反之亦然。
自适应成流模块122B还可以调节要编码为音频流的对象的类型，而不是对象的数目(或者还包括对象的数目)。例如，当网络资源受限时，自适应成流模块122B可以对较高优先级的对象(例如对话)进行编码，而不对较低优先级的对象(例如特定背景声音)进行编码。将在下文更详细地描述基于对象优先权进行自适应成流的概念。
自适应再现器142B还可能对如何将音频对象形成流传送到用户系统140中造成影响。例如，自适应再现器142B可以与自适应成流模块122B进行通信，以控制要形成流传送至用户系统140的音频对象的数量和/或类型。自适应再现器142B还可以基于回放环境调节对音频流再现的方式。例如，大型剧院可以指定成百或上千的放大器和扬声器的位置和容量，而自包含的TV则可能指定只有两个放大器声道和扬声器可用。基于这个信息，系统100A、100B可以优化声场呈现。可以根据再现资源和环境而利用系统100A、100B中的不同类型的再现特征，这是因为输入音频流可以是描述性的，并且不取决于回放环境的物理特性。将在下文更详细地描述自适应再现器142B的这些和其它特征。
在一些实施例中，即使面向对象编码器(例如编码器112A)向自适应成流模块122B发送已编码流，也可以实现本文所描述的自适应特征。当计算资源或网络资源变得不大可用时，自适应成流模块122B可以从音频流中去除或过滤对象，而不是匆忙地(on the fly)组装新音频流。例如，自适应成流模块122B可以从流中去除与对再现而言相对不重要的对象相对应的分组。将在下文更详细地描述向对象分配重要度以使对象成流和/或再现对象的技术。
如上述实施例所述，所公开的用于音频分发和回放系统100A、100B可以包括从音频内容的初始产品到听众的感知系统的整个链。系统100A和100B是可缩放的，并且可以容易地包含在在传输/存储或多维再现系统中概念改进的未来证明中。系统100A、100B还可以从基于影院的较大呈现形式缩放为家庭影院配置和自包含的TV音频系统。
与基于物理声道系统的现有技术相反，系统100A、100B可以将音频内容的作品抽象化为音频对象序列，该音频对象提供了关于场景的结构的信息以及关于场景内的独立部件的信息。假定资源可用，系统100A、100B可以使用与每个对象相关联的信息，来创建对所提供的信息最精确地表示。这些资源可以被指定为针对系统100A、100B的附加输入。
除了使用物理扬声器和放大器之外，系统100A、100B还可以并入心理声学处理，以增强听众在声学环境中的体验，并实现对与可视场中的位置精确地对应的3D对象的定位。还可以将这种处理作为可用资源定义到系统100A、100B(例如再现器142)上，以增强或优化对传输流中包括的音频对象信息的呈现。
可以将流设计为是可扩展的，使得在任意时刻都可以添加附加信息。再现器142A、142B可以是通用的或被设计为支持特定环境以及资源混合。可以任意地并入音频再现方面的未来改进和新概念，以及在传输/所存储流中包括的相同描述性信息潜在地用于更精确的再现。与当前系统不同，系统100A、100B是灵活的和适应性的。
为了容易说明，本说明书主要描述了在经由网络使音频成流的上下文中的面向对象音频技术。然而，还可以在非网络环境中实现面向对象的音频技术。例如，可以将面向对象的音频流存储在计算机可读存储介质上，例如DVD盘、蓝光盘等。媒体播放器(例如蓝光播放器)可以回放在盘上存储的面向对象音频流。还可以将面向对象的音频包下载至用户系统中的本地存储器上，然后从本地存储器回放。更多其它变型是可能的。
应该意识到，可以对参考图1A和1B描述的一些部件的功能进行组合、修改或省略。例如，在一种实现中，可以在内容服务器120上实现音频对象创建系统110。可以从音频对象创建系统110向用户系统140直接连续传送音频流。多种其它配置是可能的。
III.音频对象成流实施例
现在将参考图2至5B描述音频对象系统的更详细的实施例。参见图2，示出了面向对象的音频系统200的另一实施例。系统200可以实现上述系统100A、100B的任意特征。系统200可以产生面向对象的音频流，对所述面向对象的音频流进行解码、再现，并由一个或多个扬声器输出。
在系统200中，向面向对象编码器212提供音频对象202。如上所述，可以通过音频内容创建系统或内容服务器上的成流模块实现面向对象编码器212。面向对象编码器212可以对音频对象进行编码和/或将其压缩为比特流214。面向对象编码器212可以使用任意编解码或压缩技术来编码对象，包括基于任意运动图像专家组(MPEG)标准的压缩技术(例如以创建MP3文件)。
在一些实施例中，面向对象编码器212创建针对不同音频对象的单个比特流214，单个比特流214具有元数据报头和音频有效载荷。面向对象的编码器212可以经由网络传输比特流214(例如参见图1B)。在用户系统214上实现的解码器220可以接收比特流214。解码器220可以将比特流214解码为其组成的音频对象202。解码器220向再现器242提供音频对象。在一些实施例中，再现器242可以直接实现解码器220的功能。
再现器242可以将音频对象再现为适宜在一个或多个扬声器250上回放的音频信号244。如上所述，再现器142A可以将音频对象的对象属性用作如何再现音频对象的提示。有利地，在特定实施例中，因为音频对象包括这些属性，所以可以改变再现器142A的功能，而不用改变音频对象的格式。例如，一种类型再现器142A可以使用音频对象的位置属性，以将音频从一个扬声器跨(pan)至另一个扬声器。响应于确定了心理声学增强对于再现器142A可用，第二再现器142A可以使用相同的位置属性来执行对音频对象的3D心理声学过滤。总之，再现器142A可以考虑可用的部分或所有资源，以创建最佳的可能呈现。随着再现技术的改进，可以将利用了音频对象已有格式的优点的附加再现器142A或再现资源添加到用户系统140中。
如上所述，面向对象的编码器212和/或再现器242还可以具有自适应的特征。
图3示出了用于本文所描述的任意面向对象的音频系统的成流模块322的实施例。成流模块322包括面向对象编码器312。可以以硬件或软件来实现成流模块322和编码器312。所描述的实施例示出了如何将不同类型的音频对象编码为单个比特流314。
所示示例成流模块322接收两种不同类型的对象：静态对象302和动态对象304。静态对象302可以表示音频声道，例如5.1声道环绕声。每个声道可以被表示为静态对象302。一些内容创建者可能希望使用声道而非系统100A、100B的面向对象功能，或者除了声道之外还希望使用系统100A、100B的面向对象功能。静态对象302为这些内容创建者提供了使用声道的方式，以促进与现有固定声道系统的向后兼容，并使得容易使用。
动态对象304可以包括可以使用的任意对象来代替静态对象302，或者除了静态对象302之外还可以包括可以使用的任意对象。动态对象304可以包括增强，使得当一起再现动态对象304与静态对象302时，增强与静态对象302相关联的音频。例如，动态对象304可以包括心理声学信息，再现器可以使用所述心理声学信息来增强静态对象302。动态对象304还可以包括背景对象(例如，路过的飞机)，再现器可以使用所述背景对象来增强音频场景。然而，动态对象304不必是背景对象。动态对象304可以包括对话或任意其它音频对象。
与静态对象302相关联的元数据可以很少，或者不存在。在一个实施例中，该元数据简单地包括“声道”的对象属性，其指示静态对象302与哪个声道相对应。在一些实现中，因为元数据没有改变，因此，静态对象302的对象属性是静态的。相反，动态对象304可以包括变化的对象属性，例如变化的位置、速度等。因此，与这些对象304相关联的元数据可以是动态的。然而在一些情况下，与静态对象302相关联的元数据可以随着时间改变，而与动态对象304相关联的元数据可以保持不变。
此外，如上所述，一些动态对象304可以包括极少的音频有效载荷或者不包括音频有效载荷。例如，环境对象304可以指定所期望的发生了场景的声学环境的特性。这些动态对象可以包括与音频场景发生的建筑物或室外区域的类型相关的信息，例如房间、办公室、教堂、体育场等。再现器可以使用这个信息，以例如应用与所指示的环境相对应的适量的回响或延迟来调节对静态对象302中的音频的回放。在一些实现中，环境动态对象304还可以包括音频有效载荷。下文将参考图4描述环境对象的一些示例。
另一种类型的对象是音频定义对象，其可以包括元数据但是具有极少有效载荷或没有有效载荷。在一个实施例中，用户系统可以包括音频片段或声音的库，再现器可以在接收到音频定义对象时再现所述音频片段或声音的库。音频定义对象可以包括针对在用户系统上存储的音频片段或声音的引用，以及关于将片段播放多少时间、是否循环片段等的指令。可以由音频定义对象部分地或者甚至是单独地构成音频流，其中将一部分或全部的实际音频数据存储在用户系统上(或者可由另一服务器访问)。在另一实施例中，成流模块322可以向用户系统发送多个音频定义对象，之后发送多个音频有效载荷对象，以分离元数据和实际音频。多种其它配置是可能的。
内容创建者可以使用描述性的计算机语言(例如使用音频对象创建系统110)来声明静态对象302或动态对象304。当创建稍后要形成流的音频对象时，内容创建者可以声明期望数目的静态对象302。例如，内容创建者可以请求始终是对话静态对象302(例如，与中心声道相对应)或任意其它数目的静态对象302。该“始终是”的性质还可以使得静态对象302是静态的。相反，动态对象304可以进入或离开音频流，并且并非总是存在于音频流中。当然，这些特征可以是相反的。例如，可能期望的是选通或触发静态对象302。例如，当在给定静态对象302中不存在对话时，就在音频流中不包括该对象，这可以节约计算和网络资源。
图4示出了面向对象的音频流的格式400的实施例。音频流的格式包括比特流414，其可以与上述任意比特流相对应。将比特流414的格式400分解为更详细的连续视图(420，430)。所示比特流的格式400只是示例实施例，并可以根据实现而改变。
在所描述的实施例中，比特流414包括流报头412和宏帧420。流报头412可以在比特流414的起始端与末端出现。可以在流报头412中包括的信息的一些示例包括流的作者、流的起源、版权信息、与流的创建和/或传送相关的时间戳、流的长度、关于使用了哪种编解码器来编码流的信息等。解码器和/或再现器可以使用流报头412，以适当地解码流414。
宏帧420将比特流414分为数据部分。每个宏帧420可以与音频场景或音频的时间片断相对应。每个宏帧420还包括宏帧报头422和独立帧430。宏帧报头422可以限定宏帧中包括的音频对象的数目、与宏帧420相对应的时间戳等。在一些实现中，可以在宏帧420中的帧430之后放置宏帧报头422。每个独立帧430可以表示单个音频对象。然而，在一些实现中，帧430还可以表示多个音频对象。在一个实施例中，再现器在接收整个宏帧420之后才对与宏帧420相关联的音频对象进行再现。
每个帧430包括帧报头432和音频有效载荷434，帧报头432包括对象元数据。在一些实现中，可以在音频有效载荷434之后放置帧报头432。然而，如上所讨论的，一些音频对象可以只具有元数据432或者只具有音频有效载荷434。因此，一些帧432可以包括具有极少或不具有对象元数据的帧报头432(或者根本没有报头)，以及一些帧432可以包括极少音频有效载荷434或不包括音频有效载荷434。
帧报头432中的对象元数据可以包括关于对象属性的信息。下表示出了元数据的示例，其中所述元数据可以用于限定对象属性。具体地，表1示出了各种对象属性，其通过属性名称和属性描述来组织。在一些设计中，可以实现比所示属性更少或更多的属性。
表1-示例对象属性
以下在表2中示出了在表1中列出的OBSTRUCT_PRESET(障碍物预置)的示例值。障碍物预置值可能影响声源从摄像机或听众的视角被阻碍或阻挡的程度。因此，例如，对从厚门后面发射出来的声源进行的再现可能与对从门帘后面发射出来的声源进行的再现不同。如上所述，再现器可以基于这些和其它对象属性来执行任意期望的再现技术(或根本不执行再现技术)。
  障碍物预置   类型
  1   单门
  2   双门
  3   薄门
  4   后门
  5   木墙
  6   砖墙
  7   石头墙
  8   门帘
表2-示例障碍物预置值
与障碍物预置(有时被称作阻碍物)类似，REVERB_PRESET(回响预设)可以包括如表3所示的示例值。这些回响值可以与声源所处的环境的类型相对应。因此，对礼堂中发出的声源进行的再现可能与对起居室中发出的声源进行的再现不同。在一个实施例中，环境对象包括回响属性，回响属性包括诸如以下所描述的这些预置值。
  回响预置   类型
  1   小路
  2   竞技场
  3   礼堂
  4   浴室
  5   洞穴
  6   房间
  7   城市
  8   音乐会大厅
  9   森林
  10   走廊
  11   飞机库
  12   大型房间
  13   起居室
  14   中型房间
  15   山区
  16   停车库
  17   板状物
  18   房间
  19   水下
表3-示例回响预置
在一些实施例中，并非只使用上述回响预置来描述环境对象。替换地，可以利用一个或多个属性来描述环境对象，例如(不需要被预置的)回响量、回声量、背景噪声的度等。多种其它配置是可能的。类似地，音频对象的属性一般可以具有除数值以外的形式。例如，属性可以包括限定了声源的行为或特性的代码或指令片段。
图5A示出了音频流组装过程500A的实施例。可以通过本文所描述的任意系统实现音频流组装过程500A。例如，可以通过以上描述的面向对象编码器或成流模块中的任意一个来实现音频流组装过程500A。音频流组装过程500A将至少一个音频对象组装为音频流。
在块502处，选择音频对象以成流。音频对象可以通过上述音频对象创建模块110来创建。因此，选择音频对象可以包括访问对象数据存储库116中的音频对象。备选地，成流模块122可以从计算机存储器中访问音频对象。为了容易说明，该示例图描述了使单个对象成流，但是应该理解，可以使多个对象成流在音频流中。所选对象可以是静态或动态对象。在该具体示例中，所选对象具有元数据和音频有效载荷。
在块504处，对具有对象元数据的对象报头进行组装。该元数据可以包括对对象属性的任意描述，其中已经在上文描述了所述对象属性的描述的示例。在块506处，提供了具有对象的音频信号数据的音频有效载荷。
在块508处，将对象报头和音频有效载荷组合，以形成音频流。形成音频流可以包括编码音频流、压缩音频流等。在块510处，经由网络传输音频流。当可以使用任意成流技术形成音频流时，还可以将音频流上传至用户系统(或相反，从用户系统下载)。之后，如下文将参考图5B所描述的，用户系统可以再现音频流。
图5B示出了音频流再现过程500B的实施例。可以通过本文所描述的任意系统来实现音频流再现过程500B。例如，可以通过本文所描述的任意再现器来实现流再现过程500B。
在块522处，接收面向对象的音频流。可以通过使用过程500A的技术或者以上描述的其它技术来创建该音频流。在块524处，访问音频流中的对象元数据。使用例如与编码流的编解码相同的编解码来解码流，以获取该元数据。
在块526处，识别元数据中的一个或多个对象属性。再现器可以将这些对象属性的值识别为用于再现流中的音频对象的提示。
在块528处，再现音频流中的音频信号。在所描述的实施例中，根据所述一个或多个对象属性再现音频流，以产生输出音频。在块530处，向一个或多个扬声器提供输出音频。
IV.自适应成流和再现实施例
以上参考图1B描述了自适应成流模块122B和自适应再现器142B。图6的系统600示出了自适应成流模块622和自适应再现器642的更详细实施例。
在图6中，自适应成流模块622具有若干部件，包括优先级模块624、网络资源监视器626、面向对象编码器612和音频通信模块628。自适应再现器642包括计算资源监视器644和再现模块646。在不同实现中，可以省略所示部件中的一部分。面向对象编码器612可以包括上述编码特征中的任意编码特征。音频通信模块628可以经由网络(未示出)向自适应再现器642传输比特流614。
优先级模块624可以将优先级值或其它优先级信息应用到音频对象上。在一个实施例中，每个对象可以具有优先级值，该优先级值可以是数字值或类似值。优先级值可以从再现的角度指示对象的相对重要程度。对于再现而言，具有较高优先级的对象比具有较低优先级的对象更重要。因此，如果资源受限，则可以忽视具有相对较低优先级的对象。最初可以由内容创建者使用以上描述的音频对象创建系统110来建立优先级。
作为示例，与背景声对象相比，包括视频对话的对话对象具有相对较高的优先级。例如，如果优先级值的范围是从1至5，则对话对象可以具有优先级值1(意味着最高优先级)，而背景声对象则可以具有较低优先级(例如从2至5)。优先级模块624可以建立阈值，以传输满足特定优先级级别的对象。例如，优先级模块624可以建立阈值3，使得具有优先级1、2和3的对象可以被传输至用户系统，而不传输具有优先级4或5的对象。
优先级模块624可以基于由网络资源监视器626确定的变化的网络条件来动态地设置该阈值。网络资源监视器626可以监视可用网络资源或其它服务质量测量标准，例如带宽、等待时间等。网络资源监视器626可以向优先级模块624提供这个信息。如果网络资源较多，优先级模块624可以使用这个信息来调节阈值，以允许向用户系统传输较低优先级的对象。类似地，当网络资源较少时，优先级模块624可以调节阈值，以阻止传输较低优先级的对象。
优先级模块624还可以基于从自适应再现器642处接收到的信息来调节优先级阈值。自适应再现器642的计算资源模块644可以识别用户系统的回放环境的特性，例如与用户系统相连的扬声器数目、用户系统的处理能力等。计算资源模块644可以经由控制通道650向优先级模块624传送计算资源信息。优先级模块624可以基于该信息调节阈值，以在计算资源较多的情况下发送较高和较低优先级对象，以及在计算资源较少的情况下只发送较高优先级的对象。因此，自适应再现器642的计算资源监视器644可以控制要形成流传送至用户系统的音频对象的数量和/或类型。
自适应再现器642还可以基于回放环境对再现音频流的方式进行调节。例如，如果用户系统与两个扬声器相连，则自适应再现器642可以再现两个扬声器上的音频对象。如果附加扬声器与用户系统相连，则自适应再现器642也可以再现附加声道上的音频对象。当再现处于一个或两个扬声器(有时，或多个扬声器)上的对象时，自适应再现器642还可以使用心理声学技术。
优先级模块624可以动态地改变音频对象的优先级。例如，优先级模块624可以设置对象，以使其具有相对于彼此的相对优先级。例如，优先级模块624可以为对话对象分配最高优先级值。其它对象的优先级值可以相对于对话对象的优先级。因此，如果某一时间段内在音频流中不存在对话对象，则其它对象可以具有相对较高的优先级。
图7示出了自适应成流过程700的实施例。诸如系统600之类的上述任意系统可以实现自适应成流过程700。自适应成流过程700有利于成流资源的有效使用。
可以由上述优先级模块624执行块702至708。在块702处，从远程计算机接收针对音频内容的请求。例如，用户系统可以向内容服务器发送请求。在块704处，接收与远程计算机系统的资源相关的计算资源信息。该计算资源信息可以描述用户系统的各种可用资源，并且可以与音频内容请求一起提供。在块726处，还接收与可用网络资源相关的网络资源信息。网络资源监视器626可以获得该网络资源信息。
在块708处，至少部分地基于计算机和/或网络资源信息设置优先级阈值。在一个实施例中，当计算和网络资源相对较多时，优先级模块624建立较低阈值(例如，以允许流中较低优先级的对象)。当计算或网络资源相对少时，优先级模块624可以建立较高阈值(例如，以允许流中较高优先级的对象)。
可以由面向对象编码器612执行块710至714。在判决块710处，对于所请求音频内容中的给定对象，确定针对该对象的优先级值是否满足先前建立的阈值。如果是，则在块712处，将对象添加到音频流中。否则在一些实施例中，不将对象添加到音频流中，从而有利地节约了网络和/或计算资源。
在块714处，还确定是否还有附件对象要添加到流中。如果是，则过程700循环返回到块710。否则，在块716处，例如通过音频通信模块628向远程计算系统传输音频流。
在一些实现中，可以修改过程700，以从预编码的音频流中去除对象，而不是匆忙地对音频流进行组装。例如，在块710处，如果给定对象具有不满足阈值的优先级，则在块712处，从音频流中去除该对象。因此，内容创建者可以向内容服务器提供具有各种对象的音频流，以及内容服务器处的自适应成流模块可以基于对象的优先级动态地去除一些对象。因此，选择用于成流的音频对象可以包括添加对象至流中，从流中去除对象等。
图8示出了自适应再现过程800的实施例。诸如系统600之类的上述任意系统可以实现自适应再现过程800。自适应再现过程800有利于对成流资源的有效使用。
在块802处，用户系统的再现器接收具有多个音频对象的音频流。例如，自适应再现器642可以接收音频对象。在块804处，访问回放环境信息。可以通过自适应再现器642的计算资源监视器644访问回放环境信息。该资源信息可以包括关于扬声器配置、计算功率等的信息。
可以由自适应再现器642的再现模块实现块806至810。在块806处，至少部分地基于环境信息选择一个或多个音频对象。再现模块646可以使用对象的优先级值，以选择对象来再现。在另一实施例中，再现模块646并没有基于优先级值选择对象，而是替换地，将对象混合(down-mix)为较少的扬声器声道或使用较少的处理资源，来再现音频。在块808处，再现音频对象，以产生输出音频。在块810处，向一个或多个扬声器输出所再现的音频。
V.音频对象创建实施例
图9-11描述了在例如电影、电视、播客等视听再现的上下文中的示例音频对象创建技术。然而，参考图9至11描述的一些或全部特征也可以在纯音频(例如，不伴随有视频)的上下文中实现。
图9示出了用于面向对象的音频捕获的示例场景900。场景900表示视听场景的简化视图，可以为电影、电视或其它视频构建所述视听场景。在场景900中，两个演员910正在表演，分别通过麦克风920和摄像机930记录他们的声音和动作。为了简化，示出了单个麦克风920，尽管在一些情况下，演员910可以佩戴独立的麦克风。类似地，还可以给道具(未示出)提供独立的麦克风。
为了确定当前场景900中的声源(例如，演员)的位置、速度和其它属性，提供了位置跟踪设备912。这些位置跟踪设备912可以包括GPS设备、运动捕获套装、激光测距仪等。可以将来自位置跟踪设备912的数据和来自麦克风920(或多个麦克风)的数据一起传输给音频对象创建系统110。来自位置跟踪设备912的数据中包括的时间戳可以与从麦克风912和/或摄像机930获得的时间戳相关联，以提供针对每个音频示例的位置数据。该位置数据可以被用于创建具有位置属性的音频对象。类似地，可以从位置跟踪设备912获得速度数据，或者从位置数据获取速度数据。
来自位置跟踪设备912的位置数据(例如，GPS获得的纬度和经度)可以被直接用作位置数据或可以被翻译成坐标系。例如，三维笛卡儿坐标940(x、y或z)可以被用于跟踪音频对象的位置。也可以使用非笛卡儿坐标的坐标系，例如球面坐标或圆柱坐标。在一个实施例中，坐标系940的原点可以是摄像机930。为了利于这种结构，摄像机930还可以包括位置跟踪设备912，以确定其相对于音频对象的位置。因此，即使摄像机930的位置改变，场景900中的音频对象的位置仍然是相对于摄像机930的位置。
还可以在视听作品的后期制作期间在音频对象上应用位置数据。对于动画作品，动画对象(例如人物)的坐标可能对于内容创建者而言是已知的。这些坐标可以自动地与每个动画对象产生的音频相关联，以创建音频对象。
图10示意性地示出了用于面向对象的音频捕获的系统1000，其可以实现以上参考图9描述的特征。在系统1000中，向对象创建模块1014提供声源位置数据1002和麦克风数据1006。对象创建模块1014可以包括上述对象创建模块114A、114B的所有特征。如以上参考图9所描述的，对象创建模块1014可以基于时间戳1004、1008将针对给定声源的声源位置数据1002与麦克风数据1006相关联。
此外，对象创建模块1014包括对象链接器1020，其可以链接对象或将对象关联在一起。一些音频对象可能彼此内在相关，因此可以通过对象链接器1020自动地链接。所链接的对象将通过下文所详细描述的方式被一起再现。
对象可以彼此内在相关，因为对象与相同高度等级的对象相关。换句话说，对象创建模块1014可以形成对象的层级，该层级包括父对象和子对象，该子对象与父对象相关，并且是父对象的内在性质。按照这种方式，音频对象可以从计算机程序语言中借用一些面向对象的原理。具有子对象的父对象的示例是乐队。乐队可以具有与不同组的乐器(例如长号、长笛、竖笛等)相对应的若干分组。使用对象创建模块1014的内容创建者可以将乐队指派为父对象，而将每个分组指派为子对象。此外，内容创建者还可以将独立的乐队成员指派为分组对象的子对象。对象层级的复杂度(包括层级中层的数目)可以由内容创建者建立。
如上所述，子对象可以继承其父对象的性质。因此，子对象可以继承其父对象的一些或全部元数据。在一些情况下，子对象还可以继承与其父对象相关联的一些或全部音频信号数据。子对象可以修改这些元数据和/或音频信号数据中的一部分或全部。例如，子对象可以修改从父对象继承的位置属性，使得子对象和父对象具有不同的位置元数据，但是具有其它类似的元数据。
还可以将子对象的位置表示为相对于父对象的位置的偏移，或者可以从父对象的位置中得到子对象的位置。参考乐队的示例，乐队的分组可以具有位置，该位置是相对于乐队位置的偏移。当乐队改变位置时，表示乐队的分组的子对象可以基于偏移和父乐队的位置自动地更新其位置。按照这种方式，具有不同的位置偏移的乐队的不同分组可以一起移动。
子对象与父对象之间的继承关系可以导致产生子对象与父对象之间的公共元数据。这种元数据上的重叠可以被上述任意面向对象的编码器采用，以优化或减少音频流中的数据。在一个实施例中，面向对象编码器可以通过替代与父对象的元数据相关的冗余元数据来从子对象中去除冗余元数据。同样地，如果冗余音频信号数据对于子对象和父对象而言是公共的，则面向对象的编码器可以减少或消除所述冗余音频信号数据。这些技术只是多种优化技术的示例，其中面向对象编码器可以执行多种优化技术，以减少或消除音频流中的冗余数据。
此外，对象创建模块1014的对象链接器1020可以将子对象和父对象链接在一起。对象链接器1020可以通过创建两个对象之间的关联来执行这种链接，其中可以在两个对象的元数据中反映所述关联。对象链接器1020可以将该关联存储在对象数据储存库1016中。此外，在一些实施例中，即使当对象不具有父子关系时，内容创建者也可以例如将对象手动地链接在一起。
当再现器接收到两个链接的对象时，再现器可以选择将两个对象分离地或一起再现。因此，例如，再现器可以将乐队再现为关于多个扬声器的音频对象的声场，而非将乐队再现为关于一个扬声器的单点声源。例如，当乐队在视频设备中移动时，再现器可以移动声场通过扬声器。
更一般地，再现器可以各种方式解释链接信息。例如，再现器可以再现链接对象在不同时间彼此延迟地处于相同扬声器上，或者同时处于不同扬声器上等。再现器还可以再现心理声学上确定的空间中不同点处的链接对象，以向听众提供链接对象处于听众头部周围不同点的印象。因此，例如，再现器可以使得长号分组似乎出现在听众的左方，而竖笛出现在听众的右方。
图11示出了用于面向对象的音频捕获的过程1100的实施例。诸如系统1000之类的本文所描述的任意系统可以实现过程1100。例如，对象创建模块1014的对象链接器1020可以实现过程1100。
在块1102处，接收针对第一和第二声源的音频和位置数据。可以使用麦克风获得音频数据，同时可以使用以上参考图9描述的任意技术来获得位置数据。
在块1104处，创建针对第一声源的第一音频对象。类似地，在块1106处，创建针对第二声源的第二音频对象。在块1108处，创建第一与第二声源之间的关联。对象链接器1020可以基于两个对象是否在对象层级中相关联而自动地创建所述关联。此外，对象链接器1020可以基于与对象相关联的其它元数据(例如，任意两种类似属性)自动地创建关联。在块1110中，将关联存储在计算机存储器中。
VI.术语
根据实施例，可以以不同的顺序执行本文所描述的任意算法的一些动作、事件或功能，可以一起添加、合并或省去本文所描述的任意算法的一些动作、事件或功能(例如，并非所有描述的动作或事件对于算法的实践而言都是必要的)。此外，在一些实施例中，可以例如通过多线程处理、中断处理或多处理器或处理器核心或在其它并行体系结构上并发地执行动作或事件，而非顺序地执行。
可以将结合本文公开的实施例描述的各种说明性逻辑块、模块和算法步骤实现为电子硬件、计算机软件或其结合。为了清楚地说明硬件和软件的可互换性，上文总体上已经从功能方面描述了各种说明性部件、块、模块和步骤。将这些功能实现为硬件还是软件取决于具体应用和施加至整个系统上的设计约束。对于每个具体应用，可以不同的方式实现所描述的功能，但是这种实现决策不应该解释为背离本公开的范围。
结合本文公开的实施例描述的各种说明性逻辑块和模块可以通过如下的机器来实现或执行：设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑电路、分立硬件部件、或其任意组合。通用处理器可以是微处理器，但是备选地，处理器可以是控制器、微控制器或状态机、其组合等。处理器还可以被实现为计算设备的组合(例如，DSP和微处理器的组合)、多个微处理器、结合DSP核心的一个或多个微处理器、或任意其它这种配置。
结合本公开的实施例来描述的方法、过程或算法的步骤可以以硬件、处理器执行的软件模块或其组合来直接实现。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可拆除式盘、CD-ROM或现有技术中已知的任意其它形式的计算机可读存储介质中。示例存储介质可以与处理器耦合，使得处理器可以从存储介质读取信息，以及将信息写入存储介质。备选地，存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。备选地，处理器和存储介质可以作为用户终端中的分立部件。
本文使用的条件语言，其中例如“可能”、“能够”、“可以”、“等等”等，除非特别声明或在使用时结合上下文来理解，否则一般旨在表示某些实施例包括而其它实施例没有包括的一些特征、元件和/或状态。因此，这种条件语言一般并非旨在暗示以任意方式需要针对一个或多个实施例的特征、元件和/或状态，或者暗示在具有或没有发明人输入或提示的情况下，一个或多个实施例有必要包括下述逻辑：用于决定这些特征、元件和/或状态是否应该被包括在任意特定实施例中或者在任意特定实施例中被执行。
尽管以上的详细描述已经示出、描述和指出了所应用到各种实施例的新颖特征，但是应该理解，可以在不背离本公开的精神的情况下，对所示出的设备或算法进行各种形式和细节上的省略、替换和改变。应认识到，可以以如下形式实现本文描述的本发明的一些实施例：没有提供本文所述的全部特征和益处，可以独立于一些特征而使用或实践其它特征。本文所公开的一些发明的范围通过所附权利要求而非上述描述来指示。落在权利要求的等同物的意思和范围内的所有改变应该被包括在权利要求的范围内。

Claims (14)

1.一种用于自适应传输面向对象的音频流的系统，所述系统包括：
网络资源监视器，被配置为：经由网络从远程计算机系统接收音频内容请求，并且访问与网络的可用资源相关的网络资源信息；
面向对象编码器，由一个或多个处理器实现，所述面向对象的编码器被配置为：至少部分地基于可用网络资源以及与多个音频对象相关联的优先级信息，来选择所述多个音频对象中的一个或多个音频对象，以便包括在音频流中，
所述多个音频对象包括：静态对象，每个静态对象包括音频的声道，所述静态对象促进与现有固定声道系统的向后兼容；以及动态对象，每个动态对象包括元数据，每个动态对象的元数据包括对象属性，每个动态对象的对象属性包括关于以下中的一个或多个的信息：对象的位置和对象的速度，所述动态对象包括增强，使得当一起再现动态对象与静态对象时，增强与静态对象相关联的音频；以及
音频传输模块，被配置为经由网络向所述远程计算机系统传输音频流。
2.如权利要求1所述的系统，其中所述网络资源监视器监视可用网络带宽。
3.如权利要求2所述的系统，其中所述面向对象编码器还被配置为：当所述可用网络带宽较小时，选择较多音频对象以从音频流中去除，以及当所述可用网络带宽较大时，选择较少音频对象以从音频流中去除。
4.如权利要求1所述的系统，其中所述优先级信息包括针对所述多个音频对象中的每个音频对象的优先级值。
5.如权利要求4所述的系统，其中所述面向对象编码器还被配置为：通过从所述多个音频对象中至少选择优先级值满足了优先级阈值的一个或多个音频对象，来选择所述音频对象中的一个或多个音频对象。
6.如权利要求5所述的系统，其中所述面向对象编码器还被配置为：至少部分地基于与可用网络资源相关的信息来选择所述优先级阈值。
7.如权利要求5所述的系统，其中所述面向对象编码器还被配置为：响应于从远程计算机系统接收到对远程计算机系统的计算资源的可用性的改变加以指示的第二资源信息，动态地调节所述优先级阈值。
8.如权利要求4所述的系统，其中所述面向对象编码器还被配置为：向所述多个音频对象中的对话音频对象分配比所述多个音频对象中的非对话音频对象的优先级值高的优先级值。
9.如权利要求8所述的系统，其中所述面向对象编码器还被配置为：在音频流中不存在所述对话音频对象的短时间段内增大所述非对话音频对象的优先级值。
10.如权利要求1所述的系统，其中所述音频传输模块还被配置为：通过在单个流中将一个或多个音频对象成流传输至所述远程计算机系统，来传输音频流。
11.一种自适应再现面向对象的音频流的方法，所述方法包括：
利用计算机系统经由网络从远程服务器接收包括多个音频对象的音频流，所述多个音频对象包括：静态对象，每个静态对象包括音频的声道，所述静态对象促进与现有固定声道系统的向后兼容；以及动态对象，每个动态对象包括元数据，每个动态对象的元数据包括对象属性，每个动态对象的对象属性包括关于以下中的一个或多个的信息：对象的位置和对象的速度；
访问关于与所述计算机系统相关联的回放环境的环境信息，所述关于回放环境的环境信息包括关于所述计算机系统的音频再现能力的信息；
利用所述计算机系统，至少部分地基于环境信息来选择所述多个音频对象中的一个或多个音频对象；
再现选定的所述一个或多个音频对象，以产生输出音频，其中所述再现包括响应于确定回放环境中扬声器的数目，向所述一个或多个音频对象应用心理声学增强；以及
向一个或多个扬声器提供所述输出音频。
12.如权利要求11所述的方法，其中环境信息包括与所述计算机系统的计算资源相关的信息。
13.如权利要求12所述的方法，其中环境信息包括与以下各项中的一项或多项相关的信息：与所述计算机系统相连的扬声器的数目、所述计算机系统的设备类型、计算系统的心理声学处理能力、计算系统上安装的软件、以及计算系统的硬件特性。
14.如权利要求11所述的方法，其中还至少部分地基于与所述多个音频对象中的每个音频对象相关联的优先级信息来执行所述选择。
CN201080041989.0A 2009-08-14 2010-08-13 自适应成流音频对象的系统 Active CN102549655B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US23393109P 2009-08-14 2009-08-14
US61/233,931 2009-08-14
PCT/US2010/045532 WO2011020067A1 (en) 2009-08-14 2010-08-13 System for adaptively streaming audio objects

Publications (2)

Publication Number Publication Date
CN102549655A CN102549655A (zh) 2012-07-04
CN102549655B true CN102549655B (zh) 2014-09-24

Family

ID=43586534

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080041993.7A Active CN102576533B (zh) 2009-08-14 2010-08-13 面向对象的音频流系统
CN201080041989.0A Active CN102549655B (zh) 2009-08-14 2010-08-13 自适应成流音频对象的系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080041993.7A Active CN102576533B (zh) 2009-08-14 2010-08-13 面向对象的音频流系统

Country Status (8)

Country Link
US (4) US8396576B2 (zh)
EP (3) EP2465114B1 (zh)
JP (2) JP5726874B2 (zh)
KR (3) KR20120062758A (zh)
CN (2) CN102576533B (zh)
ES (1) ES2793958T3 (zh)
PL (1) PL2465114T3 (zh)
WO (2) WO2011020067A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104882145A (zh) * 2014-02-28 2015-09-02 杜比实验室特许公司 使用音频对象的时间变化的音频对象聚类

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361295B1 (en) 2006-11-16 2016-06-07 Christopher C. Andrews Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet
US10296561B2 (en) 2006-11-16 2019-05-21 James Andrews Apparatus, method and graphical user interface for providing a sound link for combining, publishing and accessing websites and audio files on the internet
PL2465114T3 (pl) * 2009-08-14 2020-09-07 Dts Llc System do adaptacyjnej transmisji potokowej obiektów audio
KR101827032B1 (ko) 2010-10-20 2018-02-07 디티에스 엘엘씨 스테레오 영상 확대 시스템
US9165558B2 (en) 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
US20120244863A1 (en) * 2011-03-23 2012-09-27 Opanga Networks Inc. System and method for dynamic service offering based on available resources
US20120253493A1 (en) * 2011-04-04 2012-10-04 Andrews Christopher C Automatic audio recording and publishing system
WO2012145709A2 (en) * 2011-04-20 2012-10-26 Aurenta Inc. A method for encoding multiple microphone signals into a source-separable audio signal for network transmission and an apparatus for directed source separation
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
TWI453451B (zh) * 2011-06-15 2014-09-21 Dolby Lab Licensing Corp 擷取與播放源於多音源的聲音之方法
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
US20130007218A1 (en) * 2011-06-28 2013-01-03 Cisco Technology, Inc. Network Assisted Tracker for Better P2P Traffic Management
KR102003191B1 (ko) * 2011-07-01 2019-07-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성， 코딩 및 렌더링을 위한 시스템 및 방법
CN105578380B (zh) * 2011-07-01 2018-10-26 杜比实验室特许公司 用于自适应音频信号产生、编码和呈现的系统和方法
JP5856295B2 (ja) * 2011-07-01 2016-02-09 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオシステムのための同期及びスイッチオーバ方法及びシステム
EP2727381B1 (en) * 2011-07-01 2022-01-26 Dolby Laboratories Licensing Corporation Apparatus and method for rendering audio objects
US9164724B2 (en) 2011-08-26 2015-10-20 Dts Llc Audio adjustment system
US8832226B2 (en) * 2011-10-10 2014-09-09 Eyeview, Inc. Using cloud computing for generating personalized dynamic and broadcast quality videos
US9247182B2 (en) 2011-10-10 2016-01-26 Eyeview, Inc. Using cluster computing for generating personalized dynamic videos
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
US8856272B2 (en) 2012-01-08 2014-10-07 Harman International Industries, Incorporated Cloud hosted audio rendering based upon device and environment profiles
WO2013144286A2 (en) * 2012-03-30 2013-10-03 Iosono Gmbh Apparatus and method for creating proximity sound effects in audio systems
KR101915258B1 (ko) * 2012-04-13 2018-11-05 한국전자통신연구원 오디오 메타데이터 제공 장치 및 방법, 오디오 데이터 제공 장치 및 방법, 오디오 데이터 재생 장치 및 방법
KR101935020B1 (ko) * 2012-05-14 2019-01-03 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
EP2862370B1 (en) 2012-06-19 2017-08-30 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
JP6045696B2 (ja) 2012-07-31 2016-12-14 インテレクチュアル ディスカバリー シーオー エルティディＩｎｔｅｌｌｅｃｔｕａｌ Ｄｉｓｃｏｖｅｒｙ Ｃｏ．，Ｌｔｄ． オーディオ信号処理方法および装置
US9489954B2 (en) 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
CN104520924B (zh) * 2012-08-07 2017-06-23 杜比实验室特许公司 指示游戏音频内容的基于对象的音频的编码和呈现
RU2602346C2 (ru) 2012-08-31 2016-11-20 Долби Лэборетериз Лайсенсинг Корпорейшн Рендеринг отраженного звука для объектно-ориентированной аудиоинформации
JP6085029B2 (ja) * 2012-08-31 2017-02-22 ドルビー ラボラトリーズ ライセンシング コーポレイション 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム
WO2014046916A1 (en) * 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
EP2901667B1 (en) * 2012-09-27 2018-06-27 Dolby Laboratories Licensing Corporation Spatial multiplexing in a soundfield teleconferencing system
EP2717265A1 (en) 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible dynamic adaption of time/frequency resolution in spatial-audio-object-coding
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
KR20140047509A (ko) 2012-10-12 2014-04-22 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
WO2014058138A1 (ko) * 2012-10-12 2014-04-17 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
MY183382A (en) 2013-01-21 2021-02-18 Dolby Laboratories Licensing Corp Audio encoder and decoder with program loudness and boundary metadata
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
US9191742B1 (en) * 2013-01-29 2015-11-17 Rawles Llc Enhancing audio at a network-accessible computing platform
US9357215B2 (en) 2013-02-12 2016-05-31 Michael Boden Audio output distribution
US10038957B2 (en) * 2013-03-19 2018-07-31 Nokia Technologies Oy Audio mixing based upon playing device location
US9786286B2 (en) 2013-03-29 2017-10-10 Dolby Laboratories Licensing Corporation Methods and apparatuses for generating and using low-resolution preview tracks with high-quality encoded object and multichannel audio signals
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US9558785B2 (en) 2013-04-05 2017-01-31 Dts, Inc. Layered audio coding and transmission
WO2014171706A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호 처리 방법
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9706324B2 (en) 2013-05-17 2017-07-11 Nokia Technologies Oy Spatial object oriented audio apparatus
WO2014190140A1 (en) 2013-05-23 2014-11-27 Alan Kraemer Headphone audio enhancement system
CN105229731B (zh) 2013-05-24 2017-03-15 杜比国际公司 根据下混的音频场景的重构
JP6192813B2 (ja) 2013-05-24 2017-09-06 ドルビー・インターナショナル・アーベー オーディオ・オブジェクトを含むオーディオ・シーンの効率的な符号化
CN105247611B (zh) 2013-05-24 2019-02-15 杜比国际公司 对音频场景的编码
KR101760248B1 (ko) 2013-05-24 2017-07-21 돌비 인터네셔널 에이비 오디오 오브젝트들을 포함한 오디오 장면들의 효율적 코딩
CN104240711B (zh) * 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
GB2516056B (en) 2013-07-09 2021-06-30 Nokia Technologies Oy Audio processing apparatus
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
US9411882B2 (en) * 2013-07-22 2016-08-09 Dolby Laboratories Licensing Corporation Interactive audio content generation, delivery, playback and sharing
US9654895B2 (en) * 2013-07-31 2017-05-16 Dolby Laboratories Licensing Corporation Processing spatially diffuse or large audio objects
EP3059732B1 (en) 2013-10-17 2018-10-10 Socionext Inc. Audio decoding device
CN105684467B (zh) 2013-10-31 2018-09-11 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
WO2015068587A1 (ja) * 2013-11-05 2015-05-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US9374552B2 (en) 2013-11-11 2016-06-21 Amazon Technologies, Inc. Streaming game server video recorder
US9805479B2 (en) 2013-11-11 2017-10-31 Amazon Technologies, Inc. Session idle optimization for streaming server
US9582904B2 (en) 2013-11-11 2017-02-28 Amazon Technologies, Inc. Image composition based on remote object data
US9641592B2 (en) 2013-11-11 2017-05-02 Amazon Technologies, Inc. Location of actor resources
US9604139B2 (en) 2013-11-11 2017-03-28 Amazon Technologies, Inc. Service for generating graphics object data
US9634942B2 (en) 2013-11-11 2017-04-25 Amazon Technologies, Inc. Adaptive scene complexity based on service quality
WO2015080967A1 (en) 2013-11-28 2015-06-04 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
US9564136B2 (en) * 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
JP6439296B2 (ja) * 2014-03-24 2018-12-19 ソニー株式会社 復号装置および方法、並びにプログラム
JP6863359B2 (ja) * 2014-03-24 2021-04-21 ソニーグループ株式会社 復号装置および方法、並びにプログラム
EP2928216A1 (en) 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
EP3127109B1 (en) 2014-04-01 2018-03-14 Dolby International AB Efficient coding of audio scenes comprising audio objects
WO2015152661A1 (ko) * 2014-04-02 2015-10-08 삼성전자 주식회사 오디오 오브젝트를 렌더링하는 방법 및 장치
EP3127110B1 (en) * 2014-04-02 2018-01-31 Dolby International AB Exploiting metadata redundancy in immersive audio metadata
US9959876B2 (en) * 2014-05-16 2018-05-01 Qualcomm Incorporated Closed loop quantization of higher order ambisonic coefficients
JP6432180B2 (ja) * 2014-06-26 2018-12-05 ソニー株式会社 復号装置および方法、並びにプログラム
KR102199276B1 (ko) 2014-08-20 2021-01-06 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 클라우드 스트리밍 서비스 유형에 따른 서비스 처리 방법 및 이를 위한 장치
WO2016010319A2 (ko) 2014-07-14 2016-01-21 엔트릭스 주식회사 클라우드 스트리밍 서비스 시스템, 메모리 병목 현상을 방지하기 위한 데이터 압축 방법 및 이를 위한 장치
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
EP3002960A1 (en) * 2014-10-04 2016-04-06 Patents Factory Ltd. Sp. z o.o. System and method for generating surround sound
US10057707B2 (en) 2015-02-03 2018-08-21 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
EP3254435B1 (en) 2015-02-03 2020-08-26 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
US10321256B2 (en) 2015-02-03 2019-06-11 Dolby Laboratories Licensing Corporation Adaptive audio construction
US10225676B2 (en) * 2015-02-06 2019-03-05 Dolby Laboratories Licensing Corporation Hybrid, priority-based rendering system and method for adaptive audio
US9560393B2 (en) * 2015-02-20 2017-01-31 Disney Enterprises, Inc. Media processing node
CN105989845B (zh) * 2015-02-25 2020-12-08 杜比实验室特许公司 视频内容协助的音频对象提取
WO2016148553A2 (ko) * 2015-03-19 2016-09-22 (주)소닉티어랩 3차원 사운드를 편집 및 제공하는 방법 및 장치
WO2016148552A2 (ko) * 2015-03-19 2016-09-22 (주)소닉티어랩 음상 외재화에서 3차원 사운드 이미지를 재생하는 장치 및 방법
CN106162500B (zh) * 2015-04-08 2020-06-16 杜比实验室特许公司 音频内容的呈现
US10136240B2 (en) * 2015-04-20 2018-11-20 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
US20160315722A1 (en) * 2015-04-22 2016-10-27 Apple Inc. Audio stem delivery and control
EP3101612A1 (en) * 2015-06-03 2016-12-07 Skullcandy, Inc. Audio devices and related methods for acquiring audio device use information
CN105070304B (zh) * 2015-08-11 2018-09-04 小米科技有限责任公司 实现对象音频录音的方法及装置、电子设备
JP6918777B2 (ja) 2015-08-14 2021-08-11 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． オブジェクトベースのオーディオのための低音管理
US20170098452A1 (en) * 2015-10-02 2017-04-06 Dts, Inc. Method and system for audio processing of dialog, music, effect and height objects
US9877137B2 (en) 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
DE102015223935A1 (de) * 2015-12-01 2017-06-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zur Ausgabe von Audio-Signalen sowie zugehöriges Verfahren und Einstellvorrichtung
US10171971B2 (en) 2015-12-21 2019-01-01 Skullcandy, Inc. Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device
CN106935251B (zh) * 2015-12-30 2019-09-17 瑞轩科技股份有限公司 音频播放装置及方法
WO2017130210A1 (en) * 2016-01-27 2017-08-03 Indian Institute Of Technology Bombay Method and system for rendering audio streams
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
BR112018074203A2 (pt) * 2016-05-30 2019-05-14 Sony Corporation dispositivo e método de processamento audiovisual, e, programa
EP3255904A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing
EP3255905A1 (en) * 2016-06-07 2017-12-13 Nokia Technologies Oy Distributed audio mixing
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
CN114025301A (zh) * 2016-10-28 2022-02-08 松下电器（美国）知识产权公司 用于回放多个音频源的双声道渲染装置和方法
EP3470976A1 (en) * 2017-10-12 2019-04-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for efficient delivery and usage of audio messages for high quality of experience
US11064453B2 (en) * 2016-11-18 2021-07-13 Nokia Technologies Oy Position stream session negotiation for spatial audio applications
US10531220B2 (en) * 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
EP3337066B1 (en) * 2016-12-14 2020-09-23 Nokia Technologies Oy Distributed audio mixing
US10424307B2 (en) * 2017-01-03 2019-09-24 Nokia Technologies Oy Adapting a distributed audio recording for end user free viewpoint monitoring
US10291998B2 (en) * 2017-01-06 2019-05-14 Nokia Technologies Oy Discovery, announcement and assignment of position tracks
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
WO2018144367A1 (en) * 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US20180315437A1 (en) * 2017-04-28 2018-11-01 Microsoft Technology Licensing, Llc Progressive Streaming of Spatial Audio
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US11595774B2 (en) * 2017-05-12 2023-02-28 Microsoft Technology Licensing, Llc Spatializing audio data based on analysis of incoming audio data
GB2562488A (en) * 2017-05-16 2018-11-21 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US11303689B2 (en) 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
US11386913B2 (en) * 2017-08-01 2022-07-12 Dolby Laboratories Licensing Corporation Audio object classification based on location metadata
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10854209B2 (en) * 2017-10-03 2020-12-01 Qualcomm Incorporated Multi-stream audio coding
US10531222B2 (en) 2017-10-18 2020-01-07 Dolby Laboratories Licensing Corporation Active acoustics control for near- and far-field sounds
US20200321015A1 (en) * 2017-12-28 2020-10-08 Sony Corporation Information processing device, information processing method, and program
WO2019147064A1 (ko) * 2018-01-26 2019-08-01 엘지전자 주식회사 오디오 데이터를 송수신하는 방법 및 그 장치
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
CN108600911B (zh) * 2018-03-30 2021-05-18 联想(北京)有限公司 一种输出方法及电子设备
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
CN108777832B (zh) * 2018-06-13 2021-02-09 上海艺瓣文化传播有限公司 一种基于视频对象追踪的实时3d声场构建和混音系统
GB2578715A (en) * 2018-07-20 2020-05-27 Nokia Technologies Oy Controlling audio focus for spatial audio processing
WO2020066681A1 (ja) * 2018-09-28 2020-04-02 ソニー株式会社 情報処理装置および方法、並びにプログラム
US11019449B2 (en) * 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
WO2020089302A1 (en) * 2018-11-02 2020-05-07 Dolby International Ab An audio encoder and an audio decoder
US11304021B2 (en) * 2018-11-29 2022-04-12 Sony Interactive Entertainment Inc. Deferred audio rendering
CN111282271B (zh) * 2018-12-06 2023-04-07 网易（杭州）网络有限公司 移动终端游戏中的声音渲染方法、装置和电子设备
US11617051B2 (en) 2019-01-28 2023-03-28 EmbodyVR, Inc. Streaming binaural audio from a cloud spatial audio processing system to a mobile station for playback on a personal audio delivery device
US11049509B2 (en) 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
KR20220004825A (ko) * 2019-06-03 2022-01-11 인텔렉추얼디스커버리 주식회사 무선 통신 시스템에서 오디오 데이터를 제어하는 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
US11076257B1 (en) 2019-06-14 2021-07-27 EmbodyVR, Inc. Converting ambisonic audio to binaural audio
US11416208B2 (en) * 2019-09-23 2022-08-16 Netflix, Inc. Audio metadata smoothing
US11430451B2 (en) * 2019-09-26 2022-08-30 Apple Inc. Layered coding of audio with discrete objects
US20210264927A1 (en) * 2020-02-20 2021-08-26 Qualcomm Incorporated Signaling for rendering tools
WO2021186104A1 (en) * 2020-03-16 2021-09-23 Nokia Technologies Oy Rendering encoded 6dof audio bitstream and late updates
US11080011B1 (en) 2020-03-20 2021-08-03 Tap Sound System Audio rendering device and audio configurator device for audio stream selection, and related methods
US11102606B1 (en) * 2020-04-16 2021-08-24 Sony Corporation Video component in 3D audio
JP2022083443A (ja) 2020-11-24 2022-06-03 ネイバー コーポレーション オーディオと関連してユーザカスタム型臨場感を実現するためのコンピュータシステムおよびその方法
KR102508815B1 (ko) * 2020-11-24 2023-03-14 네이버 주식회사 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법
US11930349B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for producing audio content for realizing customized being-there and method thereof
EP4037339A1 (en) * 2021-02-02 2022-08-03 Nokia Technologies Oy Selecton of audio channels based on prioritization
WO2023006582A1 (en) * 2021-07-29 2023-02-02 Dolby International Ab Methods and apparatus for processing object-based audio and channel-based audio
WO2024012665A1 (en) * 2022-07-12 2024-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding of precomputed data for rendering early reflections in ar/vr systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108626A (en) * 1995-10-27 2000-08-22 Cselt-Centro Studi E Laboratori Telecomunicazioni S.P.A. Object oriented audio coding
US7295994B2 (en) * 2000-06-23 2007-11-13 Sony Corporation Information distribution system, terminal apparatus, information center, recording medium, and information distribution method
CN101490745A (zh) * 2006-11-24 2009-07-22 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4332979A (en) 1978-12-19 1982-06-01 Fischer Mark L Electronic environmental acoustic simulator
US5592588A (en) 1994-05-10 1997-01-07 Apple Computer, Inc. Method and apparatus for object-oriented digital audio signal processing using a chain of sound objects
US6252965B1 (en) * 1996-09-19 2001-06-26 Terry D. Beard Multichannel spectral mapping audio apparatus and method
US6160907A (en) 1997-04-07 2000-12-12 Synapix, Inc. Iterative three-dimensional process for creating finished media content
JP2001359067A (ja) * 2000-06-09 2001-12-26 Canon Inc 通信システム及びその通信方法
JP2002204437A (ja) * 2000-12-28 2002-07-19 Canon Inc 通信装置、通信システム、通信方法、及び記憶媒体
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
US7606372B2 (en) 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP2005086537A (ja) * 2003-09-09 2005-03-31 Nippon Hoso Kyokai <Nhk> 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
JP4497885B2 (ja) * 2003-10-16 2010-07-07 三洋電機株式会社 信号処理装置
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
JP4433287B2 (ja) * 2004-03-25 2010-03-17 ソニー株式会社 受信装置および方法、並びにプログラム
EP1650973A1 (en) * 2004-10-25 2006-04-26 Alcatel USA Sourcing, L.P. Method for encoding a multimedia content
US20060206221A1 (en) 2005-02-22 2006-09-14 Metcalf Randall B System and method for formatting multimode sound content and metadata
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
JP2007018646A (ja) * 2005-07-11 2007-01-25 Hitachi Ltd 記録再生装置
JP2007028432A (ja) * 2005-07-20 2007-02-01 Mitsubishi Electric Corp パケット中継伝送装置
GB0523946D0 (en) 2005-11-24 2006-01-04 King S College London Audio signal processing method and system
WO2007136187A1 (en) * 2006-05-19 2007-11-29 Electronics And Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
CN101473645B (zh) * 2005-12-08 2011-09-21 韩国电子通信研究院 使用预设音频场景的基于对象的三维音频服务系统
CN100527704C (zh) * 2006-01-05 2009-08-12 华为软件技术有限公司 一种流媒体服务器以及流媒体传送和存储方法
KR100953643B1 (ko) 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
US8626178B2 (en) * 2006-01-31 2014-01-07 Niels Thybo Johansen Audio-visual system control using a mesh network
JP4687538B2 (ja) * 2006-04-04 2011-05-25 パナソニック株式会社 受信装置、送信装置およびその通信方法
US20080005347A1 (en) 2006-06-29 2008-01-03 Yahoo! Inc. Messenger system for publishing podcasts
WO2008035275A2 (en) 2006-09-18 2008-03-27 Koninklijke Philips Electronics N.V. Encoding and decoding of audio objects
BRPI0711104A2 (pt) 2006-09-29 2011-08-23 Lg Eletronics Inc métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto
US8687829B2 (en) * 2006-10-16 2014-04-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for multi-channel parameter transformation
WO2008084436A1 (en) 2007-01-10 2008-07-17 Koninklijke Philips Electronics N.V. An object-oriented audio decoder
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
WO2008100100A1 (en) * 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
EP2137726B1 (en) * 2007-03-09 2011-09-28 LG Electronics Inc. A method and an apparatus for processing an audio signal
CN101690149B (zh) 2007-05-22 2012-12-12 艾利森电话股份有限公司 用于群组声音远程通信的方法和装置
WO2009001277A1 (en) 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. A binaural object-oriented audio decoder
TW200921643A (en) 2007-06-27 2009-05-16 Koninkl Philips Electronics Nv A method of merging at least two input object-oriented audio parameter streams into an output object-oriented audio parameter stream
KR101370290B1 (ko) 2007-07-31 2014-03-05 삼성전자주식회사 복호화 레벨을 구비하는 멀티미디어 데이터의 생성 방법과장치 및 복호화 레벨을 이용한 멀티미디어 데이터의 재구성방법과 장치
US9031267B2 (en) * 2007-08-29 2015-05-12 Microsoft Technology Licensing, Llc Loudspeaker array providing direct and indirect radiation from same set of drivers
WO2009093866A2 (en) * 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US20090237564A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Interactive immersive virtual reality and simulation
EP2194527A3 (en) 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
PL2465114T3 (pl) 2009-08-14 2020-09-07 Dts Llc System do adaptacyjnej transmisji potokowej obiektów audio
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108626A (en) * 1995-10-27 2000-08-22 Cselt-Centro Studi E Laboratori Telecomunicazioni S.P.A. Object oriented audio coding
US7295994B2 (en) * 2000-06-23 2007-11-13 Sony Corporation Information distribution system, terminal apparatus, information center, recording medium, and information distribution method
CN101490745A (zh) * 2006-11-24 2009-07-22 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Adaptive Packet Video Streaming Over IP Networks: A Cross-Layer Approach;Toufik Ahmed et al;《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》;20050228;第23卷(第2期);第386页左栏第2段－右栏第3段，第387页左栏第2段－第390页右栏第4段 *
Toufik Ahmed et al.Adaptive Packet Video Streaming Over IP Networks: A Cross-Layer Approach.《IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS》.2005,第23卷(第2期),

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104882145A (zh) * 2014-02-28 2015-09-02 杜比实验室特许公司 使用音频对象的时间变化的音频对象聚类
CN104882145B (zh) * 2014-02-28 2019-10-29 杜比实验室特许公司 使用音频对象的时间变化的音频对象聚类

Also Published As

Publication number Publication date
US8396575B2 (en) 2013-03-12
JP5726874B2 (ja) 2015-06-03
EP2465259A1 (en) 2012-06-20
KR101805212B1 (ko) 2017-12-05
EP3697083A1 (en) 2020-08-19
EP2465114A4 (en) 2015-11-11
KR20170052696A (ko) 2017-05-12
KR20120061869A (ko) 2012-06-13
EP2465114B1 (en) 2020-04-08
US8396576B2 (en) 2013-03-12
US20130202129A1 (en) 2013-08-08
ES2793958T3 (es) 2020-11-17
US9167346B2 (en) 2015-10-20
US20110040396A1 (en) 2011-02-17
US20110040397A1 (en) 2011-02-17
JP2013502184A (ja) 2013-01-17
WO2011020065A1 (en) 2011-02-17
KR20120062758A (ko) 2012-06-14
JP5635097B2 (ja) 2014-12-03
WO2011020067A1 (en) 2011-02-17
US20110040395A1 (en) 2011-02-17
KR101842411B1 (ko) 2018-03-26
CN102576533B (zh) 2014-09-17
JP2013502183A (ja) 2013-01-17
US8396577B2 (en) 2013-03-12
EP2465114A1 (en) 2012-06-20
CN102576533A (zh) 2012-07-11
EP2465259A4 (en) 2015-10-28
CN102549655A (zh) 2012-07-04
PL2465114T3 (pl) 2020-09-07
EP3697083B1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
CN102549655B (zh) 自适应成流音频对象的系统
Naef et al. Spatialized audio rendering for immersive virtual environments
US9299353B2 (en) Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
JP4263217B2 (ja) オーディオシーンでのオーディオ表現を生成し、保存し、編集するための装置および方法
US20130329922A1 (en) Object-based audio system using vector base amplitude panning
US20200275230A1 (en) Grouping and transport of audio objects
Peters et al. The spatial sound description interchange format: Principles, specification, and examples
JP7288760B2 (ja) インタラクティブなオーディオメタデータの操作
US10667074B2 (en) Game streaming with spatial audio
WO2021140951A1 (ja) 情報処理装置および方法、並びにプログラム
Perez-Lopez 3Dj: a SuperCollider Framework for Real-Time Sound Spatialization.
Schreier Audio Server for Virtual Reality Applications
CN104604253B (zh) 用于处理音频信号的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: DST LLC

Free format text: FORMER OWNER: SRS LABS INC.

Effective date: 20121203

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121203

Address after: American California

Applicant after: DTS Labs Inc.

Address before: American California

Applicant before: SRS Labs Inc.

C14 Grant of patent or utility model
GR01 Patent grant