CN101421747B - 组合多个视频流的系统和方法 - Google Patents

组合多个视频流的系统和方法 Download PDF

Info

Publication number
CN101421747B
CN101421747B CN2007800126760A CN200780012676A CN101421747B CN 101421747 B CN101421747 B CN 101421747B CN 2007800126760 A CN2007800126760 A CN 2007800126760A CN 200780012676 A CN200780012676 A CN 200780012676A CN 101421747 B CN101421747 B CN 101421747B
Authority
CN
China
Prior art keywords
video
stream
frame
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800126760A
Other languages
English (en)
Other versions
CN101421747A (zh
Inventor
G·伊格纳尔
R·菲尔德曼
B·金茨
金京男
R·帕尔莫
B·威尔伯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101421747A publication Critical patent/CN101421747A/zh
Application granted granted Critical
Publication of CN101421747B publication Critical patent/CN101421747B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • G08B13/1965Systems specially adapted for intrusion detection in or around a vehicle the vehicle being an aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/214Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2146Specialised server platform, e.g. server located in an airplane, hotel, hospital located in mass transportation means, e.g. aircraft, train or bus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation

Abstract

提供用来组合多个视频流的方法和系统。视频馈入从多个光学传感器接收,并且为每个视频流的每个帧计算单应信息和/或角部元数据。这种数据用来把分离的帧镶嵌成单个视频帧。每个图像的局部平移还可以用来使视频帧同步。光学传感器可由空中平台提供,如有人或无人侦察飞行器提供。图像数据可由地面操作人员请求,并且从空中平台实时或以后传输到用户。各种数据排列可以由聚集系统用来串行化和/或多路复用从多个传感器模块接收的图像数据。提供固定-大小记录排列和可变-大小记录排列系统。

Description

组合多个视频流的系统和方法
相关申请
本申请要求2006年2月13日提交的美国临时申请No.60/772,670的优先权,后者的公开通过参考全部包括。本申请涉及2006年7月11日提交的美国申请No.11/456,745,后者的公开通过参考全部包括在此。 
政府权利
本发明借助于美国政府支持在美国内务部-国家商务中心,代表国防部机构-国防高级研究项目机构签订的合同No.NBCHC050090下形成。政府在本发明中具有一定权利。 
背景技术
各种传感器和观察系统是已知的。例如,各种类型的飞行器用来服务于现场地面部队,为他们提供与他们的任务目的相关的实时数据。如果有高分辨率要求,则空中平台可能按常规飞行得离地面很低。由于在低高度飞行可能更危险,所以常常使用无人飞行器(UAV)而非有人飞行器。一些UAV可以从现场发射,并且这种可携带性要求使平台很小并且重量轻。这导致较小的有效负载,限制机载传感器的复杂性。典型战术UAV包括Pioneer(先驱者)和ScanEagle(扫描鹰)。已经开发了较小UAV,如Dragon Eye(龙眼睛)和其它。这些飞行器可以在10K英尺以下飞行,并且可以具有100磅下的有效负载。 
随着传感器系统的能力提高,有管理大量图像数据的需要,如多视频流。具体地说,有能够识别和/或跟踪视频流中存在的目标的需要,同时校正观察平台的运动。尽管存在用来操纵和可视化从远程和/或空中传感器系统接收的图像数据的技术,但当前可得到的技术一般不具  有进行复杂图像操纵和变换的足够处理能力和/或带宽。 
附图说明
图1表示根据本发明实施例的用来处理图像数据的范例系统。 
图2表示根据本发明实施例的用于传感器处理模块的流程图。 
图3表示根据本发明实施例用来把数据从图像传感器提供给用户系统的功能方块图。 
图4表示根据本发明实施例用来组合视频流的范例方法。 
图5表示根据本发明实施例的范例固定-大小数据排列。 
图6表示根据本发明实施例的范例可变-大小记录数据排列。 
图7表示根据本发明实施例用来聚集视频流的范例方法。 
图8表示根据本发明实施例的范例用户接口。 
图9表示根据本发明实施例的范例用户接口。 
图10表示根据本发明实施例的范例用户接口。 
图11表示根据本发明实施例的用来显示图像数据的范例方法。 
具体实施方式
提供用来组合多个视频流的方法和系统。实施例中,视频馈入从多个光学传感器(如摄像机阵列)接收。视频馈入的每一帧的图像数据被用来把视频流组合成合成视频。为了创建合成视频,对于来自每个视频流的每一帧计算单应(homography)信息和/或角部元数据。这种数据用来把分离帧镶嵌成单个视频帧。每个图像的局部转换还可以用来使视频帧同步。通过识别在连续视频帧中出现的特征并使用该特征的预测运动来补偿外部移动可以解释传感器运动。实施例中,光学传感器由移动平台提供,移动平台可以是空中的,例如有人或无人监视飞行器。图像数据可从地面操作人员请求,并且从空中平台实时或在以后时间传输到用户。实施例中,合成图像和/或视频可动态地创建,这可以解释摄像机运动。 
各种数据排列可以被聚集系统用来串行化和/或多路复用从传感  器模块接收的图像数据。典型方法包括固定-大小记录排列和可变-大小记录排列。在固定-大小记录排列中,每个记录块可以是物理相关大小的倍数。 
提供图形用户接口以允许用户请求、观看、操纵图像数据,包括来自或包含在千兆像素图像中的数据。用户接口可以与各种其它系统通信,如与图像捕获和存储系统,通过发送请求被用户所请求的图像数据。各种重叠、图标及其它信息可以与从其它系统接收的图像数据一道呈现以把额外数据提供给用户,如活动水平别和目标运动。 
本发明的实施例包括可操作以捕获广角图像(如广角视频图像)的光学传感器和透镜阵列。如这里使用的那样,诸如“摄像机”和类似装置之类的术语,即使以单数使用时,也应读成包括多个图像捕获装置,如多个光学传感器(例如,其中来自多个传感器的输出被聚集以有效地形成单个图像)。尽管术语“千兆像素(gigapixel)”贯穿本文用来描述图像数据,但要认识到,可以形成或使用具有任何适当分辨率(例如,太像素(terapixel)等)和对应图像和/或视频分辨率的多-传感器摄像机。 
实施例还包括可操作以处理由光学传感器阵列捕获的图像并把图像以交互方式呈现给用户的方法和系统。进一步的实施例包括可操作以允许用户与包括传感器阵列的系统交互作用的用户接口。例如,用户接口实施例的一个例子可以提供给用户选择巨大图像一部分以更详细地观看的能力,例如,“虚拟全景拍摄-俯仰-变焦(PTZ)摄像机”。额外实施例包括用来安装光学传感器阵列的系统、校准包括光学传感器阵列的系统的方法、及使用包括光学传感器阵列的系统的几种方法。 
一些实施例包括飞行平台、固定到飞行平台的广角摄像机系统、及远离飞行平台且可操作以从广角摄像机系统提供视图的实时观察站。 
其它实施例包括可操作以处理图像数据的数据工作流/算法,包括任何数量的角部/特征检测;图像块镶嵌;图像移动估计(配准);摄 像机内预处理;PTZ视图提取;和/或目标跟踪和干预。 
其它实施例包括图像数据多路复用和/或专用文件索引系统/方法。 
其它实施例包括可操作以提供图像及接收与这样的图像相关的用户输入的图形用户接口(GUI)。 
其它实施例包括构造成保持多个图像传感器和光学器件且可操作以联合捕获广角图像的圆顶状框架结构。 
这些实施例的每一个都将在下面更详细地描述,除了几个其它实施例外以外。 
本发明的实施例提供“千兆像素”图像或视频帧的生成。如这里使用的那样,“千兆像素”图像是具有近似109个像素的图像,尽管具有从8×108至1.2×109个像素的图像也当作是“千兆像素”图像。千兆像素视频是包括千兆像素图像的运动画面视频流。如这里使用的那样,“图像数据”可以指可用来建造个别图像、视频帧、或视频序列的数据。千兆像素图像和视频对于成像大区域(例如在空中观察系统中)可能是有用的。由于没有当前可用的单个摄像机系统提供这样大量的图像数据,所以千兆像素图像可以通过组合来自多个光学传感器的图像数据而产生。 
视频馈入可以从多个传感器接收,如从摄像机阵列。实施例中,优选的传感器是移动的,具体地在移动的空中平台上可用。范例传感器系统可以瞄准25,000英尺及以下的高度。当然,可以使用任何其它高度水平,并且这里描述的方法和系统还可以用于地面传感器系统或其它光学图像捕获系统。范例的多-透镜阵列在美国申请No.11/456,745中描述。视频馈入的每一帧的图像数据可组合成合成视频。为了创建合成视频,为来自每个视频流的每一帧计算单应信息和/或角部元数据。如这里使用的那样,“单应信息(homographyinformation)”是指图像变换信息。例如,当对视频流计算移动估时序,单应信息描述与同一序列中的两个帧(如在t=1和t=2取得的帧)之间的移动估计相关联的变换。这种变换信息可用来把分离帧镶嵌成单 个视频帧。每个图像的局部平移还可以用来使视频帧同步。通过识别在连续视频帧中出现的特征并使用该特征的预测运动来补偿外部移动可以解释传感器运动。 
移动估计和跟踪(如跟踪被显示特征)可使用组合视频流进行。系统可以使用各种方法和算法,以识别视频流中所显示的运动特征并通过视频流中显示的区域预测和/或跟踪其运动。 
视频流可以被多路复用,如借助于用于视频流的实时或延迟显示和/或存储的TDM或TDMA装置。这样的装置可以减小处理和/或存储记录时间。 
图形用户接口可以允许用户控制视频流的组合和聚集。接口可以显示全图像,或者它可以如用户请求的那样只显示图像的一部分。如果用户只请求可用图像的一部分,则用户接口可以指令计算机控制系统只从请求区域捕获图像,因而减小处理时间和带宽。用户接口还可以与移动估计和跟踪系统通信,以允许图标和其它重叠被显示在视频流上,其中重叠元素与视频流中显示的特征相对应。 
组合多个视频流 
图1表示根据本发明实施例的处理图像数据的范例高级系统。多传感器模块(SM)121、122、123和相关联的传感器处理模块(SPM)111、112、113可以捕获图像“块(tile)”,并且提供可用来产生一致的合成视图的处理功能。与控制器PC(PC卡2140)合作,这些传感器处理模块可以产生用于存储和/或实况观看的对准块,具有压缩视频输出。压缩视频可以从每个块传输到聚集系统110,聚集系统110把数据流串行化,实现到存储装置100的输入。聚集系统可以多路复用可变比特-长度视频数据和相关联的元数据以允许高速数据存储。例如,使用从多个摄像机接收的确定性时序信息可以在硬件级别进行聚集。这个例子的系统可以通过读取包首部信息来解释数据的可变长度,以确定视频数据何时结束以及元数据何时结束。定制文件索引系统可以存储和索引元数据和图像数据。用来存储被捕获和/或被聚集视频的范例存储装置是VMetro存储系统。
实施例中,SPM 111...113和SM 121...123可以并行操作。就是说,在每个时间点t0、t1,每个传感器可以捕获由相关联的处理模块处理的图像。每个处理模块可计算从传感器接收的图像的元数据,如识别图像中的特征的元数据(“角部”元数据)、识别或描述传感器的相对运动的元数据(“下采样”元数据)或其它元数据。每个处理模块也可对图像数据进行压缩。由于从个别传感器得到的每个图像可独立于从系统中任何其它传感器得到的图像而被考虑,所以每个处理模块可独立于其它处理模块操作。来自传感器处理模块的数据和元数据随后可以组合以形成合成图像。 
为了可视化,PC卡1130可从存储装置请求视图,解压缩它们,提取视图,及重新压缩生成VGA馈入(视频芯片输出)。这可以减小显示视图需要的通信带宽。例如,当地面用户请求来自空中摄像机系统的图像数据时,用户可以指定所希望的视图。PC卡130然后可确定在存储装置中存储的相关图像数据,提取所请求的视图,并且在把图像数据发送到用户之前重新压缩它。这样的过程可减小传输图像数据所要求的带宽,因为只有与所要求视图相关的数据被压缩和传输。这种体系结构通过实现任意持续时间的存储并通过实现较小或较大分辨率的可缩放结构还可以允许回扫场景。例如,如果用户指示他想观看期望时间段的期望地区的视频流,则系统可提取、处理及传输仅与被请求地区和时间相关的图像数据。 
为了支持千兆像素图像的实况视图,可以使用额外处理。这种情况下,PC卡1130可以由定制硬件代替。图1表示的设计可以使用低速数据链接,但对于额外视图或较大分辨率或视场也可利用较高带宽链接。左右转动-倾斜-变焦(PTZ)视图使用PC卡1可以“切下(chippedout)”。这样的视图可以被动态创建,允许系统的操作人员请求按需镶嵌的子-窗口视图。 
实际上,聚集电路板、PC卡、存储控制器及传感器处理模块可位于VME(VersaModule Eurocard)插件框架中。VME插件框架可为电路系统提供结实的方案,并且这样的框架常常用在军事、航空、空间用途。当然,这种构造和这些元件仅是范例性的,并且可以使用任何其它元件和配置。 
PC卡2140上的控制计算机可接收用于系统的地面控制信号,例如经无线连接,并且把适当的控制信息发送到传感器处理模块。控制计算机还可以单独地或与可视化系统一起,谐调图像预处理和/或图像处理。例如,控制计算机可以从传感器处理模块接收单应信息,从传感器模块接收角部信息,并且把移动估计和镶嵌估计发送到可视化子系统(例如,在PC卡1上)。数据可以转到、来自、或通过聚集系统。 
使用无线连接时,无线连接接口可以是通过标准RS232接口、或较高带宽连接。诸如到传感器模块之类的内部连接可以是通过千兆位以太网或其它通信介质。 
处理器还可以集成从多个光学传感器(如块式摄像机阵列)接收的单个移动估计(单应),并且产生用于可视化系统的适当信息以固定在期望视图上。如下面进一步描述的那样,图像可以去抖动,并且使用角部信息镶嵌成单个图像。这些功能可以部署在可视化系统,所以数据可以转到可视化系统立即使用以及转到存储系统以减少在地面上的重新处理。另外,控制PC可以发起每个传感器模块的帧同步信号。 
尽管所示例子包括两个PC卡,但要认识到,可以使用任何数量的PC卡。仅举例说明,可以使用单个PC卡。另外,可以使用PC卡的任何替换物。 
千兆像素图像可从多传感器阵列得到。范例传感器包括CMOS传感器和CCD摄像机或传感器。传感器的具体例子是从CypressSemiconductor Corporation,San Jose,California得到的LUPA图像传感器行。每个传感器可安装在单个传感器模块。每个传感器模块可以机械安装在光学组件上,因为光可以聚焦到传感器。为了减小光学组件的实际尺寸和重量,每个传感器模块的板面积不能比传感器本身 大太多。因此,每个传感器模块可以包括控制传感器和收集光所要求的最小电路。传感器模块电路系统可包括一个传感器、用于传感器的任何模拟部分的电源、用于传感器控制和数据传输的FPGA(现场可编程门阵列)、及用于与系统其它元件连线和通信的连接器。每个传感器模块收集的数据可传输到对应传感器处理模块。 
尽管以“千兆像素”系统为例描述了范例实施例,但应理解,本发明可以缩放到任何期望分辨率。由于传感器模块和传感器处理模块可并行操作,并且聚集系统110可串行化及操纵任意数量的视频流,所以可以使用任意数量的传感器和传感器处理模块。例如,可以使用任何数量的传感器模块121、122、123和传感器处理模块111、112、113。作为具体例子,可以实现能够提供具有1012像素的合成图像的系统(“太像素”系统)。 
本例子的传感器处理模块可从其对应传感器模块接受图像数据,并且处理它。操作可以包括标准化图像、计算图像中的角部、计算逐帧图像移动、及压缩图像。传感器处理模块上的电路系统可包括FPGA、一个或多个DSP、用于图像缓冲和算法工作空间的存储器、本地电源、及支持数据和控制输入及输出的连接器。 
用于传感器处理模块算法的流程图表示在图2。图像数据流可以从传感器200捕获原始像素开始。例如,先前所述的传感器模块可以捕获原始图像数据。数据可发送到用于图像可视化的传感器处理模块210。标准化可校正例如死像素、图案噪声、照度及对比度。还可以应用预定校准参数以保证多个块显得均匀。 
图像标准化之后,可识别图像的角部220,并且可产生移动估计230。这可以在与标准化相同的处理器上进行,如FPGA上,或者为此目的可以使用诸如DSP芯片之类的第二处理器。 
图像块可被压缩240并被传输以用于存储和后续可视化。范例系统使用来自ATEME的压缩系统,以使用一个来自德州仪器的1Ghz DSP压缩每个块图像。多个处理块的同步压缩可用来改进存储效率。由于传感器可被同步,并且各种处理器的时序可以相同,所以使用可用元件应该  可以实现这样的同步。 
压缩图像可以传输到聚集系统以建造可进入存储模块的组合数据流250。图像、单应及角部数据可在高速接口上传输260,如在LVDS或千兆位以太网上。系统的范例输出可以包括压缩视频、瞬时移动、单应及角部数据。 
传感器处理模块(和其相关联的传感器模块)的额外控制可以由控制接口进行。实施例中,系统的重新引导和传感器参数(如帧速率和/或曝光时间)可以由控制接口处置250。作为具体例子,被以太网控制的网页服务器可以允许控制接口和系统调试特征。 
实施例中,为了在所有传感器捕获一致的千兆像素图像,阵列中的每个传感器同时开始捕获。可实时产生的帧同步信号能够用来提供这样的触发能力。它可以在专用导线上从控制计算机传输到与传感器模块和传感器处理模块中的传感器控制器FPGA的接口。 
传感器处理模块可在存储之前把它们的视频数据传输到聚集系统。聚集系统可把图像数据组合成多个串行化数据流以用于传输到存储系统。另外,聚集系统可保存视频的图像移动和角部估计,从而地面站不必重新计算这种数据。 
为了创建合成图像,系统可以假定从光学传感器接收的所有图像相对于彼此全部对准,从而相邻边界匹配。然而,可能要求额外的处理以从单个图像(块)的集合创建合成图像。镶嵌块集的过程可包括各种功能。标准化过程可以用来校正传感器灵敏度的变化,其导致矩阵上的亮度/强度差。由光学角度、传感器实际配准等的差异所产生的图像平面性和投影的变化可以通过去翘曲(dewarping)消除。为了消除传感器之间的绝对和相对移动,其由于传感器平面的振动和非刚性而生成,图像可以去抖动。通过修剪一个或多个块的边缘可以消除冗余像素。 
系统可以利用去翘曲和标准化变换,其对每个光学/传感器平面唯一但相对于时间是静态。因此,变换能够是预定的并经地面校准过程编程到摄像机中。这些功能可在传感器处理模块完成。 
其它功能可能是动态的,并且可能需要在摄像机操作帧速率下实时计算。作为例子,PC卡1基于来自控制PC(如PC卡2)的数据可以完成这些功能。 
为了降低与布线图1所述系统相关联的重量、成本及复杂性,对于长距离(大于大约一英寸)传输可以使用串行接口。也可使用LVDS变体(单向和双向的)和以太网。在以太网或类似系统上的动力可以通过把动力和通信组合成一种连接而减少连线。实施例还可以包括传感器处理模块的超高速度连接,以用于其它目的(例如,如果期望原始数据)。 
系统可以以多种方式处理图像数据。现在将参照可用于摄像机侧实施的范例硬件描述每个过程。应理解,这里描述的过程可以由各种其它硬件和/或软件完成,硬件和/或软件是商业可得或对于实施例定制-创建。 
镶嵌(Mosaicking):系统可以把来自单个时刻的图像块放置对准,从而视频流显得没有抖动块。这与把各个帧组合以产生较大合成图像的标准“镶嵌”技术不同。一般地,不必产生千兆像素图像的缝合收集。这里所使用的镶嵌与其它运动检测技术之间的差别在于,镶嵌发生在多个传感器在单个时刻捕获的图像之间,这与参考或在两个时间段之间的一般对单个传感器捕获的图像进行的全局图像运动和正常镶嵌不同。图像处理的三个阶段可以用于镶嵌:每个块上的角部检测、每个块之间的局部平移、及如何创建整体千兆像素帧的全局估计。 
角部检测:为了减小像素级计算和总线上的像素通信量,基于角部的方法可用来确定最佳块拼接调节。对每个块可独立地计算角部。可以使用下面所描述的Harris角部,尽管在某些配置中可以使用其它方法。一般地,较精确的角部检测要求较大的处理能力和/或时间。在某些情况下,如城市场景,即使简单的角部检测器也可足以进行。实施例中,使用下面和M.Trajkoric的“Fast corner detection(快速角部检测),”Journal of image and vision Computing,vol.16 pp.57-58(1998年)中更详细描述的MIC(最小强度变化)方法。方案包括四面体,其中  角部在采样图像中检测,并且然后沿四面体跟踪。边缘检测算法还可以用来检测角部。尽管这里使用术语“角部检测”,但应理解,更一般地,这样的方法可以叫做“特征检测”。就是说,这里所描述的“角部检测器”还可以用来识别图像、视频帧、视频序列或其它图像数据集内的任意形状或特征。 
角部检测器可以求出特征集合,其在诸如图像块镶嵌和下采样之类的后续算法中可使用。各个图像块的大集合可以集成为全局千兆像素图像。例如,可以使用271个4-千兆像素传感器。由于这一图像尺寸可能要求比实时处理中一般可用的更多处理,图像上得到的特征点、以及这些点周围的小图像子窗口(例如11×11像素)可以用作后续算法的输入。 
为了解决摇摆的景象,本例子的系统可把在单个时刻的图像块放置对准,从而视频流显得没有抖动块。 
图像传送到后续模块之前可以进行各种图像预处理任务,如亮度校正、对比度增强、FPN去除、伽马校正、死像素检测和内插、白修剪及其它任务。 
范例的角部检测方法可以利用Harris角部检测或改良Harris方法、SUSAN、MIC、COP、SIFT和/或其它检测方法。范例的检测方法下面更详细描述。这些方法可以选择不同于角部的特征,如在特定尺度下在所有方向上具有梯度的任何图像位置。 
Harris角部检测使用局部梯度估计Ix、Iy,并且把角部定义为其中图像强度的局部自相关很高的点。自相关的度量可由一阶导数估计。对每个像素位置,计算2×2自相关矩阵A=g*[(□I)(□I)T],其中g是Gaussian平滑掩码。如果A的本征值都很大,则把像素标识为角部。本征值与局部相关函数的主要曲率成比例。Harris检测对于L结点可以可靠地工作,但对于其它角部检测可能效率较低。例如,它对于一阶导数和Gaussian平滑可能要求几次卷积。可以使用几乎得到与原始算法相同性能的改良Harris算法,但改良Harris算法具有低得多的计算成本。这样的算法可以把具有很高图像梯度的像素选作角  部候选对象。对每个像素首先计算图像梯度,并且如果它低于某一阈值,则不必评估计算昂贵的角部响应函数。 
SUSAN(Smallest Univalue Segment Assimilating Nucleus(最小单值段同化核))利用简单掩蔽运算,而非梯度卷积。对于图像中的任意像素和围绕它的对应圆形窗口(其中中心像素是窗口中心),假设图像不纹理化,则窗口内有紧凑区,紧凑区的像素具有与核类似的亮度。这个区域被选作SUSAN。计算SUSAN的面积和重心,并且可以使用基于这些参数与非最大抑制的角部检测器。 
MIC(最小强度变化)是基于沿通过选中点邻域内的调查点的任意线的图像强度变化。如果沿这样的线的图像强度变化对于所有的线取向都很高,即,如果最小强度变化比所述阈值高,则检测到角部。MIC采用线性内插来计算方向一阶导数。不像SUSAN,MIC不假设角部附近的图像结构,并且它可检测更广范围的结点。由于MIC通过像素间近似而提供最小强度变化的分析解,所以认为它比较简单且快速。 
COP(Crosses as Oriented Pair)使用与SUSAN相同的概念,但使用交叉-取向运算来计算反向SUSAN面积,以得到概率主导方向,分类角部候选对象,测试角部,及在搜索窗口中求出局部最大值。 
SIFT(Scale Invariant Feature Transform(缩放不变特征变换))方法可以用于梯度、取向及缩放。这些特征对于图像缩放和转动是不变的,并已发现在仿射变形、3D视点的变化、噪声添加、及照度变化的充分范围上提供可靠的匹配。SIFT可检测关键点及其缩放和取向。在“缩放-空间极值检测”中,SIFT通过使用Gaussian函数差在所有缩放和图像位置上搜索,以识别对缩放和取向不变的潜在的感兴趣点。在“关键点取向”中,在每个候选位置,拟合详细模型以确定位置和缩放标度。关键点可基于其稳定性度量而选择。在“取向分配”中,一个或多个取向基于局部图像梯度方向分配给每个关键点位置。所有将来的操作在已经相对每个特征的分配取向、缩放及位置被变换的图像数据上进行,由此提供对这些变换的不变性。在“关键点描述符”中,在  每个关键点周围区域中在所选的缩放标度下测量局部图像梯度。这些局部图像梯度然后变换成允许显著水平的局部形状变形和照度变化的表示。 
可以使用KLT(Knade-Lucas-Tomas)和Shi-Tomasi检测器。如Harris检测器那样,这些方法基于计算偏导数的离散矩阵的本征向量。KLT寻址图像对之间的变化,这对于随时间跟踪角部是重要的。Shi-Tomasi检测器可以满足角部检测器的所有定理。可以使用其它角部检测方法,如Gabot滤波、子波变换的局部极值及其它方法。 
局部平移:在已求出角部之后,可以计算每块之间的移动。为了补偿传感器抖动,可使用假定唯一变化是平移的简化模型。图像移动的其它原因,如安装误差和透镜曲率,可能是非平移的。包括这种图像移动的模型是完全单应的,但这些源在图像捕获之前可校准或补偿。用来计算每个相邻传感器之间的成对平移的范例方法是随机样本谐调(RANSAC)方法。使用重叠区域中的所有角部,拟合最佳1-D平移变量。 
全局调节:在已求出这种单独移动之后,可以进行全局估计方法,以解释每个单独估计不同的情形-就是说,用于每个传感器的估计可能与周围估计不相符。例如,如果传感器相对于阵列上在它下面的传感器向上运动10个像素,而它下面的传感器相对于阵列上在它下面的传感器也向上运动10个像素,则从两个传感器捕获的图像当彼此比较或在局部区域重叠图像时显得正确放置。然而,图像块相对于其它图像块仍然被误对准。这种情况下,可以进行全局调节,以保证适当地镶嵌所有块。用来进行全局调节的范例方法是全局最小-平方过程。 
风险减轻:有可能选择特定镶嵌方法用于给定用途。例如,为确定特定光学设计可能摇摆多大,可以检查角部是否足以以给定系统所设计的重叠量来配准图像。可能必须减小阈值以获得较多角部,增大重叠,切换到相关方案,或采取其它措施。 
范例的镶嵌方法是首先对每个图像块对测量成对平移,然后基于这些成对平移测量固定一个块并对准其它块。另一范例方法是对每个  图像块通过固定该块并对准相邻块而使用成对平移,然后在所有块迭代这个过程。例如,块1可以被固定,并且把块2...N对准块1;然后块2被固定,并且把块1、3...N对准块2,依次类推,对于N个块的每一个进行对准。这可能是有用的,因为由于当逐个对准块时积累的误差,块位置可取决于第一固定块。相同的成对平移结果可以应用于每个块,并且从估计位置可得到平均块位置。重叠区域上的相关匹配与相同重叠区域上进行的角部匹配相比,可以提供速度优势。 
例如通过从原始位置(假定块窗口初始放置在此)摇摆或否则随机扰动块窗口,已经模拟了镶嵌方法。 
摄像机内处理:系统还可以完成后端任务。例如,在已经捕获图像之后,可以把它放入千兆像素图像的正确镶嵌位置中。这可能涉及初步去翘曲以减少或去除传感器安装偏差和透镜畸变。在简单情况下,这些参数被预校准,例如在观察飞行之前,并且算法可能简单地必须移动像素。额外的,图像可以以几种其它方式处理。例如,图像为了镶嵌可能被截断和/或翘曲。在图像已放置在最终图像镶嵌上之后,传感器输出可以被移动并截断以为该放置而调节。例如,如果块相对于全局镶嵌向上运动且超过3个像素,那么块可以向下移动。截断不仅可以消除平移之后延伸过块的图像部分,而且还可以消除该块与其它块之间的任何重叠。 
作为另一个例子,可以校正图像的亮度/强度变化。如果每个块具有其自身的亮度和强度变化,则整个镶嵌对于用户可能显得奇怪。额外的,移动分析,如果要求像素比较则可能在这样条件下失败。这种校正的大部可在制造或校准摄像机时建立,因为差异可能大都基于个别传感器响应。强度水平可以使用预置校正参数来调节,从而整体图像显得无缝。 
还可以增强图像,如借助于对比度增强。范例传感器可以产生高达10比特每像素的图像,但其中有可能只有大约8比特在压缩中幸存。假设大气(atomsphere)可以减小收缩(contract),均衡方案可以增大在幸存比特中的收缩。
其它图像处理方法包括固定-图案噪声去除、死像素检测和内插、曝光控制、伽马校正、渐晕校正及对径向强度衰落的其它源的校正。 
配准(图像移动估计):可以配准捕获图像。许多可买到MPEG编码器的搜索范围是为较小图像尺寸而建造,所以搜索范围与千兆像素图像或在千兆像素图像中要使用的块相比可能很小。给出本发明中可能出现的巨大图像移动,COTS MPEG芯片可能不能进行高效搜索,或者在某些情况下根本不能完成搜索。为了帮助压缩,MPEG芯片可以借助于估计移动而编码。作为另一个例子,从Ateme得到的软件可能能够在范例SFPS下处置当前例子的600像素移动。进一步的改进可能有助于质量或有助于使用较小和/或较便宜芯片。还要认识到,除600像素之外的各种范围的像素移动可能发生。 
当把实时视频流提供给用户时可以使用移动估计。作为具体例子,在地面上想要俯视小山的观察者可能请求来自空中观察系统的在特定位置的视频流。这样的情景下,可能期望被请求位置在捕获图像数据中保持固定。这种情况下系统可不必翘曲整个映像。由于仅转到单元的PTZ窗口可能正在变化,所以多-传感器摄像机可以仅改变在每帧广播的视频窗口。然后响应全局下采样参数可以识别PTZ窗口。就是说,系统可以提取子窗口,并按需要进行镶嵌。例如,子窗口可基于从系统操作人员接收的PTZ请求。实施例中,通过计算移动估计元数据以确定若干传感器或每个传感器的运动并相应调节PTZ窗口,可以进行动态镶嵌。 
多个图像之间的单应可使用RANSAC移动估计计算。如果试验数据的分析揭示图像移动小得足以可在块级下、而非在全局级下(即,跨过所有块)进行移动估计,则可以减少块之间的通信。实施例中,可以选择代表整个视频流的视频帧或序列用于处理,以提高这样试验的有效性。至于图像数据中角部太少,或者例如,飞行图案不代表实际目标平台,试验可能不完全有效。例如,摄像机视图可能如此之宽从而将有不实际的大量的角部,允许对试验数据的良好配准,但并不代表可以期望对图像数据的整个集合的配准。较大图像可包含更多特征  以用来进行移动估计,允许使用局部移动估计代替全局移动估计的可能。 
传送图像之前,如传送到地面部队,可以提取“切下”窗口。由于窗口可具有可变变焦,所以它可以重叠多个传感器块。在挑选哪些传感器被影响之后,如有必要则下采样合成图像,选中的传感器图像缝合在一起。可以采用标准下采样,如在每个维度的50%减少前应用Gaussian滤波器。如果图像先前已经“去抖动”,或者放置在它们的正确镶嵌位置中,则可简化缝合过程。 
是否进行镶嵌的决定在某些情况下可能是复杂的,因为放大(zoomed-out)窗口可能不要求对传感器块抖动的任何校正,而较高变焦水平则可能要求增强校正。然而,其它过程(例如,全局估计)可能需要镶嵌,因此在某些情况下,镶嵌系统可以在所有时间操作。 
在地面用户请求来自空中传感器系统的成像的场合,可以进行范例的移动估计。地面用户可能请求小位置的视频流。由于带宽限制,系统可能只能传输在请求位置周围的比较小的变焦窗口。然而,地面用户可能不想视频流由于空中传感器的运动而运动。移动补偿因此可以在空中进行,因为如果视频运动太大,则视频流不能提供配准连续图像的足够数据。这样的效果对于缩小(zoomed-in)视图可能更明显。在这样的情形下,系统可以使用移动估计和补偿以跟踪图像如何相对于传感器系统而运动。图像翘曲、镶嵌、变化检测及类似变换在传感器系统一般是不必要的。相反,PTZ窗口可运动到新位置,因为发送到地面用户的PTZ窗口可随时间变化,摄像机可以只改变在每帧广播的视频窗口。因而,可以响应全局移动估计参数来设置PTZ窗口。 
当使用MPEG压缩时,全局移动估计还可以配准映像以向MPEG处理器提供开始搜索范围。这可以避免传感器移动导致超过压缩芯片的内建搜索范围的图像运动的情形,其可使这样的芯片转到不同压缩方案。例如,当超过最大搜索范围时,一些MPEG编码器可能转到JPEG压缩。 
压缩选项:根据本发明的千兆像素视频摄像机可产生5GB/s的 像素数据,或18TB/hr,假定1字节每像素和5帧每秒。为在这些速率下记录多个小时的视频而不要求不期望的存储量,可以采用数据压缩。选择特定视频压缩技术可能涉及在压缩比(它影响存储要求)、计算负载及图像质量之间的折衷。可以使用下面描述的范例压缩选项,尽管应理解还可以使用任何其它压缩方案。 
运动JPEG是帧内压缩方法,意味着它单独压缩每个帧而不参考序列中的其它帧。这使得计算简单,但可能限制压缩比。JPEG基于离散余弦变换(DCT)。对于灰度图像,JPEG在可见损失的阈值下实现大约5∶1的压缩比。 
运动JPEG2000类似于JPEG,但它使用基于子波的编码代替DCT,提供较好压缩,但要求更多处理。JPEG2000是JPEG压缩效率的大约两倍。假定使用JPEG2000的10∶1压缩比,5fps下的千兆像素视频会压缩到约1.8TB/hr。运动JPEG和运动JPEG2000与其它视频代码相比都是延迟时间较短并且计算强度小。 
MPEG-2利用视频流中连续帧之间的临时相似性,以实现比像JPEG之类的帧内方法更高的压缩比。因为它估计帧之间的运动,所以它可能比JPEG算法要求更多计算。例如,广播质量HDTV对颜色要求20Mb/s,30fps视频。7fps下,可能只要求5Mb/s,并且仅灰度(grayscale-only)视频把速率减小到4Mb/s(颜色信息被亚采样并在mpeg视频中较严重地压缩,并且仅代表数据的小部分)。HDTV图像是大约2兆像素分辨率,所以千兆像素图像可能要求约900GB/hr((100MP/2MP)*4Mb/s=2GB/s=7200GB/hr)。重要的是要注意MPEG-2只是解码器标准,并且这种编码性能对于不同编码器实施可以变化。 
还可以使用MPEG-4。实施例中,使用简单轮廓MPEG-4,可以实现对空中平台上的4MP映像的20∶1压缩比;在5FPS,千兆像素可输出约9Tb/hr。 
H.264(MPEG4,Part 10AVC)可能比MPEG-2更高效。实施例中,它是MPEG-2的压缩效率的两至三倍。因而,可以生成对千兆像素视频的大约450GB/hr的压缩数据。然而,H.264甚至可能比  MPEG-2和MPEG-4简单轮廓的计算强度更大。一般地,大约加倍的计算下,可实现压缩的40-50%改进。 
实施例采用MPEG-4简单轮廓作为编码器。也可使用Ateme TIDSP库。单个1Ghz TI DSP对4MP映像可能能够实现5fps。生成压缩比可以是约20∶1。质量损失对于肉眼可能注意不到。来自加州Sunnyvale的StreamProcessors公司的下一代芯片可能实现快得多的压缩,并可以产生大量数据。其它的范例压缩芯片从位于加州Mountain View的Cradle科技可买到。 
改进性能的另一种方式可能是把初始搜索位置提供给使用这里所述的移动估计算法的MPEG算法。当搜索范围太短时,MPEG库可以退化成JPEG库。 
MPEG编码的缺陷可能是延迟,图像可以按典型15帧长的画面组编码。例如,H.264序列是IBBPBBPBBPBBPBB,其中I-帧被内编码(类似于JPEG),P帧从先前I或P帧前向预测,并且B帧从先前和后续I或P帧双向预测。为了解码B帧,必须解码所述组的I-帧和尽可能多的P-帧,以到达用于B-帧的基准图像。这可能减慢重放,并使系统较不灵活。即使简单轮廓也可能具有相同的问题,尽管它只有P帧-IPPPPPPP...,通过对比,JPEG2000可能不仅允许对每帧的独立访问,而且还允许在可变分辨率下解码。一般地,编码方案可基于给定配置的可用计算能力和时间而选择。 
在某些用途中,视频和图像压缩可以被优化以利用人类的感觉缺陷。然而,对于计算机视图算法施加到视频的程度,由人类观察者忽略的压缩赝象(artifact)可能是不容许的。因此一种考虑可能是确定人们可多大程度地压缩视频而不干扰下游跟踪算法。 
跟踪和自动推断:跟踪软件可以在地面上和/或实时使用。例如,源代码的VIVID库,网页 http://www.vividevaluation.ri.cmu.edu/software.html上可得到,可以用作跟踪系统的部分。跟踪算法本身使用四个阶段:检测、跟踪、地理-参考及推断。 
检测可以包括识别在被跟踪的视频流中的特征。实施例中,检测移动对象的3-帧差分方法可以用来避免镶嵌巨大图像的潜在困难,以收集背景上的较长期统计数据。从所生成的0-1掩码,可以采用最近邻域搜索以形成小斑点(small blob)。 
为了跟踪这些假设,可使用具有VIVID项目页上描述的fg/bg比的基线平均-移动跟踪器。 
可以使用地理-参考,从而本发明产生的图像可参考某种地面点。摄像机位置数据可能有助于初始化这种搜索,并且宽-区域图像可包括与先前地图上的特征相匹配的多个特征。这种方法可能比先前“苏打水蜡管(soda straw)”方法更精确。 
系统可能需要确定何时提醒用户注意跟踪信息。当前,设想可以使用各种询问,如“显示通过这个区域的任何目标”、“显示按如下速度运动的任何目标”、或“显示这个目标在以后几小时走到何处”。这些每一种可以使用元-语言描述跟踪结果,例如对于搜索引擎。 
可以使用在多种场景类型提供一致结果的计算机视图算法,如通过使用信心量度,从而适当设置操作人员的期望。 
当要镶嵌的多个视频流没有全局对准时(例如,当摄像机阵列中的多个摄像机由摄像机平台的运动干扰或在初始产生阶段已经误对准时),没有任何调节就把它们缝合成一个流可能引起图像镶嵌的误对准布局。这些问题通过镶嵌的局部(成对变换)和全局对准而减少或去除。局部和全局对准可以是仅平移(translation-only)变换、一般单应变换或其它变换。 
实施例包括一种把多个视频流组合成单个视频流的方法,其中多个流包括大区域的相邻视频。系统可以具有两个阶段:(1)成对变换估计和(2)全局均匀化以保证没有相矛盾的估计。结果可能允许系统取得多个视频流,并把它们放置成单个输出流,即使有摄像机系统平台的显著运动。 
实施例包括如下步骤: 
(1)求出在重叠区域上、在单个传感器视频流的四个边的角点的集合。角部信息(而非整个图像数据)用来减小镶嵌的计算强度。
(2)通过相关匹配把在一个视频流中的角点匹配到其相邻视频流中的另一个点,以得到这两个相邻视频流之间的成对偏移。 
(3)获取聚集了从步骤(2)获得的相邻视频流之间的所有成对运动偏移的最小平方解,以形成镶嵌的全局准确估计。 
改变和实施这个及其它实施例的其它方式对于本领域的技术人将是显然的。 
范例实施 
范例系统中,现有COTS元件可以实施摄像机的各种主要模块。为了给定功能或元件的实施用来在不同选项之间挑选的策略可以估量包括如下的因素:实施的灵活性、处理和带宽要求、COTS元件的可得性及对任务的适用性。现在将讨论范例硬件模块。应理解,还可以使用其它可买到硬件或定制硬件。 
摄像机控制模块可以是系统的动态部分。实施例中,摄像机控制模块比系统其它元件具有较低临界处理要求,以保证可预测的及确定性的系统性能。这个模块可以使用嵌入PC体系结构实施。具体例子中,COTS接口可用来提供UAV Comlink和Cymbal控制。多个并行网络通道可以与传感器模块和存储系统的网络接口。 
除传感器本身外,传感器模块的剩余部分可以使用DSP和FPGA的组合实施。DSP类似于微处理器因为它们运行程序,但它们也优化成并行执行更多操作。FPGA是可编程逻辑部分,但不是写入程序,用户规定FPGA的门级功能。FPGA的灵活性允许管理不同芯片之间的接口(常称作“胶连逻辑”)。范例系统中,FPGA可以产生用于图像传感器的控制信号,并且接收像素数据。 
在FPGA与DSP之间分配计算强度大的任务可能涉及功率、效率及代码开发时间的折衰。FPGA可以良好地适于高度构造的、高度并行的、计算强度高的算法。例如,滤波和下采样、图像翘曲、图像修剪、亮度校正及对比度增强可以都全部良好地映像到FPGA体系结构。作为具体例子,JPEG2000图像压缩可以实时实施。 
尽管FPGA代码可以以软件写入和模拟,但用于FPGA的开发 代码可能是非常耗时的过程。相反,数字信号处理器(DSP)的编程要简单得多,并且一般也为计算强度高的任务而设计。DSP可能允许算法在PC上被写入和测试,并且然后重新瞄准DSP以满足高性能和小物理尺寸约束条件。 
如下段落简短描述用于图像捕获和处理板的各种范例商业处理选项。除FPGA和DSP之外,也描述硬件视频代码。尽管求出大容量(并因此较昂贵)、高清晰度视频代码可能是便利的,但这些可能稀少和昂贵。专用硬件通过嵌入具体的静态功能也可能降低系统的灵活性。DSP还可以用于这些功能。 
范例FPGA芯片包括从Xilinx和Altera得到的部分。一个例子中,FPGA包括允许在装置之间的千兆位通信的高速串行接口(例如,来自Xilinx的RocketIO)。这些可以促进图像捕获与四面体处理板之间的高-带宽通信。第三方IP核心可用于JPEG2000处理从Barco和CAST。 
范例DSP从TI和Analog Devices可得到。某些配置中,DSP可以包括预配置软件,如MPEG和JPEG编码器。一个例子中,TITMS320DM642用于视频处理。另一个例子中,使用TI TMS320C64xx系列。DSP处理器还可以从其它来源得到,如从Cradle Technologies和Steam Processors。在算法可分裂成多个并行路径以在不同单板处理器中执行时,还可以使用通用处理器(GPP)。其它DSP,如来自Steam Processors,Inc.的那些,可以提供更加并行化的体系结构。可以使用各种代码,如H.264,HDTV(1920×1080)或其它代码。 
视频压缩编解码器:VGA(720×480像素)MPEG-2视频压缩是用于广播质量视频的标准。范例设计中,多个压缩处理器用来并行处理图像。例如,为了压缩千兆像素视频,可使用约3000个这样的芯片。还可以使用HDTV视频编解码器。大图像尺寸和对应的大运动搜索窗口可以使这些编解码器对大图像移动而言更可靠,尽管它们可能招致较高计算成本。范例的HDTV编码器是Hitachi Technologies AVSA编码器。还可以使用JPEG2000编码系统。例如,从Analog Devices  得到的一对ADV202 JPEG2000编码器可实时压缩HDTV视频。这样一种压缩系统可以在DSP或FPGA上实施,而非使用专用硬件。实施例中,FPGA/DSP组合用来以合理成本提供性能和灵活性的组合。 
采样存储器配置:物理小尺寸存储系统,如2.5″硬盘驱动器,可以用来利用小空间、重量及功率要求。作为具体例子,实施例中,32个Western Digital Scorpio 80GB WD800VE硬驱动器用来存储2.5TB(1小时的7fps千兆像素,假定10∶1的压缩)。每个驱动器可以以22MB/s记录。可以使用其它类型和组合的存储器装置。例如,使用多达两倍的驱动器的实施例可以把带宽减小一半。当使用移动的空中摄像机平台时,对于很高高度和很低压力情形可以选择硬驱动器。例如,某些硬驱动器在10,000英尺以上飞行的同时可以继续操作。可以使用额外的存储器配置,如RAID,有或没有到阵列(如FPDP)的统一接口,强化的存储器,及模块式存储器。例如,可以使用VMetro硬驱动系统。还可以使用其它存储系统;一般地存储系统可以设计成与它要应用的平台相匹配。 
图3表示用于用来把数据从图像传感器提供给用户系统的范例系统的功能方块图。数据路径用实线箭头表示;控制路径用虚线箭头表示。 
一个或多个传感器300捕获初始图像数据。实施例中,多个传感器用来捕获千兆像素图像。传感器处理模块310可接收和处理原始图像数据。如前所述,可能有传感器处理模块310分配给每个传感器300。传感器处理模块可包括多个处理芯片,如FPGA 311和DSP 312、313。例如,FPGA 311在把图像数据和/或角部元数据分别发送到其它处理器312、313之前,可进行图像标准化和角部检测。其它处理器然后可以进行压缩,如MPEG压缩(312)、移动估计、和/或跟踪(313)。压缩数据和图像单应然后可返回到初始处理器311,并且传输到数据聚集系统320。数据聚集系统320可以准备图像数据以用于存储,如串行和/或多路复用从多个传感器接收的数据。下面描述关于聚集系统的操作的进一步细节。准备的图像数据然后可以发送到存储系统331用 于存储。 
模块330可以完成存储、可视化及控制功能。模块330可以与传感器处理模块310和传感器300集成,或者它可以是物理上分离的。无线连接可以用于模块之间的通信。存储模块331可以存储从数据聚集系统320接收的图像数据。当对数据的请求从可视化系统332接收时,存储模块331可以把图像数据、角部元数据、单应、及其它相关数据发送到可视化系统。实施例中,可视化系统可指定对其请求图像数据的传感器,如当用户请求传感器观察到的特定区域的视图时。它还可以把控制信息发送到摄像机控制系统333和/或传感器处理模块310。可视化系统332还可以进行各种操作,以准备图像数据向用户呈现,如解压缩、镶嵌、及移动调节。 
实施例中,可视化系统响应来自用户系统340的请求准备图像数据,用户系统340可以包括图形用户接口350。下面提供关于用户接口的进一步细节。当从用户系统340接收请求时,可视化系统332如前所述可以谐调在传感器处理模块310、数据聚集系统320、和/或存储系统331之间的图像数据捕获和传输。 
图4表示用来组合视频流的范例方法。首先,多个视频帧序列可以从多个传感器接收400。在预处理步骤410,如前所述可以计算移动估计信息、角部元数据、和/或其它元数据。某些情况下,图像数据和相关的单应信息和角部元数据然后可以被存储以便后续使用。实施例中,可以进行额外的处理,如图像对准420。为进行图像对准,可以采用先前所述的成对平移方法。在固定第一帧421之后,可相对于每个相邻帧测量成对平移422。基于相对于一帧的成对平移测量可以对准帧424,或者额外的帧可用于成对平移测量423以及结果的平均值用来对准帧。如前所述可以完成额外的处理步骤,如基于角部元数据检测角部和/或其它特征430、估计平移或其它运动440、及进行全局调节445。基于对图像块进行的处理步骤,可以创建合成视频帧450。对于视频流,可以仅对帧的子集进行某些方法以加快处理时间。 
聚集视频流
各种数据排列可以由聚焦系统用来串行和/或多路复用从传感器模块接收的图像数据。范例方法包括固定-大小记录排列和可变-大小记录排列。在固定-大小记录排列中,每个记录块可以是物理相关大小的倍数。例如,在6盘组中的盘带条可具有(6盘*512KB)=3MB的大小,并因此每个记录块放置成3MB大小的块。一般地,可以使用任何大小的块,尽管写入较精细粒度(如1千字节)的块可能导致性能下降以有利于存储效率。图5表示范例固定-大小数据排列(类似于TDMA存储)。在例子中,每个传感器图像通道(68个中的)被给予450Kb的时隙用于200毫秒内的数据存储。这个时间期间,30M字节的数据将写到盘上用于所有68个传感器图像通道,其中有额外填充。固定-大小记录排列可以提供快速数据检索,因为在任何时间访问任何任意数据流只要求计算偏移和加载偏移块。 
在固定-大小记录排列中,数据按字节0、字节1等依次传输,并且多-字节值可以具有big-endian格式。具体地说,字节0可以是最有意义字节。包中的数据字段可以按如下定义,尽管可以使用变形。128-字节Pad 510可以由聚集系统设置为零。如果数据从传输丢失或在传输中重复,则填充可以提供漂移容差。4-字节“SIG”(4字节)520可以指示包是有效的。例如,SIG可以设置为根据本发明的处理系统的提供商的名称或密钥。2-字节“Chan”项530可存储实施例中由字节0*16+字节0识别的通道号。类似地,2-字节Frame Type字段540可以存储值=字节0*16+字节1,其中范例帧值是0=Normal、1=Start帧、2=Stop帧、及OxFFFF=Invalid帧。每个包中发送的各种数据的长度可被存储。例如,Meta Len 550可提供任何传输元数据的长度;MPEGLen 560可存储编码数据的长度;及(M&D)Sun 590可以存储从Chan(通道号)到Data的数据之和。包有效负载可包括Metadata有效负载570和MPEG Data有效负载580。 
包的任何不需要部分可以保留不用(595)。对于5fps视频流,图5表示的范例数据流的数据吞吐量是150Mb/s(30MB/帧*5帧/s)。在范例系统中,190MB/s带宽每FPDP链接可能足以支持68个图像流  (150MB/s),但可能不足以支持136个图像流。 
范例的可变-大小记录排列表示在图6。所示例子中,来自不同图像传感器的数据可以利用不同的记录尺寸,但它们可以都被1-K字节对准。这种排列中,由聚集系统写入到存储装置的帧可以具有可变大小。数据字段类似于固定大小记录,尽管可以使用其它字段和结构。Pad 601可以由聚集系统设置到零,并且如果数据从传输丢失或被重复,则可提供漂移容差。SIG 602指示包是有效的。例如,SIG可以设置为密钥或根据本发明的处理系统的提供商的名称。“Ver”字段603可规定数据版本,如当记录排列的结构在实施例中已改变时。“AggSrc”604规定聚集源;这个字段可以由时序和接口模块设置,以识别多个聚集源之一。Packet Sequence ID 605一般是规律递增的标识符,在第一次记录从零开始,尽管可以使用其它标识方案。Packet Length606指示当前包占据的字节数。例如,典型系统中,单个包将是1024字节。通道长度可以包括在包内,如特定通道607、609的元数据、和特定通道608、610的编码数据长度。包有效负载可包括Metadata有效负载620、640和编码数据有效负载630、650。流ID可以嵌在有效负载中。N个通道的在通道1至N内的数据之和611还可以在包中发送。包中的剩余空间612可以保留成空的,零-填充,或不使用。 
诸如图6表明的数据排列可以比固定-大小记录方法更有效地利用盘空间。它通过把适当字段设置到零还可以适应在文件中有少于68个图像流的情形。这种排列还可以允许光学成像系统中多个MDR单元的使用。为了在给定时间检索数据流,搜索可以从文件开头开始。然后,可以读取每个首部以确定下个记录位于何处,直到已经定位所期望的记录号。例如,为了定位300秒记录中的秒299,可以进行总共(299*5)=1495次读取以定位所期望的帧。由于在实施例中数据可以在高速接口上读回,所以读回速度可能足够高,以至于定位帧的几百至几千次读取不会导致不合理延迟。改变和实施这些和其它实施例的其它方式对于本领域的技术人员将是显而易见的。 
图7表示用来聚集视频流的范例方法。聚集系统可以把通道分配给各个视频流源710,或者可以把通道预分配给各个源。实施例中,每个通道被分配给在诸如CCD或CMOS摄像机阵列之类的多-传感器阵列中的传感器。每个源可提供一系列图像,如视频流,其被编码成包720。如果使用可变记录方案,则每个包的大小可以由为每个包从每个源接收的视频量确定730。如果使用固定-大小记录方案,则每个包可以是相同大小740。实施例中,包的大小可以基于相关的物理大小745,例如用于特定物理存储介质的方便块大小。可以使用其它固定大小,如传输介质确定的大小,在传输介质上包将传输到聚集系统。聚集系统可从多个视频源接收包750,并且把以每个包编码的视频数据写到存储介质760。视频数据可以按它被接收的顺序或格式记录,或者它可以构造成适用后续使用的格式。实施例中,聚集系统可以使用这里描述的方法从若干单个流建造一个大规模视频流。 
用户接口 
实施例中,提供图形用户接口(GUI)以允许用户请求、观看及操纵图像数据。用户接口可以由通用计算机显示在一个或多个显示器上。它可以通过发送请求用户所请求的图像数据,与诸如图像捕获和存储系统之类的各种其它系统通信。各种重叠、图标及其它信息可以与从其它系统接收的图像数据一起呈现。 
实施例中,GUI可以在远离捕获图像数据的光学传感器的位置显示和操纵。例如,在使用空中观察系统的场合,GUI可以在地面上,在捕获图像数据的同时允许用户保持在地面上的固定位置。实施例中,GUI可以允许操作人员搜索所捕获的视频,以迅速确定在一段时间被观察的选择区发生了什么。GUI还可以提供实况数据下行链路,即实时图像数据。它可以处置边界截获信息以及多个实况数据下行链路。 
GUI可以允许用户与多个摄像机交互作用、为其它操作人员提供搜索任务、与地图谐调、及提供与自动跟踪和其它警告信息的集成。例如,实施例允许在一组摄像机或成块摄像机之间的过渡而使用单个摄像机或一组摄像机,从而可以监视大区域。范例GUI可以为操作人  员推荐可能的下一个视频摄像机并在相关时间提示相关的视频,以把观看从一个摄像机切换到下一个。当视图相邻时,效果可能好像用户数字地全景拍摄、俯仰、或变焦。如果摄像机不相邻,则效果可能是3-D转动或仅是渐隐和渐消到下一个摄像机或某种其它效果。 
实施例中,创建任务以使不同的人在大视频数据集中搜索不同的事件和感兴趣目标。这个实施例允许用户与其它机构谐调以共享信息(如位置和外观数据)从而捕捉或捉住目标。这个实施例还可使用自动跟踪信息以向感兴趣活动提示视频,其目的是用户跟随警示之后产生(spawns off)任务。 
GUI可以向用户提供多个视图。例如,一个或多个视图可以包括提供广角视图的图像;而一个或多个其它视图可以包括从同一图像内(例如,在广角视图内)提供窄角视图的图像。这种窄角视图的观看参数(例如,全景拍摄、俯仰、变焦等)经GUI可以受到实时用户控制。因而,一组视图可以包括广角视图和虚拟PTZ视图。 
用户接口可以包括向用户显示图像数据和其它信息的组件,以及创建显示并如前所述从图像处理系统请求数据以及创建向用户显示的图像的组件。接口可以使用双重显示构造。例如,可能有全景(overview)地图,其提供光学传感器捕获的整个区域的高级视图和访问,以及显示用户所定义的任务视图的区域。范例任务是在一定变焦下观察一定区域,以及跟踪摄像机视野中任何地方的特定对象。可以定义其它任务。用户接口可把用户定义的任务转换成发送到成像系统的控制数据和/或对发送到图像存储或处理系统的图像数据的请求。控制可能是语境敏感的。适当时可以使用透明性,以允许显示额外数据而不弄乱显示器。 
GUI可以提供对存储视频(例如对预定义的任务视图)搜索的装置。例如,为了在时域上开始向后搜索视频数据,用户可以建立跟随视频流中显示的卡车的任务。GUI允许用户在视频流内全景拍摄、俯仰、及变焦,以得到关于跟踪对象的额外信息。 
另一种范例使用可能是战术查看完整千兆像素图像或视频流的  任何一部分。作为具体例子,小UAV用于战术侦察。这些UAV可以提供范围从几百英尺远至几英里远的地域的实况视频馈入。然而,这些UAV的可用性可能受到限制。千兆像素系统可用来提供类似的战术侦察。初始焦点可能是提供完整摄像机视场的全景图像以及以全分辨率提供有限数量的实况馈入,但仅覆盖摄像机视场的非常小部分。这些实况图像使用无线链路可从地面站馈入到现场部队。部队的实况图像能仅是全部摄像机视图的非常小部分。这样一种构造的潜在优点是,摄像机可同时提供多个非相邻视图。额外的,可按照用户请求和优先级的变化,把视图重新分配给不同部队。 
显示千兆像素图像可能要求所有标准计算机显示器上不能达到的能力。如果人们想使用多个标准显示器创建千兆像素面板,则显示器的面板可能包括大约500个显示器。这样大的东西可能不仅昂贵和实际上难以组装,而且也可能对于单个用户无益。为了在单个监视器上显示千兆像素图像,可以利用两种技术:原始数据的子采样和感兴趣数据的图标标识。 
全千兆像素图像可以被子采样,并且显示在单个监视器上。这可以用于两个目的-减少向用户显示的数据和减少从摄像机传输的数据量。子采样数据可从摄像机直接请求,以减小通过系统的总带宽。期望分辨率可提供给摄像机,并且图像被捕获时进行子采样。通过把子采样图像数据与能够跟踪识别目标的摄像机相组合,摄像机可发送元-数据,而非原始图像数据,来识别目标位置。GUI然后可产生图标图像以在显示器上识别目标的位置。额外的,用户可从摄像机请求变焦的更高分辨率的图像。实施例中,从传感器系统取得的图像数据的量一般可小于显示装置的分辨率。 
地理信息系统(GIS)可以与系统一起使用,以允许每种类型数据动态地在显示器上层叠或从其去除,如用户请求的那样。通过使用GIS,也可添加来自其它源的额外数据。 
图标可以识别所显示图像中的目标。然而,由于多个目标填充了有限区域,所以图标显示可能变得拥挤并且失去有效性。因此,显示  器可以基于活动密度从显示各个图标过渡到阴影显示图像。当活动水平增大时,图标可以消失并且由着色阴影代替。阴影的颜色可反映被监视对象的活动水平、重要性和/或其它细节。 
为了呈现数据的精细粒度视图,用户可能交互地定义区域和变焦水平。例如,GUI可以使用多个显示模式,如主地图上的变焦窗口、第二显示器上的变焦任务视图、或其它显示模式。 
GUI可包括内建的工具,用于创建任务、定义任务是什么、定义用于任务的规则、添加注释、分配任务、及进行创建、修改、及管理任务的其它操作。任务历史可按时间顺序保持和记录。例如,当操作人员搜索被跟踪对象的动作时,系统可以记录操作人员的动作,允许“搜索”任务被重放、或者导出为正常视频。GUI也可提供额外的报告和配置能力。 
当使用基于目标的跟踪时,GUI除在元-数据中记录目标位置外,可以全分辨率记录在目标周围的区域图像数据。这可减小系统的GUI与其它元件之间的通信所需的带宽,因为只有用户已经指示了被观察区域中的感兴趣的某种东西,摄像机才可记录全分辨率数据。记录视图可按需地从摄像机下传,或者一旦全传感器单元已经返回到地面就被取回。 
图8-10表示根据本发明实施例的范例用户接口。参照图8,表示包括图像显示元件810和控制元件820的用户接口800。图像显示元件810可显示从先前所述的可视化系统和/或光学传感器接收的图像数据。控制元件820可以向操作人员提供各种方式以修改在显示元件810中显示的图像,如先前所述的全景拍摄/俯仰/变焦功能840和任务830。实施例中,显示元件可显示部分或全部的千兆像素图像。控制元件820和显示元件810可以显示在不同的硬件显示器,如连接到通用计算机上的多个监视器。 
显示了城市场景的千兆像素图像的范例部分。应理解,可以使用任何图像。图像可以包含操作人员感兴趣的各种特征850,如车辆、人及其它对象。如前所述,实施例可以为操作人员提供选项以跟踪一  个或多个特征、观察在显示图像和/或视频中的一般趋势、及进行其它操作。 
图9表示与图8相同的用户接口,其中操作人员已经选择几个特征用于跟踪。例如,操作人员对三个对象已经启动“跟踪选中对象”。响应这样的请求,显示元件810可以在图像上显示覆盖层。例如,各图标910、920、930可以靠近操作人员选择的对象或在其上显示。当视频流被显示元件810显示时,图标可以运动以跟踪选中对象的运动。例如,当车辆850沿街道前进时,分配图标910还可以在车辆区域内显得沿街道前进。可以使用其它功能,如在时域向后观看视频以确定特征的先前事件。 
图10表示与图8相同的接口,其中操作人员已经请求覆盖层以显示在显示图像内的活动性。例如,操作人员可能已经启动“表示活动性”请求。覆盖层可以包括在图像1010、1020、1030上显示的各区域,其每个可具有不同颜色、阴影、透明度、或表示在显示图像数据内的不同活动性水平的其它特性。例如,浅色可以表示较小活动性,并且深色表示较大活动性。“活动性”可以由操作人员定义。例如,具有多个运动对象(如人群)的区域可以赋予高活动性水平,并且具有很少运动对象(诸如单个车辆)的区域可以赋予低活动性水平。作为另一个例子,活动性可以基于区域中的运动程度而确定。这样的方案中,单个快速-运动车辆会赋予比其中几乎没有运动的人群更高的活动性。可以使用其它定义和覆盖层方案。 
图11显示根据本发明实施例的显示图像数据的范例方法。当操作人员请求图像或视频流时1110,用户系统或接口可以请求子采样图像,如从存储和/或聚集系统1120。用户请求还可以是光学传感器成像的特定区域的全景拍摄-俯仰-变焦(PTZ)请求。一般地,当用户请求在系统中存储的合成图像或视频流的一部分时将使用子采样,尽管当用户请求整个图像或视频时可以使用它,以减小处理和传输时间。子采样图像可从传感器直接接收,或者它可以从存储系统接收1130。实施例中,用户接口也可接收特征元数据1140,如角部元数据,以在识  别和操纵图像数据中的特征时使用。实施例中,操作人员还可以请求任务1101,例如显示一定特征;这个任务可以在对初始图像数据的请求之前、之后、或与其同时被请求。基于图像数据和任务请求,用户接口可识别与任务相关的特征,并构建覆盖层1102。图像数据和/或覆盖层然后向用户显示1150。 
范例使用情景 
下面描述几种采样使用情形。尽管这多种采样使用情形建议在飞行器中使用摄像机系统,但要认识到其使用不必限于这样的飞行平台。实际使用可包括地面使用(例如,地面车辆上)、水面使用(例如,船舶上)、及固定-位置使用。还应理解所呈现的情景是非限制性例子,并且为说明本发明的具体例子而提供。可以使用其它变体、实施例及配置,并且对这里描述以外的情景可以使用本发明的实施例。 
实施例可以用来进行恐怖分子轰炸回扫。在诸如恐怖分子轰炸等事件之前,可能难以事先检测哪些行动人员将袭击并预先主动防止袭击。然而,在事实之后,有可能使用本发明的实施例在时域向后追踪和了解关于轰炸的关键事实。例如,在何处卡车炸弹进入城市?在何处卡车沿路停车?卡车使用什么路线逃避检测?所有这些问题可能有助于防止未来攻击和抓获嫌疑犯。借助于根据本发明实施例的千兆像素摄像机提供的宽广区域覆盖,情报部门有可能分析导致轰炸和其后的事件。 
常规地面传感器中的大盲点可能限制连续性并防止在时域的简便追溯。此外,进行可视化、时间相关、及谐调多个传感器的适当软件可能不容易得到或使用。最后,这些传感器可能容易检测,并且地方部队为计划攻击可能产生分心和其它副作用。此外,常规空中传感器不可能既提供宽区域的持久覆盖又提供高分辨率。 
在本发明实施例中提供充分的存储器以存储对其期望回扫的区域的视频,可指令飞机在爆炸后着陆,并且可在地面上分析数据。因而,系统不必具有机上实时跟踪。实施例中,一些实时跟踪可以用来标记数据以便以后容易检索。由于大部分分析可发生在地面上,所以  对数据链路的需要可以最小化。 
实施例中,战术“天上眼睛”可允许战术指挥员俯视小山或建筑物周围以明白什么敌人潜伏在前面。传统上,侦察兵一直用于这样的目的。然而,侦察可能冒有被发觉的危险,这对侦察兵和大部队可能都是危险的。当前,许多部队可能都利用战术UAV。这样一种飞行器可具有约4英尺翼展,导致难以运输飞行器,并且冒有部队被发觉和受攻击和/或UAV被损坏的危险。 
本发明的实施例可为部队提供“鸟瞰小山”的能力。它可以“切出”在较大图像内的感兴趣区域,并且仅把该感兴趣区域传输给现场指挥员。平台也可服务于在特定交战区域中的多个部队。实施例因此可用来代替多个小型的低分辨率UAV摄像机,后者当前通过传送类似图像而不需要局部展开来提供战术支持。实施例中,本发明的小比例版本还可以用来供民用。实施例中,自动跟踪可以用来识别用于观察的区域。 
第三范例使用情形涉及边境巡逻。由于跨过美国边境的大部分没有栅栏,所以走私人员和非法移民穿越进入美国可能是容易的。当前技术不可能满足这种需要。地震、微波、及激光传感器可能安装成本高,并且不可能提供区分人与野生动物的额外信息。摄像机沿整个边境安装可能昂贵,因而视频覆盖可能稀少。实施例中,先前所述的观察系统可提供边境的宽广区域空中覆盖。例如,UAV可以在头顶飞行,并且检测越境者。借助于自动可视检测和跟踪,摄像机系统本身可挑选出任何运动对象,并且警告用户以便进一步查询。 
另一种范例使用情形是向空中的其它部队提供实况数据的传感器。军事用户的关键能力可能是“传感器-拍摄能力”。作为具体例子,美国空军当与敌人交战时,可能使用“发现/盯住/跟踪/瞄准/交战/评估”系统。本发明的实施例可加速这些步骤的每一个。借助于智能光学传感器,这样的系统的寻找、盯住及跟踪部分可自动进行。高分辨率映像可以提供宽广区域的持久覆盖,并且这样的高分辨率传感器可以提高找到攻击目标的概率。例如,UAV可以识别在地面上的目标,  地理上定位它们,并通过其它飞行器(或同一飞行器)提供跟踪数据用于捕获。 
这样的技术有多种其它商业使用情形,包括监视城市中的交通、在城市中为法庭搜索犯罪证据、及在城市中提供关于关键财产的实时位置数据的能力。这里所述方法和系统的其它使用对于本领域的技术人员将是显然的。 
这里描述的各种计算机系统每个可以包括存储元件,用来存储用来完成所描述和表明的各种过程的机器-可读指令。存储元件可以是任何类型的机器可读介质(即,能够由机器读取),如硬驱动器存储器、闪烁存储器、软盘存储器、光学编码存储器(即,紧致盘(CD)、DVD-ROM、DVD±R、CD-ROM、CD±R、全息盘)、热机存储器(例如,基于扫描-探针的数据-存储装置)、或任何类型的机器可读(计算机可读)存储介质。每个计算机系统还可以包括存储数据和/或指令集的可寻址存储器(例如,随机存取存储器、高速缓冲存储器),该数据和/或指令集在它们由在相应平台上的处理器执行时可以包括在机器-可读指令中或由其产生。这里所描述的方法和系统还可以实施成上述任意一个存储装置上存储或在其中实施的机器-可读指令。 
尽管已经参照特定例子和实施例描述了本发明,但应理解,本发明不限于这些例子和实施例。所要求保护的本发明因此包括这里描述的具体例子和实施例的变体,如对于本领域的技术人员显而易见的那样。

Claims (30)

1.一种用于产生视频流的设备,包括:
多个光学传感器,被配置成生成各自的视频帧序列的流;
多个传感器处理模块,每个传感器处理模块被配置成:
接收所述多个光学传感器中的相应的一个光学传感器的流;
基于所述流中的视频帧和所述流中的至少一个先前的视频帧,计算与所述流相关联的估计的运动;
分析所述流中的视频帧以识别所述流中的视频帧的特征;以及
生成反映与所述流相关联的估计的运动和与所述流相关联的所识别的特征的所述流中的视频帧的元数据;及
聚集系统,被配置成:
从所述多个传感器处理模块接收经过所述多个传感器处理模块压缩后的流和所生成的元数据;以及
基于所接收的流和所接收的元数据,生成串行化视频数据。
2.权利要求1的设备,其中所识别的特征包括在所述流中的视频帧中检测到的角部。
3.权利要求1的设备,还包括存储从聚集系统接收的视频数据和元数据的存储系统。
4.权利要求1的设备,其中所述流的合成图像是千兆像素图像。
5.权利要求1的设备,其中所述多个光学传感器、所述多个传感器处理模块及聚集系统被包含在移动观察平台中。
6.权利要求1的设备,其中多个传感器模块的每一个捕获4兆像素图像。
7.权利要求1的设备,其中聚集系统按固定-大小记录排列把图像数据和元数据提供给存储系统。
8.权利要求1的设备,其中聚集系统按可变-大小记录排列把图像数据和元数据提供给存储系统。
9.权利要求1的设备,还包括产生帧同步信号的信号发生器。
10.一种产生视频流的方法,包括:
接收多个光学传感器产生的多个视频帧的流;
针对每个流,分别使用多个传感器处理模块中的一个传感器处理模块:
基于所述流的视频帧和所述流的至少一个先前的视频帧,计算与所述流相关联的估计的运动;
分析所述流的视频帧以识别所述流的视频帧的特征;
生成反映与所述流相关联的估计的运动和所述流的视频帧的所识别的特征的所述流的视频帧的元数据;及
基于经过所述多个传感器处理模块压缩后的流和所生成的元数据,生成串行化视频数据。
11.权利要求10的方法,其中视频数据包含描绘多个光学传感器捕获的区域的子窗口的图像数据,所述子窗口是响应左右转动-倾斜-变焦请求而选择。
12.一种组合多个视频流的方法,包括:
接收多个视频帧的流,每个流对应于多个光学传感器中的相应的一个并行获得的图像数据;
为多个流中的每一个计算镶嵌估计,包括:
基于所述流的视频帧和所述流的至少一个先前的视频帧,计算与所述流相关联的估计的运动;和
基于对所述流的视频帧与所述多个流中的相邻流中的视频帧的比较,计算所述流的估计的成对偏移;
基于所述流的估计的运动和估计的成对偏移,生成镶嵌估计元数据;及
从所述多个视频流和镶嵌估计元数据创建合成视频流。
13.权利要求12的方法,其中为所述多个光学传感器成像的区域的子窗口计算镶嵌估计元数据,所述子窗口对应于左右转动-倾斜-变焦请求。
14.权利要求12的方法,其中所述流的视频帧由不同光学传感器大约同时捕获。
15.权利要求12的方法,其中所述流的视频帧由同一光学传感器在不同时间捕获。
16.权利要求12的方法,其中计算流的估计的成对偏移包括:
把固定位置分配给所述流的视频帧;
为与所述流的视频帧相邻的多个视频帧的每一个测量成对平移;及
基于为所述流的视频帧测量的成对平移,把相邻视频帧中的每一个对准到所述流的视频帧。
17.权利要求16的方法,还包括:
迭代所述把固定位置分配给所述流的视频帧以及为所述相邻视频帧中的每一个测量成对平移的步骤;和
从其中基于所测量的成对平移而固定每个视频帧的位置,计算所述多个视频帧的每一个的平均位置。
18.权利要求12的方法,其中创建合成视频帧还包括:
估计在多个视频帧的每一个中显示的特征的平移;和
对多个视频帧进行全局调节,以基于所估计的特征平移校正所述多个光学传感器中的一个或多个的运动。
19.权利要求12的方法,其中多个视频帧由移动传感器平台捕获。
20.权利要求12的方法,其中合成视频帧是千兆像素图像。
21.权利要求12的方法,其中多个视频帧的每一个是4兆像素图像。
22.权利要求12的方法,其中光学传感器由空中观察单元提供。
23.权利要求12的方法,其中所述多个光学传感器被配置为通过帧同步信号并发地获取视频帧。
24.一种聚集视频流的方法,包括:
把通道分配给多个视频源的每一个,该多个视频源被配置成生成相应的视频帧序列的流;
对于每个视频源,把来自该视频源的视频数据编码成一系列包;
基于与视频源相关联的流的视频帧和所述流的至少一个先前的视频帧,计算与视频源相关联的估计的运动;
分析所述流的视频帧以识别所述流的视频帧的特征;
基于对所述流的视频帧与视频帧序列中的各个流中的相邻流中的视频帧的比较,计算所述流的估计的成对偏移;
生成反映所述估计的运动、所识别出的特征以及所述估计的成对偏移的元数据;
使用所述元数据编码每个包;及
从多个视频源接收包,其中每个视频源把包传输到分配给该视频源的通道。
25.权利要求24的方法,其中每个包的大小对应于每个视频源编码的视频数据的量。
26.权利要求24的方法,其中每个包的大小对应于在聚集系统中的物理存储位置。
27.权利要求26的方法,其中每个包是相同大小。
28.权利要求27的方法,其中包的大小等于多盘阵列中的盘带条。
29.权利要求24的方法,其中为多传感器阵列中的每个光学传感器分配一个通道。
30.权利要求24的方法,其中所述多个视频源使用同步信号并发地获取视频数据。
CN2007800126760A 2006-02-13 2007-02-13 组合多个视频流的系统和方法 Expired - Fee Related CN101421747B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US77267006P 2006-02-13 2006-02-13
US60/772,670 2006-02-13
PCT/US2007/062040 WO2007095526A2 (en) 2006-02-13 2007-02-13 System and method to combine multiple video streams

Publications (2)

Publication Number Publication Date
CN101421747A CN101421747A (zh) 2009-04-29
CN101421747B true CN101421747B (zh) 2012-07-11

Family

ID=38191215

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2007800126760A Expired - Fee Related CN101421747B (zh) 2006-02-13 2007-02-13 组合多个视频流的系统和方法
CNA2007800127388A Pending CN101473267A (zh) 2006-02-13 2007-02-13 多镜头阵列系统和方法
CN201410524877.0A Pending CN104317157A (zh) 2006-02-13 2007-02-13 多镜头阵列系统和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CNA2007800127388A Pending CN101473267A (zh) 2006-02-13 2007-02-13 多镜头阵列系统和方法
CN201410524877.0A Pending CN104317157A (zh) 2006-02-13 2007-02-13 多镜头阵列系统和方法

Country Status (5)

Country Link
US (2) US9182228B2 (zh)
EP (3) EP1991949A4 (zh)
JP (2) JP5349055B2 (zh)
CN (3) CN101421747B (zh)
WO (2) WO2007095540A2 (zh)

Families Citing this family (241)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7073158B2 (en) 2002-05-17 2006-07-04 Pixel Velocity, Inc. Automated system for designing and developing field programmable gate arrays
US20060044451A1 (en) * 2004-08-30 2006-03-02 Eastman Kodak Company Wide angle lenslet camera
US20060072820A1 (en) * 2004-10-05 2006-04-06 Nokia Corporation System and method for checking framing and sharpness of a digital image
US8160394B2 (en) * 2006-05-11 2012-04-17 Intergraph Software Technologies, Company Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates
US7581702B2 (en) * 2006-06-09 2009-09-01 Insitu, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
US8442989B2 (en) * 2006-09-05 2013-05-14 Thomson Licensing Method for assigning multimedia data to distributed storage devices
ES2572185T3 (es) * 2006-09-20 2016-05-30 Orange Procedimiento de comunicación entre varios terminales
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
US8020100B2 (en) * 2006-12-22 2011-09-13 Apple Inc. Fast creation of video segments
US8943410B2 (en) * 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US7992097B2 (en) 2006-12-22 2011-08-02 Apple Inc. Select drag and drop operations on video thumbnails across clip boundaries
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
WO2008103850A2 (en) * 2007-02-21 2008-08-28 Pixel Velocity, Inc. Scalable system for wide area surveillance
DE102007010186A1 (de) * 2007-03-02 2008-09-04 Robert Bosch Gmbh Vorrichtung, Verfahren und Computerprogramm zur bildgestützten Verfolgung von Überwachungsobjekten
US8189061B1 (en) * 2007-03-21 2012-05-29 Ambarella, Inc. Digital still camera with multiple frames combined into a single frame for digital anti-shake/anti-blur
US20080231643A1 (en) * 2007-03-21 2008-09-25 Nick Fletcher Method and apparatus for controlling the size or opacity of map elements rendered in an interactive map view
US8117137B2 (en) 2007-04-19 2012-02-14 Microsoft Corporation Field-programmable gate array based accelerator system
US8487957B1 (en) * 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US8725712B2 (en) * 2007-07-16 2014-05-13 Nokia Corporation Context based media content presentation
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
US20090031390A1 (en) * 2007-07-26 2009-01-29 Broadcom Corporation Method and apparatus for synchronized transmission and reception of audiovisual data and index data in internet protocol television applications for implementing remote network record with instant personal video recorder support
WO2009038994A1 (en) * 2007-09-23 2009-03-26 Honeywell International Inc. Dynamic tracking of intruders across a plurality of associated video screens
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
US20090144030A1 (en) * 2007-12-04 2009-06-04 Tele Atlas North America, Inc. Computer readable storage medium storing instructions for applying clothoid curve values to roadways in a geographic data information system
US8264505B2 (en) 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
CN101478660A (zh) * 2008-01-02 2009-07-08 联发科技(合肥)有限公司 用信号接收模块来录制多媒体节目的方法及系统
US9342206B1 (en) * 2008-01-11 2016-05-17 Lockheed Martin Corporation Fingerprint location indicator
US8126858B1 (en) 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system
US8760401B2 (en) * 2008-04-21 2014-06-24 Ron Kimmel System and method for user object selection in geographic relation to a video display
US8531522B2 (en) * 2008-05-30 2013-09-10 Verint Systems Ltd. Systems and methods for video monitoring using linked devices
JP4819851B2 (ja) * 2008-07-31 2011-11-24 キヤノン株式会社 診断支援装置およびその方法、プログラム、記録媒体
US8189681B1 (en) 2008-09-24 2012-05-29 Matrox Graphics Inc. Displaying multiple compressed video streams on display devices
US8301638B2 (en) 2008-09-25 2012-10-30 Microsoft Corporation Automated feature selection based on rankboost for ranking
US8131659B2 (en) 2008-09-25 2012-03-06 Microsoft Corporation Field-programmable gate array based accelerator system
US8400539B2 (en) * 2008-11-12 2013-03-19 Bae Systems Information And Electronic Systems Integration Inc. High density composite focal plane array
EP3396416A1 (en) 2008-11-25 2018-10-31 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging
US8406507B2 (en) 2009-01-14 2013-03-26 A9.Com, Inc. Method and system for representing image patches
US9380260B2 (en) * 2009-01-21 2016-06-28 Texas Instruments Incorporated Multichannel video port interface using no external memory
US8300108B2 (en) * 2009-02-02 2012-10-30 L-3 Communications Cincinnati Electronics Corporation Multi-channel imaging devices comprising unit cells
US8738647B2 (en) * 2009-02-18 2014-05-27 A9.Com, Inc. Method and system for image matching
CN102027750B (zh) * 2009-03-30 2012-08-29 松下电器产业株式会社 记录介质、再现装置及集成电路
US8937641B1 (en) * 2009-05-18 2015-01-20 The United States Of America As Represented By The Secretary Of The Navy Holographic map
US20100315328A1 (en) * 2009-06-11 2010-12-16 Rgb Spectrum Integrated control system with multiple media sources and corresponding displays
US9482528B2 (en) * 2009-09-18 2016-11-01 Logos Technologies Llc Systems and methods for persistent surveillance and large volume data streaming
EP2482760B1 (en) 2009-09-30 2020-03-25 National ICT Australia Limited Object tracking for artificial vision
BR112012007309A2 (pt) * 2009-10-19 2016-04-19 Intergraph Technologies Co busca de dados, analisador e sincronização de dados de vídeo e de telemetria
FR2953088B1 (fr) * 2009-11-26 2012-03-02 Defiboat Technology Procede de transmission de donnees d'image et installation correspondante
US8363109B2 (en) * 2009-12-10 2013-01-29 Harris Corporation Video processing system providing enhanced tracking features for moving objects outside of a viewable window and related methods
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
CN101825840A (zh) * 2010-05-06 2010-09-08 浙江大学 一种多镜头实时全景成像系统
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9361729B2 (en) 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
KR101734963B1 (ko) * 2010-07-05 2017-05-12 삼성전자주식회사 복수의 촬상 모듈을 갖는 촬상 장치
US8477190B2 (en) 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
JP5672862B2 (ja) 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US8463036B1 (en) 2010-09-30 2013-06-11 A9.Com, Inc. Shape-based search of a collection of content
US8422782B1 (en) 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
EP2442550B1 (en) * 2010-10-14 2015-06-17 Sony Corporation Image capturing device, system and method
WO2012061571A1 (en) * 2010-11-03 2012-05-10 The Trustees Of Columbia University In The City Of New York Camera systems and methods for gigapixel computational imaging
TWI514324B (zh) * 2010-11-30 2015-12-21 Ind Tech Res Inst 影像目標區域追蹤系統與方法及電腦程式產品
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
CN102075290B (zh) * 2010-12-23 2013-04-24 西北工业大学 一种航空总线数据的编码解码方法
TWI417640B (zh) * 2010-12-31 2013-12-01 Altek Corp 鏡頭校準系統
CN102137229A (zh) * 2011-03-09 2011-07-27 上海贝威科技有限公司 嵌入式高清全景摄像机及方法
US9746988B2 (en) 2011-05-23 2017-08-29 The Boeing Company Multi-sensor surveillance system with a common operating picture
US9965520B2 (en) 2011-06-17 2018-05-08 Microsoft Corporation Efficient logical merging over physically divergent streams
US9726486B1 (en) * 2011-07-29 2017-08-08 Rockwell Collins, Inc. System and method for merging enhanced vision data with a synthetic vision data
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US20130070051A1 (en) * 2011-09-20 2013-03-21 Cheng-Tsai Ho Video encoding method and apparatus for encoding video data inputs including at least one three-dimensional anaglyph video, and related video decoding method and apparatus
US8953044B2 (en) 2011-10-05 2015-02-10 Xerox Corporation Multi-resolution video analysis and key feature preserving video reduction strategy for (real-time) vehicle tracking and speed enforcement systems
US8873865B2 (en) * 2011-10-10 2014-10-28 Qualcomm Incorporated Algorithm for FAST corner detection
US8744166B2 (en) * 2011-11-03 2014-06-03 United Technologies Corporation System and method for multiple simultaneous automated defect detection
WO2013106390A1 (en) * 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9159364B1 (en) 2012-01-30 2015-10-13 Google Inc. Aggregation of related media content
CN102621599B (zh) * 2012-03-26 2013-10-30 天津大学 一种可增大视场角的内侧曲面复眼透镜
EP3122034B1 (en) * 2012-03-29 2020-03-18 Axis AB Method for calibrating a camera
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
TWI438728B (zh) * 2012-04-25 2014-05-21 Hon Hai Prec Ind Co Ltd 交通流量管控系統及方法
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US9148699B2 (en) * 2012-06-01 2015-09-29 Texas Instruments Incorporated Optimized algorithm for construction of composite video from a set of discrete video sources
US9373051B2 (en) 2012-06-14 2016-06-21 Insitu, Inc. Statistical approach to identifying and tracking targets within captured image data
US9628682B2 (en) 2012-07-13 2017-04-18 Board Of Trustees Of The University Of Alabama, Fo High-resolution hyper-spectral orthographic imaging spectrometer
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
US9256957B1 (en) 2012-09-13 2016-02-09 Bae Systems Information And Electronic Systems Integration Inc. Method for moving-object detection tracking identification cueing of videos
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US9036910B1 (en) * 2012-09-28 2015-05-19 The Boeing Company Method and system for processing a sequence of images using fingerprints
US9172875B2 (en) * 2012-10-12 2015-10-27 Arcsoft Hangzhou Co., Ltd. Video processing method and electronic device
US9147275B1 (en) 2012-11-19 2015-09-29 A9.Com, Inc. Approaches to text editing
CN102967297B (zh) * 2012-11-23 2014-01-29 浙江大学 空间可移动视觉传感器阵列系统及图像信息融合方法
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
CN102944934B (zh) * 2012-12-12 2016-01-20 南京迈得特光学有限公司 多层曲面复眼式180°大视场成像系统
GB2509102B (en) * 2012-12-20 2015-09-02 Thales Holdings Uk Plc Image processor for processing images received from a plurality of image sensors
US9342930B1 (en) 2013-01-25 2016-05-17 A9.Com, Inc. Information aggregation for recognized locations
US9380275B2 (en) 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
CN104038672B (zh) * 2013-03-07 2019-06-25 联想(北京)有限公司 图像形成方法和电子设备
US8881213B2 (en) * 2013-03-13 2014-11-04 Verizon Patent And Licensing Inc. Alignment of video frames
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9071732B2 (en) 2013-03-15 2015-06-30 Tolo, Inc. Distortion correcting sensors for diagonal collection of oblique imagery
KR20140117995A (ko) * 2013-03-27 2014-10-08 한국전자통신연구원 다중 사용자 영상 전송 장치 및 방법
US9563105B1 (en) * 2013-04-10 2017-02-07 Ic Real Tech Inc. Screw coupler enabling direct secure fastening between communicating electronic components
WO2014169952A1 (de) * 2013-04-16 2014-10-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Justieren eines multi-kamerasystems, multi kamerasystem und justierhilfe
JP2016136166A (ja) * 2013-05-09 2016-07-28 パナソニック株式会社 撮像装置
FR3006296B1 (fr) * 2013-05-31 2016-11-11 Airinov Drone comprenant un dispositif imageur multispectral pour la generation de cartes representant un etat vegetal d'une culture
ITPI20130049A1 (it) * 2013-06-05 2014-12-06 Nicola Ughi Metodo ed apparecchiatura per ottenere fotografie panoramiche
WO2014197879A1 (en) 2013-06-06 2014-12-11 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
CN108234851B (zh) 2013-06-13 2019-08-16 核心光电有限公司 双孔径变焦数字摄影机
CN105284108B (zh) * 2013-06-14 2019-04-02 株式会社日立制作所 影像监视系统、监视装置
CN103281484A (zh) * 2013-06-17 2013-09-04 清华大学 十亿像素视频采集装置
FR3007176B1 (fr) * 2013-06-18 2016-10-28 Airbus Operations Sas Dispositif, systeme et procede d’escorte pour un aeronef au sol
JP2016523389A (ja) 2013-07-04 2016-08-08 コアフォトニクス リミテッド 小型望遠レンズアセンブリ
EP3028443A2 (en) 2013-08-01 2016-06-08 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
CN104580869B (zh) * 2013-10-10 2018-06-05 华为技术有限公司 一种光场相机
US9330171B1 (en) * 2013-10-17 2016-05-03 Google Inc. Video annotation using deep network architectures
US10523903B2 (en) 2013-10-30 2019-12-31 Honeywell International Inc. Computer implemented systems frameworks and methods configured for enabling review of incident data
GB2520310A (en) * 2013-11-15 2015-05-20 Sony Corp A method, server, client and software
US9225888B2 (en) * 2013-11-19 2015-12-29 Largan Precision Co., Ltd. Image capturing array system and fingerprint identification device
US9424598B1 (en) 2013-12-02 2016-08-23 A9.Com, Inc. Visual search in a controlled shopping environment
EP2881697A1 (en) * 2013-12-06 2015-06-10 BAE Systems PLC Capturing and processing images
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
CN106464858B (zh) 2014-04-26 2019-08-20 泰特拉维公司 用于3d成像中的深度感测的耐用且延伸的照明波形的方法和系统
EP3149909A4 (en) * 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
US9536161B1 (en) 2014-06-17 2017-01-03 Amazon Technologies, Inc. Visual and audio recognition for scene change events
US9524432B1 (en) * 2014-06-24 2016-12-20 A9.Com, Inc. Fast interest point extraction for augmented reality
US20150381926A1 (en) * 2014-06-27 2015-12-31 Sport Scope Inc. Synchronous Capturing, Storing, and/or Providing Data From Multiple Sources
CN104063867B (zh) * 2014-06-27 2017-02-08 浙江宇视科技有限公司 一种多摄像机视频同步方法和装置
US9531962B2 (en) * 2014-07-24 2016-12-27 Samsung Electronics Co., Ltd. Image set alignment and combination processing
US10334159B2 (en) * 2014-08-05 2019-06-25 Panasonic Corporation Correcting and verifying method, and correcting and verifying device
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN104309824A (zh) * 2014-09-12 2015-01-28 上海卫星工程研究所 嵌入式复眼相机载荷卫星构型
WO2016051431A1 (ja) * 2014-09-30 2016-04-07 株式会社ブリリアントサービス 入出力装置、入出力プログラム、および入出力方法
US10669042B2 (en) 2014-10-23 2020-06-02 Wet Unmanned aerial vehicle with lighting and cooling therefor
EP3167430A4 (en) 2014-11-04 2017-08-16 SZ DJI Technology Co., Ltd. Camera calibration
EP3029942B1 (en) 2014-12-04 2017-08-23 Axis AB Method and device for inserting a graphical overlay in a video stream
CN104637041B (zh) * 2014-12-31 2017-06-23 浙江理工大学 一种基于参照特征的宽幅织物图像获取与拼接方法
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
US9788021B2 (en) * 2015-02-20 2017-10-10 Panasonic Avionics Corporation Display system for a vehicle entertainment system
KR102369792B1 (ko) * 2015-03-05 2022-03-03 한화테크윈 주식회사 촬영 장치 및 촬영 방법
KR102160867B1 (ko) 2015-04-02 2020-09-29 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
US9632846B2 (en) 2015-04-02 2017-04-25 Microsoft Technology Licensing, Llc Complex event processor for historic/live/replayed data
ES2908652T3 (es) 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
CN104730688B (zh) * 2015-04-17 2017-01-11 张家港中贺自动化科技有限公司 一种宽视场高分辨率光学系统
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
EP3086562B1 (en) * 2015-04-23 2017-05-24 Axis AB Method and device for processing a video stream in a video camera
US10142609B2 (en) * 2015-04-29 2018-11-27 Northrop Grumman Systems Corporation Dynamically adjustable situational awareness interface for control of unmanned vehicles
WO2016174524A2 (en) * 2015-04-29 2016-11-03 Tomtom International B.V. Data processing systems
CN110471156B (zh) 2015-05-28 2021-08-03 核心光电有限公司 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度
US10380431B2 (en) 2015-06-01 2019-08-13 Placemeter LLC Systems and methods for processing video streams
US9563957B1 (en) * 2015-07-02 2017-02-07 Yesvideo, Inc. 2D/3D image scanning and compositing
US20170019585A1 (en) * 2015-07-15 2017-01-19 AmperVue Incorporated Camera clustering and tracking system
CN204993576U (zh) * 2015-07-21 2016-01-20 杭州海康威视数字技术股份有限公司 摄像机及集成电路板
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
FR3041136A1 (fr) * 2015-09-14 2017-03-17 Parrot Procede de determination d'une duree d'exposition d'une camera embarque sur un drone, et drone associe.
US9807288B2 (en) 2015-09-25 2017-10-31 Intel Corporation Systems, methods, and apparatuses for implementing multi-lens array cameras and mounts
US9959468B2 (en) * 2015-11-06 2018-05-01 The Boeing Company Systems and methods for object tracking and classification
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
CN108292365A (zh) 2015-12-09 2018-07-17 深圳市大疆创新科技有限公司 用于无人载运工具的成像系统和方法
CN105472247B (zh) * 2015-12-25 2019-03-01 江勇 一种基于无人驾驶飞行器上的多路图形图像处理系统及方法
US10696395B2 (en) 2015-12-28 2020-06-30 Wet Tethered unmanned aerial system
WO2017117296A1 (en) 2015-12-28 2017-07-06 Dezso Molnar Water and lighting displays including unmanned aerial system
US11137582B2 (en) 2015-12-28 2021-10-05 Spere Optics Company, Llc Omnidirectional catadioptric lens with odd aspheric contour or multi-lens
US10745126B2 (en) 2015-12-28 2020-08-18 Wet Unmanned aerial system with transportable screen
CN109946832B (zh) 2015-12-29 2021-01-19 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
CN108780142B (zh) 2016-02-29 2023-10-31 恩耐股份有限公司 3d成像系统和方法
US10499016B1 (en) * 2016-04-21 2019-12-03 Probable Cause Solutions LLC System and method for synchronizing camera footage from a plurality of cameras in canvassing a scene
US10477137B2 (en) 2016-05-20 2019-11-12 Aqueti Incorporated Array camera imaging system having distributed memory
US9860568B2 (en) 2016-05-24 2018-01-02 Atti International Services Company, Inc. World view window
KR102002718B1 (ko) 2016-05-30 2019-10-18 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
CN107925728B (zh) 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
CN105954536B (zh) * 2016-06-29 2019-02-22 英华达(上海)科技有限公司 一种光流测速模块与测速方法
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
DE102016218123A1 (de) 2016-09-21 2018-03-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bildverarbeitung in einem Fortbewegungsmittel
US20190244391A1 (en) * 2016-10-20 2019-08-08 Spookfish Innovations Pty Ltd An aerial camera boresight calibration system
CN108021141B (zh) * 2016-10-31 2021-07-16 武汉众宇动力系统科技有限公司 无人机控制终端及无人机动力监控系统操作界面显示方法
US10198841B2 (en) * 2016-11-30 2019-02-05 Gopro, Inc. Map view
TWI619960B (zh) * 2016-11-30 2018-04-01 Nat Chung Shan Inst Science & Tech Optical design of modular laser radar sensor
US10250662B1 (en) * 2016-12-15 2019-04-02 EMC IP Holding Company LLC Aggregating streams matching a query into a single virtual stream
CN106791869B (zh) * 2016-12-21 2019-08-27 中国科学技术大学 基于光场子孔径图像相对位置关系的快速运动搜索方法
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
US10362241B2 (en) 2016-12-30 2019-07-23 Microsoft Technology Licensing, Llc Video stream delimiter for combined frame
CN113805406A (zh) 2017-01-12 2021-12-17 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
US10560666B2 (en) 2017-01-21 2020-02-11 Microsoft Technology Licensing, Llc Low-cost, long-term aerial imagery
US11347016B2 (en) 2017-02-23 2022-05-31 Corephotonics Ltd. Folded camera lens designs
US10412395B2 (en) * 2017-03-10 2019-09-10 Raytheon Company Real time frame alignment in video data
US10390030B2 (en) 2017-03-10 2019-08-20 Raytheon Company Symbology encoding in video data
US10645286B2 (en) 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
WO2018175680A1 (en) * 2017-03-24 2018-09-27 Nxtgen Technology, Inc. Uhd holographic filming and computer generated video process
JP6473188B2 (ja) * 2017-03-28 2019-02-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 深度マップを生成するための方法、装置およびプログラム
JP7334881B2 (ja) * 2017-05-10 2023-08-29 モービルアイ ビジョン テクノロジーズ リミテッド 自動運転車両システム用交差視野
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
US11361640B2 (en) * 2017-06-30 2022-06-14 Johnson Controls Tyco IP Holdings LLP Security camera system with multi-directional mount and method of operation
US11288937B2 (en) * 2017-06-30 2022-03-29 Johnson Controls Tyco IP Holdings LLP Security camera system with multi-directional mount and method of operation
DE102017114962B4 (de) * 2017-07-05 2019-08-29 Dallmeier Electronic Gmbh & Co. Kg Multi-Sensor-Kamera
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10523878B2 (en) 2017-09-11 2019-12-31 Embrionix Design Inc. Cascaded standardized hot-pluggable transceiving units providing a multiviewer functionality
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
US10931854B2 (en) 2017-10-26 2021-02-23 Facebook, Inc. Aggregating video streams from cameras based on social connections in an online system
CN108063976B (zh) * 2017-11-20 2021-11-09 北京奇艺世纪科技有限公司 一种视频处理方法及装置
KR102104761B1 (ko) 2017-11-23 2020-04-27 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
US11212512B2 (en) 2017-12-28 2021-12-28 Nlight, Inc. System and method of imaging using multiple illumination pulses
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
EP3707893B1 (en) 2018-02-12 2023-03-08 Corephotonics Ltd. Folded camera with optical image stabilization
US20210037183A1 (en) * 2018-02-15 2021-02-04 Aqueti Incorporated Monocentric multiscale (mms) camera having enhanced field of view
KR102470465B1 (ko) * 2018-02-19 2022-11-24 한화테크윈 주식회사 영상 처리 장치 및 방법
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20230098686A (ko) 2018-04-23 2023-07-04 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
US11115623B2 (en) 2018-05-07 2021-09-07 Maxim Integrated Products, Inc. Systems and methods for asymmetric image splitter with line mark memory
WO2019237659A1 (en) * 2018-06-11 2019-12-19 Suzhou Aqueti Technology Co., Ltd. Blind compressive sampling method, apparatus and imaging system
US10411793B1 (en) 2018-06-20 2019-09-10 Goodrich Corporation Data transport and time synchronization for ISR systems
CN108810487A (zh) * 2018-07-02 2018-11-13 重庆电力高等专科学校 一种无人机图像采集信息分类的数据对接记录系统
CN111316346B (zh) 2018-08-04 2022-11-29 核心光电有限公司 摄像机上方的可切换连续显示信息系统
KR102112841B1 (ko) * 2018-08-22 2020-05-19 (주)리플레이 촬상유닛을 포함하는 촬영장치
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
TWI690878B (zh) * 2018-11-02 2020-04-11 緯創資通股份有限公司 同步播放系統及同步播放方法
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
US11315276B2 (en) 2019-03-09 2022-04-26 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
US20210019545A1 (en) * 2019-07-16 2021-01-21 Honeywell International Inc. Method and system to display object locations during a search and rescue operation
WO2021019318A1 (en) 2019-07-31 2021-02-04 Corephotonics Ltd. System and method for creating background blur in camera panning or motion
CN110646919B (zh) * 2019-08-22 2021-06-25 江西联创电子有限公司 鱼眼镜头
CN110677623B (zh) * 2019-10-15 2021-09-10 北京百度网讯科技有限公司 数据处理的方法、装置、设备和存储介质
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11003713B1 (en) * 2019-11-25 2021-05-11 Sap Se Automated updating of video content
KR20220058593A (ko) 2019-12-09 2022-05-09 코어포토닉스 리미티드 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
US20210191774A1 (en) * 2019-12-18 2021-06-24 Micron Technology, Inc. Controlling quality-of-service for input/output streams associated with key-value database
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
CN114730064A (zh) 2020-07-15 2022-07-08 核心光电有限公司 扫描折叠相机的视点像差校正
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN112463093B (zh) * 2020-11-27 2022-06-21 威创集团股份有限公司 一种多显示终端图标数据显示方法、系统和计算机存储介质
CN113099182B (zh) * 2021-04-08 2022-11-22 西安应用光学研究所 基于机载并行处理架构的多视窗实时缩放方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496535A (zh) * 2001-12-07 2004-05-12 ���ṫ˾ 图像处理装置和图像处理方法、存储介质及计算机程序

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2104976A (en) 1936-02-29 1938-01-11 Leon T Eliel Apparatus for aerial photography
US2433534A (en) * 1944-04-14 1947-12-30 Chicago Aerial Survey Company Stereoscopic camera
US2841063A (en) 1955-03-10 1958-07-01 Park Wallace Sidney Double aerial cameras
US3392645A (en) 1965-11-29 1968-07-16 Neasham Robert Stevenson Spectral-zonal photographic system
US3518929A (en) * 1967-03-06 1970-07-07 Gen Electric Three dimensional camera
US3842527A (en) * 1973-12-03 1974-10-22 G Low Firearm with exchangeable barrels
US3901707A (en) * 1973-12-07 1975-08-26 Euthenics Systems Corp Photogrammetric methods for the preparation of anaglyphic, orthophotographs
US3893221A (en) * 1973-12-26 1975-07-08 Polaroid Corp Lens assembly mounting method and apparatus
US3896463A (en) * 1974-01-02 1975-07-22 Donald M Laskey Accessory mounting apparatus for camera
US4108336A (en) * 1977-06-20 1978-08-22 Anderson Jr David L Probe for extracting toxic fluids from an hermetically sealed container
JPS5484719A (en) 1977-12-19 1979-07-05 Konishiroku Photo Ind Co Ltd Close-up method using strobe light
US5104217A (en) * 1986-03-17 1992-04-14 Geospectra Corporation System for determining and controlling the attitude of a moving airborne or spaceborne platform or the like
US4797942A (en) 1987-03-02 1989-01-10 General Electric Pyramid processor for building large-area, high-resolution image by parts
US4877085A (en) * 1988-12-27 1989-10-31 Pullig Jr Joe G Manually operated spear apparatus
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5118925A (en) * 1990-08-13 1992-06-02 Itt Corporation Electromagnetic interference shielding device for image intensifiers
US5200818A (en) 1991-03-22 1993-04-06 Inbal Neta Video imaging system with interactive windowing capability
US5276321A (en) * 1991-04-15 1994-01-04 Geophysical & Environmental Research Corp. Airborne multiband imaging spectrometer
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system
EP0715743B1 (en) 1993-08-25 2001-03-07 The Australian National University Panoramic imaging system
US7010144B1 (en) * 1994-10-21 2006-03-07 Digimarc Corporation Associating data with images in imaging systems
JPH0896165A (ja) * 1994-09-29 1996-04-12 Fujitsu Ltd 画像生成方法及び画像生成装置
US5426476A (en) 1994-11-16 1995-06-20 Fussell; James C. Aircraft video camera mount
EP0716370A3 (en) 1994-12-06 2005-02-16 International Business Machines Corporation A disk access method for delivering multimedia and video information on demand over wide area networks
US5659323A (en) * 1994-12-21 1997-08-19 Digital Air, Inc. System for producing time-independent virtual camera movement in motion pictures and other media
US7224819B2 (en) * 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US5611769A (en) * 1995-09-22 1997-03-18 Welch Allyn, Inc. Detachable connector assembly for use with video camera equipped medical instruments
US6141034A (en) 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US5969760A (en) * 1996-03-14 1999-10-19 Polaroid Corporation Electronic still camera having mechanically adjustable CCD to effect focus
US5894323A (en) * 1996-03-22 1999-04-13 Tasc, Inc, Airborne imaging system using global positioning system (GPS) and inertial measurement unit (IMU) data
US6226418B1 (en) * 1997-11-07 2001-05-01 Washington University Rapid convolution based large deformation image matching via landmark and volume imagery
EP1450276A3 (en) 1996-10-31 2007-08-08 Sensormatic Electronics Corporation Intelligent video information management system
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US6052539A (en) * 1997-11-12 2000-04-18 Robert Latorre Productions, Inc. Camera that produces a special effect
US7280134B1 (en) 1998-01-26 2007-10-09 Thales Avionics, Inc. Landscape camera system with electronic field of view switching
US6522325B1 (en) * 1998-04-02 2003-02-18 Kewazinga Corp. Navigable telepresence method and system utilizing an array of cameras
US6782132B1 (en) 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
WO2000010129A1 (en) 1998-08-12 2000-02-24 Pixonics Llc System and method for using bitstream information to process images for use in digital display systems
CN2338769Y (zh) * 1998-09-16 1999-09-15 苏州市第二电子仪器厂 显微摄像分析系统的光学接口
JP4170488B2 (ja) 1998-12-24 2008-10-22 富士重工業株式会社 航空機による目標捜索装置
US6834083B1 (en) * 1999-04-16 2004-12-21 Sony Corporation Data transmitting method and data transmitter
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
GB2359918A (en) 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
JP2001145093A (ja) 1999-11-18 2001-05-25 Hitachi Ltd 監視用カメラシステムとその制御装置
US7129971B2 (en) * 2000-02-16 2006-10-31 Immersive Media Company Rotating scan self-cleaning camera
WO2001089204A1 (en) * 2000-04-21 2001-11-22 Lockheed Martin Corporation Wide-field extended-depth doubly telecentric catadioptric optical system for digital imaging
JP4273636B2 (ja) 2000-06-30 2009-06-03 ソニー株式会社 情報記録装置及び方法、情報記録システム
DE10034601B4 (de) 2000-07-14 2013-05-23 Leica Geosystems Ag Kamerasystem mit mindestens zwei ersten und zweiten Kameras
IL139995A (en) * 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
JP4131115B2 (ja) 2001-03-07 2008-08-13 ソニー株式会社 データ伝送方法及び装置
JP2002330431A (ja) 2001-04-27 2002-11-15 Sony Corp データ伝送方法及び装置
EP1384046B1 (en) * 2001-05-04 2018-10-03 Vexcel Imaging GmbH Digital camera for and method of obtaining overlapping images
JP4205574B2 (ja) * 2001-05-31 2009-01-07 キヤノン株式会社 画像処理装置及びその制御方法
JP2003023553A (ja) 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US20030048357A1 (en) 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
US7048246B2 (en) 2001-12-07 2006-05-23 Se-Kure Controls, Inc. Universal camera mount
US6982748B2 (en) * 2002-02-25 2006-01-03 Koninklijke Philips Electronics N.V. Automatically switched camera system with indicator for notifying the next subject of the camera system
DE60320169T2 (de) 2002-05-02 2009-04-09 Sony Corp. Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium
WO2004012459A1 (ja) 2002-07-26 2004-02-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法および記録媒体
US7893957B2 (en) * 2002-08-28 2011-02-22 Visual Intelligence, LP Retinal array compound camera system
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
EA008402B1 (ru) 2002-09-20 2007-04-27 М7 Визьюал Интелидженс, Лп Размещаемая на транспортном средстве система сбора и обработки данных
US7012523B2 (en) * 2002-11-05 2006-03-14 Stuart John C System for surveillance of and communication with residential entryway from remote location using existing telephone lines
JP3798747B2 (ja) 2002-12-02 2006-07-19 中央電子株式会社 複数台のカメラを使用した広域撮影方法及びその装置
US7365774B2 (en) * 2002-12-13 2008-04-29 Pierre Louis Device with camera modules and flying apparatus provided with such a device
MXPA05008405A (es) * 2003-02-18 2005-10-05 Nokia Corp Metodo de descodificacion de imagen.
JP2004342252A (ja) 2003-05-16 2004-12-02 Matsushita Electric Ind Co Ltd データ記録装置、およびデータ記録方法
US8200775B2 (en) * 2005-02-01 2012-06-12 Newsilike Media Group, Inc Enhanced syndication
JP2005064906A (ja) 2003-08-13 2005-03-10 Zmp:Kk 撮像装置およびコンピュータプログラム
JP4903358B2 (ja) 2003-09-01 2012-03-28 ソニー株式会社 撮像装置及び方法
US6954310B2 (en) 2003-09-25 2005-10-11 University Of Florida Research Foundation, Inc. High resolution multi-lens imaging device
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP4478863B2 (ja) * 2003-11-19 2010-06-09 ソニー株式会社 表示装置、双方向通信システムおよび表示情報利用方法
WO2005076620A1 (ja) 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. 検出領域調整装置
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
JP2005283756A (ja) 2004-03-29 2005-10-13 Fuji Photo Film Co Ltd カメラマウントキャップおよびヘッドマウントキャップ
JP4463151B2 (ja) 2004-05-25 2010-05-12 富士フイルム株式会社 撮影システムおよび撮影方法
US20050270387A1 (en) 2004-05-25 2005-12-08 Fuji Photo Film Co., Ltd. Photographing system and photographing method
JP4526314B2 (ja) 2004-07-07 2010-08-18 シャープ株式会社 動画像再生装置
JP2006025340A (ja) 2004-07-09 2006-01-26 Canon Inc 広角撮像装置、撮像システムおよびその制御方法
US7750936B2 (en) 2004-08-06 2010-07-06 Sony Corporation Immersive surveillance system interface
US20060028550A1 (en) 2004-08-06 2006-02-09 Palmer Robert G Jr Surveillance system and method
US7307663B2 (en) * 2004-09-16 2007-12-11 Pelco Video surveillance camera
US8789119B2 (en) * 2004-09-30 2014-07-22 Cisco Technology, Inc. Statistical remultiplexer performance for video on demand applications by use of metadata
JP4541825B2 (ja) * 2004-10-15 2010-09-08 キヤノン株式会社 動画像符号化装置及びその制御方法
DE102005001652A1 (de) * 2005-01-10 2006-07-20 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zum Verarbeiten von aus einem Filmaufnahmestrahlengang einer Laufbildkamera abgezweigten Filmbildern
TWI302629B (en) * 2005-08-25 2008-11-01 Powergate Optical Inc A vcm auto-focusing device having position feedback and an auto-focusing method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1496535A (zh) * 2001-12-07 2004-05-12 ���ṫ˾ 图像处理装置和图像处理方法、存储介质及计算机程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2000-215317A 2000.08.04

Also Published As

Publication number Publication date
JP5349055B2 (ja) 2013-11-20
EP1991949A2 (en) 2008-11-19
WO2007095540A8 (en) 2008-07-31
CN101473267A (zh) 2009-07-01
WO2007095526A3 (en) 2008-02-14
US20070188653A1 (en) 2007-08-16
WO2007095526A2 (en) 2007-08-23
EP1991949A4 (en) 2013-02-13
CN101421747A (zh) 2009-04-29
EP1994445A2 (en) 2008-11-26
WO2007095540A3 (en) 2008-04-10
WO2007095540A2 (en) 2007-08-23
US20080060034A1 (en) 2008-03-06
JP2009527149A (ja) 2009-07-23
US9182228B2 (en) 2015-11-10
JP5584893B2 (ja) 2014-09-10
US8369399B2 (en) 2013-02-05
CN104317157A (zh) 2015-01-28
JP2009527150A (ja) 2009-07-23
EP2735902A1 (en) 2014-05-28

Similar Documents

Publication Publication Date Title
CN101421747B (zh) 组合多个视频流的系统和方法
US10630899B2 (en) Imaging system for immersive surveillance
CN102201115B (zh) 无人机航拍视频实时全景图拼接方法
US7675549B1 (en) Imaging architecture for region and time of interest collection and dissemination
US10116910B2 (en) Imaging apparatus and method of providing imaging information
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US8724970B2 (en) Method and apparatus to search video data for an object of interest
US9418299B2 (en) Surveillance process and apparatus
SG191198A1 (en) Imaging system for immersive surveillance
Dufour Intelligent video surveillance systems
CN110383847B (zh) 视频数据中的实时帧对准
CN103875033A (zh) 本地图像部分的选择性拍摄和呈现
CN107197209A (zh) 基于全景相机的视频动态监控管理方法
US20220180639A1 (en) Object information processing device, object information processing method, and object information processing program
CN110710199B (zh) 智能摄像机、图像处理装置以及数据通信方法
US20220188973A1 (en) Systems and methods for synthetic augmentation of cameras using neural networks
CN103595958A (zh) 一种视频追踪分析方法及系统
US20150022662A1 (en) Method and apparatus for aerial surveillance
Gaddam et al. Camera synchronization for panoramic videos
Hu et al. Constraints-based graph embedding optimal surveillance-video mosaicing
US20100007735A1 (en) Arrangement for video surveillance
CN110447230B (zh) 视频数据中的符号体系编码的方法及装置
KR20230098394A (ko) 원거리의 장면을 모니터링하기 위한 영상 서비스 제공 장치 및 방법
Taylor et al. Placement of Full Motion Video (FMV) frames in geographic context using pursuer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120711

Termination date: 20160213

CF01 Termination of patent right due to non-payment of annual fee