CN1316288C - 汽车驾驶室内的物像投影装置 - Google Patents

汽车驾驶室内的物像投影装置 Download PDF

Info

Publication number
CN1316288C
CN1316288C CNB038076462A CN03807646A CN1316288C CN 1316288 C CN1316288 C CN 1316288C CN B038076462 A CNB038076462 A CN B038076462A CN 03807646 A CN03807646 A CN 03807646A CN 1316288 C CN1316288 C CN 1316288C
Authority
CN
China
Prior art keywords
projection
driver
people
projection arrangement
communicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB038076462A
Other languages
English (en)
Other versions
CN1646969A (zh
Inventor
F·马克
T·里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN1646969A publication Critical patent/CN1646969A/zh
Application granted granted Critical
Publication of CN1316288C publication Critical patent/CN1316288C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0055Adaptation of holography to specific applications in advertising or decorative art

Abstract

本发明提出在汽车内室里投影物像的投影装置。在此,该物像主要是全息投影的,而且该装置配有语言输入和输出功能。这样,为司机提供了模拟的副驾驶。为此,在本发明的投影装置中,该投影装置可与传感器(305,306)连接以便监督司机(3)和/或汽车(1),在此,该投影装置被设计成使它能够根据所述传感器(305,306)的第一信号来控制人(2)的投影影象和语言输出。

Description

汽车驾驶室内的物像投影装置
技术领域
本发明涉及在汽车内室里投影物像的投影装置。
背景技术
US-6,236,968 B1公开了一种自动对话系统,它帮助司机保持清醒,其方法是该系统就不同主题与司机进行交谈。为此,该系统具有一个语言识别模块以及一个语言产生模块。为此,可以采用语言合成或所存储的语言。
发明内容
与此相比,本发明提供一种在汽车内室里投影物像的投影装置,该投影装置可与传感器连接以便监督司机和/或汽车,在此,该投影装置被设计成使它能够根据所述传感器的第一信号来控制人的投影影象和语言输出。
本发明的投影装置的优点是,现在,模拟显示出一个物像。所谓物像在这里特别是指模拟的人或动物或其它类生物图象,例如幻想生命体。因而,也能显示出一个物体。因此,为司机很直观地提供了模拟的伴侣和助手。内室在这里尤其是指乘客车厢。通过显示出动物、幻想生命体或物体,就能为司机提供一个舒适的环境,因而不一定必须进行语言输出和与直接同人交谈,而是也能通过如狗叫声使司机注意到各种不同的行驶情况。
尤其有利的是,本装置具有语言输入和输出功能。因而,本装置配有语言识别功能和语言合成或者语言产生功能。这就可以实现对主要是被投影的人输出语言并处理司机所说的话。这样可以模拟人与人之间的对话,这使司机例如缩短了时间或者使他能够通过模拟的人给出有用的提示如短暂休息、行驶情况或汽车技术监控等。根据语言分析即根据司机说话,也可以推断出司机的状态。语言的力度、措词和重读一般都可以说明司机的兴奋程度或状态。
还有利的是,本装置是为了对人全息投影而设计的。全息影像作为众所周知的技术可以对车厢里的人进行投影。因此,可以采用一种完全成熟的、可靠的且也很灵活的技术。
还有利的是,本装置可以让司机来选择待投影的人。这种选择可以针对作为例举参数的人的容貌、声音、性别和身高加以筛选。因此,司机就可以为自己提供满意的模拟伴侣。这也应该有利于改进驾驶风格。上述选择例如可以通过对普通人的类型而存储的目录获得支持。按这种选择,司机也可以使用由他自己携带的所存储的数据目录或通过通信装置接收的数据,以便塑造出合适的人。例如,司机可以选择其配偶或异性朋友来投影。
还有利的是,本装置可以与传感器连接以便对司机和/或汽车进行监控,在此,该装置根据传感器的第一信号来控制人的投影影象和语言输出。这可以使模拟的人能够响应于司机动作和车辆状况。结果,人工模拟出特定的人类举止。尤其可以借此实现对司机的支持,即司机协助系统。所投影显示的人可以通过这些数据向司机提供有关驾驶风格、技术状态或他必须选择旅程路线等方面的指示。这样,司机也可以通过所投影显示的人镇静下来或者可以防止司机睡着。通过相应的为模拟的人所配置的计算容量设计,便可实现对传感器信号的处理和相应反应,从而所模拟的人的举止可变得文雅。
还有利的是,本装置根据座位占用识别的第二信号来进行人的投影。只有当被投影的人应坐在其上的相应座位并没有占用时,被投影的人才被显示出来。于此,这个人本身可以被显示为坐着的人或者也可以相应较小地在车厢里浮现,例如也可以只显示出该人的一部分如头部连同上身。
最后,有利的是:本装置与至少一个通信装置如此相连,即本装置能根据通信装置的第三信号来控制人的投影。例如可以通过投影显示出通话对方,就好象他们在汽车里。这就可以进行特别生动的讨论或者特别令人感到自然的交谈。这些数据可能已经存在汽车里的存储器中以代表这个人或者将其通过通信装置传输。与此同时,通过一种相应的扫描装置就能产生交谈者的数据,以便在汽车里再次实况地投影显示出这个人。
附图说明
本发明的实施例示于附图中并在以下说明书中加以详细描述。
图1表示司机和副司机投影,图2表示本发明装置的方块图,图3表示本发明装置的另一个方块图。
具体实施方式
过去几年里,因过度疲劳驾驶而造成的事故的数量剧增。在德国,这种事故造成的损失每年约为100亿欧元。其原因除了酒精之外就是司机过度疲劳。首先,在运营车辆范围内需要一种系统。该系统属于司机协助系统的范围,而且将来会有很大的增长发展。目前有各种方案来防止司机打瞌睡。一般采用的系统都是通过声音或通过摄象机来监控司机并采取相应措施来防止司机打瞌睡。
按照本发明,显示一个模拟的副司机即一个人像或其它物像,最好是在副驾驶座位区域内,以便支持司机并警告其过度疲劳。为此,可以优先采用全息影像技术。该系统既可作为已有系统的扩展来使用,也可作为单独系统来使用。司机可以通过相应的存储载体和菜单指引来选择其满意的男性或女性伙伴并与之交谈。另外,也可以投影显示出家养小动物或其它物像。
模拟的副司机可作为光学图像投影显示在副司机座位或后座区域里。在此,模拟图像的副司机与司机交谈并在长时间行驶中为其助兴。该系统是如此设计的,即司机能够选择投影应该是什么样子。例如可以想到的是,被投影的可以是一位同事,他通过对讲机来说话;或者可以是司机的近亲如配偶。
本系统被设计成应能先检测出副司机座位是否被占用。这一点是通过一个座位占用识别装置或光学系统来实现的。在一种座位占用识别系统中,可以采用基于重量的系统或利用波如光波、红外波或紫外波或富达波的所谓乘客传感系统。另一种称为副司机协助系统的系统检查司机的数据输入或外部通信装置如电话并从一个存储载体里取出相应的待投影的副司机。
该控制装置的另一个输入可以是一种司机协助系统的输入,该系统也包括一个防止司机入睡警示系统。相应选择该输入,以便确定适当的反应。其优点在于:司机可以进行交谈,同样还有某人在场的感觉。此外,司机可以更好地找到进行休息的理由。这样,这个原理通常可以在运输行业中被用于通信或用作安全系统。
图1示意表示汽车1中的司机3和投影显示的副司机2。这个人2的投影允许司机与之交谈并且从副司机2那里获得关于驾驶方式的有价值的提示。这些提示可能针对司机3本身,例如通过传感器获知司机过度疲劳或很紧张,或者可能涉及一些技术数据,副司机可以将这些数据通知司机,因而,司机在必要时驶向修配厂或者自己对汽车1进行技术维修。
图2以第一方块图表示在汽车里对人投影的本发明投影装置。一个逻辑器201且主要是微处理器是本装置的核心。处理器201控制一个全息影像投影系统202,该系统在汽车1里投影显示出的图象就是全息图像203。也可以应用其它的投影技术来代替全息摄影。在这里,也可以考虑采用造型性质的未来投影技术。处理器201与一个座位识别装置208相连。座位识别装置208用于识别汽车1里各座位的占用情况。座位识别装置208可被设计成以重量为基础的感知装置,或者如上所述,为此应用各种波如声波、光波或微波。只是在一个未占用的座位上能显示出一个全息图像。另外,处理器201与一个司机协助系统204相连。司机协助系统204特别设计成防瞌睡系统。此外,通过司机协助系统204使司机3也得到被投影的人2的技术支持。技术支持意味着,为司机提供驾驶汽车的有价值提示。经过方块206通知处理器201全息图像203外形如何。这取决于通过输入装置的输入,为了简化起见,输入装置在图中未示出,这种输入由司机3自己进行。输入也可以是已存储的数据,这些数据是司机3自己带到汽车1上的。但是司机3也可以通过输入装置编制或选出一个相应的人。为此,也可以例如与互联网即与一种外部存储器建立联系。但方块206也与通信装置如电话207相连,通信装置同样也可以决定全息图像203的显示。本装置可以这样来配置,使得在打电话时如此显示出被投影的人,使他对应于打电话的人。有关数据要么可能已存储在存储器205里,要么得通过通信装置207传输。此时在电话连系的另一端可以对打电话人进行扫描,以便投影显示出打电话人在汽车1里的实况图像。
图3以另一方块图表示本发明提出的装置。处理器301与一个全息摄影投影装置304相连,该装置投影显示出相应的人作为模拟的副司机。另外,处理器301与一个麦克风303相连并与一个话筒302连接,它们用作为语言输入/输出系统。为此处理器301或配置的处理器都具有语言分析和语言合成规则系统。这里也可以动用已存储的语言。所记录的语言,尤其是司机的语言也可以用来分析其情绪状况。还可以用摄相机305和其它的生物统计传感器加以补充,它们都代用或附带使用的。上述其它的生物统计传感器也可以是与司机相连接的那种传感器,例如为了接收其脉搏。另外可以为摄像机305配置图像分析处理规则系统,以便由图像相应推断出司机3的状态。属于此的还有一个疲劳识别系统,即识别出司机是睁着眼睛,还是一直闲着眼睛,此外,处理器301与汽车传感器308连接。汽车传感器306用于使被投影的副司机2给司机3输入重要的技术信息,从而使司机3能够更好地对汽车的相应行驶状况或者技术状态做出反应。最后,处理器301与一个发送/接收装置307相连,该装置经过无线308发出和接收数据。这例如可以是一个移动电话。
如果司机选择待投影的人的三种特征,他就可以根据其外形、声音、性别和身高来选。其它特征如相应的衣着在这里也是可选的。例如司机也可以确定,他是否要看见一个完全的人或者只是人的某部分。除了有防入睡警示外,属于模拟副司机2传送给司机3的技术性信息的还有遵守休息时间、去加油站或对汽车进行其它技术服务。图2、3所示功能也可以进一步组合或者只用其中某部分。

Claims (11)

1.一种在汽车(1)内室里投影物像的投影装置,该投影装置可与传感器(305,306)连接以便监督司机(3)和/或汽车(1),在此,该投影装置被设计成使它能够根据所述传感器(305,306)的第一信号来控制人(2)的投影影象和语言输出。
2.按权利要求1所述的装置,其特征在于:该投影装置配有一个语言输入和输出装置(302,303)。
3.按权利要求1所述的装置,其特征在于:该投影装置是为了对人(2)进行全息影像投影而设计的。
3.按权利要求2所述的装置,其特征在于:该投影装置是为了对人(2)进行全息影像投影而设计的。
5.按权利要求1至4中任一项所述的装置,其特征在于:该投影装置如此构成,即该投影装置能够让司机(3)选择待投影显示的人(2)。
6.按权利要求1至4中任一项所述的装置,其特征在于:该投影装置根据一个座位占有识别装置(208)的第二信号来进行人(2)的投影。
7.按权利要求5所述的装置,其特征在于:该投影装置根据一个座位占有识别装置(208)的第二信号来进行人(2)的投影。
8.按权利要求1至4中任一项所述的装置,其特征在于:该投影装置与一个通信装置(207,307,308)连接,从而使该投影装置能够根据该通信装置(207,307,308)的第三信号来控制人(2)的投影影象。
9.按权利要求5所述的装置,其特征在于:该投影装置与一个通信装置(207,307,308)连接,从而使该投影装置能够根据该通信装置(207,307,308)的第三信号来控制人(2)的投影影象。
10.按权利要求6所述的装置,其特征在于:该投影装置与一个通信装置(207,307,308)连接,从而使该投影装置能够根据该通信装置(207,307,308)的第三信号来控制人(2)的投影影象。
11.按权利要求7所述的装置,其特征在于:该投影装置与一个通信装置(207,307,308)连接,从而使该投影装置能够根据该通信装置(207,307,308)的第三信号来控制人(2)的投影影象。
CNB038076462A 2002-11-16 2003-05-28 汽车驾驶室内的物像投影装置 Expired - Fee Related CN1316288C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10253502.7 2002-11-16
DE10253502A DE10253502A1 (de) 2002-11-16 2002-11-16 Vorrichtung zur Projektion eines Objekts in einem Raum eines Fahrzeugs

Publications (2)

Publication Number Publication Date
CN1646969A CN1646969A (zh) 2005-07-27
CN1316288C true CN1316288C (zh) 2007-05-16

Family

ID=32185765

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038076462A Expired - Fee Related CN1316288C (zh) 2002-11-16 2003-05-28 汽车驾驶室内的物像投影装置

Country Status (6)

Country Link
US (1) US7502152B2 (zh)
EP (1) EP1586003A1 (zh)
JP (1) JP2006510073A (zh)
CN (1) CN1316288C (zh)
DE (1) DE10253502A1 (zh)
WO (1) WO2004046785A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284454A (ja) * 2005-04-01 2006-10-19 Fujitsu Ten Ltd 車載用エージェントシステム
DE102009056257A1 (de) * 2009-11-28 2011-06-01 Marcel Corneille Einrichtung zur Anleitung einer Treibstoffverbrauchsreduzierung bei Kraftfahrzeugen
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
US20130339455A1 (en) * 2012-06-19 2013-12-19 Research In Motion Limited Method and Apparatus for Identifying an Active Participant in a Conferencing Event
CN103634563A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 视频会议显示方法及装置
JPWO2014041977A1 (ja) * 2012-09-14 2016-08-18 エイディシーテクノロジー株式会社 視線遮蔽装置
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
DE102014221821A1 (de) * 2014-10-27 2016-04-28 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung des Betriebs eines zum autonomen Fahren ausgelegten Kraftfahrzeuges
DE102014226254A1 (de) 2014-12-17 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben eines insbesondere autonom oder teilautonom fahrenden/fahrbaren Kraftfahrzeugs, Signalisierungsvorrichtung, Kraftfahrzeug
CN106291927B (zh) * 2015-06-24 2018-12-18 奥迪股份公司 操作机动车辆的投影装置的方法和机动车辆的投影装置
US10609438B2 (en) 2015-08-13 2020-03-31 International Business Machines Corporation Immersive cognitive reality system with real time surrounding media
JP6358212B2 (ja) 2015-09-17 2018-07-18 トヨタ自動車株式会社 車両用覚醒制御システム
CN105427865A (zh) * 2015-11-04 2016-03-23 百度在线网络技术(北京)有限公司 基于人工智能的智能机器人的语音控制系统以及方法
DE102015226581B4 (de) * 2015-12-22 2022-03-17 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US9826803B2 (en) * 2016-01-15 2017-11-28 Dawan Anderson Your view
DE102016215484A1 (de) * 2016-08-18 2018-02-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Signalisieren eines fahrerlosen Betriebszustands eines Kraftfahrzeugs
US11494950B2 (en) 2017-06-16 2022-11-08 Honda Motor Co., Ltd. Experience providing system, experience providing method, and experience providing program
DE102017211748B4 (de) 2017-07-10 2019-06-19 Audi Ag Verfahren zum Betreiben einer Ausgabeeinrichtung eines Kraftfahrzeugs, Fahrerassistenzeinrichtung, und Kraftfahrzeug
JP2019086805A (ja) * 2017-11-01 2019-06-06 トヨタ自動車株式会社 車内システム
CN109466448A (zh) * 2018-09-30 2019-03-15 上海友衷科技有限公司 车载全息投影装置、车载全息投影系统及其全息投影方法
US10829130B2 (en) * 2018-10-30 2020-11-10 International Business Machines Corporation Automated driver assistance system
DE102019119056A1 (de) * 2019-07-15 2021-01-21 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Fortbewegungsmittel zum kontaktanalogen Darstellen eines virtuellen Insassen in einer Fahrgastzelle des Fortbewegungsmittels
US11206325B1 (en) * 2021-04-29 2021-12-21 Paul Dennis Hands free telephone assembly
CN113225588A (zh) * 2021-05-24 2021-08-06 一汽奔腾轿车有限公司 一种长途驾驶陪伴的方法
JP7468463B2 (ja) * 2021-06-11 2024-04-16 トヨタ自動車株式会社 画像投影装置、プログラム及び画像投影方法
DE102022207920A1 (de) 2022-08-01 2024-02-01 Volkswagen Aktiengesellschaft Sicherheitssystem, Verfahren sowie Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236968B1 (en) * 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US20020003571A1 (en) * 2000-03-02 2002-01-10 Kenneth Schofield Video mirror systems incorporating an accessory module
US20020120554A1 (en) * 2001-02-28 2002-08-29 Vega Lilly Mae Auction, imagery and retaining engine systems for services and service providers
US20020154349A1 (en) * 1997-02-07 2002-10-24 Eads Deutschland Gmbh Holographic display screen and method for producing the screen

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632181A (en) * 1970-03-12 1972-01-04 Holotron Corp Two-dimensional holographic image projection systems
JPH0935177A (ja) 1995-07-18 1997-02-07 Hitachi Ltd 運転支援方法および運転支援装置
US6249720B1 (en) 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JP3873386B2 (ja) 1997-07-22 2007-01-24 株式会社エクォス・リサーチ エージェント装置
JP4520647B2 (ja) 2001-01-29 2010-08-11 花王株式会社 人工皮膚モデル、その作製方法及び用途
US7349782B2 (en) * 2004-02-29 2008-03-25 International Business Machines Corporation Driver safety manager

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154349A1 (en) * 1997-02-07 2002-10-24 Eads Deutschland Gmbh Holographic display screen and method for producing the screen
US6236968B1 (en) * 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US20020003571A1 (en) * 2000-03-02 2002-01-10 Kenneth Schofield Video mirror systems incorporating an accessory module
US20020120554A1 (en) * 2001-02-28 2002-08-29 Vega Lilly Mae Auction, imagery and retaining engine systems for services and service providers

Also Published As

Publication number Publication date
WO2004046785A1 (de) 2004-06-03
JP2006510073A (ja) 2006-03-23
US7502152B2 (en) 2009-03-10
EP1586003A1 (de) 2005-10-19
US20050251395A1 (en) 2005-11-10
DE10253502A1 (de) 2004-05-27
CN1646969A (zh) 2005-07-27

Similar Documents

Publication Publication Date Title
CN1316288C (zh) 汽车驾驶室内的物像投影装置
CN110291760A (zh) 用于导出用户意图的解析器
Vocate Self-talk and inner speech: Understanding the uniquely human aspects of intrapersonal communication
Dennett Toward a cognitive theory of consciousness
Pipolo Robert Bresson: A passion for film
US20220224963A1 (en) Trip-configurable content
CN109804389A (zh) 从设备数据提取情绪状态
JP2019158975A (ja) 発話システム
CN111063346A (zh) 基于机器学习的跨媒体明星情感陪伴交互系统
Berlant et al. What survives
Stone A recorded auditory apperception test as a new projective technique
Miller Asexuality and Its Discontents: Making the'Invisible Orientation'Visible in Comics
Tanguy Emotions: the art of communication applied to virtual actors
Sugar The shadows of trauma: ghosts and guilt in Vergil’s Aeneid 2
Radford How can we be moved by the fate of Anna Karenina
US20240059229A1 (en) In-vehicle communication support device and in-vehicle communication support method
WO2021196751A1 (zh) 基于数字人的车舱交互方法、装置及车辆
Zulick Pursuing controversy: Kristeva's split subject, Bakhtin's many-tongued world
Rosa et al. Performing ethics at identity crossroads
Hubble et al. The role of narrative representation and exchange in how older people understand ageing
Dastournejad Actual Conversations for the Virtual World: Design Ideas to Improve Conversation Initiation in Social VR
Harrison et al. “Traits Don't Change, States of Mind Do”: Tracking Olive in Olive Kitteridge by Elizabeth Strout
Putra et al. Context Situation Analysis of Characters’ Utterance in “Little” Movie: Maxim of Quality Violation
Xiao Emotional Repression in Kazuo Ishiguro’s Klara and the Sun
KR20210108565A (ko) 가상 콘텐츠 생성 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070516

Termination date: 20100528