WO2004002593A1 - ストロボスコープを使った入力システムを備える情報処理装置 - Google Patents

ストロボスコープを使った入力システムを備える情報処理装置 Download PDF

Info

Publication number
WO2004002593A1
WO2004002593A1 PCT/JP2003/007900 JP0307900W WO2004002593A1 WO 2004002593 A1 WO2004002593 A1 WO 2004002593A1 JP 0307900 W JP0307900 W JP 0307900W WO 2004002593 A1 WO2004002593 A1 WO 2004002593A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
game
processing apparatus
stroboscope
information
Prior art date
Application number
PCT/JP2003/007900
Other languages
English (en)
French (fr)
Inventor
Hiromu Ueshima
Katsuya Nakagawa
Original Assignee
Ssd Company Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ssd Company Limited filed Critical Ssd Company Limited
Priority to KR1020047021046A priority Critical patent/KR101009161B1/ko
Priority to US10/517,767 priority patent/US7662047B2/en
Priority to EP03733531A priority patent/EP1516654A4/en
Priority to AU2003243940A priority patent/AU2003243940A1/en
Publication of WO2004002593A1 publication Critical patent/WO2004002593A1/ja
Priority to US12/629,615 priority patent/US8083604B2/en

Links

Classifications

    • A63F13/10
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/812Ball games, e.g. soccer or baseball
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8011Ball
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Definitions

  • the present invention relates to an information processing apparatus provided with an input system using a stroboscope, and more particularly, to an information processing apparatus for processing an image signal of an object illuminated by the stroboscope, for example. Furthermore, the present invention relates to an entertainment apparatus such as a game machine provided with an input system using a stroboscope. Furthermore, the present invention relates to a man-machine interface system provided with a stroboscopic input system.
  • Patent Document 1 proposes a sensational game apparatus that uses a piezoelectric buzzer to detect changes in acceleration in the real space of a bat racket and uses it as a game input.
  • a bodily sensation game apparatus it is determined that the game player manipulates (shakes) an object (in the above example, a bat or a racket) in real space when the change in acceleration is a predetermined value or more. ing.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2 0 0 1 1 0 4 6 3 6
  • Patent Document 2 Japanese Patent Application Laid-Open No. 2 0 0 2-2 3 1 4 8 9
  • Patent Document 3 Japanese Patent Application Laid-Open No. 7-1 14010
  • Patent Document 2 On the other hand, if an object is photographed using a stroboscope as disclosed in Patent Document 2, for example, the position and speed of the object as described above can be grasped by analyzing the video signal. .
  • this patent document 2 only discloses a stroboscope, and uses the stroboscope to photograph an object and analyze a video signal obtained thereby in real time. The method is not known from this patent document 2.
  • Patent Document 3 discloses that an object is extracted from a captured video signal, the position of the object is determined, and the position information is used as an input of a game device or a computer. Although it works well in a specific usage environment, it is quite difficult to obtain accurate location information in the room of a home where game consoles are used. The reason is that indoor lighting, windows, objects of various colors, and moving objects other than the game player all affect the detection accuracy as noise and disturbance. A high-speed computer is required to accurately detect the object position by suppressing the effects of such noise and disturbance, and it is not practical for a low-cost information processing apparatus in which the processing capability of the processor is limited.
  • the main object of the present invention is to provide a novel information processing apparatus, entertainment apparatus and man-machine interface system which can provide input in real time to a computer or game machine using a stroboscope. It is to be.
  • the present invention is an information processing apparatus provided with an input system using a stroboscope, which images an object when the stroboscope and the stroboscope emit light and when the stroboscope emits no light, respectively, and emits an image signal when emitting light and an image when no emission occurs.
  • a part of the information on the position, size, velocity, acceleration, motion locus pattern of the object based on the difference between the imaging means for outputting the signal, the plurality of light emission video signals and the plurality of non-light emission video signals.
  • An information processing apparatus comprising: a first means for calculating or all of the above; and a second means for processing information based on the information calculated by the first means.
  • the first means may include determination means for determining whether the information meets a predetermined condition.
  • the first means detects only valid information from the information based on the determination result of the determination means, and transmits to the second means that valid input has been performed. including.
  • the first means is that the distance between the object and the imaging means is greater than the information indicating the size of the object.
  • the first means analyzes the information obtained from the difference between the light emission video signal and the non-light emission video signal and extracts the shape of the object, and the angle of the object and the imaging device from the shape
  • the angle calculation means to calculate is included.
  • the analysis in the above analysis means is to extract two predetermined points in the object, and the calculation in the angle calculation means is to calculate an angle between a line segment connecting the two predetermined points and a predetermined coordinate axis. It is.
  • the light emission time interval of the stroboscope can be freely set.
  • the length of the light emission period and the length of the non-emission period of the stroboscope can be freely set.
  • the exposure period of the imaging means can be freely set.
  • the stroboscopic object comprises a reflector.
  • the stroboscope includes a light source that outputs light of a specific wavelength range, and the imaging device is made to respond only to the specific wavelength range.
  • the imaging means includes a filter that transmits only light in a specific wavelength range, and an imaging element that captures an image formed by the light transmitted through the filter.
  • the imaging means includes an imaging element that captures only an image formed by light of a specific wavelength range.
  • the first means and the second means described above may be processes processed by one or more processors, respectively.
  • the information processing performed by the second means is entertainment processing such as a game.
  • the man-machine interface according to the present invention is a man-machine interface system provided with an input system using a stroboscope, and photographs an object when the stroboscope and the stroboscope emit light and when not emitting light.
  • Image pickup means for outputting a video signal at the time of light emission and a video signal at the time of no light emission, a position, a size, a velocity, an acceleration of an object based on respective differences between the plurality of video signals at the time of light emission
  • the stroboscope (4 2, 5 2: reference numerals of corresponding elements or components in the embodiment, hereinafter the same) illuminate the object (1 4, 9 4, 1 1 2) clearly.
  • the contrast between the target and the non-target in the imaging results is enhanced, and detection of the target is facilitated.
  • the first means 52, S59, S129, Fig. 35: S61, Fig. 22, Fig. 25 and Fig.
  • the second means (52, S63) performs predetermined information processing.
  • the information processing on the application side becomes simple, and the information processing on the application side is replaced with another processing.
  • the judgment means (52, S61, Fig.22, Fig.25, Fig.33) indicate the position, size, velocity, force II velocity, motion locus pattern etc. of the object. It is determined whether the conditions are met or not, and in the information processing on the application side, simple application processing is performed by referring to the determination results and not receiving the calculated information if the predetermined conditions are not met. Is possible.
  • the valid input detection means (52, FIG. 2 2, FIG. 25, FIG. 3 3) included in the first means selects information based on the determination result from the determination means and Communicate only valid input from to the information processing on the application side. Therefore, simple application processing becomes possible.
  • the distance calculation means (52, S11 1, S 11 3) included in the first means calculates the size of the object from the imaging result, and the calculated size
  • the distance between the object and the imaging means is calculated from the information of
  • the position, velocity, acceleration, and movement locus pattern of the object in three-dimensional space are determined from the two-dimensional imaging results. It is possible to
  • the first means includes the analysis means (52, FIG. 24: S 159-S 167) and the angle calculation means (52, S 169), the shape of the object is analyzed from the imaging result to obtain the imaging result It is possible to obtain the angle between the object projected on the two-dimensional image and the imaging means.
  • the analysis means performs analysis (S 166) for extracting predetermined two points in the object, and calculation of the angle in the angle calculation means calculates an angle between a line segment connecting the predetermined two points and a predetermined coordinate axis. (S 169).
  • the processor controls the turning on / off of the infrared light emitting diode so as to emit light from the strobe light source at the necessary time intervals and only at the necessary timing. It is possible to reduce the power consumption.
  • the contrast between the object and other images is further enhanced, which makes it possible to improve detection accuracy with an inexpensive configuration. .
  • the stroboscope When responding to a specific wavelength, the stroboscope includes a light source (e.g., an infrared light emitting diode 42) that outputs light of a specific wavelength range, and the imaging means uses, e.g. Respond only to the area. Therefore, light of a wavelength range not included in moving light sources other than the object to be detected and blinking light sources (such as fluorescent lamps) is used as the light source of the stroboscope, and the imaging means responds only to the light of this wavelength range. This makes it possible to remove these noise sources.
  • the first means and the second means are processes respectively processed by one or more processors (processors for processing 52 and / or S 63).
  • processors processors for processing 52 and / or S 63
  • the man-machine interface of the present invention is used as a man-machine interface for personal computers, workstations, game machines, educational devices, medical devices, etc., an inexpensive and highly accurate input system can be constructed.
  • the imaging result of the object illuminated by the stroboscope is digitally analyzed, and the position, movement speed, acceleration, movement locus and information of the object are referred to as a personal computer or video game machine. It can be treated as an input to the information processing device.
  • FIG. 1 is an illustrative view showing one example of a strobe image photographed by a stroboscope.
  • FIG. 2 is an illustrative view showing an entire configuration of a golf game system according to an embodiment of the present invention.
  • FIG. 3 is an illustrative view showing one example of a photographing unit of FIG. 2 embodiment.
  • FIG. 4 is an illustrative view showing one example of the golf club type input device of FIG. 2 embodiment.
  • FIG. 5 is a block diagram showing the FIG. 2 embodiment.
  • FIG. 6 is a circuit diagram showing a configuration for capturing pixel data from the image sensor to the game processor in the embodiment of FIG. 5 and an LED drive circuit.
  • FIG. 7 is a timing chart showing the operation of FIG. 6 embodiment.
  • FIG. 8 is a timing chart showing a part of FIG. 7 in an enlarged manner.
  • FIG. 9 is an illustrative view showing transitions of states in the embodiment of FIG. 2;
  • FIG. 10 is a flow chart showing the overall operation of the FIG. 2 embodiment.
  • FIG. 11 is a flow chart showing a sensor initialization setting processing operation which is an example of the initialization processing of FIG. 10 embodiment.
  • FIG. 12 is a flow chart showing the command transmission processing operation of FIG.
  • FIG. 13 is a flow chart showing the register setting processing operation of FIG.
  • FIG. 14 is a timing chart showing the register setting processing operation shown in FIG.
  • FIG. 15 is a flow chart showing the operation of the game processor in the FIG. 2 embodiment.
  • FIG. 16 is a flow chart showing the stroboscopic imaging operation in the FIG. 15 embodiment.
  • FIG. 17 is a flow chart showing the pixel data acquisition processing operation in the FIG. 15 embodiment.
  • FIG. 18 is a flow chart showing the attention point extraction processing operation in the FIG. 15 embodiment.
  • FIG. 19 is an illustrative view showing a principle of adopting difference data in the embodiment.
  • FIG. 20 is a flow chart showing the speed vector calculation processing operation in the FIG. 15 embodiment.
  • FIG. 21 is an illustrative view showing each coordinate position in the speed vector calculation operation of FIG.
  • FIG. 22 is a flow chart showing the determination processing operation in the FIG. 15 embodiment.
  • FIG. 10 is an illustrative view showing a modification of a golf club type input device used for a golf game system.
  • FIG. 24 is a flow chart showing the attention point extraction processing operation in the FIG. 15 embodiment when the golf club type input device of FIG. 23 is used.
  • FIG. 25 is a flow chart showing the judgment processing operation in the FIG. 15 embodiment when the golf club type input device of FIG. 23 is used.
  • FIG. 26 is an illustrative view showing an angle in the determination processing operation of FIG.
  • FIG. 27 is an illustrative view showing an entire configuration of a polling game system according to another embodiment of the present invention.
  • FIG. 28 is a schematic cross-sectional view taken along line XXVI I I-XXVI I I of FIG. 27 showing the internal structure of the ball-type input device shown in FIG.
  • FIG. 29 is an illustrative view showing one example of a game screen displayed on a television monitor in FIG. 27 embodiment
  • FIG. 30 is an illustrative view showing one example of a score sheet displayed on the television monitor in FIG. 27 embodiment.
  • FIG. 31 is a block diagram showing the FIG. 27 embodiment.
  • FIG. 32 is a flow chart showing the overall operation of the FIG. 27 embodiment.
  • FIG. 33 is a flow chart showing the judgment processing operation in the FIG. 15 embodiment of the polling system of FIG.
  • FIG. 34 is an illustrative view showing one example of a glove type input device.
  • FIG. 35 is a flow chart showing the motion detection processing operation shown in FIG. 15 embodiment when the glove type input device of FIG. 34 is used.
  • FIG. 36 is a flow chart showing the pixel data array acquisition processing operation in the FIG. 15 embodiment.
  • a golf game system 10 includes a game machine 12 and a golf club type input device 14.
  • the golf club type input device 14 is a game player. Is shaken on the game console 12.
  • the game machine 12 is driven by a DC power supply such as an AC adapter (not shown) or a battery, for example.
  • the game machine 12 is further connected to an AV terminal (not shown) of a television monitor (not shown) through an AV cable 16.
  • the game machine 12 also includes a housing 18 on which a power switch 20 is provided, and directional buttons 22 and an enter key 24 and a cancel key 26 are provided.
  • the direction button 22 has four directions (upper, lower, left, and right) individual potions, and is used, for example, to move a cursor for menu selection or game mode selection on the display screen of the television monitor.
  • the decision key 24 is used to decide an input to the game machine 12.
  • the handset key 26 is used to cancel the input to the game console 12.
  • Inside the housing 16 of the game machine 12, an imaging unit 28 shown in detail in FIG. 3 is housed.
  • the imaging unit 28 includes, for example, a unit base 30 formed by plastic molding, in which a support cylinder 32 is attached.
  • the upper surface of the support cylinder 32 is formed with a trumpet-shaped opening 34 whose inner surface is an inverted conical shape, and the inside of the cylindrical portion below the opening 34 is formed by, for example, transparent plastic molding.
  • Concave lens 3 6 and convex lens 3 8 An optical system including the image sensor 40 is fixed below the convex lens 38. Therefore, the image sensor 40 can capture an image according to the light incident from the aperture 34 through the lenses 36 and 38.
  • Image sensor 40 is a low-resolution C MOS image sensor (eg.
  • the image sensor 40 may have a larger number of pixels or may be composed of another element such as a CCD.
  • a plurality of (four in this embodiment) infrared light emitting diodes 42 are attached to the unit base 30 with the light emitting direction being upward. With this infrared light emitting diode 42, the line 4 4 a shown in FIG.
  • Infrared light is emitted in the range determined by 4 4 b.
  • an infrared filter (a filter that transmits only infrared light) is attached above the unit base 30 so as to cover the opening 34.
  • the infrared light emitting diode 42 functions as an infrared stroboscope because the lighting Z is repeated continuously as described later.
  • strobescope is a generic term for devices that illuminate a moving body intermittently. Therefore, the image sensor 40 is an object that moves within the imaging range indicated by the lines 4 4 a and 4 4 b, and in this embodiment, a reflector provided on the golf club type input device 14.
  • the golf club type input device 14 is formed entirely by, for example, plastic molding, and as shown in FIG. 4, includes a club shaft 46 and a club head 4 8 attached to the tip of the club shaft, to the club On the bottom of the hood 48, a circular reflector 50 is provided, consisting of, for example, a retroreflective sheet. Therefore, as shown in FIG. 2, if the game player holds the club shaft 46 of this input device 14 and swings it above the game console 12 in the same way as playing an ordinary golf club, the head 4 The light reflected by the reflector 50 at the bottom of 8 is captured by the image sensor 40. At this time, since the infrared light emitting diode 42 intermittently emits infrared light as described above, as a result, as shown in FIG.
  • the reflector 50 is intermittently photographed.
  • the speed of the game machine 12 is calculated by processing the strobe image of such a reflector.
  • the club type input device 14 is irradiated with the light of the infrared light emitting diode 42, and reflects the infrared light by the reflector 50. Reflected light from the reflector 50 is photographed by the image sensor 40. Therefore, an image signal of the reflector 50 is output from the image sensor 40. This analog video signal from the image sensor 40 is converted into digital data by an A / D converter (not shown) built in the game processor 52.
  • the game processor 52 intermittently blinks the infrared light emitting diode 42 for the above-described flash photography.
  • any kind of processor can be used as such a game processor 52, in this embodiment, a high-speed processor developed by the present applicant and for which a patent application has already been filed is used.
  • This high-speed processor is disclosed, for example, in Japanese Patent Application Laid-Open No. 1 0 3 7 0 7 [G 0 6 F 1 3/36, 1 5 7 8] and the corresponding US Patent No. 6, 0 7 0, 2 It is disclosed in detail in item 5.
  • the game processor 52 includes various processors such as an arithmetic processor, a graphic processor, a sound processor and a DMA processor (not shown), and the above-mentioned AZD converter, key operation signal and infrared signal used when taking in analog signals. And an input / output control circuit that receives an input signal and provides an output signal to an external device. Therefore, the input signal from operation key 2-2 6 is supplied to the arithmetic processor through this input / output control circuit.
  • the arithmetic processor executes the necessary arithmetic operation according to the input signal and provides the result to the graphic processor or the like. Therefore, the graphic processor and the sound processor execute image processing and sound processing according to the calculation result.
  • the processor 52 is provided with an internal memory (not shown), which includes ROM or RAM (S RAM and / or D RAM).
  • the RAM is used as a temporary memory, a working memory, or a counter or register area (temporary data area) and a flag area.
  • the ROM 52 is connected to the processor 52 through an external bus. A game program to be described later is preset in this ROM 54.
  • the processor 52 is input from the image sensor 40 through the AZD converter
  • the digital video signal is processed to detect the motion of the golf club type input device 14.
  • the operation, graphics processing, sound processing, etc. are executed according to the input signal from the operation keys 22-26.
  • the video signal is an image signal for displaying the game screen
  • the audio signal is a signal for game music and sound effects. Therefore, the game screen is displayed on the screen of a television monitor (not shown). Sounds (sound effects, game music) are output from their speed.
  • the configuration for capturing pixel data from the CMOS image sensor 40 to the game processor 52 will be described in detail.
  • the CMOS image sensor 40 of the embodiment is of a type that outputs a pixel signal (pixel signal) as an analog signal
  • this pixel signal is output to the analog input port of the game processor 52. It is input.
  • the analog input port is connected to an AZD converter (not shown) in this game processor 52, and thus the game processor 52 is a pixel signal (pixel data) converted to digital data from the AZD converter. Get inside it.
  • a reference voltage generation circuit 56 comprising, for example, a resistive voltage divider circuit is provided in association with the image sensor 40, and a reference of constant magnitude is always applied from the circuit 56 to the reference voltage terminal V ref. A voltage is given.
  • Each digital signal for controlling the CMOS image sensor 40 is given to or output from the 10 port of the game processor 52.
  • the I / O ports are digital ports capable of controlling input and output, and are connected to an input / output control circuit (not shown) in the game processor 52.
  • a reset signal for resetting the image sensor 40 is output from the output port of the game processor 52 and is given to the image sensor 40.
  • the image sensor 40 also outputs a pixel data strobe signal and a frame status flag signal, which are applied to the input port of the game processor 52.
  • the pixel data strobe signals It is a strobe signal as shown in Fig. 7 (b) for reading.
  • the frame status flag signal is a flag signal that indicates the state of the image sensor 40, and defines the exposure period of this image sensor as shown in FIG. 7 (a). That is, the mouth level of the frame status flag signal shown in FIG. 7 (a) indicates the exposure period, and the high level shown in FIG. 7 (a) indicates the non-exposure period.
  • the game processor 52 outputs a command (or command + data) to be set to a control register (not shown) in the CMOS image sensor 40 as register data from the I / O port, and for example, high level and low level Output the register setting clock which repeats the loop and give them to the image sensor 40.
  • infrared light emitting diodes 42 a, 42 b, 42 c and 42 d connected in parallel to each other as shown in FIG. 6 are used as the infrared light emitting diodes 42.
  • these four infrared light emitting diodes 42 a 42 d irradiate infrared light in the same direction as the viewpoint direction of the image sensor 40 so as to illuminate the object (the golf club type input device 14). And so as to surround the image sensor 40.
  • these individual infrared light emitting diodes 42 a-42 d are simply referred to as infrared light emitting diodes 42, unless it is necessary to distinguish them in particular.
  • the infrared light emitting diode 42 is turned on or off (unlit) by the LED drive circuit 58.
  • the LED drive circuit 58 receives the above-mentioned frame status flag signal from the image sensor 40, and this flag signal is given to the base of the PNP transistor 68 through a differentiating circuit 60 consisting of a resistor 62 and a capacitor 64.
  • a pull-up resistor 66 is further connected to the PNP transistor 68, and the base of the PNP transistor 68 is normally pulled high. Then, when the frame status signal is at the oral level, the low level is inputted to the base through the differentiating circuit 60, so that the PNP transistor 68 turns on only during the low level period of the flag signal.
  • the emitter of the PNP transistor 68 is grounded via resistors 70 and 72.
  • the connection point of the emitter resistors 70 and 72 is connected to the base of the NPN transistor 74.
  • This NPN transistor 74 collector is for each infrared light emission. Commonly connected to the anodes of the nodes 42 a-42 d.
  • the emitter of NPN transistor 74 is directly connected to the base of another NPN transistor 76.
  • the collector of the NPN transistor 74 is connected in common to each infrared light emitting diode 42 a – 42 d power sword and the emitter is grounded.
  • the LED control signal (corresponding to the second signal) output from the 10 port of the game processor 52 is active (high level) and the frame status flag signal from the image sensor 40 is low level.
  • the infrared light emitting diode 42 is turned on only during a period of time.
  • the PNP transistor 68 when the frame status flag signal goes low, the PNP transistor 68 is turned on during the low level period (although there is a delay due to the time constant of the differentiating circuit 60). Therefore, when the LED control signal shown in FIG. 7 (d) is output at eight levels from the game processor 52, the base of the NPN transistor 74 becomes one level, and the transistor 68 is turned off. When the transistor 68 is turned off, the transistor 74 is turned on.
  • the LED drive circuit 58 of the embodiment only when the LED control signal of FIG. 7 (d) is active and the frame status flag signal of FIG. 7 (a) is low, Since the light emitting diode 42 is turned on, the infrared light emitting diode 42 is turned on only during the exposure period of the image sensor 40 (see FIG. 7 (f)). Therefore, according to this embodiment, unnecessary power consumption can be suppressed. Furthermore, since the frame status flag signal is extracted by the capacitor 64, even if the flag signal is stopped at a low level due to runaway of the image sensor 40, etc., after a certain time, the rungis 68 will be It is always turned off and the infrared light emitting diode 42 is also turned off after a certain time.
  • the exposure time of the image sensor 40 can be set or changed arbitrarily and freely by changing the duration of the frame status signal. You can change it.
  • the duration and period of the frame status signal and the LED control signal can be arbitrarily and freely. It can be changed or set.
  • the image sensor 40 when the reflector 50 of the golf club type input device 14 is irradiated with the infrared light from the infrared light emitting diode 42, the image sensor is reflected by the reflected light from the reflector 50. 40 is exposed. In response, the image sensor 40 outputs the pixel signal described above. More specifically, the CM S S image sensor 40 is shown in FIG. 7 (b) while the frame status flag signal in FIG. 7 (a) is eight levels (the non-lighting period of the infrared light emitting diode 42). In synchronization with the pixel data strobe shown, an analog pixel signal is output as shown in Fig. 7 (c). The game processor 52 acquires digital pixel data through the A / D converter while monitoring the frame status flag signal and pixel data lobe.
  • pixel data (pixel signal) is sequentially output in the order of 0th row, 1st row,..., 1st row, as shown in FIG. 8 (c).
  • the first pixel of each line is a dummy data.
  • step S1 initialize the system and each variable.
  • the initialization process in step S1 includes the process of setting data in the control register in the image sensor 40. Specifically, according to the flow chart shown in FIG. It is executed at the timing shown in 4.
  • the game processor 52 sets the command “C ON F” as setting data.
  • this command "C ON F” is a command for notifying the image sensor 40 that the game processor 52 is to enter a setting mode for transmitting a command.
  • the command transmission process shown in detail in FIG. 12 is executed.
  • the processor 52 sets the setting data (command "CONF" in the case of step S13) to register data (ports 1 and 0), and the next step S At 33, set the register setting clock (I / O port) to one level. Then, after waiting for a specified time in step S35, the register setting clock is set to high level in step S37. Then, after waiting for the specified time in step S39, the register setting clock is set again at the mouth level in step S41. In this way, as shown in Figure 14, while waiting for the specified time, by setting the register setting clock to low level, high level and port level, the process of sending a command (command or command + data) can be performed. To be done.
  • step S15 the pixel mode is set, and the exposure time is set.
  • the image sensor 40 is, for example, a 32 ⁇ 32 CMOS sensor as described above, it indicates that it is 32 ⁇ 32 pixels in the pixel mode register of the setting address “0”. Set "Oh”.
  • the game processor 52 executes a register setting process shown in detail in FIG.
  • the processor 52 sets the command “MOV” + address as setting data, and executes the command transmission process described above in FIG. 12 in the next step S 45. Send it.
  • step S47 the processor 52 sets command “LD” + data as setting data, and executes command transmission processing in the next step S49 to transmit it.
  • step S51 the processor 52 sets the command "SET” as a setting date, and transmits it in the next step S53.
  • the command "M 0 V" is a command indicating that the address of the control register is to be transmitted
  • the command "LD” is a command indicating that the data is to be transmitted
  • the command "SET” is to actually set data to that address It is a command to make it happen. This process is repeated if there are multiple control registers to be set.
  • step S19 the set address is set to "1" (exposure time setting).
  • the address of the fixed nibble of the register is shown), and the nibble data “F h" of "FF h” showing the maximum exposure time is set as the data to be set.
  • step S21 the register setting process shown in FIG. 13 is executed.
  • step S23 the set address is set to "2" (indicating the high-order address of the exposure time setting register), and the high-order data "FF h” indicating the maximum exposure time.
  • step S 25 the set address is set to "1" (exposure time setting).
  • step S 2 7 a command “R UN” for indicating the end of setting and causing the image sensor 40 to start outputting data is set, and transmitted in step S 2 9.
  • the initialization operation in step S1 shown in FIG. 10 is performed.
  • the example shown in Fig. 1 1 1 Fig. 4 4 can be changed as appropriate according to the specifications of the image sensor used.
  • the game processor 52 updates the image signal at step S2 to update the image displayed on the monitor (not shown).
  • this display image update is performed every one frame (television frame or video frame).
  • the game processor 52 executes processing according to the state.
  • the first thing to handle is the choice of game mode.
  • the user or game player operates the selection mode 22 shown in FIG. 1 in step S3 in FIG. Select and set the game's difficulty level etc.
  • step S4 the game processor 52 executes a swing motion determination process in step S4 to determine whether or not the swing motion has been performed. Then, if the swing motion has been performed, then, in step S5, when the ball is flying or rolling in the game screen, the trajectory of the ball is calculated, and when the pole is stopped, In step S6, score calculation and result determination processing are executed as a result of the trajectory calculation processing in step S5. After that, if there is an interrupt by the video sync signal, the image update of step S 2 (Fig. 10) is executed. Also, the sound processing of step S7 is executed when a sound interruption occurs, thereby outputting sound effects such as game music and the sound of a golf club hitting a ball.
  • the game processor 52 executes stroboscopic imaging to detect the movement position of the golf club type input device 14.
  • step S69 the game processor 52 turns on the infrared light emitting diode 42 for stroboscopic imaging. Specifically, the LED control signal shown in FIG. 7 is set to high level. Thereafter, in step S71, acquisition processing of the pixel data array is executed. At the first step S301 in Fig. 36, the game processor 52 sets "_1" to X and "0" to Y as element numbers of the pixel data array.
  • the game processor 52 checks the frame status flag signal from the image sensor 40 in the first step S 83 in FIG. 17 and its rising edge (low level to high level) in step S 85 Determine if) has occurred. Then, when the rising edge of the flag signal is detected in step S 85, in the next step S 87, the game processor 52 converts the digital data of the analog pixel signal input to its internal AZD converter. Indicate the start of conversion. Thereafter, in step S89, the pixel strobe from the image sensor 40 is checked, and in step S91 it is determined whether the rising edge from the mouth level of the strobe signal to the high level has occurred.
  • step S93 If "NO" is determined in step S93, it is the second and subsequent pixel data of the line, so the pixel data at that time is obtained in steps S99 and S101 and the temporary Store the pixel data in a register (not shown). Thereafter, the process returns to step S 3 0 5 in FIG.
  • step S305 the pixel data stored in the temporary register is stored as an element [Y] [X] of the pixel data array.
  • step S 3 0 9 increment X. If X is less than 32, then the above-described processes of S 3 0 3 to S 3 0 7 are repeated. If X is 32, that is, if acquisition of pixel data reaches the end of the line, set “ ⁇ 1” in the following step S 31 IX and increment Y in step S 31 3 And repeat the process of acquiring pixel data from the beginning of the next line.
  • step S315 If Y is 32 in step S315, that is, if acquisition of pixel data has reached the end of the pixel data array, the process returns to step S73 in FIG.
  • step S73 the above-mentioned pixel data array is stored, for example, in the working area of the internal RAM, as the N-th lighting acquisition data.
  • step S75 the game processor 52 turns off the infrared light emitting diode 42 by, for example, setting the LED control signal to the same level.
  • step S76 in the same manner as step S71, the pixel data array when the infrared light emitting diode 42 is turned off is obtained according to the subroutines of FIG. 17 and FIG. 35,
  • step S77 in the same way as step S73, store it in the area of the inner RAM at the rounding area.
  • step S79 the number of times register N is incremented, and at step S81 it is determined whether the number of times N has reached a specified value.
  • step S 8 1 "YES” If is determined, the process returns to step S 5 7 (focus point extraction processing) of FIG. 15 as it is. However, if "N", the process returns to the previous step S69.
  • the game processor 52 substitutes “1” for the number N of the number register (not shown) in the internal memory (not shown). Then, in the next step S 105, from the difference between the on-time acquisition data and the off-time acquisition data obtained in steps S 7 3 and S 7 7 in FIG. calculate.
  • the reflector 50 of the golf club type input device 14 is irradiated with infrared light, and the reflected infrared light is incident on the image sensor 40 through the infrared filter.
  • an image sensor (corresponding to the image sensor 40 of the embodiment) is shown in FIG.
  • FIG. 1 in addition to the image by the reflector, not only the light source such as the fluorescent light source, the incandescent light source, and the sunlight (window) but also the image of everything in the room is captured. Therefore, processing the image in Figure 19 (A) and extracting only the image of the reflector requires a very fast computer or processor. However, low cost game devices can not use such high performance computers. Therefore, it is conceivable to reduce the burden by performing various processes.
  • FIG. 19 (B) is a video signal when the video signal of FIG. 19 (A) is level-discriminated with a certain threshold.
  • level discrimination processing can be performed by a dedicated hardware circuit or software, but any method can be used to perform level discrimination that cuts pixel data of a certain amount or less of light intensity. If done, low intensity images other than reflectors and light sources can be removed. In the image in Figure 19 (B), processing of the image other than the reflector and the light source in the room can be omitted, thus reducing the load on the computer, but still the high brightness image including the light source image is still captured. It is difficult to distinguish reflectors from other light sources because they are crowded.
  • an infrared filter 44 is used so that an image other than the image by the infrared light is not photographed on the image sensor 40.
  • FIG. 19 (C) the image of the fluorescent light source containing almost no infrared light is removed. I can leave it. However, sunlight and incandescent lamps are still included in the video signal. Therefore, in order to further reduce the burden, we calculated the difference between the pixel delay when the infrared stroboscope was on and the pixel delay when it was off.
  • the difference between the pixel data of the video signal when the light is on in FIG. 19 (C) and the pixel data of the video signal when the light is off in FIG. 19 (D) is calculated.
  • Fig. 19 (E) it is possible to acquire an image of the difference.
  • the image by this difference data includes only the image obtained by the reflector of the golf club type input device 14 as apparent from the comparison with FIG. 19 (A). Therefore, even if the performance of the game processor 52 is not very high, the movement trajectory of the reflector 50, that is, the club head 4 8 (FIG. 4) by the swing of the golf club type input device 14 can be acquired.
  • step S105 of FIG. 18 for example, the differential data array shown in FIG. 19 (E) is calculated.
  • step S 1 0 5 the coordinates of the pixel having the largest value (the pixel of maximum brightness) are obtained in step S 1 0 7, and the coordinates are obtained in step S 1 0 9 It is judged whether the brightness of the pixel of exceeds the specified value.
  • step S 1 0 9 If “YES” is determined in this step S 1 0 9, in the subsequent step S 1 1 1, a pixel in contact with the pixel of the coordinates obtained in step S 1 0 7, and further a pixel in contact therewith have the above specified values. Whether it exceeds or not is sequentially judged, and the diameter [[N] of the attention portion (in the embodiment, the image of the reflector) is calculated. In order to calculate the diameter (or size) of this notable part, it is necessary to obtain the height (Z coordinate) of the reflector 50 in step S113 and the center of the reflector in step S115. This is because it is necessary to specify the coordinates. As shown in FIG. 3, a single focus optical system is used for the imaging unit 28 of this embodiment.
  • the diameter (size) of the reflector image The distance between the reflector and the image sensor, that is, the height (Z coordinate) of the reflector 50 can be determined based on Although this Z coordinate is not used in the golf game system of this embodiment, it is possible to provide further different game inputs by utilizing this Z coordinate as required.
  • step S113 the Z coordinate is determined, and in step S115, the central coordinate (X, Y or X, ⁇ , Z) of the reflector 50 is stored.
  • step S117 the N value of the number register is incremented, and it is determined at step S119 whether the number of times N exceeds the specified value. If “Y ES” is determined in step S119, the process returns to step S59 in FIG. However, if "NO” is determined, the process returns to the previous step S105, and the steps following step S105 are repeatedly executed.
  • step S109 determines whether the luminance of the pixel having the maximum luminance has been searched for all. If “Y ES” is determined in step S 121, that is, if the specified number of pixels have been searched for all, the search result is stored in step S 123 as having no attention point. However, if "NO" is determined in step S121, the coordinate data of the pixel having the next largest luminance is acquired in step S125, and the process returns to step S107.
  • step S57 After extracting the attention point in this way in step S57, in the next step S59, a motion calculation process such as calculating a velocity vector is performed.
  • FIG. 20 shows in detail a specific example of the velocity vector calculation process which is an example of the movement calculation process.
  • step S127 of FIG. 20 as described above, "1" is substituted into the number register N.
  • step S129 the N-th attention point coordinates (PX [N], PY [N]: FIG. 21) to N-1-th attention point coordinates (PX [N-1], PY [N-1] Calculate the Nth velocity vector (VX [N], VY [N]) by subtracting) and store it in the internal memory.
  • FIG. 21 shows an image of the first focused area having a diameter [[1], and the center coordinates of the first focused area are (PX [1], PY [1]) and the diameter ⁇
  • the center coordinates of the second attention area with [2] are (PX [2], PY [2]).
  • the third and fourth regions of interest have diameters [[3] and ⁇ [4] respectively, and their central coordinates are ( ⁇ [3], ⁇ [3]) and ( ⁇ [3], respectively. 4], ⁇ [4]).
  • step S 129 in this case, the velocity vector VX [2] in the X direction is given by ( ⁇ [2] — ⁇ [1]), and the velocity vector VY in the ⁇ direction [2] is ( ⁇ [ 2]-given by [ ⁇ ] [1].
  • N 1
  • FIG. 21 also shows the variation amounts ⁇ and ⁇ ⁇ for each image of the attention point area (reflector) of each strobe image. Therefore, if necessary, this change can also be used to calculate the change or displacement velocity.
  • step S129 After the velocity vector is calculated in step S129, the number ⁇ is incremented in step S131, and it is determined in step S133 whether ⁇ has reached a specified value. If "NO" in the step S or 133, the process returns to the previous step S 129 to repeat the step S 129.
  • step S61 the determination process shown in detail in FIG. 22 is performed. In this judgment processing, it is judged whether or not the golf club type input device 14 has been swung. In the first step S 135 of FIG. 22, “1” is substituted for N, and then in step S 137, the velocity vector VX from the velocity vector (VX [N], VY [N]) to the velocity V [N] ( Calculate the scalar value) Then, in the next step S139, it is determined whether the velocity V [N] thus calculated exceeds the first threshold.
  • step S 139 If “YES” in this step S 139, it is immediately judged in the step S 141 that "swing has been performed", and in the step S 143, the initial velocity of the golf pole at the time of hitting from the speed vector of the N point. Ask for a vector. Therefore, in the case of the golf game system of the embodiment, the flying distance of the ball can be calculated from the data of the initial velocity vector, the wind direction, the wind strength and the terrain.
  • step S145 It is determined whether a line segment connecting the N point and the N-1 point intersects a specified area.
  • step S 1 4 7 the speed (scalar value) of that N point exceeds the second threshold. Determine if it is.
  • the second threshold is naturally smaller than the first threshold.
  • step S 1 4 9 the process proceeds to the previous step S 1 4 1, but if “NO”, the process proceeds to step S 1 5 1 as in the case of “NO” in step S 1 4 7 , N increment the value. Then, it is judged whether or not N ⁇ the prescribed value, and if "NO", the process returns to the previous step S137 and repeats the subsequent steps. However, when “NO" is determined in step S153, that is, even if the line segment of step S145 does not intersect with the predetermined area or intersects, the speed is smaller than the predetermined value. In the case where it is determined in step S 1 55 that “swing has not been performed”.
  • step S63 processing according to the application such as a game is performed, and further, step S6. It is judged whether or not the process is finished in 5 (in the case of a game, whether or not the game is over), and if it is "YES", it is finished.
  • a circular reflector 50 is provided in the golf club type input device 14, and an initial velocity vector is obtained from the movement locus, and it is assumed that the golf ball is struck at the initial velocity vector. I calculated the flight distance of the ball. In other words, the rotation given to Paul was ignored. This is because the direction of the golf club type input device 14 can not be specified by the circular reflector. Therefore, in the next embodiment, the orientation of the gorill club type input device 14 can also be calculated.
  • a golf club type input device 14 shown in FIG. 23 is used.
  • the golf club type input device of FIG. 4 used a circular reflector, whereas an oval or longitudinal reflector 5 O A is used.
  • step S 1 5 7—S 1 6 3 is the same as step S 1 0 3—S 1 0 9 in FIG. Ru.
  • step S 165 it is sequentially judged whether or not the pixels in contact with the pixels of the coordinates obtained in step S 161 and further the pixels in contact therewith exceed the specified value. Extract all the pixels of Then, in step S166, two pixels Pa (Xa, Ya) and Pb (Xb, Yb), which are most distant from each other, are extracted from all the pixels in the target portion. These two points indicate the longitudinal end positions of the oblong reflector 5 OA, as shown in FIG. There is no point at which the distance between two points is farthest apart from both ends in the longitudinal direction.
  • step S167 the midpoint coordinates of the two points Pa and Pb are stored in the memory as the coordinates of the N-th point (P X [N], PY [N]).
  • step S169 the inclination between the two points Pa and Pb shown in FIG. 26 is calculated and stored as angle data ⁇ [N].
  • the slope 0 [N] can be calculated by the arctangent of (Xb ⁇ Xa) / (Ya ⁇ Yb) as shown in step S169. In this way, the orientation of the golf club type input device 14 with respect to the imaging device is obtained as the angle z ⁇ ⁇ [N].
  • Steps S 171 -S 179 of FIG. 24 are similar to corresponding steps S 117 -S 125 of FIG.
  • steps S 181 -S 189 and S 191 -S 201 in FIG. 25 are the corresponding steps S 135-S 143 in FIG. And S 145—Similar to S 155.
  • an angle 0 j (FIG. 26) is calculated by the coordinates of the N-th point and the coordinates of the N-1st point obtained in step S169 of FIG.
  • This angle 0 j can be calculated by the arc tangent of (PY [N]-PY [N-1]) / (PX [N]-PX [N-1]) as shown in step S203.
  • a polling game system 78 includes a game console 80.
  • the game console 80 includes a game console 12 of the system 10 of FIG. Similarly, it is driven by an AC adapter or a battery, and is connected to an AV terminal (not shown) of a television monitor (not shown) through an AV cable 16.
  • the game machine 78 also includes a housing 82.
  • a power switch 84 is provided on the housing 82, and a direction button 86, an enter key 88 and a cancel key 90 are provided. These buttons and operation keys have the same functions as the corresponding ones in Figure 2.
  • FIG. 1 A part of the housing 82 of the game machine 80 is cut out, and the movable body 92 is pivotally supported in that part in the elevation direction, and the side of the movable body 92 is shown in FIG.
  • the imaging unit 28 described with reference is accommodated, and thus the movable body 92 is provided with the same image sensor 40 as that described above.
  • an infrared light emitting diode 42 which is integrated with the image sensor 40, is provided on the side surface of the movable body 92 and in the vicinity of the image sensor 40, and forms a stroboscopic imaging means.
  • the movable body 92 is supported so as to have a certain degree of freedom in the direction of elevation.
  • the movable body 92 that is, the image sensor 40 and the infrared light emitting diode 42 are provided displaceably in any direction.
  • the lens of the image sensor 40 (concave lens or convex lens shown in FIG. 4) is a wider-angle lens, the image sensor 40 does not have to be movable, and the image sensor 40 is fixedly attached. You may do so.
  • the pole-type input device 94 has holes 94a, 94b and 94c for inserting the three fingers of the user's hand, i.e. the thumb, middle finger and fingers respectively, as in the actual bowling game.
  • a wide ⁇ 4 d is formed to allow the child to insert any one or more fingers other than the thumb.
  • strap 9 6 is provided The game player is secured by attaching the strap 96 to his / her arm (upper arm or forearm). That is, since the ball type input device 94 is connected to its own arm by the strap 96, even if the game player accidentally releases the pole type input device 94 as in the actual bowling game, the ball type input device 94 is also used. There is no accident such as hitting the device 94 somewhere and eventually hitting oneself or others.
  • the pole-type input device 94 of this embodiment is formed by connecting the transparent or translucent hemispherical shells 98 A and 98 B with bosses.
  • the housing of the mold input device 94 is formed, and in its outer shells 9 8 A and 9 8 B, hemispherical inner shells 1 0 OA and 1 0 0 B likewise connected by bosses are fixed.
  • a reflector is formed by attaching a reflective sheet on the surface of each of the hemispherical inner shells 10 O A and 100 B. That is, the inner shell is a reflector. Therefore, in this embodiment, a reflector 100 is used.
  • the movement of the ball-type input device 9 4 is detected by the stroboscope, whereby the game screen 1 02 shown in FIG. Control the position of the polling pole 1 0 4 with.
  • the game screen 102 is displayed as a projection image viewed from the viewpoint of the user or the player. That is, on the game screen 102, the polling lane 1 0 6 and the pins 1 0 8 arranged at the position in the depth direction are displayed, and the bowling ball on the lane 1 0 6 on the game screen 1 0 2 is displayed.
  • the 104 moves, and the pin is knocked down, as in the actual polling game, according to the arrival position and strength of the pole 104.
  • FIG. 30 shows an example of a score sheet when four game players participate in the polling game simultaneously.
  • the game processor 52 when the player actually throws the ball in the real space using the player input device 94, the game processor 52 (FIG.
  • the 31) receives the infrared light emitting diode 4 2 Is intermittently turned on, and the position of the pole type input device 94 is intermittently detected by analyzing or processing the image of the CMOS image sensor 40 when the light is turned on and off. Then, according to the position (coordinates) of the pole type input device 9 4, the movement of the polling pole 1 0 4 is controlled, whereby 0 or 1 or more pins are knocked down.
  • the pole type input device 94 is irradiated with the light emission of the infrared light emitting diode 42 as described above, and the infrared light is reflected by the reflector 100.
  • the reflected light from the reflector 100 is photographed by the CMOS image sensor 40, and hence the video signal of the reflector 100 is output from the CMOS image sensor 40.
  • the other parts are the same as in the case of the golf game system 10 shown in FIG.
  • step S1 initialize the system and each variable.
  • step S1 initializes the system and each variable.
  • step S1 in FIG. 32 the game processor 52 updates the image signal in step S2 and updates the image displayed on the monitor 20.
  • this display image update is performed every one frame (television frame or video frame).
  • the game processor 52 executes processing according to the state.
  • the first thing to handle is the choice of game mode.
  • the user or the game player operates the selection key 86 shown in FIG. 27 at step S3 in FIG. 32 and the game mode such as the one player mode or the two player mode. And set the level of difficulty of the game.
  • step S4 the game processor 52 executes a pitching motion determination process in step S4 to determine whether or not the pitching motion has been performed. Then, if the throwing motion has been performed, then, in step S5, when the ball 104 is moving on the lane 106 (both are shown in FIG. 30), the trajectory of the ball is calculated, and Execute collision determination processing to pin 108 (Fig. 30). Then, when the pole 104 reaches the end of the lane 106, in step S6, score calculation and result determination processing are executed as a result of the pin collision determination processing in step S5.
  • the game input is performed by photographing the reflector 100 with the stout boss coupe as in the previous embodiment. Therefore, only the determination process step S 61 of FIG. 15 is different from that of the previous embodiment.
  • each first step S207 sets ⁇ value as "1". Then, in step S 209, it is determined whether the Y component (vertical component) VY [N] (FIG. 21) of the velocity vector exceeds a specified value. In the case of "YES" in this step S209, the process proceeds to step S211, where, for example, a counter formed in the internal memory is incremented. Then, in the next step S213, it is determined whether the count value of the counter has reached a predetermined constant C (for example, "3").
  • a predetermined constant C for example, "3"
  • step S215 If “YES”, it is determined in step S215 that "a pitching operation has been performed", and in the following step S217, the X coordinate PX [N] of the N point is taken as the X coordinate of the pitching position, and in step S219 N From the point velocity vector (VX [N], VY [N]), find the initial velocity of the ball when throwing. Then, the game processing is executed assuming that the bowling ball is thrown out according to the initial speed.
  • step S209 If "NO” is determined in step S209, the above-described counter is reset in step S221. Therefore, for example, if the Y component of the velocity vector does not exceed the specified value continuously for three consecutive times, it is not determined that the throwing motion has occurred. This prevents the undesired movement of the game player from being reflected in the game.
  • step S221 the N value is incremented in step S223, and it is determined in step S225 whether the N has reached a predetermined value. If "YES" is determined, it is determined in step S227 that "pitching has not been performed yet.” Then, as in step S219, the process returns to step S63 in FIG. FIG.
  • the input device 112 of this embodiment is a glove type input device.
  • the glove type input device 112 includes gloves 114L and 114R to be attached to the left and right hands of the game player or user, and retroreflective sheets are provided at predetermined positions (in this embodiment, at the end portions) of the gloves 114L and 114R.
  • Reflectors 116L and 116R are provided.
  • the reflectors 116L and 116R may be formed as part of the gloves 114L and 114R, respectively, but may be affixed over the gloves 114L and 114R.
  • step S57 of FIG. 15 that is, FIG. 18, the points of interest (in this embodiment, there are two points of attention because there are two reflectors 116) are extracted.
  • step S 59 of FIG. 15 is applied to execute motion calculation or detection processing.
  • step S59 is transformed as shown in FIG.
  • the input is obtained by detecting or calculating a moving average. More specifically, in the first step S207, "the fixed value-M" is set in the number register N. Next, in step S 209, “0” is set to each of the variables ⁇ and ⁇ . '
  • step S211 the N-th coordinate (PX [N], PY [N]: FIG. 21) is acquired.
  • N or 1 coordinate data is acquired from the coordinate information up to the previous time.
  • step S 213 initial at step S 209
  • the coordinates obtained in step S 2 1 1 are added to the converted variables ⁇ X and ⁇ , respectively, and ⁇ and ⁇ are updated. This is repeatedly performed until it is detected in step S21 7 that the number of times N incremented in step S2 15 reaches a specified value. Therefore, the game processor 52 stores the variable ⁇ X, ⁇ ⁇ ⁇ obtained by adding M coordinates at this point.
  • step S219 the moving average (AX, AY) is calculated by dividing ⁇ ⁇ and ⁇ M by the number M.
  • the game processor 52 changes, for example, the position of the player-operable movable body on the game screen.
  • the golf club-type input device 14 is used to perform input, but a similar system may be used to use a baseball bat-type input device and a ball- or ball-type pole-type input device.
  • a baseball game device that uses a table tennis game using a table tennis racket type input device, and a tennis game using a tennis racket type input device.
  • a modification may be considered such as a soccer game apparatus in which an input device provided with a reflector is attached to the lower leg or ankle and the player's foot position, velocity, and movement locus pattern are handled as input signals.
  • the moving average value calculated in the flowchart of FIG. 35 is used as the input signal.
  • the position of the glove type input device and the moving speed There are many possible variations, such as a fighting game device that calculates movement trajectories and handles these as input signals. Further, in these modifications, the same effect as the glove type input device can be expected even by using the wrist band shaped input device wound around the wrist instead of the glove type input device.
  • an elongated reflector 5 OA is attached to the input device in the shape of a sword, and the angle, position, moving speed, movement of the sword
  • the object is photographed using the stroboscope and the imaging means, and the position, size, and speed of the object are determined based on the differences between the plurality of emission video signals and the plurality of non-emission video signals. Calculates all or part of acceleration, motion locus pattern information.
  • the information processing apparatus and the entertainment apparatus execute information processing, games, and other entertainment processing using the information.
  • one game processor executes all information processing, but it is naturally possible to share the entire processing using two or more processor computers.

Description

明細書
ストロボスコープを使った入力システムを備える情報処理装置 技術分野
この発明はストロボスコープを使った入力システムを備える情報処理装置に関 し、 特にたとえば、 ストロボスコープで照射した対象物の映像信号を処理する情 報処理装置に関する。 更に、 この発明はストロボスコープを使った入力システム を備えるゲーム機等のエンターテインメント装置に関する。 更に、 この発明はス トロボスコープを使った入力システムを備えるマンマシンインターフェースシス テムに関する。
従来技術
本件出願人は、 特許文献 1などにおいて、 圧電ブザーを利用してバットゃラケ ットの実空間中での加速度の変化を検出してゲーム入力しとして使う体感ゲーム 装置を提案している。 このような体感ゲーム装置では、 加速度の変化が所定以上 のとき、 ゲームプレイヤが対象物 (上記の例でいえば、 バットやラケット) を実 空間中において操作した (振った) と判定するようにしている。
特許文献 1 :特開 2 0 0 1— 1 0 4 6 3 6号公報
特許文献 2 :特開 2 0 0 2— 2 3 1 4 8 9号公報
特許文献 3 :特開平 7— 1 4 1 1 0 1号公報
しかしながら、 ゲームの種類によっては、 対象物を操作したかどうか、 すなわ ち対象物に加速度が与えられたかどうかだけでなく、 どの位置で、 あるいはどの ような速度で、 さらにはどの向きに操作したかを示す情報が欲しい場合もある。 特許文献 1に開示されるような入力装置では、 このような要求を充足することは できない。
他方、 たとえば特許文献 2に開示されるようなストロボスコープを用いて対象 物を撮影すれば、 その映像信号を解析することによって、 上述のような、 対象物 の位置や速度を把握することができる。 しかしながら、 この特許文献 2にはスト ロボスコープを開示するのみであり、 そのストロボスコープを用いて対象物を撮 影することやそれによって得られた映像信号をリアルタイムで解析する具体的な 手法はこの特許文献 2からはわからない。
なお、 特許文献 3には、 撮影した映像信号から対象物を抽出し、 その対象物の 位置を求め、 その位置情報をゲーム装置やコンピュータの入力とすることが開示 されているが、 この方法は、 特定の使用環境ではうまく動作するが、 ゲーム機が 用いられる一般家庭の室内では正確な位置情報をえるのはかなり困難である。 な ぜなら、 室内の照明、 窓、 雑多な色の物体、 ゲームプレイヤ以外の移動体の存在 がすべてノイズや外乱となって検出精度に影響を与えるからである。 このような ノイズや外乱の影響を抑えて物体位置を正確に検出するには高速コンピュータが 必要であり、 プロセサの処理能力が限定される低コストの情報処理装置において は現実的ではない。
発明の概要
それゆえに、 この発明の主たる目的は、 ストロボスコープを用いてコンピュー 夕やゲーム機にリアルタイムで入力を与えることができる、新規な情報処理装置、 エンターティンメント装置、 およびマンマシンィンターフェースシステムを提供 することである。
この発明は、 ストロボスコープを使った入力システムを備える情報処理装置で あって、 ストロボスコープ、 ストロボスコープの発光時および非発光時にそれぞ れ対象物を撮影して発光時映像信号および非発光時映像信号を出力する撮像手段、 複数の発光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対 象物の位置、 大きさ、 速度、 加速度、 運動軌跡パターンの情報の一部または全部 を算出する第 1の手段、 および第 1の手段によって算出された情報に基づき情報 処理を行う第 2の手段を備える、 情報処理装置である。
上記第 1の手段は、 情報が所定の条件に合致するか否かを判定する判定手段を 含んでもよい。
或る実施例では、 この第 1の手段は、 判定手段における判定結果に基づき情報 の中から有効な情報のみを検出し、 有効な入力が行われたとして第 2手段に伝達 する有効入力検出手段を含む。
また、 第 1の手段は、 対象物の大きさを示す情報より対象物と撮像手段の距離 を算出する距離算出手段を含む。
さらに、 第 1の手段は、 発光時映像信号と非発光時映像信号との差より得られ る情報を解析し対象物の形状を抽出する解析手段、 および形状より対象物と撮像 手段の角度を算出する角度算出手段を含む。
上記解析手段における解析は、 対象物中の所定の 2点を抽出するものであり、 角度算出手段における角度の算出は、 所定の 2点を結ぶ線分と所定の座標軸との 角度を算出するものである。
実施例では、 ストロボスコープの発光の時間間隔は自在に設定可能である。 また、 ストロボスコープの発光期間の長さおよび非発光期間の長さは自在に設 定可能である。
さらに、 撮像手段の露光期間は自在に設定可能である。
或る実施例では、 ストロボスコープの対象物は反射体を含む。
また、 ストロボスコープは特定の波長領域の光を出力する光源を含み、 撮像手 段は特定の波長領域にのみ応答するようにされる。
この場合、 撮像手段は特定の波長領域の光のみを透過するフィルタと、 フィル 夕を透過した光で形成される映像を撮影する撮像素子とを含む。
別の実施例では、 撮像手段は、 特定の波長領域の光で形成される映像のみを撮 影する撮像素子を含む。
上述の第 1の手段および第 2の手段は、 それぞれ単一または複数のプロセサに よって処理されるプロセスであってよい。
そして、 その第 2の手段で行われる情報処理がゲーム等のエンターティンメン ト処理である。
この発明に従ったマンマシンインタフェースは、 ストロボスコープを使った入 カシステムを備えるマンマシンイン夕一フェースシステムであって、 ストロボス コープ、 ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して 発光時映像信号および非発光時映像信号を出力する撮像手段、 複数の発光時映像 信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位置、 大き さ、 速度、 加速度、 運動軌跡パターンの情報の一部または全部を算出する第 1の 手段、 および第 1の手段によって算出された情報に基づき情報処理を行う第 2の 手段を備える。
この発明では、 ストロボスコープ (4 2, 5 2 :実施例で相当する要素または コンポーネントの参照符号。 以下、 同様。) が対象物 (1 4 , 9 4 , 1 1 2 ) を明 るく照射することにより、 撮像結果における対象物と対象物以外とのコントラス トを高め、 対象物の検出を容易にしている。 また、 第 1の手段 (5 2, S 5 9 , S 1 2 9 , 図 3 5 : S 6 1, 図 2 2 , 図 2 5, 図 3 3 ) が複数の発光時映像信号 と複数の非発光時映像信号とのそれぞれの差を算出することにより、 移動体であ る対象物以外の静止画像や固定光源等のノイズ成分の影響を抑えて対象物の位置、 大きさ、 速度、 加速度、 運動軌跡パターンを正確に、 かつ簡単な情報処理で検出 することが可能となる。 そのようにして算出された情報に基づいて、 第 2の手段 ( 5 2, S 6 3 ) が所定の情報処理を行う。
そして、 これらの情報を算出するための情報処理とアプリケ一ション側の情報 処理とを分離することにより、 アプリケーション側の情報処理が簡便になり、 ま たアプリケーション側の情報処理を別な処理に置き換える際に、 対象物の位置、 大きさ、 速度、 加速度、 運動軌跡パターンの算出に関する処理を変更することな く用いることが可能となる。
判定手段を用いる場合、 判定手段 (5 2, S 6 1 , 図 2 2, 図 2 5 , 図 3 3 ) が対象物の位置、 大きさ、 速度、 力 II速度、 運動軌跡パターン等が所定の条件に合 致するか否かを判定し、 アプリケーション側の情報処理では、 判定結果を参照し 所定の条件に合致していなければ算出された情報を受取らないようにすることで、 簡便なアプリケーション処理が可能となる。
具体的には、第 1の手段に含まれる有効入力検出手段(5 2, 図 2 2 , 図 2 5, 図 3 3 ) が判定手段からの判定結果に基づいて情報の取捨選択を行い、 ユーザか らの有効な入力のみをアプリケーション側の情報処理に伝達する。 したがって、 簡便なアプリケーション処理が可能となる。
距離算出手段を用いる場合、 第 1の手段に含まれる距離算出手段 (5 2, S 1 1 1, S 1 1 3 ) が、 撮像結果より対象物の大きさを算出し、 算出された大きさ の情報より対象物と撮像手段の距離を算出する。 それによつて、 2次元の撮像結 果から対象物の 3次元空間中での位置、 速度、 加速度、 運動軌跡パターンを求め ることが可能となる。
第 1の手段が解析手段(52, 図 24 : S 159— S 167)、 および角度算出 手段 (52, S 169) を含む場合、 撮像結果より対象物の形状を解析すること で、 撮像結果として 2次元イメージ上に投影された対象物と、 撮像手段との成す 角度を求めることが可能となる。
その解析手段は、 対象物中の所定の 2点を抽出する解析 (S 166) を行い、 角度算出手段における角度の算出は、 所定の 2点を結ぶ線分と所定の座標軸との 角度を算出するものである (S 169)。
たとえば実施例の図 6に示すようにプロセサが赤外発光ダイォードの点灯/消 灯を制御することによって、 必要な時間間隔で、 また必要なタイミングでのみス トロポ光源の発光、 撮像手段での露光を行うようにすることができ、 消費電力の 低減を行うことが可能となる。
対象物が反射体 (50, 5 OA, 100, 116) を含むと、 対象物と他の画 像とのコントラストがさらに強調されるため、 安価な構成で検出精度を高めるこ とが可能となる。
特定波長に応答させる場合、 ストロボスコープは特定の波長領域の光を出力す る光源 (たとえば赤外発光ダイオード 42) を含み、 撮像手段はたとえば赤外フ ィル夕を用いることによって、 特定の波長領域にのみ応答する。 そのため、 検出 を行う対象物以外の移動光源および点滅光源 (蛍光灯など) に含まれない波長領 域の光をストロボスコープの光源とし、 撮像手段がこの波長領域の光にのみ応答 するようにすることで、 これらのノイズ光源を除去することが可能となる。 実施例では、 第 1の手段および第 2の手段は、 それぞれ単一または複数のプロ セサ (52および/または S 63を処理するプロセサ) によって処理されるプロ セスである。 このように、 第 1および第 2の手段をプロセサのソフトウェアとし て処理されるプロセスとすることで、 安価でかつ自由度の高いシステムが構築で きる。 ただし、 第 1および第 2の手段の両方のプロセスが単一のプロセサで実行 されることがさらに望ましい。
そして、 第 2の手段で行われる情報処理をゲーム等のェン夕一ティンメント処 理とした、 エンターティンメン卜装置である。 この発明のマンマシンイン夕一フェースを、 パーソナルコンピュータ、 ワーク ステーション、 ゲーム機器、 教育機器、 医療機器等のマンマシンインターフエ一 スとして用いても、 安価且つ精度の高い入力システムが構築できる。
これらの発明によれば、 ストロボスコープによって照射された対象物の撮像結 果をディジタル的に解析し、 対象物の位置、 移動速度、 加速度、 運動軌跡といつ た情報をパーソナルコンピュータやビデオゲーム機といった情報処理装置への入 力として扱うことが可能となる。
また、 簡単な情報処理のみで、 ノイズや外乱の影響を抑えた精度の高い検出が 可能であるので、 コスト、 許容される消費電力等の条件によりプロセサのパフォ 一マンスが制限されるシステムの上でも容易に達成が可能である。
この発明の上述の目的, その他の目的, 特徴, および利点は、 図面を参照して 行う以下の実施例の詳細な説明から一層明らかとなろう。 図面の簡単な説明
図 1はストロボスコープで撮影したストロボ映像の一例を示す図解図である。 図 2はこの発明の一実施例のゴルフゲームシステムの全体構成を示す図解図で ある。
図 3は図 2実施例の撮影ュニットの一例を示す図解図である。
図 4は図 2実施例のゴルフクラブ型入力装置の一例を示す図解図である。 図 5は図 2実施例を示すプロック図である。
図 6は図 5実施例においてィメージセンサからゲームプロセサへピクセルデー 夕を取り込む構成および L E D駆動回路を示す回路図である。
図 7は図 6実施例の動作を示すタイミング図である。
図 8は図 7の一部を拡大して示すタイミング図である。
図 9は図 2実施例の状態ないしステートの遷移を示す図解図である。
図 1 0は図 2実施例の全体動作を示すフロー図である。
図 1 1は図 1 0実施例の初期化処理の一例であるセンサ初期化設定処理動作を 示すフロー図である。
図 1 2は図 1 1のコマンド送信処理動作を示すフロー図である。 図 1 3は図 1 1のレジス夕設定処理動作を示すフロー図である。
図 1 4は図 1 3に示すレジスタ設定処理動作を示すタイミング図である。
図 1 5は図 2実施例におけるゲームプロセサの動作を示すフロー図である。 図 1 6は図 1 5実施例におけるストロボスコープ撮影動作を示すフロー図であ る。
図 1 7は図 1 5実施例における画素データ取得処理動作を示すフロー図である。 図 1 8は図 1 5実施例における注目点抽出処理動作を示すフロー図である。 図 1 9は実施例において差分データを採用する原理を示す図解図である。
図 2 0は図 1 5実施例における速度べクトル算出処理動作を示すフロー図であ る。
図 2 1は図 2 0の速度べクトル算出動作における各座標位置を示す図解図であ る。
図 2 2は図 1 5実施例における判定処理動作を示すフロー図である。
ゴルフゲームシステムに使われるゴルフクラブ型入力装置の変形例を示す図解 図である。
図 2 4は図 2 3のゴルフクラブ型入力装置を利用した場合の図 1 5実施例にお ける注目点抽出処理動作を示すフロー図である。
図 2 5は図 2 3のゴルフクラブ型入力装置を利用した場合の図 1 5実施例にお ける判定処理動作を示すフロー図である。
図 2 6は図 2 5の判定処理動作における角度を示す図解図である。
図 2 7はこの発明の他の実施例のポーリングゲームシステムの全体構成を示す 図解図である。
図 2 8は図 2 7に示すボール型入力装置の内部構造を示す図 2 7の線 XXVI I I - XXVI I Iにおける断面図解図である。
図 2 9は図 2 7実施例におけるテレビジョンモニタに表示されるゲーム画面の 一例を示す図解図である。
図 3 0は図 2 7実施例におけるテレビジョンモニタに表示されるスコアシート の一例を示す図解図である。
図 3 1は図 2 7実施例を示すブロック図である。 図 3 2は図 2 7実施例の全体動作を示すフロー図である。
図 3 3は図 2 7のポーリングシステムの図 1 5実施例における判定処理動作を 示すフロー図である。
図 3 4は手袋型入力装置の一例を示す図解図である。
図 3 5は図 3 4の手袋型入力装置を用いる場合の図 1 5実施例に示す動き検出 処理動作を示すフロー図である。
図 3 6は図 1 5実施例における画素データ配列取得処理動作を示すフロー図で ある。 発明を実施するための最良の形態
図 2を参照して、 この発明の一実施例であるゴルフゲームシステム 1 0は、 ゲ —ム機 1 2およびゴルフクラブ型入力装置 1 4を含み、 このゴルフクラブ型入力 装置 1 4はゲームプレイヤによって、 ゲーム機 1 2上で振られる。 なお、 ゲーム 機 1 2は、 たとえば ACアダプタ (図示せず) または電池のような直流電源によ つて駆動される。 ゲーム機 1 2は、 さらに、 AVケーブル 1 6を通して、 テレビ ジョンモニタ (図示せず) の AV端子 (図示せず) に接続される。
ゲーム機 1 2は、 また、 ハウジング 1 8を含み、 このハウジング 1 8上に電源 スィッチ 2 0が設けられるとともに、 方向ポタン 2 2ならびに決定キー 2 4およ びキャンセルキー 2 6が設けられる。 方向ボタン 2 2は、 4方向 (上下左右) の 個別のポタンを有し、 たとえばテレビジョンモニタの表示画面上においてメニュ 一やゲームモード選択のためにカーソルを移動させたりするために用いられる。 決定キー 2 4はゲーム機 1 2への入力を決定するために用いられる。 また、 キヤ ンセルキー 2 6は、 ゲーム機 1 2への入力をキャンセルするために用いられる。 ゲーム機 1 2のハウジング 1 6の内部には、 図 3に詳細に示す撮像ュニット 2 8が収納される。 この撮像ユニット 2 8は、 たとえばプラスチック成型によって 形成されるュニットベース 3 0を含み、 このュニットベース 3 0内には支持筒 3 2が取り付けられる。 支持筒 3 2の上面には内面が逆円錐形状であるラッパ状の 開口 3 4が形成され、 その開口 3 4の下方の筒状部内部には、 いずれもがたとえ ば透明プラスチックの成型によって形成された凹レンズ 3 6および凸レンズ 3 8 を含む光学系が設けられ、 凸レンズ 3 8の下方において、 撮像素子としてのィメ ージセンサ 4 0が固着される。 したがって、 イメージセンサ 4 0は、 開口 3 4か らレンズ 3 6および 3 8を通して入射する光に応じた映像を撮影することができ る。
イメージセンサ 4 0は、 低解像度の C MO Sイメージセンサ(たとえば 3 2 X
3 2画素:グレースケール)である。 ただし、 このイメージセンサ 4 0は、 画素数 のもっと多いものでもよいし、 C C D等の他の素子からなるものであってよい。 また、ュニットベース 3 0には、光出射方向がいずれも上方向とされた複数(こ の実施例では 4つ) の赤外発光ダイオード 4 2が取り付けられる。 この赤外発光 ダイオード 4 2によって、 撮像ユニット 2 8の上方の図 3に示す線 4 4 aおよび
4 4 bで決まる範囲に赤外光が照射される。 また、 ユニットベース 3 0の上方に は、 赤外フィル夕 (赤外線のみを透過するフィルタ) が上記開口 3 4を覆うよう に、 取り付けられる。 そして、 赤外発光ダイオード 4 2は後述のように、 点灯 Z 消灯が連続的に繰り返されるので、 赤外ストロボスコープとして機能する。 ただ し、 「ストロボスコープ」 とは、運動体を間欠的に照らす装置の総称である。 した がって、 上記イメージセンサ 4 0は、 線 4 4 aおよび 4 4 bで示す撮影範囲内で 移動する物体、 この実施例ではゴルフクラブ型入力装置 1 4に設けられた反射体
5 0 (図 4参照) を することになる。
ゴルフクラブ型入力装置 1 4は、 全体がたとえばプラスチック成型によって形 成され、 図 4に示すように、 クラブシャフト 4 6とそれの先端に取り付けられた クラブへッド 4 8とを含み、 クラブへッド 4 8の底面に、 たとえば 帰反射シー トからなる、 円形の反射体 5 0が設けられる。 したがって、 図 2に示すように、 ゲームプレイヤがこの入力装置 1 4のクラブシャフト 4 6を持って、 普通のゴル フをするときと同じように、 ゲーム機 1 2の上方で振れば、 ヘッド 4 8の底面の 反射体 5 0によって反射された光がイメージセンサ 4 0によって撮影される。 こ のとき、赤外発光ダイォード 4 2は上述のように間欠的に赤外光を照射するため、 結果的に、 図 3に示すように、 反射体 5 0が間欠的に撮影される。 この実施例の ゴルフゲームシステム 1 0では、 後述のように、 このような反射体のストロボ映 像を処理することによって、 ゲーム機 1 2の入力となる速度などを計算する。 図 5を参照して、 クラブ型入力装置 1 4は、 上述のように、 赤外発光ダイォー ド 4 2の発光に照射され、 その赤外光を反射体 5 0で反射する。 この反射体 5 0 からの反射光がイメージセンサ 4 0によって撮影され、 したがって、 イメージセ ンサ 4 0からは反射体 5 0の映像信号が出力される。 イメージセンサ 4 0からの このアナログ映像信号はゲームプロセサ 5 2に内蔵された A/Dコンバータ (図 示せず) によってディジタルデ一夕に変換される。
なお、 ゲームプロセサ 5 2は、 上述のストロボ撮影のために、 赤外発光ダイォ ード 4 2を間欠的に点滅する。
このようなゲームプロセサ 5 2としては、 任意の種類のプロセサを利用できる が、 この実施例では、 本件出願人が開発しかつ既に特許出願している高速プロセ サを用いる。この高速プロセサは、たとえば特開平 1 0— 3 0 7 7 9 0号公報 [G 0 6 F 1 3 / 3 6 , 1 5 7 8 ] およびこれに対応するアメリカ特許第 6, 0 7 0 , 2 0 5号に詳細に開示されている。
ゲームプロセサ 5 2は、図示しないが、演算プロセサ,グラフィックプロセサ, サウンドプロセサおよび DMAプロセサ等の各種プロセサを含むとともに、 アナ ログ信号を取り込むときに用いられる上述の AZDコンバータやキー操作信号や 赤外線信号のような入力信号を受けかつ出力信号を外部機器に与える入出力制御 回路を含む。 したがって、 操作キー 2 2— 2 6からの入力信号がこの入出力制御 回路を経て、 演算プロセサに与えられる。 演算プロセサは、 その入力信号に応じ て必要な演算を実行し、 その結果をグラフィックプロセサ等に与える。 したがつ て、 グラフィックプロセサゃサウンドプロセサはその演算結果に応じた画像処理 や音声処理を実行する。
プロセサ 5 2には、 図示しないが内部メモリが設けられ、 この内部メモリは、 R OMまたは RAM ( S RAMおよび/または D RAM) を含む。 R AMは一時 メモリ, ワーキングメモリあるいはカウンタまたはレジス夕領域 (テンポラリデ 一夕領域) およびフラグ領域として利用される。 なお、 プロセサ 5 2には R OM 5 4が外部バスを通して接続される。 この R OM 5 4に後に説明するようなゲー ムプログラムが予め設定される。
プロセサ 5 2は、 イメージセンサ 4 0から AZDコンバータを介して入力され るディジタル映像信号を処理してゴルフクラブ型入力装置 1 4の動きを検出する とともに、操作キー 2 2 _ 2 6からの入力信号に従つて演算、グラフイツク処理、 サウンド処理等を実行し、 ビデオ信号およびオーディオ信号を出力する。 ビデオ 信号はゲーム画面を表示するための画像信号であり、 オーディォ信号はゲーム音 楽や効果音の信号であり、 したがって、 テレビジョンモニタ (図示せず) の画面 上にゲーム画面が表示され、 必要なサウンド (効果音、 ゲーム音楽) がそれのス ピー力から出力される。
ここで、 図 6—図 8を参照して、 CMO Sイメージセンサ 4 0からゲームプロ セサ 5 2へピクセルデータを取り込むための構成を詳細に説明する。 図 6に示す ように、 実施例の CMO Sイメージセンサ 4 0は、 ピクセル信号 (画素信号) を アナログ信号として出力するタイプのものであるため、 このピクセル信号はゲー ムプロセサ 5 2のアナログ入力ポートに入力される。 アナログ入力ポートは、 こ のゲームプロセサ 5 2内において AZDコンバータ (図示せず) に接続され、 し たがって、 ゲームプロセサ 5 2は、 AZDコンバータからディジタルデータに変 換されたピクセル信号 (ピクセルデータ) をその内部に取得する。
上述のアナログピクセル信号の中点は、 CMO Sイメージセンサ 4 0の基準電 圧端子 V r e f に与えられる基準電圧によって決定される。 そのため、 この実施 例では、 イメージセンサ 4 0に関連してたとえば抵抗分圧回路からなる基準電圧 発生回路 5 6が設けられ、 この回路 5 6から基準電圧端子 V r e f に常に一定の 大きさの基準電圧が与えられる。
C MO Sイメージセンサ 4 0を制御するための各ディジタル信号は、 ゲームプ ロセサ 5 2の 1 0ポートに与えられ、 またはそこから出力される。 この I /O ポートは各々入カ 出力の制御が可能なディジ夕ルポ一トであり、 このゲームプ ロセサ 5 2内で入出力制御回路 (図示せず) に接続されている。
詳しくいうと、 ゲームプロセサ 5 2の出力ポートからはイメージセンサ 4 0を リセッ卜するためのリセット信号が出力され、イメージセンサ 4 0に与えられる。 また、 イメージセンサ 4 0からは、 ピクセルデータストローブ信号およびフレー ムステータスフラグ信号が出力され、 それらの信号がゲームプロセサ 5 2の入力 ポートに与えられる。 ピクセルデータストローブ信号は上述の各ピクセル信号を 読み込むための図 7 (b) に示すようなストローブ信号である。 フレームステー 夕スフラグ信号はイメージセンサ 40の状態を示すフラグ信号で、 図 7 (a) に 示すように、 このイメージセンサの露光期間を規定する。 つまり、 フレームステ 一タスフラグ信号の図 7 (a) に示す口一レベルが露光期間を示し、 図 7 (a) に示すハイレベルが非露光期間を示す。
また、 ゲームプロセサ 52は、 CMOSイメージセンサ 40内の制御レジスタ (図示せず) に設定するコマンド (またはコマンド +データ) をレジス夕データ として I/Oポートから出力するとともに、 たとえばハイレベルおよびローレべ ルを繰り返すレジス夕設定クロックを出力し、 それらをイメージセンサ 40に与 える。
なお、 この実施例では、 赤外発光ダイオード 42として、 図 6に示すように互 いに並列接続された 4つの赤外発光ダイオード 42 a, 42 b, 42 cおよび 4 2dを用いる。 この 4つの赤外発光ダイオード 42 a_42 dは、 上で説明した ように、 対象物 (ゴルフクラブ型入力装置 14) を照らすように、 イメージセン サ 40の視点方向と同一方向に赤外光を照射するようにかつイメージセンサ 40 を囲むように配置される。 ただし、 これら個別の赤外発光ダイオード 42 a— 4 2dは、 特に区別する必要がある場合を除いて、 単に赤外発光ダイオード 42と 呼ばれる。 この赤外発光ダイオード 42は LED駆動回路 58によって、 点灯さ れまたは消灯 (非点灯) される。 LED駆動回路 58は、 イメージセンサ 40か ら上述のフレームステータスフラグ信号を受け、 このフラグ信号は、 抵抗 62お よびコンデンサ 64からなる微分回路 60を通して PNPトランジスタ 68のべ ースに与えられる。 この PNPトランジスタ 68にはさらにプルアップ抵抗 66 が接続されていて、 この PNPトランジスタ 68のベースは、 通常は、 ハイレべ ルにプルアップされている。 そして、 フレームステータス信号が口一レベルにな ると、 そのローレベルが微分回路 60を経てベースに入力されるため、 PNPト ランジス夕 68は、 フラグ信号がローレベル期間にのみオンする。
PNPトランジスタ 68のエミッ夕は抵抗 70および 72を介して接地される。 そして、 ェミッタ抵抗 70および 72の接続点が NPNトランジスタ 74のべ一 スに接続される。 この NPNトランジスタ 74のコレク夕が各赤外発光ダイォ一 ド 42 a— 42 dのアノードに共通に接続される。 N P Nトランジスタ 74のェ ミツ夕が別の NPNトランジスタ 76のベースに直接接続される。 NPNトラン ジス夕 74のコレクタが各赤外発光ダイオード 42 a— 42 dの力ソードに共通 接続され、 ェミッタが接地される。
この LED駆動回路 58では、 ゲームプロセサ 52の 1 0ポートから出力さ れる LEDコントロール信号(第 2信号に相当する)がアクティブ(ハイレベル) でありかつイメージセンサ 40からのフレームステータスフラグ信号がローレべ ルである期間にのみ赤外発光ダイオード 42が点灯される。 図 7 (a) に示すよ うにフレームステータスフラグ信号がローレベルになると、 そのローレベル期間 中(実際には微分回路 60の時定数での遅れがあるが)、 PNPトランジスタ 68 がオンする。 したがって、 図 7 (d) に示す LEDコントロール信号がゲームプ ロセサ 52から八ィレベルで出力されると、 NPNトランジスタ 74のベースが 口一レベルとなり、 このトランジスタ 68がオフとなる。 トランジスタ 68がォ フするとトランジスタ 74はオンとなる。 したがって、 電源 (図 6では小さい白 丸で示す) から各赤外発光ダイオード 42 a— 42dおよびトランジス夕 76を 経て電流が流れ、 応じて図 7 (e) に示すように各赤外発光ダイオード 42 a— 42 dが点灯される。
実施例の LED駆動回路 58では、 このように、 図 7 (d) の LEDコント口 ール信号がアクティブでありかつ図 7 (a) のフレームステータスフラグ信号が ローレベルである期間にのみ赤外発光ダイオード 42が点灯されるので、 ィメ一 ジセンサ 40の露光期間 (図 7 (f) 参照) にのみ赤外発光ダイオード 42が点 灯されることになる。 したがって、 この実施例によれば、 無駄な電力消費を抑制 することができる。 さらに、 フレームステータスフラグ信号はコンデンサ 64に よってカツプリングされているので、 万一^ fメージセンサ 40の暴走等によりそ のフラグ信号がローレベルのまま停止した場合でも、 一定時間後には卜ランジス 夕 68は必ずオフされ、 赤外発光ダイォード 42も一定時間後には必ずオフされ る。
このように、 この実施例では、 フレームステータス信号の持続期間を変更する ことによって、 イメージセンサ 40の露光時間を任意にかつ自在に設定または変 更することができる。
さらに、 フレームステータス信号および L E Dコントロール信号の持続時間や 周期を変更することによって、 赤外発光ダイオード 4 2すなわちストロボスコ一 プの発光期間、 非発光期間、 発光 Z非発光周期などを任意にかつ自在に変更また は設定できる。
先に説明したように、 赤外発光ダイオード 4 2からの赤外光によってゴルフク ラブ型入力装置 1 4の反射体 5 0が照射されると、 反射体 5 0からの反射光によ つてイメージセンサ 4 0が露光される。 応じて、 イメージセンサ 4 0から上述の ピクセル信号が出力される。詳しく説明すると、 C M〇 Sイメージセンサ 4 0は、 上述の図 7 ( a ) のフレームステータスフラグ信号が八ィレベルの期間 (赤外発 光ダイオード 4 2の非点灯期間) に図 7 (b) に示すピクセルデータストローブ に同期して、 図 7 ( c ) に示すようにアナログのピクセル信号を出力する。 ゲー ムプロセサ 5 2では、 そのフレームステータスフラグ信号とピクセルデ一タス卜 ローブとを監視しながら、 A/Dコンバータを通じて、 ディジタルのピクセルデ —夕を取得する。
ただし、 ピクセルデータ (ピクセル信号) は実施例では、 図 8 ( c ) に示すよ うに、 第 0行, 第 1行, …第 3 1行と行順次に出力される。 ただし、 後に説明す るように、 各行の先頭の 1ピクセルはダミーデ一夕となる。
ここで、 図 9および図 1 0を参照して、 図 2実施例のゴルフゲームシステム 1 0の概略動作を説明する。 図 2に示す電源スィッチ 2 0をオンしてゲームスター トとなるが、 図 5に示すゲームプロセサ 5 2は、 まず、 ステップ S 1で初期化処 理を実行する。 具体的には、 システムおよび各変数を初期化する。
ステップ S 1での初期化処理は、 イメージセンサ 4 0内の制御レジスタへのデ 一夕設定処理を含み、 具体的には、 図 1 1一図 1 3に示すフロー図に従って、 か つ図 1 4に示すタイミングで実行される。
図 1 1の最初のステップ S 1 1では、 ゲームプロセサ 5 2は、 設定データとし て、 コマンド "C ON F" を設定する。 ただし、 このコマンド "C ON F" は、 イメージセンサ 4 0に、 ゲームプロセサ 5 2からコマンドを送信する設定モード に入ることを知らせるためのコマンドである。 そして、 次のステップ S 1 3で、 図 12に詳細に示すコマンド送信処理を実行する。
コマンド送信処理の最初のステップ S 31では、 プロセサ 52は、 設定データ (ステップ S 13の場合はコマンド "CONF") をレジス夕デ一夕 (1ノ0ポー ト) に設定し、 次のステップ S 33でレジス夕設定クロック (I/Oポート) を 口一レベルに設定する。 その後、 ステップ S 35で規定時間待機した後、 ステツ プ S 37で、 レジス夕設定クロックをハイレベルに設定する。 そして、 さらにス テツプ S 39での規定時間の待機の後、 ステップ S 41でレジスタ設定クロック を再び口一レベルに設定する。 このようにして、 図 14に示すように、 規定時間 の待機を行いながら、 レジスタ設定クロックをローレベル, ハイレベルそして口 —レベルとすることによって、 コマンド (コマンドまたはコマンド +データ) の 送信処理が行われる。
ステップ S 15 (図 11) では、 ピクセルモードを設定するとともに、 露光時 間の設定を行う。 この実施例の場合、 イメージセンサ 40は先に述べたようにた とえば 32 X 32の CMOSセンサであるため、 設定アドレス "0" のピクセル モードレジス夕に 32 X 32画素であることを示す "Oh" を設定する。 次のス テツプ S 17において、 ゲームプロセサ 52は、 図 13に詳細に示すレジスタ設 定処理を実行する。
レジスタ設定処理の最初のステップ S 43では、 プロセサ 52は、 設定データ として、 コマンド "MOV" +アドレスを設定し、 次のステップ S 45で、 図 1 2で先に説明したコマンド送信処理を実行して、 それを送信する。 次にステップ S 47において、 プロセサ 52は、 設定データとして、 コマンド "LD" +デー 夕を設定し、 次のステップ S 49でコマンド送信処理を実行して、 それを送信す る。 そして、 ステップ S 51で、 プロセサ 52は、 設定デ一夕として、 コマンド "SET"を設定し、次のステップ S 53でそれを送信する。なお、 コマンド "M 0 V"は制御レジスタのアドレスを送信することを示すコマンドで、コマンド" L D" はデータを送信することを示すコマンドで、 コマンド "SET" はデータを そのアドレスに実際に設定させるためのコマンドである。 なお、 この処理は、 設 定する制御レジスタが複数ある場合には、 繰り返し実行される。
図 11に戻って、 次のステップ S 19では、 設定アドレスを "1" (露光時間設 定レジス夕のローニブルのアドレスを示す) とし、最大露光時間を示す" F F h " のローニブルデータ "F h" を設定すべきデータとして設定する。 そして、 ステ ップ S 2 1で図 1 3のレジス夕設定処理を実行する。 同様にして、 ステップ S 2 3において、設定アドレスを " 2 " (露光時間設定レジスタのハイ二ブルのァドレ スを示す) とし、 最大露光時間を示す "F F h " のハイ二ブルデータ "F h" を 設定すべきデータとして設定し、ステップ S 2 5でレジス夕設定処理を実行する。 その後、 ステップ S 2 7で設定終了を示しかつイメージセンサ 4 0にデータの出 力を開始させるためのコマンド" R UN"を設定し、ステップ S 2 9で送信する。 このようにして、 図 1 0に示すステップ S 1での初期設定動作が実行される。 た だし、 図 1 1一図 1 4に示す具体例は、 使用されるイメージセンサの仕様に応じ て、 適宜変更され得るものである。
図 1 0のステツプ S 1の後、 ゲームプロセサ 5 2は、 ステツプ S 2で画像信号 を更新してモニタ (図示せず) に表示される画像を更新する。 ただし、 この表示 画像更新は、 1フレーム (テレビジョンフレームまたはビデオフレーム) 毎に実 行される。
そして、 ゲームプロセサ 5 2は、 ステート (状態) に応じた処理を実行する。 ただし、 最初に処理するのは、 ゲームモードの選択である。 このゲームモード選 択では、 ユーザないしゲームプレイヤは、 図 1 0のステップ S 3で、 図 1に示す 選択キー 2 2を操作して、 1人プレイモ一ドまたは 2人プレイモードなどのゲー ムモードを選択するとともに、 ゲームの難易度等を設定する。
実際のゴルフゲームではゴルフクラブを振ってゲーム画面内でゴルフポールを 転動させる必要があるが、 実施例のゴルフゲームシステム 1 0では、 先に述べた ように、 ゴルフクラブ型入力装置 1 4を用いて実空間中でゴルフクラブスイング 動作を行う。 そこで、 ゲームプロセサ 5 2は、 ステップ S 4でスイング動作の判 定処理を実行し、 スイング動作が行われたかどうか判定する。 そして、 スイング 動作が行われたのであれば、 ついでステップ S 5で、 ゲーム画面内でボールが飛 翔しまたは転動しているとき、 ボールの軌道を計算するとともに、 ポールが停止 したときに、 ステップ S 6において、 ステップ S 5での軌道計算処理の結果とし て、 スコア計算および結果判定処理を実行する。 その後、 ビデオ同期信号による割り込みがあれば、 ステップ S 2 (図 1 0 ) の 画像更新を実行する。 また、 ステップ S 7の音声処理は、 音声割り込みが発生し たとき実行され、 それによつてゲーム音楽やゴルフクラブがボールを叩いた音の ような効果音を出力する。
図 1 5—図 2 2を参照して、 このようなゴルフゲームシステム 1 0の具体的な 全体動作を説明する。 図 1 5の最初のステップ S 5 5では、 ゲームプロセサ 5 2 は、 ゴルフクラブ型入力装置 1 4の移動位置を検出するためのストロボスコープ 撮影を実行する。
このストロボスコープ撮影処理の詳細が図 1 6に示される。 図 1 6の最初のス 6 7では、 ゲームプロセサ 5 2は、 内部メモリ (図示せず) の適宜の領域の回数 レジス夕 (図示せず) の回数 Nに 「1」 を代入する。 続くステップ S 6 9におい て、 ゲームプロセサ 5 2は、 ストロボスコープ撮影のために赤外発光ダイオード 4 2を点灯する。 具体的には、 図 7に示す L E Dコントロール信号をハイレベル とする。 その後、 ステップ S 7 1で、 画素データ配列の取得処理を実行する。 図 3 6の最初のステツプ S 3 0 1で、 ゲームプロセサ 5 2は画素データ配列の 要素番号として Xに 「_ 1」、 Yに「0」 を設定する。本実施例における画素デー タ配列は、 X= 0〜3 1、 Y= 0〜3 1の 2次元配列であるが、 前述のように各 行の先頭ピクセルのデ一夕としてダミーデータが出力されるので、 Xの初期値と して「一 1」が設定される。 続くステップ S 3 0 3では、 図 1 7に示す要素 [Υ] [X] の画素データの取得処理を実行する。
図 1 7の最初のステップ S 8 3で、 ゲームプロセサ 5 2は、 イメージセンサ 4 0からのフレームステータスフラグ信号をチェックし、 ステップ S 8 5でその立 ち上がりエッジ(ローレベルからハイレベルへの)が発生したかどうか判断する。 そして、 ステップ S 8 5でフラグ信号の立ち上がりエッジを検出すると、 次のス テツプ S 8 7において、 ゲームプロセサ 5 2は、 それの内部の AZDコンバータ に入力されてきたアナログのピクセル信号のディジタルデータへの変換の開始を 指示する。 その後、 ステップ S 8 9でイメージセンサ 4 0からのピクセルスト口 ーブをチェックし、 ステップ S 9 1でそのストローブ信号の口一レベルからハイ レベルへの立ち上がりエッジが発生したかどうか判断する。 ステップ S 9 1で " Y E S " が判断されると、 ゲームプロセサ 5 2は続いて、 ステップ S 9 3において、 X =— 1かどう力 すなわち先頭ピクセルかどうか判 断する。 先に述べたように、 各行の先頭ピクセルはダミーピクセルとして設定さ れているので、 このステップ S 9 3で " Y E S " が判断されると、 次のステップ S 9 5でそのときのピクセルデータを取得しないで、 ステップ S 9 7で要素番号 Xをインクリメントする。
ステップ S 9 3で "NO" が判断されると、 行の第 2番目以降のピクセルデー 夕であるので、 ステップ S 9 9および S 1 0 1において、 そのときのピクセルデ 一夕を取得し、 テンポラリレジス夕 (図示せず) にそのピクセルデータを格納す る。 その後、 図 3 6のステップ S 3 0 5にリターンする。
ステップ S 3 0 5では、 テンポラリレジスタに格納されたピクセルデータを画 素データ配列の要素 [Y] [X] として格納する。
続くステップ S 3 0 9で Xをインクリメントする。 Xが 3 2に満たない場合、 前述の S 3 0 3から S 3 0 7の処理を繰り返し実行する。 Xが 3 2の場合、 すな わち画素データの取得が行の終端に到達した場合には、 続くステップ S 3 1 I X に 「― 1」 を設定し、 ステップ S 3 1 3で Yをインクリメントし、 次の行の先頭 から画素データの取得処理を繰り返す。
ステップ S 3 1 5で Yが 3 2の場合、 すなわち画素デ一夕の取得が画素データ 配列の終端に到達した場合、 図 1 6のステップ S 7 3にリターンする。
ステップ S 7 3では、 上記画素データ配列を N回目点灯時取得データとして、 たとえば内部 RAMのワーキング領域に格納する。
続くステップ S 7 5で、 ゲームプロセサ 5 2は、 L E Dコントロール信号を口 一レベルにするなどして、 赤外発光ダイオード 4 2を消灯する。 その後、 ステツ プ S 7 6で、 ステップ S 7 1と同様にして、 図 1 7および図 3 5のサブルーチン に従って、 赤外発光ダイオード 4 2が消灯されているときの画素データ配列を取 得し、 ステップ S 7 7においてステップ S 7 3と同様にして、 内部 R AMのヮー キング領域に格納する。
そして、 ステップ S 7 9で回数レジス夕 Nをインクリメントし、 ステップ S 8 1で回数 Nが規定値に達したかどうか判断する。 このステップ S 8 1で "Y E S " が判断されると、 そのまま、 図 1 5のステップ S 5 7 (注目点抽出処理) にリタ ーンする。 ただし "N〇" のときには、 先のステップ S 6 9に戻る。
注目点抽出処理の詳細が図 1 8に示される。 図 1 8の最初のステップ S 1 0 3 では、 ゲームプロセサ 5 2は、 内部メモリ (図示せず) 内の回数レジスタ (図示 せず) の回数 Nに 「1」 を代入する。 そして、 次のステップ S 1 0 5で、 図 1 6 のステップ S 7 3および S 7 7で得た、 点灯時取得デ一夕および消灯時取得デー 夕との差分から、 差分デ一夕配列を算出する。
つまり、 この実施例では、 前述のように、 ゴルフクラブ型入力装置 1 4の反射 体 5 0に赤外光を照射し、 赤外フィル夕を介してイメージセンサ 4 0に入射した 反射赤外光による映像を撮影している。 一般的な室内環境で一般的な光源を用い てゴルフクラブ型入力装置 1 4をストロボスコープ撮影をした場合には、 ィメー ジセンサ (実施例のイメージセンサ 4 0に相当する) には、 図 1 9 (A) に示す ように、 反射体による映像以外に、 蛍光灯光源、 白熱灯光源、 太陽光 (窓) のよ うな光源だけでなく、室内のすべてのものの画像がすべて写り込む。したがつて、 この図 1 9 (A) の映像を処理して反射体の映像のみを抽出するのは、 かなり高 速のコンピュータまたはプロセサが必要である。 しかしながら、 安価が条件のゲ ーム装置ではそのような高性能コンピュータを使えない。 そこで種々の処理を行 つて負担を軽減することが考えられる。
図 1 9 (B) は、 図 1 9 (A) の映像信号を或る閾値でレベル弁別したときの 映像信号である。 このようなレベル弁別処理は専用のハードウェア回路でも、 ソ フトウェア的にでも、実行することができるが、いずれの方法によっても、一定以 下の光量の画素デ一夕をカツ卜するレベル弁別を実行すると、 反射体や光源以外 の低輝度画像を除去することができる。 この図 1 9 (B) の映像では反射体およ び室内の光源以外の画像の処理を省略でき、 · したがって、 コンピュータの負担を 軽減できるが、 それでも、 光源画像を含む高輝度画像が依然として写り込んでい るので、 反射体と他の光源を分別することは難しい。
そこで、 実施例では、 図 3に示したように赤外フィル夕 4 4を利用して、 ィメ ージセンサ 4 0に赤外光による画像以外の画像が写らないようにした。 それによ つて、 図 1 9 (C) に示すように、 赤外光を殆ど含まない蛍光灯光源の画像は除 去できる。 しかしながら、 それでもなお太陽光や白熱灯が映像信号中に含まれて しまう。 したがって、 更なる負担軽減のために、 赤外ストロボスコープの点灯時 の画素デ一夕と消灯時の画素デ一夕との差分を計算することとした。
そのため、 図 1 9 (C) の点灯時の映像信号の画素データと、 図 1 9 (D) の 消灯時の映像信号の画素データとの差分を計算した。 すると、 図 1 9 (E) に示 すように、 その差分だけの映像が取得できる。 この差分データによる映像は、 図 1 9 (A) と対比すれば明らかなように、 ゴルフクラブ型入力装置 1 4の反射体 によって得られる画像のみを含むことになる。 したがって、 ゲームプロセサ 5 2 の性能があまり高くなくても、 ゴルフクラブ型入力装置 1 4のスイングによる、 反射体 5 0すなわちクラブヘッド 4 8 (図 4) の移動軌跡を取得することができ る。
このような理由で、 この実施例では、 図 1 8のステップ S 1 0 5において、 た とえば図 1 9 (E) に示す差分データ配列を算出する。 ステップ S 1 0 5で差分 デ^"夕配列を求めた後、 ステップ S 1 0 7で値の最も大きい画素 (最大輝度の画 素) の座標を取得し、 ステップ S 1 0 9で、 その座標の画素の輝度が規定値を超 えているかどうか判断する。
このステップ S 1 0 9で "Y E S "が判断されると、続くステップ S 1 1 1で、 ステップ S 1 0 7で取得した座標の画素に接する画素、 さらにはそれに接する画 素が上記規定値を超えているかどうかを順次判定し、 注目部 (実施例でいえば反 射体の画像) の直径 Φ [N] を計算する。 この注目部の直径 (または大きさ) を 計算するのは、 ステップ S 1 1 3で反射体 5 0の高さ (Z座標) を取得するため と、ステップ S 1 1 5でその反射体の中心座標を特定する必要があるからである。 図 3に示すように、 この実施例の撮像ュニット 2 8には単焦点の光学系が用い られている。 したがって、 反射体 5 0と撮像素子、 すなわちイメージセンサ 4 0 との間の距離が上記光学系の焦点と合致するとき画像の 「ぼけ」 が最も少なく、 直径が最も大きい。 これに対して、 その合焦距離と反射体—イメージセンサ間距 離との乖離が大きいほど、 画像そのものが小さくなる。 図 1 9 (E) および後述 の図 2 1の例では、その反射体ーィメ一ジセンサ間距離に応じて画像の大きさ(直 径)が変化することを示している。 このようにして、 反射体画像の直径(大きさ) に基づいて、反射体—イメージセンサ間距離すなわち反射体 50の高さ(Z座標) を求めることができる。 この実施例のゴルフゲームシステムではこの Z座標は使 用していないが、 必要に応じてこの Z座標を利用することによって、 さらに異な るゲーム入力を与えることができる。
このようにして、 ステップ S 113で Z座標を求め、 ステップ S 115で反射 体 50の中心座標 (X, Yまたは X, Υ, Z) を保存する。
その後ステップ S 117で回数レジス夕の N値をインクリメントして、 ステツ プ S 119で回数 Nが規定値を超えたかどうか判断する。ステップ S 119で" Y ES"が判断されると、 そのまま図 15のステップ S 59にリターンする。 しか しながら、 "NO"が判断されると、 先のステップ S 105に戻って、 ステップ S 105以下の各ステップを繰り返し実行する。
なお >ステップ S 109で" NO"が判断されたとき、 つまり、 最大輝度の画素 の輝度が規定値を超えないと判断されたときには、 次のステップ S 121で規定 個数のデータをすベて検索した結果かどうか判断する。 ステップ S 121で "Y ES"が判断されると、 つまり、 規定個数の画素をすベて検索したときには、 ス テツプ S 123で、 注目点がないとして検索結果を保存する。 ただし、 ステップ S 121で "NO"が判断されたときには、 ステップ S 125で次に輝度の大き な画素の座標データを取得して、 ステップ S 107に戻る。
ステップ S 57でこのようにして注目点の抽出処理をした後、 次のステップ S 59で、 速度べクトルを計算するなどの動き算出処理を実行する。
図 20がこの動き算出処理の一例である速度べクトル算出処理の具体例を詳細 図示している。 図 20のステップ S 127では上で述べたように、 回数レジス夕 Nに「1」を代入する。その後、 ステップ S 129では、 N回目の注目点座標(P X [N], PY [N]:図 21) から N— 1回目の注目点座標 (PX [N— 1], P Y [N- 1]) を減算して N回目の速度ベクトル (VX [N], VY [N]) を算出 して内部メモリに格納する。
図 21には、 直径 Φ [1] を有する第 1回目の注目領域の画像が示され、 この 第 1回目の注目領域の中心座標は (PX [1], PY [1]) で、 直径 Φ [2] を 有する第 2回目の注目領域の中心座標は (PX [2], PY [2]) である。 同様 に、 第 3回目および第 4回目の注目領域はそれぞれ直径 Φ [3] および Φ [4] を有し、それらの中心座標は、それぞれ(ΡΧ [3], ΡΥ[3])および(ΡΧ[4], ΡΥ [4]) で示されている。
第 2回目の注目領域を Ν回目とした場合、 Ν— 1回目のものは第 1回目の注目 領域である。 したがって、 ステップ S 129では、 この場合、 X方向の速度べク トル VX [2] は(ΡΧ [2] — ΡΧ [1]) で与えられ、 Υ方向の速度ベクトル VY [2] は (ΡΥ [2] -ΡΥ [1]) で与えられる。 なお、 N=lの場合、 Ν — 1の座標データはないので、 前回の最終結果デ一夕を用いるか、 あるいはその 最終結果データがなければ、規定値を用いて速度べクトルを計算することになる。 なお、 図 21には、 各ストロボ映像の注目点領域 (反射体) の画像毎の変化量 ΔΧ, ΔΥも併せて図示されている。 したがって、 必要なら、 この変化量を使つ て変化または変位速度を計算することもできる。
ステップ S 129で速度ベクトルを計算した後、 ステップ S 131で回数 Νを インクリメントし、続くステップ S 133で Νが規定値に達したかどうか判断す る。 ステップ Sか 133で "NO" なら先のステップ S 129に戻って、 ステツ プ S 129を繰り返し実行する。
ステップ S 59の後、 次のステップ S 61で、 図 22に詳細に示す判定処理を 実行する。 この判定処理では、 ゴルフクラブ型入力装置 14をスイングしたかど うかを判定する。 図 22の最初のステップ S 135では、 Nに 「1」 を代入し、 ついで、 ステップ S 137で、 N点目の速度ベクトル (VX [N], VY [N]) から速度 V [N] (スカラー値) を算出する。 そして、 次のステップ S 139にお いて、 そのようにして算出した速度 V [N] が第 1の閾値を超えているかどうか 判断する。 このステップ S 139で." YES" なら、 直ちにステップ S 141で 「スイングは行われた」 と判定するとともに、 ステップ S 143で、 N点目の速 度べクトルから打球時のゴルフポールの初速度べクトルを求める。 したがって、 実施例のゴルフゲームシステムの場合であれば、 この初速度ベクトル、 風向き、 風の強さおよび地形のデータからボールの飛距離を計算することができる。 ステップ S 139で "NO"が判断されたとき、 つまり、 ゴルフクラブのスィ ングの速度が第 1の閾値を下回ったときには、 次のステップ S 145において、 N点目と N— 1点目とを結ぶ線分が規定の領域と交わつているかどうかを判定す る。 そして、 この判定の結果、 ステップ S 1 4 7で "Y E S " が得られたら、 次 のステップ S 1 4 9で、 今度は、 その N点目の速度 (スカラー値) が第 2の閾値 を超えているかどうか判断する。 ただし、 第 2の閾値は当然第 1の閾値より小さ い値である。
ステップ S 1 4 9で " Y E S "のときには、 先のステップ S 1 4 1に進むが、 "NO"なら、 ステップ S 1 4 7で "NO" のときと同様に、 ステップ S 1 5 1 に進み、 N値をインクリメントする。そして、 N〉規定値かどうか判断し、 "NO" なら先のステップ S 1 3 7に戻ってそれ以降の各ステップを繰り返し実行する。 ただし、ステップ S 1 5 3で "NO"が判断されたときには、すなわち、 ステップ S 1 4 5の線分が所定の領域と交わることがなく、 あるいは交わっていたとして も、速度が所定値より小さい場合には、 ステップ S 1 5 5で、 結局、 「スイングは 行われていない」 と判定される。
図 2 2の判定処理が終わると、 図 1 5のステップ S 6 3にリターンするが、 こ のステップ S 6 3では、 ゲーム等のアプリケーションに応じた処理が行われ、 さ らに、 ステップ S 6 5で処理が終了したかどうか (ゲームの場合であればゲーム 終了どうか) 判断され、 "Y E S "なら終了する。
なお、 上述の実施例では、 ゴルフクラブ型入力装置 1 4に円形の反射体 5 0を 設けて、 その移動軌跡から初速度ベクトルを求め、 その初速度ベクトルでゴルフ ポールが打ち出されたものとして、 ボールの飛距離を計算した。 つまり、 ポール に与えられる回転は無視していた。 円形の反射体ではゴルフクラブ型入力装置 1 4の向きを特定することができないからである。 そこで、 次の実施例では、 ゴリレ フクラブ型入力装置 1 4の向きをも計算することができるようにする。
そのために、 次の実施例では、 図 2 3に示すゴルフクラブ型入力装置 1 4を使 う。 この実施例では、 先の図 4のゴルフクラブ型入力装置が円形の反射体を用い ていたのに対し、 長円形または長手の反射体 5 O Aを用いる。
そして、 図 1 5のステップ S 5 5で発光ダイオード 4 2の点灯時および消灯時 の各画素データを取得した後、図 2 4で示す注目点抽出処理を実行する。ただし、 ステップ S 1 5 7— S 1 6 3は図 1 8のステップ S 1 0 3— S 1 0 9と同様であ る。
そして、 次のステップ S 165において、 ステップ S 161で取得した座標の 画素に接する画素、 さらにはそれに接する画素が規定値を超えているかどうかを 順次判定し、 注目部 (実施例でいえば反射体の画像) の全画素を抽出する。 そし て、 ステップ S 166で、 注目部の全画素の中から、 互いの距離が最も離れた 2 つの画素 Pa (Xa, Ya)および P b (Xb, Yb) を抽出する。 この 2点は、 図 26に示すように、 長円形の反射体 5 OAの長手方向両端位置を示すことにな る。 長手方向両端以外に、 2点間距離が最遠となる点はない。
そして、 ステップ S 167で、 2点 Pa, P bの中点座標を N点目の座標 (P X [N], PY [N]) としてメモリに格納する。 そして、 ステップ S 169にお いて、 図 26に示す、 2点 Pa, Pb間の傾きを計算して、 角度データ θ [N] として格納する。ただし、 この傾き 0 [N]は、ステップ S 169に示すように、 (Xb- Xa) / (Ya-Yb) のアークタンジェントで計算することができる。 このようにして、 ゴルフクラブ型入力装置 14の撮像素子に対する向きが角度 ザータ θ [N] として得られる。
図 24のステップ S 171— S 179は、 図 18の対応する各ステップ S 11 7-S 125と同様である。
そして、 次の判定処理では、 図 25に示す各ステップを実行するが、 図 25のス テツプ S 181—S 189および S 191—S 201は、 図 22の対応するステ ップ S 135— S 143および S 145— S 155と同様である。
図 25のステップ S 203において、 図 24のステップ S 169で求めた、 N 点目の座標および N—1点目の座標によって、 角度 0 j (図 26) を計算する。 この角度 0 jは、 ステップ S 203に示すように、 (PY [N] -PY [N- 1]) / (PX [N] -PX [N-1]) のアーク夕ンジェントで計算することができ、 ゴルフクラブ型入力装置のスイングの方向を示す。 そして、 ステップ S 205に おいて、 このステップ S 205に示す式に従って、 ゴルフクラブ型入力装置 14 のスイングの方向に対するゴルフクラブ型入力装置 14の傾き 0 k (=θ [Ν] -θ ) が算出され、 0 kより打球時のフック スライスのパラメ一夕を計算す る。 このようにして、 フック/スライスのパラメ一夕を求めることによって、 単 純な飛距離だけでなく、 球のスピンによる飛翔方向の変化をも加味することがで き、 実施例のゴルフゲームシステムに一層のリアリティや面白さを与えることが できる。
図 2 7を参照して、 この発明の他の実施例であるポーリングゲームシステム 7 8は、 ゲーム機 8 0を含み、 このゲーム機 8 0は、 図 2のシステム 1 0のゲーム 機 1 2と同様に、 A Cアダプタや電池で駆動され、 AVケーブル 1 6を通して、 テレピジョンモニタ (図示せず) の AV端子 (図示せず) に接続される。
ゲーム機 7 8は、 また、 ハウジング 8 2を含み、 このハウジング 8 2上に電源 スィッチ 8 4が設けられるとともに、 方向ボタン 8 6ならびに決定キー 8 8およ びキャンセルキ一 9 0が設けられる。 これらのポタンや操作キーは図 2の対応の ものと同様の機能を持つ。
ゲーム機 8 0のハウジング 8 2の一部が切り欠かれ、 その部分に可動体 9 2が 俯仰方向に回動可能に軸支され、 その可動体 9 2の側面には、 先に図 3を参照し て説明した撮像ユニット 2 8が収納され、 したがって、 可動体 9 2には、 先のも のと同様のイメージセンサ 4 0が設けられる。 そして、 可動体 9 2の側面上であ つてイメージセンサ 4 0の近傍に、 このイメージセンサ 4 0と一体的に俯仰され る赤外発光ダイオード 4 2が設けられ、 ストロボスコ一ブ撮像手段を構成する。 可動体 9 2は、 実施例の場合、 俯仰方向に一定の自由度を有するように支持さ れている。 しかしながら、 俯仰方向に代えて、 あるいは俯仰方向と併用して、 旋 回方向に自由度を持つようにされてもよい。 つまり、 可動体 9 2すなわちィメー ジセンサ 4 0および赤外発光ダイオード 4 2は、 任意の方向に変位可能に設けら れる。
ただし、 イメージセンサ 4 0のレンズ (図 4に示す凹レンズや凸レンズ) をよ り広角なレンズとすれば、 イメージセンサ 4 0を可動なものにする必要はなく、 イメージセンサ 4 0を固定的に取り付けるようにしてもよい。
ポール型入力装置 9 4は、 実際のボーリングゲームと同様に、 ユーザの手の 3 本の指すなわち親指, 中指および 指をそれぞれ挿入する穴 9 4 a , 9 4 bおよ び 9 4 cを有するとともに、 子供が親指以外の任意の 1本または複数の指を挿入 できる幅広の^ ^ 9 4 dをさらに形成している。 そして、 ストラップ 9 6が設けら れていて、ゲームプレイヤは、 このストラップ 9 6を自分の腕(上腕または前腕) に装着することによって、 安全が図られている。 すなわち、 ボール型入力装置 9 4がストラップ 9 6によって自分の腕に連結されているので、 ゲームプレイヤが 誤ってポール型入力装置 9 4を実際のボーリングゲームのように放しても、 ポー ル型入力装置 9 4がどこかに飛んで行き、 結果的に自己または他人に当たるなど の事故は起きない。
さらに、 この実施例のポール型入力装置 9 4は、 図 2 8に示すように、 透明ま たは半透明の半球状外殻 9 8 Aおよび 9 8 Bをボスで連結することによってポ一 ル型入力装置 9 4のハウジングを形成していて、 その外殻 9 8 Aおよび 9 8 B中 に、同様にボスで連結された半球状内殻 1 0 O Aおよび 1 0 0 Bを固定している。 そして、 各半球状内殻 1 0 O Aおよび 1 0 0 Bの表面に反射性シートを貼付する ことによって反射体を形成している。つまり、内殻が反射体となる。したがって、 この実施例では、 反射体 1 0 0とする。
さらに、 この実施例のポーリングゲームシステム 7 8では、 先に説明したよう に、 ストロボスコープによってボール型入力装置 9 4の動きを検出し、 それによ つて、 図 2 9に示すゲーム画面 1 0 2上でポーリングポール 1 0 4の位置を制御 する。 このゲーム画面 1 0 2は、 ユーザまたはプレイヤの視点から見た投影画像 (perspec t ive image) として表示される。 すなわち、 ゲーム画面 1 0 2には、 ポ 一リングレーン 1 0 6およびその奥行き方向位置に配置されるピン 1 0 8が表示 され、 そのゲーム画面 1 0 2上でレーン 1 0 6上をボーリングボール 1 0 4が移 動し、 そのポール 1 0 4の到達位置や強さに応じて、 実際のポーリングゲームと 同様に、 ピンが倒される。 ただし、 たとえばポーリングボール 1 0 4がピン 1 0 8に当たる直前からそのピン部部を拡大した画像をウインドウ(図示せず)として 画面中央に表示すると、 一層大きな臨場感をプレイヤに与えることかできる。 なお、 プレイヤの投球動作が終了する毎に、 図 2 9に示すゲーム画面 1 0 2と 図 3 0に示すスコアシート 1 1 0とが切り替えて表示される。 そして、 複数のゲ ームプレイヤがプレイする場合には、 各人のスコアが同時に表示される。 図 3 0 の例は、 4人のゲームプレイヤがポーリングゲームに同時に参加している場合の スコアシートの例を示す。 このポーリングゲームシステム 7 8では、 ポー 型入力装置 9 4を用いてプレ ィャが実空間中で実際に投球動作をしたとき、ゲームプロセサ 5 2 (図 3 1 )が、 赤外発光ダイオード 4 2を間欠的に点灯し、 その点灯時および消灯時毎の CMO Sイメージセンサ 4 0の画像を解析または処理することによって、 ポール型入力 装置 9 4の位置を間欠的に検出する。 そして、 そのポール型入力装置 9 4の位置 (座標) に応じてポーリングポール 1 0 4の動きを制御し、 それによつて 0本の または 1本以上のピンを倒す。
図 3 1を参照して、 ポール型入力装置 9 4は、 上述のように、 赤外発光ダイォ —ド 4 2の発光に照射され、 その赤外光を反射体 1 0 0で反射する。 この反射体 1 0 0からの反射光が CMO Sイメージセンサ 4 0によって撮影され、 したがつ て、 CMO Sイメージセンサ 4 0からは反射体 1 0 0の映像信号が出力される。 ただし、 それ以外の部分は、 図 5に示すゴルフゲームシステム 1 0の場合と同様 である。
ここで、 図 3 2を参照して、 実施例のポーリングゲームシステム 7 8の概略動 作を説明する。 図 2 7に示す電源スィッチ 8 4をオンしてゲームスタートとなる が、 図 3 1に示すゲームプロセサ 5 2は、 まず、 ステップ S 1で初期化処理を実 行する。 具体的には、 システムおよび各変数を初期化する。 ただし、 初期化の具 体的方法は先に述べたとおりである。
そして、 図 3 2のステップ S 1の後、 ゲームプロセサ 5 2は、 ステップ S 2で 画像信号を更新してモニタ 2 0に表示される画像を更新する。 ただし、 この表示 画像更新は、 1フレーム (テレビジョンフレームまたはビデオフレーム) 毎に実 行される。
そして、 ゲームプロセサ 5 2は、 ステート (状態) に応じた処理を実行する。 ただし、 最初に処理するのは、 ゲームモードの選択である。 このゲームモード選 択では、 ユーザないしゲームプレイヤは、 図 3 2のステップ S 3で、 図 2 7に示 す選択キー 8 6を操作して、 1人プレイモードまたは 2人プレイモードなどのゲ ームモードを選択するとともに、 ゲームの難易度等を設定する。
実際のポーリングゲームではレーン上にボールを転動させる必要があるが、 実 施例のボーリングゲームシステム 1 0では、 先に述べたように、 ボール型入力装 置 94を用いて投球動作を行う。 そこで、 ゲームプロセサ 52は、 ステップ S4 で投球動作の判定処理を実行し、投球動作が行われたかどうか判定する。そして、 投球動作が行われたのであれば、 ついでステップ S 5で、 ボール 104がレーン 106 (いずれも図 30) 上を移動しているとき、 ボールの軌道を計算するとと もに、 ボール 104のピン 108 (図 30) への衝突判定処理を実行する。 そし て、 ポール 104がレーン 106の終端まで到着したときに、 ステップ S 6にお いて、 ステップ S 5でのピン衝突判断処理の結果として、 スコア計算および結果 判定処理を実行する。
なお、 この実施例のボ一リングゲームシステム 78においても、 スト口ボスコ —プによって反射体 100を撮影することによって、 ゲーム入力とすることは先 の実施例と同様である。 したがって、 先の実施例に比べて図 15の判定処理ステ ップ S 61が異なるだけである。
判定処理ステップが図 33に詳細に図示され、 それぞれの最初のステップ S 2 07は ^値を 「1」 として設定する。 そして、 ステップ S 209で、 速度べクト ルの Y成分(上下方向成分) VY [N] (図 21)が規定値を超えているかどうか 判断する。 このステップ S 209で "YES" の場合には、 ステップ S 211に 進み、たとえば内部メモリに形成されたカウンタをインクリメントする。そして, 次のステップ S213で、 そのカウンタのカウント値が規定の定数 C (たとえば 「3」) になったかどうか判断する。 "YES"なら、 ステップ S 215で 「投球 動作が行われた」 と判断し、 続くステップ S217で N点目の X座標 PX [N] を投球位置の X座標とするとともに、 ステップ S219で、 N点目の速度べクト ル (VX [N], VY [N]) から投球時のボールの初速度を求める。 そして、 こ の初速度に応じてボーリングボールが投げ出されたものとして、 ゲーム処理が実 行される。
なお、 ステップ S 209で "NO"が判断されたときには、 ステップ S 221 で上述のカウンタをリセットする。 したがって、 たとえば 3回分連続して速度べ クトルの Y成分が規定値を超えないと投球動作があつたと判断されることはない。 これによつて、 ゲームプレイヤの不所望の動きがゲームに反映されるが防止され ている。 ステップ S 221の後、 ステップ S 223で N値をインクリメントし、 ステツ プ S 225でその Nが所定値に達したかどうか判定する。 "YES"が判断される と、 ステップ S 227で 「投球はまだ行われていない」 と判断される。 そして、 ステップ S 219の後と同じように、 図 15のステップ S 63にリターンする。 図 34はストロボスコープを利用する入力装置の他の実施例を示し、 この実施 例の入力装置 112は、 手袋型入力装置である。 手袋型入力装置 112はゲーム プレイヤまたはユーザの左右両手に装着される手袋 114Lおよび 114Rを含 み、 この手袋 114Lおよび 114 Rのそれぞれの所定位置 (この実施例では先 端部分) に再帰反射シートで反射体 116Lおよび 116Rを設ける。 この反射 体 116Lおよび 116Rは、 それぞれ、 手袋 114Lおよび 114 Rの一部と して形成され得るが、 手袋 114Lおよび 114 Rの上に貼付するようにしても よい。
そして、 入力信号を与えるためには、 ユーザは手袋 114Lおよび 114Rを 両手に装着し、 両手をたとえば図 27に示すようなゲーム機 80の撮影ュニット 28 (図 3) の上で移動させる。 そうすると、 既に説明した図 15のステップ S 55すなわち図 16に従って、 反射体 116Lおよび 116 Rがともに、 赤外発 光ダイオード 42によって照射され、 または照射されないで、 イメージセンサ 4 0によって撮影される。 そして、 図 15のステップ S 57すなわち図 18に従つ て注目点 (この実施例では 2つの反射体 116があるので 2つの注目点がある) を抽出する。 その後、 図 15のステップ S 59を適用して、 動き算出または検出 処理を実行する。 ただし、 図 34の手袋型入力装置 112を利用する場合には、 ステップ S 59は図 35に示すように変形される。
図 35に示すフロー図では、 移動平均を検出または算出することによって入力 を得る。詳しく説明すると、最初のステップ S 207では、回数レジスタ Nに「規 定値ー M」 を設定する。 次いで、 ステップ S 209において、 変数 ΣΧ, ΣΥに それぞれ 「0」 を設定する。 '
そして、 ステップ S 211において、 N回目の座標 (PX[N], PY[N] :図 21) を取得する。 ただし、 このとき、 Nく 1の場合には、 前回までの座標情報 から座標データを取得する。 次のステップ S 213で、 ステップ S 209で初期 化した変数∑X, Σ Υに、 ステップ S 2 1 1で取得した座標をそれぞれ加算し、 Σ Χ, Σ Υを更新する。 このことを、 ステップ S 2 1 5でインクリメントした回 数 Nが規定値に達したとステップ S 2 1 7で検出されるまで、 繰り返し実行され る。 したがって、 ゲームプロセサ 5 2はこの時点で M個の座標を加算した変数∑ X, Σ Υを保存している。 そして、 ステップ S 2 1 9において、 Σ Χ, Σ Υを個 数 Mで除算することによって、 移動平均 (AX, AY) を算出する。 この移動平 均 AX, AYを使って、 ゲームプロセサ 5 2は、 たとえばゲーム画面上のプレイ ャ操作可能な移動体の位置を変化させる。
なお、 この発明は上で説明した実施例以外に、 次のような実施例または変形例 が可能である。
たとえば、 図 2に示す実施例では、 ゴルフクラブ型入力装置 1 4を用いて入力 を行うが、 同様のシステムを用いて、 野球のバット型の入力装置かつノまたは野 球のポール型の入力装置を用いる野球ゲーム装置、 卓球のラケット型入力装置を 用いる卓球ゲーム、 テニスのラケット型入力装置を用いるテニスゲーム等の変形 が多数考えられる。
また、 反射体を備える入力装置を下脚部または足首に取り付け、 プレイヤの足 の位置、 速度、 運動軌跡のパターンを入力信号として扱うサッカーゲーム装置の ような変形も考えられる。
また、 図 3 4に示す手袋型入力装置を用いる実施例については、 図 3 5のフロ 一チャートにて算出する移動平均値を入力信号として用いているが、 手袋型入力 装置の位置、 移動速度、 移動軌跡を算出し、 これらを入力信号として扱う拳闘ゲ ーム装置、 ダンスゲーム装置のような変形が多数考えられる。 また、 これらの変 形例においては、 手袋型入力装置の代りに、 手首に巻くリストバンド形状の入力 装置によつても手袋型入力装置と同様の効果が期待できる。
また、 前述の足に取り付ける入力装置を、 図 3 4に示す手袋型入力装置、 ある いはリストバンド形状の入力装置と組み合わせて用いることにより、 四肢を使う ダンスゲーム装置のような変形も多数考えられる。
また、 図 2 3に示すゴルフクラブ型入力装置 1 4のように、 細長い形状の反射 体 5 O Aを剣の形状をした入力装置に貼付し、 剣の角度、 位置、 移動速度、 移動 軌跡を入力信号として扱う剣闘ゲーム装置のような変形も多数考えられる。 この発明ではストロボスコープと撮像手段を用いて対象物を撮影し、 複数の発 光時映像信号と複数の非発光時映像信号とのそれぞれの差に基づいて対象物の位 置、 大きさ、 速度、 加速度、 運動軌跡パターンの情報の一部または全部を算出す る。 情報処理装置やエンターテインメント装置は、 その情報を用いて情報処理や ゲーム, その他のエンターテインメント処理を実行する。
ただし、 上述の例では 1つのゲームプロセサによってすべての情報処理を実行 するようにしたが、 2以上のプロセサゃコンピュータを用いて全体の処理を分担 させることも当然できる。
この発明が詳細に説明され図示されたが、 それは単なる図解および一例として 用いたものであり、 限定であると解されるべきではないことは明らかであり、 こ の発明の精神および範囲は添付されたクレームの文言によってのみ限定される。

Claims

請求の範囲
1 . ストロボスコープを使った入力システムを備える情報処理装置であって、 ス卜ロボスコープ、
前記ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発 光時映像信号および非発光時映像信号を出力する撮像手段、
複数の前記発光時映像信号と複数の前記非発光時映像信号とのそれぞれの差に 基づいて前記対象物の位置、 大きさ、 速度、 加速度、 運動軌跡パターンの情報の 一部または全部を算出する第 1の手段、 および
第 1の手段によって算出された前記情報に基づき情報処理を行う第 2の手段を 備える、 情報処理装置。
2 . 前記第 1の手段は、 前記情報が所定の条件に合致するか否かを判定する判 定手段を含む、 請求項 1記載の情報処理装置。
3 . 前記第 1の手段は、 前記判定手段における判定結果に基づき前記情報の中 から有効な情報のみを検出し、 有効な入力が行われたとして前記第 2手段に伝達 する有効入力検出手段を含む、 請求項 2記載の情報処理装置。
4. 前記第 1の手段は、 前記対象物の大きさを示す情報より前記対象物と前記 撮像手段の距離を算出する距離算出手段を含む、 請求項 1ないし 3のいずれかに 記載の情報処理装置。
5 . 前記第 1の手段は、 前記発光時映像信号と前記非発光時映像信号との差よ り得られる情報を解析し前記対象物の形状を抽出する解析手段、 および
前記形状より前記対象物と前記撮像手段の角度を算出する角度算出手段を含む、 請求項 1ないし 4のいずれかに記載の情報処理装置。
6 . 前記解析手段における解析は、 前記対象物中の所定の 2点を抽出するもの であり、
前記角度算出手段における角度の算出は、 前記所定の 2点を結ぶ線分と所定の 座標軸との角度を算出するものである、 請求項 5に記載の情報処理装置。
7 . 前記ストロボスコープの発光の時間間隔は自在に設定可能である、 請求項 1ないし 6のいずれかに記載の情報処理装置。
8 . 前記ストロボスコープの発光期間の長さおよび非発光期間の長さは自在に 設定可能である、 請求項 1ないし 6のいずれかに記載の情報処理装置。
9. 前記撮像手段の露光期間は自在に設定可能である、 請求項 1ないし 6のい ずれかに記載の情報処理装置。
1 0. 前記対象物は反射体を含む、 請求項 1ないし 9のいずれかに記載の情報 処理装置。
1 1 . 前記ストロボスコープは特定の波長領域の光を出力する光源を含み、 前記撮像手段は前記特定の波長領域にのみ応答する、 請求項 1ないし 1 0のい ずれかに記載の情報処理装置。
1 2 . 前記撮像手段は前記特定の波長領域の光のみを透過するフィル夕と、 前 記フィル夕を透過した光で形成される映像を撮影する撮像素子とを含む、 請求項 1 1記載の情報処理装置。
1 3. 前記撮像手段は、 前記特定の波長領域の光で形成される映像のみを撮影 する撮像素子を含む、 請求項 1 1記載の情報処理装置。
1 4. 前記第 1の手段および前記第 2の手段は、 それぞれ単一または複数のプ ロセサによって処理されるプロセスである、 請求項 1ないし 1 3のいずれかに記 載の情報処理装置。
1 5 . 請求項 1ないし 1 4のいずれかに記載の情報処理装置において、 前記第 2の手段で行われる情報処理が、 ゲーム等のエンターティンメント処理である、 エンターテインメント装置。
1 6 . ストロボスコープを使った入力システムを備えるマンマシンインターフ エースシステムであって、
ストロボスコープ、
前記ストロボスコープの発光時および非発光時にそれぞれ対象物を撮影して発 光時映像信号および非発光時映像信号を出力する撮像手段、
複数の前記発光時映像信号と複数の前記非発光時映像信号とのそれぞれの差に 基づいて前記対象物の位置、 大きさ、 速度、 加速度、 運動軌跡パターンの情報の 一部または全部を算出する第 1の手段、 および
第 1の手段によって算出された前記情報に基づき情報処理を行う第 2の手段を 備える、 マンマシンインターフェースシステム。
PCT/JP2003/007900 2002-06-27 2003-06-20 ストロボスコープを使った入力システムを備える情報処理装置 WO2004002593A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020047021046A KR101009161B1 (ko) 2002-06-27 2003-06-20 스트로보스코프를 사용한 입력 시스템을 구비하는 정보처리 장치
US10/517,767 US7662047B2 (en) 2002-06-27 2003-06-20 Information processor having input system using stroboscope
EP03733531A EP1516654A4 (en) 2002-06-27 2003-06-20 INFORMATION PROCESSOR WITH INPUT SYSTEM USING A STROBOSKOPS
AU2003243940A AU2003243940A1 (en) 2002-06-27 2003-06-20 Information processor having input system using stroboscope
US12/629,615 US8083604B2 (en) 2002-06-27 2009-12-02 Information processing apparatus provided with input system utilizing stroboscope

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-187162 2002-06-27
JP2002187162 2002-06-27
JP2002346052A JP5109221B2 (ja) 2002-06-27 2002-11-28 ストロボスコープを使った入力システムを備える情報処理装置
JP2002-346052 2002-11-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10517767 A-371-Of-International 2003-06-20
US12/629,615 Continuation US8083604B2 (en) 2002-06-27 2009-12-02 Information processing apparatus provided with input system utilizing stroboscope

Publications (1)

Publication Number Publication Date
WO2004002593A1 true WO2004002593A1 (ja) 2004-01-08

Family

ID=30002297

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/007900 WO2004002593A1 (ja) 2002-06-27 2003-06-20 ストロボスコープを使った入力システムを備える情報処理装置

Country Status (8)

Country Link
US (2) US7662047B2 (ja)
EP (1) EP1516654A4 (ja)
JP (1) JP5109221B2 (ja)
KR (1) KR101009161B1 (ja)
CN (1) CN100528273C (ja)
AU (1) AU2003243940A1 (ja)
TW (1) TWI325789B (ja)
WO (1) WO2004002593A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006059743A1 (en) * 2004-12-03 2006-06-08 Ssd Company Limited Boxing game processing method, display control method, position detection method, cursor control method, energy consumption calculating method and exercise system
WO2006070850A1 (en) * 2004-12-28 2006-07-06 Ssd Company Limited Method and apparatus for detecting reflective object
WO2006080546A1 (en) * 2005-01-27 2006-08-03 Ssd Company Limited Tilt detection method and entertainment system
JP2008525051A (ja) * 2004-12-28 2008-07-17 新世代株式会社 反射物体を検出する方法及び装置
US7719741B2 (en) 2004-08-24 2010-05-18 Ssd Company Limited Input device
CN102270276A (zh) * 2010-06-11 2011-12-07 微软公司 根据身体移动确定卡路里燃烧

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7789742B1 (en) * 1999-05-12 2010-09-07 Wilbert Q. Murdock Smart golf club multiplayer system for the internet
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
JP5109221B2 (ja) * 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8512160B2 (en) * 2003-09-08 2013-08-20 Acushnet Company Multishutter club-ball analyzer
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
JP2005349048A (ja) * 2004-06-11 2005-12-22 Konami Co Ltd ゲーム装置、ゴルフゲーム装置及び該装置のショット結果決定方法
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP2008512643A (ja) * 2004-09-09 2008-04-24 新世代株式会社 傾き検出方法及びエンタテインメント・システム
TW200625143A (en) * 2005-01-04 2006-07-16 Pixart Imaging Inc Personal computer's interactive input device and game-peripheral equipment
WO2006073936A2 (en) * 2005-01-04 2006-07-13 Qmotions, Inc. Baseball simulation device
JP4635164B2 (ja) * 2005-01-27 2011-02-16 新世代株式会社 傾き検出方法、コンピュータプログラム、及びエンタテインメント・システム
US7609249B2 (en) 2005-04-21 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination utilizing a cordless device
JP2007152080A (ja) * 2005-06-16 2007-06-21 Shinsedai Kk 入力装置、疑似体験方法及びエンタテインメント・システム
KR20080028935A (ko) * 2005-06-16 2008-04-02 신세다이 가부시키 가이샤 입력장치, 유사체험방법 및 엔터테인먼트 시스템
JP4805633B2 (ja) 2005-08-22 2011-11-02 任天堂株式会社 ゲーム用操作装置
US8313379B2 (en) 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
JP4262726B2 (ja) 2005-08-24 2009-05-13 任天堂株式会社 ゲームコントローラおよびゲームシステム
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
US8128533B2 (en) * 2005-12-12 2012-03-06 Ssd Company Limited Exercise assisting method, exercise appliance, and information processor
US8636605B2 (en) * 2006-03-01 2014-01-28 Acushnet Company IR system for kinematic analysis
EP2013865A4 (en) * 2006-05-04 2010-11-03 Sony Comp Entertainment Us METHODS AND APPARATUS FOR APPLYING ADAPTATION EFFECTS TO INPUT BASED ON ONE OR MORE VISUAL, ACOUSTICAL, INERTIAL AND MIXED DATA
JP4989105B2 (ja) * 2006-05-09 2012-08-01 任天堂株式会社 ゲームコントローラ
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
CN101485192B (zh) 2006-10-30 2011-05-18 松下电器产业株式会社 图像生成装置以及图像生成方法
US9283464B2 (en) * 2007-08-03 2016-03-15 Lynqs, Inc. Golf gaming systems and methods
US8926416B2 (en) * 2007-08-10 2015-01-06 Full Swing Golf Sports simulator and simulation method
US20090062002A1 (en) * 2007-08-30 2009-03-05 Bay Tek Games, Inc. Apparatus And Method of Detecting And Tracking Objects In Amusement Games
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5429918B2 (ja) * 2008-02-15 2014-02-26 任天堂株式会社 情報処理プログラムおよび情報処理装置
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
JP2009250772A (ja) * 2008-04-04 2009-10-29 Sony Corp 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
US8672759B2 (en) * 2008-05-06 2014-03-18 Sony Computer Entertainment America Llc Gaming peripheral including releasably engageable release element
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
WO2010083449A2 (en) 2009-01-19 2010-07-22 Full Swing Golf, Inc. Methods and systems for sports simulation
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
WO2011059127A1 (ko) * 2009-11-13 2011-05-19 한국과학기술연구원 적외선 센서 및 이를 이용한 감지 방법
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
JP5849622B2 (ja) * 2011-11-08 2016-01-27 株式会社リコー 撮像装置及び撮像方法
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US9416959B2 (en) 2012-05-17 2016-08-16 Donald Spinner Illuminated golf
DE102013225283B4 (de) * 2013-12-09 2023-04-27 Rohde & Schwarz GmbH & Co. Kommanditgesellschaft Verfahren und Vorrichtung zum Erfassen einer Rundumansicht
CN106796020A (zh) 2014-04-29 2017-05-31 陈家铭 灯控系统和方法
JP6566449B2 (ja) * 2015-03-18 2019-08-28 国立研究開発法人理化学研究所 球状体の回転の測定装置、測定方法、ならびに、プログラム
KR20180059765A (ko) * 2015-09-25 2018-06-05 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US11156473B2 (en) * 2016-08-18 2021-10-26 Sony Corporation Information processing apparatus, information processing system, and information processing method
US20180353828A1 (en) * 2017-06-09 2018-12-13 Golftech, Llc Method and apparatus for ball flight analysis
EP4011468A1 (en) 2017-06-22 2022-06-15 Centurion VR, Inc. Virtual reality simulation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04241885A (ja) * 1991-01-16 1992-08-28 Mizuno Corp ゴルフゲーム模擬装置
EP0837418A2 (en) * 1996-10-18 1998-04-22 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2223849A (en) * 1939-05-04 1940-12-03 Little Inc A Means for analyzing motion
US3577153A (en) * 1967-08-23 1971-05-04 Tokyo Shibaura Electric Co Image pickup apparatus
JPS5596405A (en) * 1979-01-19 1980-07-22 Hajime Sangyo Kk Inspection device for moving object
JPS5684088A (en) * 1979-12-12 1981-07-09 Stanley Electric Co Ltd Picture signal transmitting method
US4713686A (en) * 1985-07-02 1987-12-15 Bridgestone Corporation High speed instantaneous multi-image recorder
US5111410A (en) * 1989-06-23 1992-05-05 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Motion analyzing/advising system
US5062641A (en) * 1989-09-28 1991-11-05 Nannette Poillon Projectile trajectory determination system
JP2893052B2 (ja) * 1990-07-31 1999-05-17 株式会社エフ・エフ・シー 三次元特徴点座標抽出方法
US5249967A (en) * 1991-07-12 1993-10-05 George P. O'Leary Sports technique video training device
US5471383A (en) * 1992-01-22 1995-11-28 Acushnet Company Monitoring systems to measure and display flight characteristics of moving sports object
US5246232A (en) * 1992-01-22 1993-09-21 Colorado Time Systems Method and apparatus for determining parameters of the motion of an object
US5288080A (en) * 1992-04-08 1994-02-22 Tice David E Stroboscopic practice golf club
JPH0686174A (ja) 1992-08-31 1994-03-25 Nec Corp 赤外線イメージセンサ
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5575719A (en) * 1994-02-24 1996-11-19 Acushnet Company Method and apparatus to determine object striking instrument movement conditions
CA2102442A1 (en) * 1992-11-20 1994-05-21 William Gobush Method and apparatus to determine object striking instrument movement conditions
US7086954B2 (en) * 2001-02-14 2006-08-08 Acushnet Company Performance measurement system with fluorescent markers for golf equipment
JPH07151701A (ja) * 1993-11-29 1995-06-16 Hajime Sangyo Kk ストロボスコープの光量補正機能を有する検査装置
JPH07154777A (ja) 1993-11-30 1995-06-16 Matsushita Electric Ind Co Ltd 画像処理装置およびテレビ電話装置
US5478239A (en) * 1993-12-21 1995-12-26 Maximum Performance, Inc. Dynamic visual acuity training method and apparatus
US5472205A (en) * 1994-06-20 1995-12-05 Thrustmaster, Inc. Opto-electric golf club swing sensing system and method
JP3061640B2 (ja) * 1994-10-17 2000-07-10 美津濃株式会社 ゴルファに最適なフレックスのシャフト選定装置
JP3463379B2 (ja) 1994-10-19 2003-11-05 カシオ計算機株式会社 画像制御装置及び画像制御方法
JP3540485B2 (ja) * 1995-04-13 2004-07-07 株式会社リコー 電子スチルカメラ
JPH08287216A (ja) 1995-04-18 1996-11-01 Sanyo Electric Co Ltd 顔面内部位認識方法
US5833549A (en) * 1995-11-14 1998-11-10 Interactive Light, Inc. Sports trainer and game
JP3712459B2 (ja) * 1996-02-14 2005-11-02 藤倉ゴム工業株式会社 ゴルフクラブヘッドのスイング挙動測定方法
JP3410919B2 (ja) 1997-01-31 2003-05-26 株式会社東芝 画像抽出装置
JP3187748B2 (ja) * 1996-10-30 2001-07-11 ブリヂストンスポーツ株式会社 ゴルフボールの運動測定方法
US6292169B1 (en) * 1998-02-13 2001-09-18 Kabushiki Kaisha Toshiba Information input apparatus
US6227984B1 (en) * 1998-05-01 2001-05-08 Charles H. Blankenship Golf swing analysis methods
US6086487A (en) * 1999-04-02 2000-07-11 Acushnet Company Method for matching golfer with a ball
JP2001209487A (ja) 2000-01-25 2001-08-03 Uw:Kk 筆跡通信システムおよび該システムで使用される筆跡入力装置及び筆跡表示装置
JP2001222375A (ja) 2000-02-08 2001-08-17 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
JP2001264016A (ja) * 2000-03-15 2001-09-26 Sumitomo Rubber Ind Ltd ボールの運動測定装置
JP3749072B2 (ja) * 2000-03-24 2006-02-22 ブリヂストンスポーツ株式会社 ゴルフクラブ選択方法及び選択システム
US7042493B2 (en) * 2000-04-07 2006-05-09 Paolo Prandoni Automated stroboscoping of video sequences
JP2002027315A (ja) 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US6431990B1 (en) * 2001-01-19 2002-08-13 Callaway Golf Company System and method for measuring a golfer's ball striking parameters
US6859565B2 (en) * 2001-04-11 2005-02-22 Hewlett-Packard Development Company, L.P. Method and apparatus for the removal of flash artifacts
US6821211B2 (en) * 2001-09-14 2004-11-23 Golftech Sport swing analysis system
US6506124B1 (en) * 2001-12-21 2003-01-14 Callaway Golf Company Method for predicting a golfer's ball striking performance
JP5109221B2 (ja) * 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
US7322889B2 (en) * 2003-10-23 2008-01-29 Ssd Company Limited Game for moving an object on a screen in response to movement of an operation article
US7554545B2 (en) * 2003-11-04 2009-06-30 Ssd Company Limited Drawing apparatus operable to display a motion path of an operation article
US20060141433A1 (en) * 2004-12-28 2006-06-29 Hing Cheung C Method of detecting position of rectangular object and object detector

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04241885A (ja) * 1991-01-16 1992-08-28 Mizuno Corp ゴルフゲーム模擬装置
EP0837418A2 (en) * 1996-10-18 1998-04-22 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1516654A4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719741B2 (en) 2004-08-24 2010-05-18 Ssd Company Limited Input device
WO2006059743A1 (en) * 2004-12-03 2006-06-08 Ssd Company Limited Boxing game processing method, display control method, position detection method, cursor control method, energy consumption calculating method and exercise system
WO2006070850A1 (en) * 2004-12-28 2006-07-06 Ssd Company Limited Method and apparatus for detecting reflective object
JP2008525051A (ja) * 2004-12-28 2008-07-17 新世代株式会社 反射物体を検出する方法及び装置
US7646934B2 (en) 2004-12-28 2010-01-12 Ssd Company Limited Method and apparatus for detecting an image of a reflective object
WO2006080546A1 (en) * 2005-01-27 2006-08-03 Ssd Company Limited Tilt detection method and entertainment system
CN102270276A (zh) * 2010-06-11 2011-12-07 微软公司 根据身体移动确定卡路里燃烧
US9384329B2 (en) 2010-06-11 2016-07-05 Microsoft Technology Licensing, Llc Caloric burn determination from body movement

Also Published As

Publication number Publication date
US7662047B2 (en) 2010-02-16
US8083604B2 (en) 2011-12-27
JP5109221B2 (ja) 2012-12-26
US20050239548A1 (en) 2005-10-27
KR20050014018A (ko) 2005-02-05
CN1665571A (zh) 2005-09-07
EP1516654A4 (en) 2011-05-04
TW200405111A (en) 2004-04-01
AU2003243940A1 (en) 2004-01-19
EP1516654A1 (en) 2005-03-23
US20100309370A1 (en) 2010-12-09
JP2004085524A (ja) 2004-03-18
KR101009161B1 (ko) 2011-01-19
TWI325789B (en) 2010-06-11
CN100528273C (zh) 2009-08-19

Similar Documents

Publication Publication Date Title
WO2004002593A1 (ja) ストロボスコープを使った入力システムを備える情報処理装置
JP5420824B2 (ja) ゲーム装置およびゲームプログラム
US9235292B2 (en) Interactive projector system and method
US9501158B2 (en) Storage medium having stored thereon information processing program and information processing apparatus
US20160267894A1 (en) Computerized percussion instrument
WO2007069752A1 (ja) 運動支援方法、運動器具、及び情報処理装置
JP5745247B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム制御方法
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2011067239A (ja) 情報処理プログラムおよび情報処理装置
JP5358168B2 (ja) ゲーム装置およびゲームプログラム
CN113368486B (zh) 一种用于vr头戴设备的光学追踪器和运动健身系统
TWI276452B (en) Game machine
JP3138335U (ja) 疑似輪投げ遊戯装置
JP2007301036A (ja) ゲーム装置およびゲームプログラム
JP5103657B2 (ja) ストロボスコープを使った入力システムを備える情報処理装置、情報処理システム、及び、コンピュータプログラム
JP5737667B2 (ja) ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
JP3136549U (ja) スロットマシーン
JP3994014B2 (ja) ゲーム機
JP2008134991A (ja) 入力方法
JP2000233080A (ja) 身体部分の意思表示形態の識別方法および身体部分の意思表示形態の識別装置ならびにその識別方法を用いたコンピュータ・ゲームの対戦評価方法およびその識別装置を備えたコンピュータ・ゲーム装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003733531

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10517767

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020047021046

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038150867

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020047021046

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003733531

Country of ref document: EP