WO2011096203A1 - ゲームシステム、操作装置、およびゲーム処理方法 - Google Patents

ゲームシステム、操作装置、およびゲーム処理方法 Download PDF

Info

Publication number
WO2011096203A1
WO2011096203A1 PCT/JP2011/000565 JP2011000565W WO2011096203A1 WO 2011096203 A1 WO2011096203 A1 WO 2011096203A1 JP 2011000565 W JP2011000565 W JP 2011000565W WO 2011096203 A1 WO2011096203 A1 WO 2011096203A1
Authority
WO
WIPO (PCT)
Prior art keywords
game
data
image
controller
unit
Prior art date
Application number
PCT/JP2011/000565
Other languages
English (en)
French (fr)
Inventor
玄洋 竹田
川井　英次
Original Assignee
任天堂株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2010022023A external-priority patent/JP2011156260A/ja
Priority claimed from JP2010022022A external-priority patent/JP5727705B2/ja
Priority claimed from JP2010245299A external-priority patent/JP4798809B1/ja
Application filed by 任天堂株式会社 filed Critical 任天堂株式会社
Priority to EP11739552.5A priority Critical patent/EP2392389A4/en
Priority to CA2746481A priority patent/CA2746481C/en
Priority to KR1020117016995A priority patent/KR101287696B1/ko
Priority to AU2011204815A priority patent/AU2011204815B2/en
Publication of WO2011096203A1 publication Critical patent/WO2011096203A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/323—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections between game devices with different hardware characteristics, e.g. hand-held game devices connectable to game consoles or arcade machines
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an MPEG-stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/403—Connection between platform and handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/404—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection
    • A63F2300/405—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network characterized by a local network connection being a wireless ad hoc network, e.g. Bluetooth, Wi-Fi, Pico net
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering

Definitions

  • the present invention relates to a game system including an operation device that can be operated by a player, and an operation device and a game processing method in the game system.
  • the operating device includes members such as an acceleration sensor and an image sensor, and the game device can calculate (estimate) the motion of the operating device using these members. According to this, since the player can perform a game operation by moving the operation device itself, more intuitive operation, more realistic operation, and more than when only operating a button or a stick, Or more complicated operation etc. are attained.
  • the game image is displayed on a display device separate from the operation device, and the player performs the game operation with the operation device held in his hand while looking at the screen of the display device. become. Therefore, in the above game system, the player cannot directly operate the game image displayed on the screen. That is, the player can perform an operation of pointing a desired position on the screen by pointing the operation device toward the screen, for example, but performs an operation of touching the screen directly or an operation of moving the screen itself, for example. I could't.
  • an object of the present invention is to provide a game system, an operation device, and a game processing method capable of performing a new game operation.
  • the present invention employs the following configurations (1) to (10) in order to solve the above problems.
  • An example of the present invention is a game system including a stationary game device and a first operating device.
  • the game device includes a first operation data reception unit, a game processing unit, an image generation unit, a game image compression unit, a game image transmission unit, and an image output unit.
  • the first operation data receiving unit receives first operation data from the first operation device.
  • the game processing unit executes game processing based on the first operation data.
  • the image generation unit sequentially generates a first game image and a second game image based on the game process.
  • the game image compression unit sequentially compresses the first game image to generate compressed image data.
  • the game image transmission unit wirelessly sequentially transmits the compressed image data to the first controller device.
  • the image output unit sequentially outputs the second game image to an external display device separate from the first operating device.
  • the first operating device includes a display unit, a touch panel, an inertial sensor, a first operation data transmission unit, a game image reception unit, and a game image expansion unit.
  • the touch panel is provided on the screen of the display unit.
  • the first operation data transmission unit wirelessly transmits first operation data including output data of the touch panel and the inertial sensor to the game device.
  • the game image receiving unit sequentially receives compressed image data from the game device.
  • the game image decompression unit sequentially decompresses the compressed image data to obtain a first game image.
  • the display unit sequentially displays the first game image obtained by the expansion.
  • the “game device” may be any information processing device that executes a game process and generates an image based on the game process.
  • the game apparatus may be an information processing apparatus dedicated to a game, or may be a multipurpose information processing apparatus such as a general personal computer.
  • the “first operating device” only needs to include at least the display unit, the touch panel, the inertial sensor, the first operation data transmission unit, the game image reception unit, and the game image expansion unit. Other configurations such as an apparatus may or may not be provided.
  • the “game system” only needs to include the game device and the first operation device, and may or may not include the external display device that displays the second game image. That is, the game system may be provided in a form that does not include the external display device, or may be provided in a form that includes it.
  • the “external display device” may be a separate body from the first operating device, and can display the second game image generated by the game device in addition to the television 2 in the embodiment described later. Anything is acceptable.
  • the external display device may be formed integrally with the game device (in one housing).
  • the first operating device includes the touch panel and the inertia sensor, and the game device executes the game process based on the first operation data including output data of the touch panel and the inertia sensor. According to this, the player can perform a game operation by directly touching the screen of the first operating device or moving the screen itself (the first operating device itself). That is, according to the configuration of (1) above, it is possible to provide a player with a new game operation in which an operation is directly performed on the game image displayed on the screen.
  • the first game image displayed on the screen of the first controller device often becomes a game image for operation on the touch panel.
  • the second game image can be displayed on the external display device, so that two different types of game images can be presented to the player. Therefore, for example, the first game image suitable for the operation of the touch panel is displayed on the screen of the first operation device, and the second game image suitable for grasping the game space is displayed on the external display device.
  • the game space can be represented in various ways by the game image. Therefore, according to the configuration of (1) above, it is possible to present to the player a game image that is easier to see and easier to perform game operations.
  • the first operating device only needs to execute at least image data expansion processing, and the game processing may be executed on the game device side. Even if the game processing is complicated, only the processing on the game device side increases, and the processing amount of the image expansion processing on the first operating device is hardly affected. However, the processing load on the first controller device can be kept within a predetermined range, and high information processing capability is not required for the first controller device. For this reason, it is easy to reduce the size and weight of the first operating device that the user holds and uses, and the manufacturing is also facilitated.
  • the first game image is compressed and transmitted from the game device to the first operation device, so that the game image can be wirelessly transmitted at high speed, and the game process is performed. It is possible to reduce a delay from when the game image is displayed until the game image is displayed.
  • the game system may further include a second operating device.
  • the second operation device includes a second operation data transmission unit that wirelessly transmits second operation data representing an operation on the second operation device to the game device.
  • the game device further includes a second operation data receiving unit that receives the second operation data.
  • the game processing unit executes a game process based on the second operation data.
  • the “second operation device” may be any device that can wirelessly transmit operation data (second operation data) to the game device in addition to a controller in an embodiment described later.
  • the player can perform a game operation using not only the first operating device but also the second operating device. Since the player using the second operating device can play the game while viewing the game image displayed on the external display device, according to the configuration of (2), two players can connect the external display device and the first display device. A game can be played while looking at each of the screens of the operation device.
  • the game device may further include a game sound generation unit, a game sound output unit, and a game sound transmission unit.
  • the game sound generation unit generates the first game sound and the second game sound based on the game process.
  • the game sound output unit outputs the second game sound to an external sound device that is separate from the first operation device.
  • the game sound transmission unit wirelessly transmits the first game sound to the first controller device.
  • the first controller device further includes a game sound receiver and a speaker.
  • the game sound receiving unit receives the first game sound from the game device.
  • the speaker outputs the first game sound received by the game sound receiving unit.
  • the first game sound wirelessly transmitted from the game device to the first controller device may be compressed and transmitted as in an embodiment described later, or may be transmitted without being compressed. .
  • the first operating device may further include a microphone.
  • the first operation data transmission unit further wirelessly transmits the sound data detected by the microphone to the game device.
  • sound data wirelessly transmitted from the first controller device to the game device may be compressed and transmitted as in an embodiment described later, or may be transmitted without being compressed.
  • the sound (microphone sound) detected by the microphone of the first operating device is transmitted to the game device. Therefore, the game apparatus can use the microphone sound as the game sound, or use the result of performing the voice recognition process on the microphone sound as the game input.
  • the first controller device may further include a camera and a camera image compression unit.
  • the camera image compression unit compresses the camera image captured by the camera and generates compressed image data.
  • the first operation data transmission unit further transmits the compressed imaging data wirelessly to the game device.
  • the game apparatus further includes a camera image expansion unit that expands the compressed image data to obtain a camera image.
  • the camera image captured by the camera of the first operating device is transmitted to the game device. Therefore, the game apparatus can use the camera image as the game image, or use the result of performing the image recognition processing on the camera image as the game input. Further, according to the configuration of (5) above, since the camera image is compressed and transmitted, the camera image can be wirelessly transmitted at high speed.
  • the first operating device may include a plurality of surface operation buttons and a direction input unit capable of specifying a direction.
  • the plurality of surface operation buttons are provided on both sides of the screen on the front surface on which the screen of the display unit and the touch panel are provided.
  • the direction input units are provided on both sides of the screen on the front plane.
  • the first operation data further includes data representing operations on the plurality of surface operation buttons and the direction input unit.
  • the operation buttons and the direction input unit are provided on both sides of the screen of the first operation device. Therefore, the player can operate the operation button and the direction input unit while holding the first operating device (typically with the thumbs of both hands), and thus, while performing an operation of moving the first operating device.
  • the operation buttons and the direction input unit can be easily operated.
  • the first operating device may further include a plurality of back surface operation buttons and a plurality of side surface operation buttons.
  • the plurality of back surface operation buttons are provided on the back surface.
  • the back plane is a surface on the opposite side of the front plane on which the screen of the display unit and the touch panel are provided.
  • the plurality of side surface operation buttons are provided on the side surface between the front surface and the back surface.
  • the first operation data further includes data representing operations on the plurality of back surface operation buttons and the side surface operation buttons.
  • the operation buttons are provided on the back plane and side surfaces of the first operation device. Therefore, the player can operate these operation buttons while holding the first operating device (typically with the index finger or middle finger), so even while performing an operation of moving the first operating device.
  • the operation buttons can be easily operated.
  • the first operating device may further include a magnetic sensor. At this time, the first operation data further includes detection result data of the magnetic sensor.
  • the first operating device includes the magnetic sensor, and in the game device, the output result of the magnetic sensor is used for the game process. Therefore, the player can perform a game operation by moving the first operating device.
  • the game device can determine the absolute attitude of the first operating device in the real space from the output result of the magnetic sensor, for example, by using the output result of the inertial sensor and the output result of the magnetic sensor. The attitude of one operating device can be accurately calculated.
  • the inertial sensor may be any inertial sensor.
  • a triaxial acceleration sensor and a triaxial gyro sensor may be used.
  • the movement and posture of the first operating device can be accurately calculated by using two types of sensors, that is, an acceleration sensor and a gyro sensor as the inertial sensor.
  • the game device may include a reading unit, a network communication unit, and a power supply unit.
  • the reading unit is detachable from the game device, and reads information from an external recording medium on which the game program is recorded.
  • the network communication unit is connectable to a network and performs communication with an information processing apparatus that can communicate via the network.
  • the power supply unit supplies power to each unit in the game device from a power supply external to the game device.
  • the game processing unit performs game processing based on the game program read from the reading unit.
  • the game program executed in the game device can be easily changed by replacing the external recording medium on which the game program is recorded.
  • the game device can communicate via the network, for example, by downloading a new application or data via the network, the functions of the game device and the content of the game executed on the game device are further enhanced. Can be made.
  • the terminal device 7 can be used as an interface when communicating with another information processing apparatus via a network.
  • Another example of the present invention may be implemented in the form of the first operating device in the above (1) to (10).
  • Another example of the present invention may be implemented in the form of a game processing method performed in the game systems (1) to (10).
  • the present invention it is possible to perform a new game operation by executing a game process based on an operation on an operation device including a touch panel and an inertial sensor.
  • FIG. 1 is an external view of the game system 1.
  • FIG. 2 is a block diagram showing the internal configuration of the game apparatus 3.
  • FIG. 3 is a perspective view showing an external configuration of the controller 5.
  • FIG. 4 is a perspective view showing an external configuration of the controller 5.
  • FIG. 5 is a diagram showing the internal structure of the controller 5.
  • FIG. 6 is a diagram showing the internal structure of the controller 5.
  • FIG. 7 is a block diagram showing the configuration of the controller 5.
  • FIG. 8 is a diagram showing an external configuration of the terminal device 7.
  • FIG. 9 is a diagram illustrating a state where the user holds the terminal device 7.
  • FIG. 10 is a block diagram showing the internal configuration of the terminal device 7.
  • FIG. 11 is a diagram showing various data used in the game process.
  • FIG. 1 is an external view of the game system 1.
  • FIG. 2 is a block diagram showing the internal configuration of the game apparatus 3.
  • FIG. 3 is a perspective view showing an external configuration of the controller 5.
  • FIG. 5 is a
  • FIG. 12 is a main flowchart showing a flow of game processing executed in the game apparatus 3.
  • FIG. 13 is a flowchart showing a detailed flow of the game control process.
  • FIG. 14 is a diagram showing the screen of the television 2 and the terminal device 7 in the first game example.
  • FIG. 15 is a diagram showing the screen of the television 2 and the terminal device 7 in the second game example.
  • FIG. 16 is a diagram illustrating an example of a television game image displayed on the television 2 in the third game example.
  • FIG. 17 is a diagram illustrating an example of a terminal game image displayed on the terminal device 7 in the third game example.
  • FIG. 18 is a diagram illustrating an example of a television game image displayed on the television 2 in the fourth game example.
  • FIG. 14 is a diagram showing the screen of the television 2 and the terminal device 7 in the first game example.
  • FIG. 15 is a diagram showing the screen of the television 2 and the terminal device 7 in the second game example.
  • FIG. 16 is a diagram
  • FIG. 19 is a diagram illustrating an example of a terminal game image displayed on the terminal device 7 in the fourth game example.
  • FIG. 20 is a diagram showing how the game system 1 is used in the fifth game example.
  • FIG. 21 is a diagram showing a connection relationship among devices included in the game system 1 when connected to an external device via a network.
  • FIG. 1 is an external view of the game system 1.
  • a game system 1 includes a stationary display device (hereinafter referred to as “TV”) 2 typified by a television receiver, a stationary game device 3, an optical disc 4, a controller 5, and a marker device. 6 and the terminal device 7.
  • the game system 1 executes a game process in the game apparatus 3 based on a game operation using the controller 5 and displays a game image obtained by the game process on the television 2 and / or the terminal device 7.
  • an optical disc 4 which is an example of an information storage medium that can be used interchangeably with the game apparatus 3, is detachably inserted.
  • the optical disc 4 stores an information processing program (typically a game program) to be executed in the game apparatus 3.
  • An insertion slot for the optical disk 4 is provided on the front surface of the game apparatus 3.
  • the game apparatus 3 executes the game process by reading and executing the information processing program stored in the optical disc 4 inserted into the insertion slot.
  • the television 2 is connected to the game apparatus 3 via a connection cord.
  • the television 2 displays a game image obtained by a game process executed in the game device 3.
  • the television 2 has a speaker 2a (FIG. 2), and the speaker 2a outputs game sound obtained as a result of the game processing.
  • the game apparatus 3 and the stationary display apparatus may be integrated.
  • the communication between the game apparatus 3 and the television 2 may be wireless communication.
  • a marker device 6 is installed around the screen of the television 2 (upper side of the screen in FIG. 1). Although details will be described later, the user (player) can perform a game operation to move the controller 5, and the marker device 6 is used for the game device 3 to calculate the movement, position, posture, and the like of the controller 5.
  • the marker device 6 includes two markers 6R and 6L at both ends thereof.
  • the marker 6R (same for the marker 6L) is specifically one or more infrared LEDs (Light Emitting Diode), and outputs infrared light toward the front of the television 2.
  • the marker device 6 is connected to the game device 3, and the game device 3 can control lighting of each infrared LED included in the marker device 6.
  • the marker device 6 is portable, and the user can install the marker device 6 at a free position.
  • FIG. 1 shows a mode in which the marker device 6 is installed on the television 2, the position and orientation in which the marker device 6 is installed are arbitrary.
  • the controller 5 gives operation data representing the contents of the operation performed on the game machine 3 to the game apparatus 3.
  • the controller 5 and the game apparatus 3 can communicate with each other by wireless communication.
  • Bluetooth (registered trademark) technology is used for wireless communication between the controller 5 and the game apparatus 3.
  • the controller 5 and the game apparatus 3 may be connected by wire.
  • the game system 1 includes one controller 5, but the game apparatus 3 can communicate with a plurality of controllers, and a game can be played by a plurality of people by using a predetermined number of controllers simultaneously. Is possible. A detailed configuration of the controller 5 will be described later.
  • the terminal device 7 is large enough to be gripped by the user, and can be used by the user holding the terminal device 7 in his / her hand or placing the terminal device 7 in a free position. It is.
  • the terminal device 7 includes an LCD (Liquid Crystal Display) 51 that is a display means, and input means (a touch panel 52, a gyro sensor 64, and the like described later).
  • the terminal device 7 and the game device 3 can communicate wirelessly (may be wired).
  • the terminal device 7 receives data of an image (for example, a game image) generated by the game device 3 from the game device 3 and displays the image on the LCD 51.
  • an LCD is used as the display device.
  • the terminal device 7 may include any other display device such as a display device using EL (Electro Luminescence).
  • the terminal device 7 transmits operation data representing the content of the operation performed on the own device to the game device 3.
  • FIG. 2 is a block diagram showing an internal configuration of the game apparatus 3.
  • the game apparatus 3 includes a CPU (Central Processing Unit) 10, a system LSI 11, an external main memory 12, a ROM / RTC 13, a disk drive 14, an AV-IC 15, and the like.
  • CPU Central Processing Unit
  • the CPU 10 executes a game process by executing a game program stored on the optical disc 4, and functions as a game processor.
  • the CPU 10 is connected to the system LSI 11.
  • an external main memory 12 a ROM / RTC 13, a disk drive 14, and an AV-IC 15 are connected to the system LSI 11.
  • the system LSI 11 performs processing such as control of data transfer between components connected thereto, generation of an image to be displayed, and acquisition of data from an external device.
  • the internal configuration of the system LSI 11 will be described later.
  • the volatile external main memory 12 stores a program such as a game program read from the optical disc 4 or a game program read from the flash memory 17, or stores various data. Used as a work area and buffer area.
  • the ROM / RTC 13 includes a ROM (so-called boot ROM) in which a program for starting the game apparatus 3 is incorporated, and a clock circuit (RTC: Real Time Clock) that counts time.
  • the disk drive 14 reads program data, texture data, and the like from the optical disk 4 and writes the read data to an internal main memory 11e or an external main memory 12 described later.
  • the system LSI 11 is provided with an input / output processor (I / O processor) 11a, a GPU (Graphics Processor Unit) 11b, a DSP (Digital Signal Processor) 11c, a VRAM (Video RAM) 11d, and an internal main memory 11e. Although not shown, these components 11a to 11e are connected to each other by an internal bus.
  • I / O processor input / output processor
  • GPU Graphics Processor Unit
  • DSP Digital Signal Processor
  • VRAM Video RAM
  • the GPU 11b forms part of the drawing means and generates an image in accordance with a graphics command (drawing command) from the CPU 10.
  • the VRAM 11d stores data (data such as polygon data and texture data) necessary for the GPU 11b to execute the graphics command.
  • the GPU 11b creates image data using data stored in the VRAM 11d.
  • the game apparatus 3 generates both a game image to be displayed on the television 2 and a game image to be displayed on the terminal device 7.
  • a game image displayed on the television 2 may be referred to as a “television game image”
  • a game image displayed on the terminal device 7 may be referred to as a “terminal game image”.
  • the DSP 11c functions as an audio processor, and generates sound data using sound data and sound waveform (tone color) data stored in the internal main memory 11e and the external main memory 12.
  • both the game sound output from the speaker of the television 2 and the game sound output from the speaker of the terminal device 7 are generated for the game sound as well as the game image.
  • the game sound output from the television 2 may be referred to as “television game sound”
  • the game sound output from the terminal device 7 may be referred to as “terminal game sound”.
  • the image and sound data output by the television 2 is read by the AV-IC 15.
  • the AV-IC 15 outputs the read image data to the television 2 via the AV connector 16, and outputs the read audio data to the speaker 2 a built in the television 2.
  • an image is displayed on the television 2 and a sound is output from the speaker 2a.
  • the image and sound data output from the terminal apparatus 7 is transmitted to the terminal apparatus 7 by the input / output processor 11a and the like.
  • Data transmission to the terminal device 7 by the input / output processor 11a and the like will be described later.
  • the input / output processor 11a transmits / receives data to / from components connected to the input / output processor 11a or downloads data from an external device.
  • the input / output processor 11a is connected to the flash memory 17, the network communication module 18, the controller communication module 19, the expansion connector 20, the memory card connector 21, and the codec LSI 27.
  • An antenna 22 is connected to the network communication module 18.
  • An antenna 23 is connected to the controller communication module 19.
  • the codec LSI 27 is connected to a terminal communication module 28, and an antenna 29 is connected to the terminal communication module 28.
  • the game device 3 can connect to a network such as the Internet and communicate with an external information processing device (for example, another game device or various servers). That is, the input / output processor 11a is connected to a network such as the Internet via the network communication module 18 and the antenna 22, and can communicate with an external information processing apparatus connected to the network. The input / output processor 11a periodically accesses the flash memory 17 to detect the presence / absence of data that needs to be transmitted to the network. If there is such data, the input / output processor 11a communicates with the network via the network communication module 18 and the antenna 22. Send.
  • an external information processing device for example, another game device or various servers. That is, the input / output processor 11a is connected to a network such as the Internet via the network communication module 18 and the antenna 22, and can communicate with an external information processing apparatus connected to the network. The input / output processor 11a periodically accesses the flash memory 17 to detect the presence / absence of data that needs to be transmitted to the network. If there is such data, the input / output processor 11a
  • the input / output processor 11a receives data transmitted from the external information processing apparatus or data downloaded from the download server via the network, the antenna 22 and the network communication module 18, and receives the received data in the flash memory 17.
  • the CPU 10 By executing the game program, the CPU 10 reads out the data stored in the flash memory 17 and uses it in the game program.
  • the flash memory 17 stores game save data (game result data or intermediate data) played using the game apparatus 3. May be.
  • the flash memory 17 may store a game program.
  • the game apparatus 3 can receive operation data from the controller 5. That is, the input / output processor 11a receives the operation data transmitted from the controller 5 via the antenna 23 and the controller communication module 19, and stores (temporarily stores) it in the buffer area of the internal main memory 11e or the external main memory 12.
  • the game apparatus 3 can transmit and receive data such as images and sounds to and from the terminal apparatus 7.
  • the input / output processor 11 a When transmitting a game image (terminal game image) to the terminal device 7, the input / output processor 11 a outputs the game image data generated by the GPU 11 b to the codec LSI 27.
  • the codec LSI 27 performs predetermined compression processing on the image data from the input / output processor 11a.
  • the terminal communication module 28 performs wireless communication with the terminal device 7. Therefore, the image data compressed by the codec LSI 27 is transmitted to the terminal device 7 via the antenna 29 by the terminal communication module 28.
  • the image data transmitted from the game apparatus 3 to the terminal apparatus 7 is used for the game, and if the displayed image is delayed in the game, the operability of the game is adversely affected. For this reason, it is preferable that the transmission of image data from the game apparatus 3 to the terminal device 7 is as little as possible. Therefore, in this embodiment, the codec LSI 27 is, for example, H.264.
  • the image data is compressed using a highly efficient compression technique such as H.264 standard. Other compression techniques may be used, and when the communication speed is sufficient, the image data may be transmitted without compression.
  • the terminal communication module 28 is a communication module that has received, for example, Wi-Fi authentication.
  • the terminal communication module 28 uses a MIMO (Multiple Input Multiple Output) technology adopted in the IEEE 802.11n standard, for example. Wireless communication may be performed at high speed, or another communication method may be used.
  • MIMO Multiple Input Multiple Output
  • the game apparatus 3 transmits audio data to the terminal apparatus 7 in addition to the image data. That is, the input / output processor 11 a outputs the audio data generated by the DSP 11 c to the terminal communication module 28 via the codec LSI 27.
  • the codec LSI 27 performs compression processing on the audio data in the same manner as the image data.
  • the compression method for the audio data may be any method, but a method with a high compression rate and less deterioration of the sound is preferable. In other embodiments, audio data may be transmitted without being compressed.
  • the terminal communication module 28 transmits the compressed image data and audio data to the terminal device 7 via the antenna 29.
  • the game device 3 transmits various control data to the terminal device 7 as necessary in addition to the image data and the sound data.
  • the control data is data representing a control instruction for a component included in the terminal device 7, and for example, an instruction for controlling lighting of the marker unit (marker unit 55 shown in FIG. 10) or a camera (camera 56 shown in FIG. 10). Indicates an instruction to control imaging.
  • the input / output processor 11 a transmits control data to the terminal device 7 in accordance with an instruction from the CPU 10.
  • the codec LSI 27 does not perform data compression processing in the present embodiment, but may perform compression processing in other embodiments. Note that the above-described data transmitted from the game device 3 to the terminal device 7 may or may not be encrypted as necessary.
  • the game device 3 can receive various data from the terminal device 7.
  • the terminal device 7 transmits operation data, image data, and audio data.
  • Each data transmitted from the terminal device 7 is received by the terminal communication module 28 via the antenna 29.
  • the image data and audio data from the terminal device 7 are subjected to the same compression processing as the image data and audio data from the game device 3 to the terminal device 7. Therefore, these image data and audio data are sent from the terminal communication module 28 to the codec LSI 27, subjected to expansion processing by the codec LSI 27, and output to the input / output processor 11a.
  • the operation data from the terminal device 7 has a smaller amount of data than images and sounds, and therefore may not be subjected to compression processing.
  • the operation data is received by the terminal communication module 28 and then output to the input / output processor 11 a via the codec LSI 27.
  • the input / output processor 11a stores (temporarily stores) the data received from the terminal device 7 in the buffer area of the internal main memory 11e or the external main memory 12.
  • the game apparatus 3 can be connected to another device or an external storage medium. That is, the expansion connector 20 and the memory card connector 21 are connected to the input / output processor 11a.
  • the expansion connector 20 is a connector for an interface such as USB or SCSI.
  • a network such as an external storage medium is connected to the expansion connector 20, a peripheral device such as another controller is connected, or a wired communication connector is connected to replace the network communication module 18 with a network. You can communicate with.
  • the memory card connector 21 is a connector for connecting an external storage medium such as a memory card.
  • the input / output processor 11a can access an external storage medium via the expansion connector 20 or the memory card connector 21 to store data in the external storage medium or read data from the external storage medium.
  • the game apparatus 3 is provided with a power button 24, a reset button 25, and an eject button 26.
  • the power button 24 and the reset button 25 are connected to the system LSI 11.
  • the system LSI 11 When the power button 24 is turned on, power is supplied to each component of the game apparatus 3 from an external power source by an AC adapter (not shown).
  • the reset button 25 When the reset button 25 is pressed, the system LSI 11 restarts the boot program for the game apparatus 3.
  • the eject button 26 is connected to the disk drive 14. When the eject button 26 is pressed, the optical disk 4 is ejected from the disk drive 14.
  • some of the components included in the game apparatus 3 may be configured as expansion devices that are separate from the game apparatus 3.
  • the expansion device may be connected to the game apparatus 3 via the expansion connector 20, for example.
  • the extension device includes, for example, each component of the codec LSI 27, the terminal communication module 28, and the antenna 29, and may be detachable from the extension connector 20.
  • the said game device can be set as the structure which can communicate with the terminal device 7 by connecting the said expansion apparatus with respect to the game device which is not provided with said each component.
  • FIG. 3 is a perspective view showing an external configuration of the controller 5.
  • FIG. 4 is a perspective view showing an external configuration of the controller 5.
  • 3 is a perspective view of the controller 5 as seen from the upper rear side
  • FIG. 4 is a perspective view of the controller 5 as seen from the lower front side.
  • the controller 5 has a housing 31 formed by plastic molding, for example.
  • the housing 31 has a substantially rectangular parallelepiped shape whose longitudinal direction is the front-rear direction (the Z-axis direction shown in FIG. 3), and is a size that can be gripped with one hand of an adult or a child as a whole.
  • the user can perform a game operation by pressing a button provided on the controller 5 and moving the controller 5 itself to change its position and posture (tilt).
  • the housing 31 is provided with a plurality of operation buttons. As shown in FIG. 3, a cross button 32a, a first button 32b, a second button 32c, an A button 32d, a minus button 32e, a home button 32f, a plus button 32g, and a power button 32h are provided on the upper surface of the housing 31. It is done.
  • the upper surface of the housing 31 on which the buttons 32a to 32h are provided may be referred to as a “button surface”.
  • a recess is formed on the lower surface of the housing 31, and a B button 32i is provided on the rear inclined surface of the recess.
  • the power button 32h is for remotely turning on / off the main body of the game apparatus 3.
  • the home button 32 f and the power button 32 h are embedded in the upper surface of the housing 31. Thereby, it is possible to prevent the user from pressing the home button 32f or the power button 32h by mistake.
  • a connector 33 is provided on the rear surface of the housing 31.
  • the connector 33 is used to connect another device (for example, another sensor unit or controller) to the controller 5.
  • locking holes 33a are provided on both sides of the connector 33 on the rear surface of the housing 31 in order to prevent the other devices from being easily detached.
  • a plurality (four in FIG. 3) of LEDs 34a to 34d are provided behind the upper surface of the housing 31.
  • the controller type (number) is assigned to the controller 5 to distinguish it from other controllers.
  • the LEDs 34a to 34d are used for the purpose of notifying the user of the controller type currently set in the controller 5 and notifying the user of the remaining battery level of the controller 5. Specifically, when a game operation is performed using the controller 5, one of the plurality of LEDs 34a to 34d is turned on according to the controller type.
  • the controller 5 has an imaging information calculation unit 35 (FIG. 6). As shown in FIG. 4, a light incident surface 35a of the imaging information calculation unit 35 is provided on the front surface of the housing 31.
  • the light incident surface 35a is made of a material that transmits at least infrared light from the markers 6R and 6L.
  • a sound release hole 31a for releasing sound from a speaker 47 (FIG. 5) built in the controller 5 is formed.
  • FIG. 5 is a perspective view showing a state in which the upper housing (a part of the housing 31) of the controller 5 is removed.
  • FIG. 6 is a perspective view showing a state in which the lower casing (a part of the housing 31) of the controller 5 is removed.
  • the perspective view shown in FIG. 6 is a perspective view of the substrate 30 shown in FIG.
  • a substrate 30 is fixed inside the housing 31, and operation buttons 32 a to 32 h, LEDs 34 a to 34 d, an acceleration sensor 37, an antenna 45, and a speaker 47 are provided on the upper main surface of the substrate 30. Etc. are provided. These are connected to a microcomputer (microcomputer) 42 (see FIG. 6) by wiring (not shown) formed on the substrate 30 or the like.
  • the acceleration sensor 37 is disposed at a position shifted from the center of the controller 5 with respect to the X-axis direction. This makes it easier to calculate the movement of the controller 5 when the controller 5 is rotated about the Z axis.
  • the acceleration sensor 37 is disposed in front of the center of the controller 5 in the longitudinal direction (Z-axis direction). Further, the controller 5 functions as a wireless controller by the wireless module 44 (FIG. 6) and the antenna 45.
  • the imaging information calculation unit 35 is provided at the front edge on the lower main surface of the substrate 30.
  • the imaging information calculation unit 35 includes an infrared filter 38, a lens 39, an imaging element 40, and an image processing circuit 41 in order from the front of the controller 5. These members 38 to 41 are respectively attached to the lower main surface of the substrate 30.
  • the microcomputer 42 and the vibrator 46 are provided on the lower main surface of the substrate 30.
  • the vibrator 46 is, for example, a vibration motor or a solenoid, and is connected to the microcomputer 42 by wiring formed on the substrate 30 or the like.
  • vibration is generated in the controller 5.
  • the vibrator 46 is disposed slightly forward of the housing 31. That is, by arranging the vibrator 46 on the end side of the center of the controller 5, the entire controller 5 can be vibrated greatly by the vibration of the vibrator 46.
  • the connector 33 is attached to the rear edge on the lower main surface of the substrate 30. 5 and 6, the controller 5 includes a crystal resonator that generates a basic clock of the microcomputer 42, an amplifier that outputs an audio signal to the speaker 47, and the like.
  • the shape of the controller 5, the shape of each operation button, the number of acceleration sensors and vibrators, and the installation positions shown in FIGS. 3 to 6 are merely examples, and other shapes, numbers, and installation positions may be used. May be.
  • the imaging direction by the imaging unit is the positive Z-axis direction, but the imaging direction may be any direction. That is, the position of the imaging information calculation unit 35 in the controller 5 (the light incident surface 35a of the imaging information calculation unit 35) does not have to be the front surface of the housing 31, and other surfaces can be used as long as light can be taken in from the outside of the housing 31. May be provided.
  • FIG. 7 is a block diagram showing the configuration of the controller 5.
  • the controller 5 includes an operation unit 32 (operation buttons 32a to 32i), an imaging information calculation unit 35, a communication unit 36, an acceleration sensor 37, and a gyro sensor 48.
  • the controller 5 transmits data representing the content of the operation performed on the own device to the game apparatus 3 as operation data.
  • the operation data transmitted from the controller 5 may be referred to as “controller operation data”
  • the operation data transmitted from the terminal device 7 may be referred to as “terminal operation data”.
  • the operation unit 32 includes the operation buttons 32a to 32i described above, and the operation button data indicating the input state (whether or not each operation button 32a to 32i is pressed) to each operation button 32a to 32i is transmitted to the microcomputer of the communication unit 36. Output to 42.
  • the imaging information calculation unit 35 is a system for analyzing the image data captured by the imaging means, discriminating a region having a high luminance in the image data, and calculating the position of the center of gravity, the size, etc. Since the imaging information calculation unit 35 has a sampling period of, for example, about 200 frames / second at the maximum, it can track and analyze even a relatively fast movement of the controller 5.
  • the imaging information calculation unit 35 includes an infrared filter 38, a lens 39, an imaging element 40, and an image processing circuit 41.
  • the infrared filter 38 passes only infrared rays from the light incident from the front of the controller 5.
  • the lens 39 collects the infrared light transmitted through the infrared filter 38 and makes it incident on the image sensor 40.
  • the image sensor 40 is a solid-state image sensor such as a CMOS sensor or a CCD sensor, for example, and receives the infrared light collected by the lens 39 and outputs an image signal.
  • the marker unit 55 and the marker device 6 of the terminal device 7 to be imaged are configured by a marker that outputs infrared light.
  • the image sensor 40 receives only the infrared light that has passed through the infrared filter 38 and generates image data. Therefore, the image of the imaging target (the marker unit 55 and / or the marker device 6) is captured. More accurate imaging can be performed.
  • an image captured by the image sensor 40 is referred to as a captured image.
  • Image data generated by the image sensor 40 is processed by the image processing circuit 41.
  • the image processing circuit 41 calculates the position of the imaging target in the captured image.
  • the image processing circuit 41 outputs coordinates indicating the calculated position to the microcomputer 42 of the communication unit 36.
  • the coordinate data is transmitted to the game apparatus 3 as operation data by the microcomputer 42.
  • the coordinates are referred to as “marker coordinates”. Since the marker coordinates change corresponding to the direction (tilt angle) and position of the controller 5 itself, the game apparatus 3 can calculate the direction and position of the controller 5 using the marker coordinates.
  • the controller 5 may not include the image processing circuit 41, and the captured image itself may be transmitted from the controller 5 to the game apparatus 3.
  • the game apparatus 3 may have a circuit or a program having the same function as the image processing circuit 41, and may calculate the marker coordinates.
  • the acceleration sensor 37 detects the acceleration (including gravitational acceleration) of the controller 5, that is, detects the force (including gravity) applied to the controller 5.
  • the acceleration sensor 37 detects the value of the acceleration (linear acceleration) in the linear direction along the sensing axis direction among the accelerations applied to the detection unit of the acceleration sensor 37.
  • the component acceleration along each axis is detected as the acceleration applied to the detection unit of the acceleration sensor.
  • the acceleration sensor 37 is, for example, a capacitive MEMS (Micro Electro Mechanical System) type acceleration sensor, but other types of acceleration sensors may be used.
  • the acceleration sensor 37 has a vertical direction (Y-axis direction shown in FIG. 3), a horizontal direction (X-axis direction shown in FIG. 3), and a front-back direction (Z-axis direction shown in FIG. 3) with reference to the controller 5. )
  • Linear acceleration is detected in each of the three axis directions. Since the acceleration sensor 37 detects acceleration in the linear direction along each axis, the output from the acceleration sensor 37 represents the linear acceleration value of each of the three axes. That is, the detected acceleration is represented as a three-dimensional vector in an XYZ coordinate system (controller coordinate system) set with the controller 5 as a reference.
  • the data (acceleration data) representing the acceleration detected by the acceleration sensor 37 is output to the communication unit 36.
  • the acceleration detected by the acceleration sensor 37 changes in accordance with the direction (tilt angle) and movement of the controller 5 itself, so the game apparatus 3 calculates the direction and movement of the controller 5 using the acquired acceleration data. can do.
  • the game apparatus 3 calculates the attitude, tilt angle, and the like of the controller 5 based on the acquired acceleration data.
  • a computer such as a processor (for example, CPU 10) of the game apparatus 3 or a processor (for example, the microcomputer 42) of the controller 5 performs processing based on an acceleration signal output from the acceleration sensor 37 (the same applies to an acceleration sensor 63 described later). It can be easily understood by those skilled in the art from the description of the present specification that by performing the above, it is possible to estimate or calculate (determine) further information regarding the controller 5. For example, when processing on the computer side is executed on the assumption that the controller 5 on which the acceleration sensor 37 is mounted is stationary (that is, the processing is executed assuming that the acceleration detected by the acceleration sensor is only gravitational acceleration).
  • the controller 5 When the controller 5 is actually stationary, it can be determined whether or not the attitude of the controller 5 is inclined with respect to the direction of gravity based on the detected acceleration. Specifically, whether or not the controller 5 is inclined with respect to the reference depending on whether or not 1G (gravity acceleration) is applied, based on the state in which the detection axis of the acceleration sensor 37 is directed vertically downward. It is possible to know how much it is inclined with respect to the reference according to its size. Further, in the case of the multi-axis acceleration sensor 37, it is possible to know in detail how much the controller 5 is inclined with respect to the direction of gravity by further processing the acceleration signal of each axis. .
  • 1G gravitation acceleration
  • the processor may calculate the tilt angle of the controller 5 based on the output from the acceleration sensor 37, or may calculate the tilt direction of the controller 5 without calculating the tilt angle. Good.
  • the acceleration sensor 37 in combination with the processor, the tilt angle or posture of the controller 5 can be determined.
  • the acceleration sensor 37 detects an acceleration corresponding to the movement of the controller 5 in addition to the gravitational acceleration. Therefore, the movement direction of the controller 5 can be known by removing the gravitational acceleration component from the detected acceleration by a predetermined process. Even if it is assumed that the controller 5 is in a dynamic state, the direction of gravity is obtained by removing the acceleration component corresponding to the movement of the acceleration sensor from the detected acceleration by a predetermined process. It is possible to know the inclination of the controller 5 with respect to.
  • the acceleration sensor 37 is a built-in process for performing a predetermined process on the acceleration signal before outputting the acceleration signal detected by the built-in acceleration detection means to the microcomputer 42.
  • An apparatus or other type of dedicated processing apparatus may be provided.
  • a built-in or dedicated processing device converts the acceleration signal into a tilt angle (or other preferred parameter) if, for example, the acceleration sensor 37 is used to detect static acceleration (eg, gravitational acceleration). It may be a thing.
  • the gyro sensor 48 detects angular velocities about three axes (XYZ axes in the present embodiment).
  • the rotation direction around the X axis is the pitch direction
  • the rotation direction around the Y axis is the yaw direction
  • the rotation direction around the Z axis is the roll direction.
  • the gyro sensor 48 may be a three-axis gyro sensor or a combination of a two-axis gyro sensor and a one-axis gyro sensor to detect an angular velocity around three axes. Data representing the angular velocity detected by the gyro sensor 48 is output to the communication unit 36. Further, the gyro sensor 48 may detect an angular velocity around one axis or two axes.
  • the communication unit 36 includes a microcomputer 42, a memory 43, a wireless module 44, and an antenna 45.
  • the microcomputer 42 controls the wireless module 44 that wirelessly transmits data acquired by the microcomputer 42 to the game apparatus 3 while using the memory 43 as a storage area when performing processing.
  • the data output from the operation unit 32, the imaging information calculation unit 35, the acceleration sensor 37, and the gyro sensor 48 to the microcomputer 42 is temporarily stored in the memory 43. These data are transmitted to the game apparatus 3 as operation data (controller operation data). That is, the microcomputer 42 outputs the operation data stored in the memory 43 to the wireless module 44 when the transmission timing to the controller communication module 19 of the game apparatus 3 arrives.
  • the wireless module 44 modulates a carrier wave of a predetermined frequency with operation data using, for example, Bluetooth (registered trademark) technology, and radiates a weak radio signal from the antenna 45. That is, the operation data is modulated by the wireless module 44 into a weak radio signal and transmitted from the controller 5.
  • the weak radio signal is received by the controller communication module 19 on the game apparatus 3 side.
  • the game apparatus 3 can acquire operation data. Then, the CPU 10 of the game apparatus 3 performs a game process using the operation data acquired from the controller 5. Note that wireless transmission from the communication unit 36 to the controller communication module 19 is sequentially performed at predetermined intervals, but game processing is generally performed in units of 1/60 seconds (one frame time). Therefore, it is preferable to perform transmission at a period equal to or shorter than this time.
  • the communication unit 36 of the controller 5 outputs the operation data to the controller communication module 19 of the game apparatus 3 at a rate of once every 1/200 seconds, for example.
  • the controller 5 can transmit marker coordinate data, acceleration data, angular velocity data, and operation button data as operation data representing operations on the own device. Further, the game apparatus 3 executes a game process using the operation data as a game input. Therefore, by using the controller 5, the user can perform a game operation for moving the controller 5 itself in addition to the conventional general game operation for pressing each operation button. For example, an operation of tilting the controller 5 to an arbitrary posture, an operation of instructing an arbitrary position on the screen by the controller 5, an operation of moving the controller 5 itself, and the like can be performed.
  • the controller 5 does not have a display unit for displaying a game image, but may have a display unit for displaying, for example, an image indicating the remaining battery level.
  • FIG. 8 is a diagram illustrating an external configuration of the terminal device 7.
  • 8A is a front view of the terminal device 7
  • FIG. 8B is a top view
  • FIG. 8C is a right side view
  • FIG. 8D is a bottom view.
  • FIG. 9 is a diagram illustrating a state where the user holds the terminal device 7.
  • the terminal device 7 includes a housing 50 that is generally a horizontally-long rectangular plate shape.
  • the housing 50 is large enough to be gripped by the user. Therefore, the user can move the terminal apparatus 7 or change the arrangement position of the terminal apparatus 7.
  • the terminal device 7 has an LCD 51 on the surface of the housing 50.
  • the LCD 51 is provided near the center of the surface of the housing 50. Therefore, as shown in FIG. 9, the user can move the terminal device while holding the housing 50 on both sides of the LCD 51 while viewing the screen of the LCD 51.
  • FIG. 9 shows an example in which the user holds the terminal device 7 horizontally by holding the housings 50 on both the left and right sides of the LCD 51 (with the side facing long), the terminal device 7 is held vertically. It can also be held (with a long vertical orientation).
  • the terminal device 7 has a touch panel 52 on the screen of the LCD 51 as an operation means.
  • the touch panel 52 is a resistive film type touch panel.
  • the touch panel is not limited to the resistive film type, and any type of touch panel such as a capacitance type can be used.
  • the touch panel 52 may be a single touch method or a multi-touch method.
  • the touch panel 52 having the same resolution (detection accuracy) as the resolution of the LCD 51 is used.
  • the resolution of the touch panel 52 and the resolution of the LCD 51 are not necessarily matched.
  • Input to the touch panel 52 is normally performed using a touch pen, but it is also possible to input to the touch panel 52 with a user's finger without being limited to the touch pen.
  • the housing 50 may be provided with a storage hole for storing a touch pen used to perform an operation on the touch panel 52.
  • the terminal device 7 includes the touch panel 52, the user can operate the touch panel 52 while moving the terminal device 7. That is, the user can directly input (by the touch panel 52) to the screen while moving the screen of the LCD 51.
  • the terminal device 7 includes two analog sticks 53A and 53B and a plurality of buttons 54A to 54L as operation means.
  • Each analog stick 53A and 53B is a device that indicates a direction.
  • Each of the analog sticks 53A and 53B is configured such that the stick portion operated by the user's finger can slide or tilt in any direction (any angle in the up / down / left / right and diagonal directions) with respect to the surface of the housing 50.
  • the left analog stick 53A is provided on the left side of the screen of the LCD 51
  • the right analog stick 53B is provided on the right side of the screen of the LCD 51. Therefore, the user can make an input for instructing the direction with the left and right hands using the analog stick.
  • the analog sticks 53 ⁇ / b> A and 53 ⁇ / b> B are provided at positions where the user can operate while holding the left and right portions of the terminal device 7. Also, the analog sticks 53A and 53B can be easily operated.
  • buttons 54A to 54L are operation means for performing predetermined inputs. As will be described below, the buttons 54A to 54L are provided at positions where the user can operate while holding the left and right portions of the terminal device 7 (see FIG. 9). Therefore, the user can easily operate these operation means even when the user moves the terminal device 7.
  • buttons 54A and 54B to 54H among the operation buttons 54A to 54L are provided on the surface of the housing 50. That is, these buttons 54A to 54H are arranged at positions that can be operated with the thumb of the user (see FIG. 9).
  • the cross button 54A is provided on the left side of the LCD 51 and below the left analog stick 53A. That is, the cross button 54A is arranged at a position where it can be operated with the left hand of the user.
  • the cross button 54 ⁇ / b> A has a cross shape and is a button capable of instructing the vertical and horizontal directions.
  • the buttons 54B to 54D are provided below the LCD 51. These three buttons 54B to 54D are arranged at positions that can be operated by both the left and right hands.
  • the four buttons 54E to 54H are provided on the right side of the LCD 51 and below the right analog stick 53B. That is, the four buttons 54E to 54H are arranged at positions that can be operated with the right hand of the user.
  • buttons 54E to 54H are arranged so as to have a vertical / left / right positional relationship (relative to the center position of the four buttons 54E to 54H). Therefore, the terminal device 7 can also function the four buttons 54E to 54H as buttons for instructing the user in the up / down / left / right directions.
  • the first L button 54I and the first R button 54J are provided on an oblique upper portion (upper left portion and upper right portion) of the housing 50.
  • the first L button 54I is provided at the left end of the upper side surface of the plate-like housing 50, and is exposed from the upper and left side surfaces.
  • the first R button 54J is provided at the right end of the upper side surface of the housing 50, and is exposed from the upper and right side surfaces. In this way, the first L button 54I is disposed at a position operable with the user's left index finger, and the first R button 54J is disposed at a position operable with the user's right hand index finger (see FIG. 9).
  • the second L button 54K and the second R button 54L are provided on the back surface of the plate-like housing 50 (that is, the surface opposite to the surface on which the LCD 51 is provided). It is arrange
  • the second L button 54K is provided slightly above the left side (left side when viewed from the front side) of the housing 50
  • the second R button 54L is provided on the right side (from the front side of the housing 50). It is provided slightly above the right side when viewed.
  • the second L button 54K is provided at a position approximately opposite to the left analog stick 53A provided on the surface, and the second R button 54L is provided at a position approximately opposite to the right analog stick 53B provided on the surface. It is done. As described above, the second L button 54K is disposed at a position operable by the user's left middle finger, and the second R button 54L is disposed at a position operable by the user's right middle finger (see FIG. 9). Further, as shown in FIG. 8C, the second L button 54K and the second R button 54L are provided on the diagonally upward surfaces of the feet 59A and 59B, and have button surfaces that are diagonally upward.
  • the middle finger moves in the vertical direction. Therefore, the user can easily press the second L button 54K and the second R button 54L by turning the button surface upward.
  • the foot is provided on the back surface of the housing 50, so that the user can easily hold the housing 50, and the buttons are provided on the foot, so that the user can easily operate while holding the housing 50.
  • the terminal device 7 is placed with the screen of the LCD 51 (the surface of the housing 50) facing upward.
  • the screen may not be completely horizontal. Therefore, in other embodiments, three or more legs may be formed on the back surface of the housing 50. According to this, in the state where the screen of the LCD 51 is facing upward, the foot can be placed on the floor by touching the floor, so that the terminal device 7 can be placed so that the screen is horizontal. Further, the terminal device 7 may be placed horizontally by adding a detachable foot.
  • Each button 54A-54L is appropriately assigned a function according to the game program.
  • the cross button 54A and the buttons 54E to 54H may be used for a direction instruction operation, a selection operation or the like, and the buttons 54B to 54E may be used for a determination operation or a cancel operation.
  • the terminal device 7 has a power button for turning on / off the terminal device 7.
  • the terminal device 7 also has a button for turning on / off the screen display of the LCD 51, a button for setting connection (pairing) with the game device 3, and a volume of a speaker (speaker 67 shown in FIG. 10). You may have a button for adjusting.
  • the terminal device 7 includes a marker portion (marker portion 55 shown in FIG. 10) including a marker 55A and a marker 55B on the surface of the housing 50.
  • the marker unit 55 is provided on the upper side of the LCD 51.
  • Each of the markers 55A and 55B is composed of one or more infrared LEDs, like the markers 6R and 6L of the marker device 6.
  • the marker unit 55 is used for the game device 3 to calculate the movement of the controller 5 and the like, similar to the marker device 6 described above. Further, the game apparatus 3 can control lighting of each infrared LED included in the marker unit 55.
  • the terminal device 7 includes a camera 56 that is an imaging unit.
  • the camera 56 includes an imaging element (for example, a CCD image sensor or a CMOS image sensor) having a predetermined resolution, and a lens. As shown in FIG. 8, in this embodiment, the camera 56 is provided on the surface of the housing 50. Therefore, the camera 56 can take an image of the face of the user who has the terminal device 7, and can take an image of the user who is playing the game while watching the LCD 51, for example.
  • an imaging element for example, a CCD image sensor or a CMOS image sensor
  • the terminal device 7 includes a microphone (a microphone 69 shown in FIG. 10) that is a voice input unit.
  • a microphone hole 60 is provided on the surface of the housing 50.
  • the microphone 69 is provided inside the housing 50 behind the microphone hole 60. The microphone detects sounds around the terminal device 7 such as user's voice.
  • the terminal device 7 includes a speaker (speaker 67 shown in FIG. 10) which is a sound output means. As shown in FIG. 8D, a speaker hole 57 is provided on the lower side surface of the housing 50. The output sound of the speaker 67 is output from the speaker hole 57. In the present embodiment, the terminal device 7 includes two speakers, and speaker holes 57 are provided at positions of the left speaker and the right speaker.
  • the terminal device 7 includes an expansion connector 58 for connecting other devices to the terminal device 7.
  • the extension connector 58 is provided on the lower side surface of the housing 50 as shown in FIG. Note that any other device connected to the expansion connector 58 may be used. For example, a controller (such as a gun-type controller) used for a specific game or an input device such as a keyboard may be used. If it is not necessary to connect another device, the expansion connector 58 may not be provided.
  • each operation button and the housing 50 the number of components, the installation position, and the like are merely examples, and other shapes, numbers, and installation positions are included. Also good.
  • FIG. 10 is a block diagram showing the internal configuration of the terminal device 7.
  • the terminal device 7 includes a touch panel controller 61, a magnetic sensor 62, an acceleration sensor 63, a gyro sensor 64, a user interface controller (UI controller) 65, a codec LSI 66, a speaker. 67, a sound IC 68, a microphone 69, a wireless module 70, an antenna 71, an infrared communication module 72, a flash memory 73, a power supply IC 74, and a battery 75.
  • These electronic components are mounted on an electronic circuit board and stored in the housing 50.
  • the UI controller 65 is a circuit for controlling input / output of data to / from various input / output units.
  • the UI controller 65 is connected to the touch panel controller 61, the analog stick 53 (analog sticks 53A and 53B), the operation button 54 (each operation button 54A to 54L), the marker unit 55, the magnetic sensor 62, the acceleration sensor 63, and the gyro sensor 64. Is done.
  • the UI controller 65 is connected to the codec LSI 66 and the expansion connector 58.
  • a power supply IC 74 is connected to the UI controller 65, and power is supplied to each unit via the UI controller 65.
  • a built-in battery 75 is connected to the power supply IC 74 to supply power.
  • the power supply IC 74 can be connected to a charger 76 or a cable that can acquire power from an external power source via a connector or the like.
  • the terminal device 7 can be connected to the external power source using the charger 76 or the cable. Power supply and charging from can be performed.
  • the terminal device 7 may be charged by attaching the terminal device 7 to a cradle having a charging function (not shown).
  • the touch panel controller 61 is a circuit that is connected to the touch panel 52 and controls the touch panel 52.
  • the touch panel controller 61 generates touch position data in a predetermined format based on a signal from the touch panel 52 and outputs the generated touch position data to the UI controller 65.
  • the touch position data represents the coordinates of the position where the input has been performed on the input surface of the touch panel 52.
  • the touch panel controller 61 reads signals from the touch panel 52 and generates touch position data at a rate of once per predetermined time.
  • Various control instructions for the touch panel 52 are output from the UI controller 65 to the touch panel controller 61.
  • the analog stick 53 outputs stick data representing the direction and amount in which the stick unit operated by the user's finger slides (or tilts) to the UI controller 65.
  • the operation button 54 outputs operation button data representing an input status (whether or not it has been pressed) to each of the operation buttons 54A to 54L to the UI controller 65.
  • the magnetic sensor 62 detects the direction by detecting the magnitude and direction of the magnetic field.
  • the azimuth data indicating the detected azimuth is output to the UI controller 65. Further, a control instruction for the magnetic sensor 62 is output from the UI controller 65 to the magnetic sensor 62.
  • an MI magnetic impedance
  • a fluxgate sensor a Hall element
  • a GMR giant magnetoresistance
  • TMR tunnel magnetoresistance
  • AMR anisotropic magnetoresistance
  • the obtained azimuth data does not indicate the azimuth, but even in such a case, the terminal device 7 moves. Since the orientation data changes, the change in the attitude of the terminal device 7 can be calculated.
  • the acceleration sensor 63 is provided inside the housing 50 and detects the magnitude of linear acceleration along the direction of three axes (xyz axes shown in FIG. 8A). Specifically, the acceleration sensor 63 is configured such that the long side direction of the housing 50 is the x axis, the short side direction of the housing 50 is the y axis, and the direction perpendicular to the surface of the housing 50 is the z axis. Detect the size of. Acceleration data representing the detected acceleration is output to the UI controller 65. Further, a control instruction for the acceleration sensor 63 is output from the UI controller 65 to the acceleration sensor 63.
  • the acceleration sensor 63 is, for example, a capacitive MEMS acceleration sensor in the present embodiment, but other types of acceleration sensors may be used in other embodiments. Further, the acceleration sensor 63 may be an acceleration sensor that detects a uniaxial or biaxial direction.
  • the gyro sensor 64 is provided inside the housing 50 and detects angular velocities around the three axes of the x axis, the y axis, and the z axis. Angular velocity data representing the detected angular velocity is output to the UI controller 65. Further, a control instruction for the gyro sensor 64 is output from the UI controller 65 to the gyro sensor 64. Any number and combination of gyro sensors may be used for detecting the three-axis angular velocity, and the gyro sensor 64 is similar to the gyro sensor 48 in that a two-axis gyro sensor, a one-axis gyro sensor, It may be constituted by. Further, the gyro sensor 64 may be a gyro sensor that detects a uniaxial or biaxial direction.
  • the UI controller 65 outputs operation data including touch position data, stick data, operation button data, azimuth data, acceleration data, and angular velocity data received from each of the above components to the codec LSI 66.
  • the operation data may further include data representing an operation on the other device.
  • the codec LSI 66 is a circuit that performs compression processing on data transmitted to the game apparatus 3 and decompression processing on data transmitted from the game apparatus 3. Connected to the codec LSI 66 are an LCD 51, a camera 56, a sound IC 68, a wireless module 70, a flash memory 73, and an infrared communication module 72.
  • the codec LSI 66 includes a CPU 77 and an internal memory 78.
  • the terminal device 7 is configured not to perform the game process itself, it is necessary to execute a minimum program for management and communication of the terminal device 7. When the power is turned on, the program stored in the flash memory 73 is read into the internal memory 78 and executed by the CPU 77, whereby the terminal device 7 is activated. A part of the internal memory 78 is used as a VRAM for the LCD 51.
  • the camera 56 captures an image in accordance with an instruction from the game apparatus 3 and outputs the captured image data to the codec LSI 66.
  • Control instructions for the camera 56 such as an image capturing instruction are output from the codec LSI 66 to the camera 56.
  • the camera 56 can also capture moving images. That is, the camera 56 can repeatedly capture images and repeatedly output image data to the codec LSI 66.
  • the sound IC 68 is a circuit that is connected to the speaker 67 and the microphone 69 and controls input / output of audio data to the speaker 67 and the microphone 69. That is, when audio data is received from the codec LSI 66, the sound IC 68 outputs an audio signal obtained by performing D / A conversion on the audio data to the speaker 67 and causes the speaker 67 to output sound.
  • the microphone 69 detects a sound (such as a user's voice) transmitted to the terminal device 7 and outputs a sound signal indicating the sound to the sound IC 68.
  • the sound IC 68 performs A / D conversion on the audio signal from the microphone 69 and outputs audio data in a predetermined format to the codec LSI 66.
  • the codec LSI 66 transmits the image data from the camera 56, the audio data from the microphone 69, and the operation data from the UI controller 65 to the game apparatus 3 via the wireless module 70 as terminal operation data.
  • the codec LSI 66 performs the same compression processing as the codec LSI 27 on the image data and the audio data.
  • the terminal operation data and the compressed image data and audio data are output to the wireless module 70 as transmission data.
  • An antenna 71 is connected to the wireless module 70, and the wireless module 70 transmits the transmission data to the game apparatus 3 via the antenna 71.
  • the wireless module 70 has the same function as the terminal communication module 28 of the game apparatus 3. That is, the wireless module 70 has a function of connecting to a wireless LAN by a method compliant with, for example, the IEEE 802.11n standard.
  • the data to be transmitted may or may not be encrypted as necessary.
  • the transmission data transmitted from the terminal device 7 to the game device 3 includes operation data (terminal operation data), image data, and audio data.
  • the data received from the other device may be further included in the transmission data.
  • the infrared communication module 72 performs infrared communication with other devices in accordance with, for example, the IRDA standard.
  • the codec LSI 66 may include the data received by infrared communication in the transmission data as necessary and transmit the data to the game apparatus 3.
  • compressed image data and audio data are transmitted from the game apparatus 3 to the terminal apparatus 7. These data are received by the codec LSI 66 via the antenna 71 and the wireless module 70. The codec LSI 66 decompresses the received image data and audio data. The expanded image data is output to the LCD 51, and the image is displayed on the LCD 51. The expanded audio data is output to the sound IC 68, and the sound IC 68 outputs sound from the speaker 67.
  • control data is included in the data received from the game apparatus 3, the codec LSI 66 and the UI controller 65 issue a control instruction to each unit according to the control data.
  • the control data is a control instruction for each constituent element of the terminal device 7 (in this embodiment, the camera 56, the touch panel controller 61, the marker unit 55, the sensors 62 to 64, and the infrared communication module 72). It is data to represent.
  • the control instruction represented by the control data an instruction to operate each of the above components or to stop (stop) the operation can be considered. That is, components that are not used in the game may be paused in order to reduce power consumption. In that case, the transmission data transmitted from the terminal device 7 to the game device 3 includes data from the paused components. Do not let it.
  • the marker part 55 is infrared LED, control may just be ON / OFF of supply of electric power.
  • the terminal device 7 includes operation means such as the touch panel 52, the analog stick 53, and the operation button 54.
  • operation means such as the touch panel 52, the analog stick 53, and the operation button 54.
  • the configuration may include other operation means.
  • the terminal device 7 includes a magnetic sensor 62, an acceleration sensor 63, and a gyro sensor 64 as sensors for calculating the movement of the terminal device 7 (including changes in position and orientation, or position and orientation).
  • the configuration may include only one or two of these sensors.
  • it may replace with these sensors or the structure provided with another sensor with these sensors may be sufficient.
  • the terminal device 7 is a structure provided with the camera 56 and the microphone 69, in other embodiment, it does not need to be provided with the camera 56 and the microphone 69, and may be provided only with either one. Good.
  • the terminal device 7 is configured to include the marker unit 55 as a configuration for calculating the positional relationship between the terminal device 7 and the controller 5 (the position and / or orientation of the terminal device 7 viewed from the controller 5).
  • the marker unit 55 may not be provided.
  • the terminal device 7 may include other means as a configuration for calculating the positional relationship.
  • the controller 5 may include a marker unit, and the terminal device 7 may include an image sensor.
  • the marker device 6 may be configured to include an imaging element instead of the infrared LED.
  • FIG. 11 is a diagram showing various data used in the game process.
  • FIG. 11 it is a figure which shows the main data memorize
  • a game program 90, received data 91, and processing data 106 are stored in the main memory of the game apparatus 3.
  • the main memory stores data necessary for the game such as image data of various objects appearing in the game and sound data used for the game.
  • a part or all of the game program 90 is read from the optical disc 4 and stored in the main memory at an appropriate timing after the game apparatus 3 is turned on.
  • the game program 90 may be obtained from the flash memory 17 or an external device of the game device 3 (for example, via the Internet) instead of the optical disc 4.
  • a part of the game program 90 (for example, a program for calculating the attitude of the controller 5 and / or the terminal device 7) may be stored in advance in the game apparatus 3.
  • the received data 91 is various data received from the controller 5 and the terminal device 7.
  • the reception data 91 includes controller operation data 92, terminal operation data 97, camera image data 104, and microphone sound data 105.
  • the controller operation data 92 is also a plurality.
  • the terminal operation data 97, the camera image data 104, and the microphone sound data 105 are also a plurality.
  • Controller operation data 92 is data representing a user (player) operation on the controller 5.
  • the controller operation data 92 is transmitted from the controller 5, acquired by the game apparatus 3, and stored in the main memory.
  • the controller operation data 92 includes first operation button data 93, first acceleration data 94, first angular velocity data 95, and marker coordinate data 96.
  • the main memory may store a predetermined number of controller operation data in order from the latest (last acquired).
  • the first operation button data 93 is data representing an input state for each of the operation buttons 32a to 32i provided in the controller 5. Specifically, the first operation button data 93 indicates whether or not each of the operation buttons 32a to 32i is pressed.
  • the first acceleration data 94 is data representing the acceleration (acceleration vector) detected by the acceleration sensor 37 of the controller 5.
  • the first acceleration data 94 represents three-dimensional acceleration having each component of acceleration in the directions of the three axes of XYZ shown in FIG. 3, but in other embodiments, any one or more arbitrary acceleration data 94 It only has to represent acceleration in the direction.
  • the first angular velocity data 95 is data representing the angular velocity detected by the gyro sensor 48 in the controller 5.
  • the first angular velocity data 95 represents the angular velocities around the three axes of XYZ shown in FIG. 3, but in other embodiments, represents the angular velocities around any one axis or more. I just need it.
  • Marker coordinate data 96 coordinates calculated by the image processing circuit 41 of the imaging information calculation unit 35, that is, data representing the marker coordinates.
  • the marker coordinates are expressed in a two-dimensional coordinate system for representing a position on a plane corresponding to the captured image, and the marker coordinate data 96 represents coordinate values in the two-dimensional coordinate system.
  • the controller operation data 92 only needs to represent the operation of the user who operates the controller 5, and may include only a part of each of the data 93 to 96. Further, when the controller 5 has other input means (for example, a touch panel, an analog stick, etc.), the controller operation data 92 may include data representing an operation on the other input means. In the case where the movement of the controller 5 itself is used as a game operation as in the present embodiment, the controller operation data 92 is a controller like the first acceleration data 94, the first angular velocity data 95, or the marker coordinate data 96. 5 includes data whose value changes in accordance with the movement of itself.
  • the terminal operation data 97 is data representing a user operation on the terminal device 7.
  • the terminal operation data 97 is transmitted from the terminal device 7, acquired by the game device 3, and stored in the main memory.
  • the terminal operation data 97 includes second operation button data 98, stick data 99, touch position data 100, second acceleration data 101, second angular velocity data 102, and direction data.
  • the main memory may store a predetermined number of terminal operation data in order from the latest (last acquired).
  • the second operation button data 98 is data representing an input state for each of the operation buttons 54A to 54L provided in the terminal device 7. Specifically, the second operation button data 98 indicates whether or not each of the operation buttons 54A to 54L is pressed.
  • Stick data 99 is data representing the direction and amount in which the stick portion of the analog stick 53 (analog sticks 53A and 53B) has slid (or tilted).
  • the direction and amount may be expressed as, for example, a two-dimensional coordinate or a two-dimensional vector.
  • Touch position data 100 is data representing a position (touch position) where an input is performed on the input surface of the touch panel 52.
  • the touch position data 100 represents coordinate values of a two-dimensional coordinate system for indicating the position on the input surface.
  • the touch position data 100 may represent a plurality of touch positions.
  • the second acceleration data 101 is data representing the acceleration (acceleration vector) detected by the acceleration sensor 63.
  • the second acceleration data 101 represents a three-dimensional acceleration whose components are the accelerations in the directions of the three axes of xyz shown in FIG. 8. Anything can be used as long as it represents acceleration in the above directions.
  • the second angular velocity data 102 is data representing the angular velocity detected by the gyro sensor 64.
  • the second angular velocity data 102 represents the angular velocities around the three axes xyz shown in FIG. 8, but in other embodiments, represents the angular velocities around any one or more axes. Anything is acceptable.
  • the azimuth data 103 is data representing the azimuth detected by the magnetic sensor 62.
  • the azimuth data 103 represents the direction of a predetermined azimuth (for example, north) with reference to the terminal device 7.
  • the azimuth data 103 does not strictly indicate an absolute azimuth (north, etc.). Therefore, it is possible to calculate the attitude change of the terminal device 7 even in such a case.
  • the terminal operation data 97 only needs to represent the operation of the user who operates the terminal device 7, and may include only one of the data 98 to 103. Further, when the terminal device 7 has other input means (for example, a touch pad or an imaging means of the controller 5), the terminal operation data 97 includes data representing an operation on the other input means. Also good.
  • the terminal operation data 97 is the terminal acceleration data 101, the second angular velocity data 102, or the azimuth data 103, as in the terminal operation data 97. Data whose value changes according to the movement of the device 7 itself is included.
  • the camera image data 104 is data representing an image (camera image) captured by the camera 56 of the terminal device 7.
  • the camera image data 104 is image data obtained by decompressing the compressed image data from the terminal device 7 by the codec LSI 27, and is stored in the main memory by the input / output processor 11a.
  • the main memory may store a predetermined number of pieces of camera image data in order from the latest (last acquired).
  • the microphone sound data 105 is data representing sound (microphone sound) detected by the microphone 69 of the terminal device 7.
  • the microphone sound data 105 is sound data obtained by decompressing the compressed sound data transmitted from the terminal device 7 by the codec LSI 27, and is stored in the main memory by the input / output processor 11a.
  • the processing data 106 is data used in a game process (FIG. 12) described later.
  • the processing data 106 includes control data 107, controller attitude data 108, terminal attitude data 109, image recognition data 110, and voice recognition data 111.
  • the processing data 106 includes various data used in the game process, such as data representing various parameters set for various objects appearing in the game.
  • the control data 107 is data representing a control instruction for the components included in the terminal device 7.
  • the control data 107 represents, for example, an instruction for controlling lighting of the marker unit 55, an instruction for controlling imaging of the camera 56, and the like.
  • the control data 107 is transmitted to the terminal device 7 at an appropriate timing.
  • the controller attitude data 108 is data representing the attitude of the controller 5.
  • the controller attitude data 108 is calculated based on the first acceleration data 94, the first angular velocity data 95, and the marker coordinate data 96 included in the controller operation data 92.
  • a method for calculating the controller attitude data 108 will be described later in step S23.
  • the terminal attitude data 109 is data representing the attitude of the terminal device 7.
  • the terminal posture data 109 is calculated based on the second acceleration data 101, the second angular velocity data 102, and the azimuth data 103 included in the terminal operation data 97.
  • a method of calculating the terminal attitude data 109 will be described later in step S24.
  • the image recognition data 110 is data representing the result of a predetermined image recognition process for the camera image.
  • This image recognition processing may be any processing as long as it detects some feature from the camera image and outputs the result.
  • the image recognition processing may be performed from a camera image to a predetermined target (for example, a user's face or marker). And the like, and the information about the extracted target may be calculated.
  • Voice recognition data 111 is data representing a result of a predetermined voice recognition process for the microphone voice.
  • This voice recognition process may be any process that detects some feature from the microphone voice and outputs the result, for example, a process that detects the user's words, It may be a process of simply outputting the volume.
  • FIG. 12 is a main flowchart showing a flow of game processing executed in the game apparatus 3.
  • the CPU 10 of the game apparatus 3 executes a startup program stored in a boot ROM (not shown), whereby each unit such as the main memory is initialized.
  • the game program stored in the optical disc 4 is read into the main memory, and the CPU 10 starts executing the game program.
  • the game apparatus 3 may be configured such that the game program stored on the optical disc 4 is immediately executed after power-on, or a built-in program that displays a predetermined menu screen is first executed after power-on, Thereafter, the game program stored on the optical disc 4 may be executed when the user instructs the start of the game.
  • the flowchart shown in FIG. 12 is a flowchart showing processing performed after the above processing is completed.
  • processing of each step in the flowchart shown in FIG. 12 is merely an example, and the processing order of each step may be changed as long as a similar result is obtained. Moreover, the value of the variable and the threshold value used in the determination step are merely examples, and other values may be adopted as necessary. In the present embodiment, the processing of each step of the flowchart is described as being executed by the CPU 10, but a processor or a dedicated circuit other than the CPU 10 may execute processing of a part of the steps. Good.
  • step S1 the CPU 10 executes an initial process.
  • the initial process is, for example, a process of constructing a virtual game space, placing each object appearing in the game space at an initial position, and setting initial values of various parameters used in the game process.
  • the CPU 10 controls the lighting of the marker device 6 and the marker unit 55 based on the type of the game program.
  • the game system 1 has two of the marker device 6 and the marker unit 55 of the terminal device 7 as imaging targets of the imaging means (imaging information calculation unit 35) of the controller 5.
  • the marker device 6 or the marker unit 55 may be used, or both may be used.
  • the game program 90 includes data indicating whether or not each of the marker device 6 and the marker unit 55 is lit. The CPU 10 determines whether or not the data is read and lit. Then, when the marker device 6 and / or the marker unit 55 is turned on, the following processing is executed.
  • the CPU 10 transmits to the marker device 6 a control signal for turning on each infrared LED included in the marker device 6.
  • the transmission of the control signal may simply be to supply power.
  • each infrared LED of the marker device 6 is turned on.
  • the CPU 10 when the marker unit 55 is turned on, the CPU 10 generates control data representing an instruction to turn on the marker unit 55 and stores it in the main memory.
  • the generated control data is transmitted to the terminal device 7 in step S10 described later. Control data received by the wireless module 70 of the terminal device 7 is sent to the UI controller 65 via the codec LSI 66, and the UI controller 65 instructs the marker unit 55 to turn on.
  • the infrared LED of the marker unit 55 is turned on.
  • the marker device 6 and the marker unit 55 can be turned off by the same processing as when the marker device 6 and the marker unit 55 are turned on.
  • step S2 the process of step S2 is executed. Thereafter, a processing loop composed of a series of steps S2 to S11 is repeatedly executed at a rate of once per predetermined time (one frame time).
  • step S2 the CPU 10 acquires the controller operation data transmitted from the controller 5. Since the controller 5 repeatedly transmits the controller operation data to the game apparatus 3, in the game apparatus 3, the controller communication module 19 sequentially receives the controller operation data, and the received controller operation data is stored in the main memory by the input / output processor 11a. Are sequentially stored. The transmission / reception interval is preferably shorter than the game processing time, for example, 1/200 second. In step S2, the CPU 10 reads the latest controller operation data 92 from the main memory. Following step S2, the process of step S3 is executed.
  • step S3 the CPU 10 acquires various data transmitted from the terminal device 7. Since the terminal device 7 repeatedly transmits terminal operation data, camera image data, and microphone sound data to the game device 3, the game device 3 sequentially receives these data. In the game apparatus 3, the terminal communication module 28 sequentially receives these data, and the camera image data and the microphone sound data are sequentially decompressed by the codec LSI 27. Then, the input / output processor 11a sequentially stores terminal operation data, camera image data, and microphone sound data in the main memory. In step S3, the CPU 10 reads the latest terminal operation data 97 from the main memory. Following step S3, the process of step S4 is executed.
  • step S4 the CPU 10 executes a game control process.
  • the game control process is a process of executing a process of moving an object in the game space in accordance with a game operation by the user and advancing the game.
  • the user can play various games using the controller 5 and / or the terminal device 7.
  • the game control process will be described with reference to FIG.
  • FIG. 13 is a flowchart showing a detailed flow of the game control process. Note that the series of processes shown in FIG. 13 are various processes that can be executed when the controller 5 and the terminal device 7 are used as operating devices, but not all of the processes need to be executed. Depending on the content, only a part of the processing may be executed.
  • step S21 the CPU 10 determines whether or not to change the marker to be used.
  • processing for controlling lighting of the marker device 6 and the marker unit 55 is executed at the start of the game processing (step S1).
  • the target to be used (lighted) in the marker device 6 and the marker unit 55 is changed during the game.
  • the processing in step S21 is processing for determining whether or not to change the lighting target in the middle of the game in consideration of such a case.
  • the determination in step S21 can be performed by the following method, for example. That is, the CPU 10 can make the above determination based on whether or not the game situation (game stage, operation target, etc.) has changed. When the game situation changes, the operation method is changed between an operation method in which the controller 5 is operated with the marker device 6 directed and an operation method in which the controller 5 is operated with the marker unit 55 directed. Because it is possible. Further, the CPU 10 can make the above determination based on the attitude of the controller 5. That is, the above determination can be made depending on whether the controller 5 is facing the marker device 6 or the marker unit 55. Note that the attitude of the controller 5 can be calculated based on the detection results of the acceleration sensor 37 and the gyro sensor 48, for example (see step S23 described later). The CPU 10 can also make the above determination based on whether or not there is a change instruction from the user.
  • step S21 If the determination result of step S21 is affirmative, the process of step S22 is executed. On the other hand, when the determination result of step S21 is negative, the process of step S22 is skipped and the process of step S23 is executed.
  • step S22 the CPU 10 controls lighting of the marker device 6 and the marker unit 55. That is, the lighting state of the marker device 6 and / or the marker unit 55 is changed.
  • step S23 the process which lights or extinguishes the marker apparatus 6 and / or the marker part 55 can be performed similarly to the case of said step S1.
  • step S23 the process of step S23 is executed.
  • the light emission (lighting) of the marker device 6 and the marker unit 55 can be controlled according to the type of the game program by the process of step S1, and the steps S21 and S22 described above. With this process, the light emission (lighting) of the marker device 6 and the marker unit 55 can be controlled in accordance with the game situation.
  • step S23 the CPU 10 calculates the attitude of the controller 5.
  • the attitude of the controller 5 is calculated based on the first acceleration data 94, the first angular velocity data 95, and the marker coordinate data 96.
  • a method for calculating the attitude of the controller 5 will be described.
  • the CPU 10 calculates the attitude of the controller 5 based on the first angular velocity data 95 stored in the main memory. Any method may be used to calculate the attitude of the controller 5 from the angular velocity. The attitude is determined based on the previous attitude (the attitude calculated last time) and the current angular speed (step S2 in the current processing loop). (Angular velocity acquired in step 1). Specifically, the CPU 10 calculates the posture by rotating the previous posture by a unit time at the current angular velocity. The previous posture is represented by the controller posture data 108 stored in the main memory, and the current angular velocity is represented by the first angular velocity data 95 stored in the main memory. Therefore, the CPU 10 reads the controller attitude data 108 and the first angular velocity data 95 from the main memory, and calculates the attitude of the controller 5. Data representing the “posture based on the angular velocity” calculated as described above is stored in the main memory.
  • the CPU 10 when calculating the attitude of the controller 5 from the angular velocity, it is preferable to determine the initial posture. That is, when calculating the attitude of the controller 5 from the angular velocity, the CPU 10 first calculates the initial attitude of the controller 5.
  • the initial posture of the controller 5 may be calculated based on the acceleration data, or specified when the predetermined operation is performed by causing the player to perform a predetermined operation with the controller 5 in a specific posture. May be used as the initial posture.
  • the attitude of the controller 5 as an absolute attitude based on a predetermined direction in space, it is preferable to calculate the initial attitude, but for example, relative to the attitude of the controller 5 at the start of the game. When calculating the attitude of the controller 5 as a general attitude, the initial attitude may not be calculated.
  • the CPU 10 corrects the attitude of the controller 5 calculated based on the angular velocity using the first acceleration data 94. Specifically, the CPU 10 first reads the first acceleration data 94 from the main memory, and calculates the attitude of the controller 5 based on the first acceleration data 94.
  • the acceleration applied to the controller 5 means gravitational acceleration. Therefore, in this state, since the direction of gravity acceleration (gravity direction) can be calculated using the first acceleration data 94 output from the acceleration sensor 37, the direction (posture) of the controller 5 with respect to the direction of gravity is the first value. It can be calculated based on one acceleration data 94. Data representing the “posture based on acceleration” calculated as described above is stored in the main memory.
  • the CPU 10 next corrects the posture based on the angular velocity using the posture based on the acceleration. Specifically, the CPU 10 reads out data representing the posture based on the angular velocity and data representing the posture based on the acceleration from the main memory, and corrects the posture based on the angular velocity data to approach the posture based on the acceleration data at a predetermined ratio. Do. This predetermined ratio may be a predetermined fixed value, or may be set according to the acceleration or the like indicated by the first acceleration data 94. In addition, regarding the posture based on acceleration, since the posture cannot be calculated for the rotation direction with the gravity direction as an axis, the CPU 10 may not correct the rotation direction. In the present embodiment, data representing the corrected posture obtained as described above is stored in the main memory.
  • the CPU 10 After correcting the posture based on the angular velocity as described above, the CPU 10 further corrects the corrected posture using the marker coordinate data 96.
  • the CPU 10 calculates the attitude of the controller 5 (attitude based on marker coordinates) based on the marker coordinate data 96. Since the marker coordinate data 96 indicates the positions of the markers 6R and 6L in the captured image, the attitude of the controller 5 with respect to the roll direction (the rotation direction around the Z axis) can be calculated from these positions. That is, the posture of the controller 5 with respect to the roll direction can be calculated from the inclination of a straight line connecting the position of the marker 6R and the position of the marker 6L in the captured image.
  • the pitch direction and yaw are determined from the position of the marker device 6 in the captured image.
  • the attitude of the controller 5 with respect to the direction can be calculated. For example, when the positions of the markers 6R and 6L move to the left in the captured image, the controller 5 can determine that the orientation (posture) has changed to the right.
  • the attitude of the controller 5 with respect to the pitch direction and the yaw direction can be calculated from the positions of the marker 6R and the marker 6L.
  • the attitude of the controller 5 can be calculated based on the marker coordinate data 96.
  • the CPU 10 When calculating the posture based on the marker coordinates, the CPU 10 next corrects the corrected posture (the posture corrected by the posture based on the acceleration) with the posture based on the marker coordinates. That is, the CPU 10 performs correction to bring the corrected posture closer to the posture based on the marker coordinates at a predetermined rate.
  • This predetermined ratio may be a predetermined fixed value.
  • the correction based on the posture based on the marker coordinates may be performed only in any one or two directions of the roll direction, the pitch direction, and the yaw direction.
  • the CPU 10 may perform correction using the posture based on the marker coordinate data 96 only for the roll direction.
  • the marker device 6 or the marker unit 55 is not imaged by the imaging device 40 of the controller 5, the posture based on the marker coordinate data 96 cannot be calculated. In this case, correction using the marker coordinate data 96 is performed. The process may not be executed.
  • the CPU 10 corrected the first posture of the controller 5 calculated based on the first angular velocity data 95 using the first acceleration data 94 and the marker coordinate data 96.
  • the method using the angular velocity can calculate the attitude even when the controller 5 is moving.
  • the posture is calculated by accumulating the angular velocities detected sequentially, so that the accuracy deteriorates due to accumulated errors, etc., or the accuracy of the gyro sensor due to the so-called temperature drift problem. May get worse.
  • the method using acceleration does not accumulate errors, but cannot accurately calculate the posture (because the direction of gravity cannot be detected accurately) when the controller 5 is moved violently.
  • the method using the marker coordinates can calculate the attitude with high accuracy (particularly regarding the roll direction), but cannot calculate the attitude when the marker unit 55 cannot be imaged.
  • the attitude of the controller 5 can be calculated more accurately.
  • the posture may be calculated using any one or two of the above three methods.
  • step S ⁇ b> 24 the CPU 10 calculates the attitude of the terminal device 7. That is, since the terminal operation data 97 acquired from the terminal device 7 includes the second acceleration data 101, the second angular velocity data 102, and the azimuth data 103, the CPU 10 uses the data of the terminal device 7 based on these data. Calculate the posture.
  • the CPU 10 can know the amount of rotation (the amount of change in posture) per unit time of the terminal device 7 from the second angular velocity data 102.
  • the acceleration applied to the terminal device 7 means gravitational acceleration. Therefore, the gravity direction applied to the terminal device 7 by the second acceleration data 101 (that is, the gravity direction). Can be known).
  • the CPU 10 can calculate the attitude of the terminal device 7 based on the second acceleration data 101, the second angular velocity data 102, and the azimuth data 103.
  • the attitude of the terminal device 7 is calculated based on the three data. In other embodiments, the attitude is calculated based on one or two of the three data. You may do it.
  • the attitude calculated based on the angular velocity represented by the second angular velocity data 102 may be the second acceleration data 101 and A method of correcting using the azimuth data 103 is conceivable.
  • the CPU 10 first calculates the attitude of the terminal device 7 based on the second angular velocity data 102.
  • the method for calculating the attitude based on the angular velocity may be the same as the method in step S23.
  • the CPU 10 changes the posture calculated based on the angular velocity to the posture calculated based on the second acceleration data 101 at an appropriate timing (for example, when the terminal device 7 is close to a stationary state), and / or Or it correct
  • the method for correcting the posture based on the angular velocity with the posture based on the acceleration may be the same method as that for calculating the posture of the controller 5 described above.
  • the CPU 10 may cause the posture based on the angular velocity to approach the posture based on the azimuth data at a predetermined rate. Based on the above, the CPU 10 can accurately calculate the attitude of the terminal device 7.
  • the game apparatus 3 can acquire the marker coordinate data 96. Therefore, with respect to the controller 5, the game apparatus 3 can know from the marker coordinate data 96 the absolute posture in the real space (what posture the controller 5 is in the coordinate system set in the real space). .
  • the terminal device 7 does not include an infrared detection unit such as the imaging information calculation unit 35. Therefore, the game apparatus 3 cannot know the absolute posture in the real space with respect to the rotation direction about the gravity direction only from the second acceleration data 101 and the second angular velocity data 102. Therefore, in the present embodiment, the terminal device 7 is configured to include the magnetic sensor 62, and the game apparatus 3 acquires the orientation data 103. According to this, the game apparatus 3 can calculate the absolute attitude in the real space with respect to the rotation direction with the gravity direction as the axis from the orientation data 103, and can calculate the attitude of the terminal device 7 more accurately. it can.
  • step S24 the CPU 10 reads the second acceleration data 101, the second angular velocity data 102, and the azimuth data 103 from the main memory, and calculates the attitude of the terminal device 7 based on these data. . Then, data representing the calculated attitude of the terminal device 7 is stored in the main memory as terminal attitude data 109. Following step S24, the process of step S25 is executed.
  • step S25 the CPU 10 executes camera image recognition processing. That is, the CPU 10 performs a predetermined recognition process on the camera image data 104.
  • This recognition process may be anything as long as it detects some feature from the camera image and outputs the result.
  • a process for recognizing the face may be used. Specifically, it may be a process of detecting a part of the face (eyes, nose, mouth, etc.) or a process of detecting facial expressions.
  • Data representing the result of recognition processing is stored in the main memory as image recognition data 110.
  • step S26 the process of step S26 is executed.
  • step S26 the CPU 10 executes microphone sound recognition processing. That is, the CPU 10 performs a predetermined recognition process on the microphone sound data 105.
  • This recognition process may be anything as long as it detects some feature from the microphone sound and outputs the result. For example, it may be a process of detecting a player instruction from a microphone sound, or a process of simply detecting the volume of the microphone sound.
  • Data representing the result of recognition processing is stored in the main memory as voice recognition data 111.
  • step S27 the process of step S27 is executed.
  • step S27 the CPU 10 executes a game process corresponding to the game input.
  • the game input may be any data as long as it is data transmitted from the controller 5 or the terminal device 7 or data obtained from the data.
  • the game input is not only the data included in the controller operation data 92 and the terminal operation data 97, but also data obtained from the data (controller attitude data 108, terminal attitude data 109, image recognition data 110, and Voice recognition data 111) may be used.
  • the content of the game process in step S27 may be anything, for example, a process for operating an object (character) appearing in the game, a process for controlling a virtual camera, or a cursor displayed on the screen. It may be a process of moving.
  • step S27 the results of the game control process, such as data of various parameters set for a character (object) appearing in the game, data of parameters related to a virtual camera arranged in the game space, score data, etc. Representing data is stored in the main memory.
  • the CPU 10 ends the game control process of step S4.
  • a television game image to be displayed on the television 2 is generated by the CPU 10 and the GPU 11b. That is, the CPU 10 and the GPU 11b read data representing the result of the game control process in step S4 from the main memory, and read data necessary for generating a game image from the VRAM 11d to generate a game image.
  • the game image only needs to represent the result of the game control process in step S4, and may be generated by any method.
  • the game image generation method may be a method of generating a three-dimensional CG image by arranging a virtual camera in a virtual game space and calculating a game space viewed from the virtual camera. A method of generating a two-dimensional image (without using a virtual camera) may be used.
  • the generated television game image is stored in the VRAM 11d.
  • the process of step S6 is executed.
  • a terminal game image to be displayed on the terminal device 7 is generated by the CPU 10 and the GPU 11b.
  • the terminal game image may be generated by any method as long as it represents the result of the game control process in step S4, similarly to the television game image. Further, the terminal game image may be generated by the same method as the television game image or may be generated by a different method.
  • the generated terminal game image is stored in the VRAM 11d. Depending on the content of the game, the television game image and the terminal game image may be the same, and in this case, the game image generation process may not be executed in step S6. Following step S6, the process of step S7 is executed.
  • step S7 a television game sound to be output to the speaker 2a of the television 2 is generated. That is, the CPU 10 causes the DSP 11c to generate game sound corresponding to the result of the game control process in step S4.
  • the generated game sound may be, for example, a game sound effect, a voice of a character appearing in the game, BGM, or the like.
  • step S8 the process of step S8 is executed.
  • step S8 a terminal game sound to be output to the speaker 67 of the terminal device 7 is generated. That is, the CPU 10 causes the DSP 11c to generate game sound corresponding to the result of the game control process in step S4.
  • the terminal game sound may be the same as or different from the television game sound. Further, for example, the sound effects are different, but the BGM is the same, and only a part may be different. Note that when the television game sound and the terminal game sound are the same, the game sound generation process does not have to be executed in step S8. Following step S8, the process of step S9 is executed.
  • step S9 the CPU 10 outputs a game image and a game sound to the television 2. Specifically, the CPU 10 sends the TV game image data stored in the VRAM 11d and the TV game sound data generated by the DSP 11c in step S7 to the AV-IC 15. In response to this, the AV-IC 15 outputs image and audio data to the television 2 via the AV connector 16. Thus, the television game image is displayed on the television 2 and the television game sound is output from the speaker 2a. Following step S9, the process of step S10 is executed.
  • step S10 the CPU 10 transmits a game image and a game sound to the terminal device 7.
  • the image data of the terminal game image stored in the VRAM 11d and the audio data generated by the DSP 11c in step S8 are sent to the codec LSI 27 by the CPU 10, and predetermined compression processing is performed by the codec LSI 27. .
  • the compressed image and audio data is transmitted to the terminal device 7 via the antenna 29 by the terminal communication module 28.
  • the terminal device 7 receives the image and sound data transmitted from the game device 3 by the wireless module 70, and a predetermined decompression process is performed by the codec LSI 66.
  • the decompressed image data is output to the LCD 51, and the decompressed audio data is output to the sound IC 68.
  • the terminal game image is displayed on the LCD 51 and the terminal game sound is output from the speaker 67.
  • the process of step S11 is executed.
  • step S11 the CPU 10 determines whether or not to end the game. The determination in step S11 is made based on, for example, whether or not the game is over or whether or not the user has given an instruction to stop the game. If the determination result of step S11 is negative, the process of step S2 is executed again. On the other hand, if the determination result of step S11 is affirmative, the CPU 10 ends the game process shown in FIG. Thereafter, a series of processes in steps S2 to S11 are repeatedly executed until it is determined in step S11 that the game is to be ended.
  • the terminal device 7 includes the touch panel 52 and the inertia sensor such as the acceleration sensor 63 or the gyro sensor 64, and outputs from the touch panel 52 and the inertia sensor are input to the game apparatus 3 as operation data. It is transmitted and used as game input (steps S3 and S4). Further, the terminal device 7 includes a display device (LCD 51), and a game image obtained by the game process is displayed on the LCD 51 (steps S6 and S10). Therefore, the user can directly touch the game image using the touch panel 52, and the LCD 51 itself on which the game image is displayed (because the movement of the terminal device 7 is detected by the inertial sensor). Can be operated. Since the user can play the game with an operation feeling that directly operates the game image by these operations, for example, a game with a new operation feeling such as first and second game examples described later is performed. Can be provided.
  • the inertia sensor such as the acceleration sensor 63 or the gyro sensor 64
  • the terminal device 7 includes an analog stick 53 and an operation button 54 that can be operated while holding the terminal device 7, and the game apparatus 3 performs an operation on the analog stick 53 and the operation button 54. It can be used as a game input (steps S3 and S4). Accordingly, even when the game image is directly operated as described above, the user can perform a more detailed game operation by a button operation or a stick operation.
  • the terminal device 7 includes a camera 56 and a microphone 69, and camera image data captured by the camera 56 and microphone sound data detected by the microphone 69 are transmitted to the game apparatus 3. (Step S3). Therefore, since the game apparatus 3 can use the camera image and / or the microphone sound as a game input, the user can perform a game by an operation of capturing an image with the camera 56 or an operation of inputting a sound into the microphone 69. It is also possible to perform operations. Since these operations can be performed with the terminal device 7 being held, the user can perform more various operations by directly performing the operations on the game image as described above. Game operations can be performed.
  • the user can freely arrange the terminal device 7. Accordingly, when the controller 5 is operated toward the marker, the user can play the game by directing the controller 5 in any direction by arranging the terminal device 7 at any position. The degree of freedom of operation with respect to can be improved. Further, since the terminal device 7 can be arranged at an arbitrary position, it is more realistic by arranging the terminal device 7 at a position suitable for the game content, for example, as in a fifth game example described later. A game can be offered.
  • the game apparatus 3 acquires operation data and the like from the controller 5 and the terminal apparatus 7 (steps S2 and S3), so that the user operates the two apparatuses, the controller 5 and the terminal apparatus 7. It can be used as a means. Therefore, in the game system 1, a plurality of users can use each device to play a game with a plurality of users, and one user can also play a game using two devices. .
  • the game apparatus 3 can generate two types of game images (steps S5 and S6), and display the game images on the television 2 and the terminal device 7 (steps S9 and S10). .
  • two types of game images on different devices, it is possible to provide a game image that is easier for the user to see and improve the operability of the game.
  • a game image with a viewpoint that is easy to see for one user is displayed on the television 2 and a game with a viewpoint that is easy for the other user to see, as in a third or fourth game example described later.
  • the player can display a game by displaying two types of game images from two different viewpoints as in first, second, and fifth game examples described later.
  • the state of the space can be grasped more easily, and the operability of the game can be improved.
  • the first game example is a game in which an object (shuriken) is skipped in the game space by operating the terminal device 7.
  • the player can instruct the direction of firing the shuriken by an operation of changing the attitude of the terminal device 7 and an operation of drawing a line on the touch panel 52.
  • FIG. 14 is a diagram showing the screen of the television 2 and the terminal device 7 in the first game example.
  • a game image representing a game space is displayed on the television 2 and the LCD 51 of the terminal device 7.
  • a shuriken 121, a control surface 122, and a target 123 are displayed on the television 2.
  • the LCD 51 displays a control surface 122 (and a shuriken 121).
  • the player plays by hitting the shuriken 121 and hitting the target 123 by an operation using the terminal device 7.
  • the player When throwing the shuriken 121, the player first operates the attitude of the terminal device 7 to change the attitude of the control surface 122 arranged in the virtual game space to a desired attitude. That is, the CPU 10 calculates the attitude of the terminal device 7 based on the outputs of the inertial sensor (the acceleration sensor 63 and the gyro sensor 64) and the magnetic sensor 62 (step S24), and the attitude of the control surface 122 based on the calculated attitude. Is changed (step S27). In the first game example, the posture of the control surface 122 is controlled to be a posture corresponding to the posture of the terminal device 7 in the real space.
  • the player can change the posture of the control surface 122 in the game space by changing the posture of the terminal device 7 (the control surface 122 displayed on the terminal device 7).
  • the position of the control surface 122 is fixed at a predetermined position in the game space.
  • the player performs an operation of drawing a line on the touch panel 52 using the touch pen 124 or the like (see the arrow shown in FIG. 14).
  • the control surface 122 is displayed on the LCD 51 of the terminal device 7 so that the input surface of the touch panel 52 and the control surface 122 correspond to each other. Therefore, the direction on the control surface 122 (the direction represented by the line) can be calculated from the line drawn on the touch panel 52.
  • the shuriken 121 is fired in the direction determined in this way.
  • the CPU 10 calculates a direction on the control surface 122 from the touch position data 100 of the touch panel 52, and performs a process of moving the shuriken 121 in the calculated direction (step S27). Note that the CPU 10 may control the speed of the shuriken 121 according to, for example, the length of the line or the speed of drawing the line.
  • the game apparatus 3 moves the control surface 122 according to the movement (posture) of the terminal device 7 by using the output of the inertial sensor as a game input, and the touch panel.
  • the direction on the control surface 122 can be specified.
  • the player can move the game image (image of the control surface 122) displayed on the terminal device 7 or perform a touch operation on the game image. It is possible to play a game with a new operation feeling as if direct operation is being performed.
  • the direction in the three-dimensional space can be easily indicated by using the inertial sensor and the sensor output of the touch panel 52 as game inputs. That is, the player actually adjusts the posture of the terminal device 7 with one hand, and inputs the direction with a line to the touch panel 52 with the other hand, so that the player actually inputs the direction in the space.
  • the direction can be easily specified by an intuitive operation. Furthermore, since the player can simultaneously perform the posture operation of the terminal device 7 and the input operation on the touch panel 52 in parallel, the player can quickly perform the operation of instructing the direction in the three-dimensional space.
  • the control surface 122 is displayed on the entire screen of the terminal device 7 in order to facilitate the touch input operation on the control surface 122.
  • the television 2 displays an image of the entire control surface 122 and a game space including the target 123 so that the posture of the control surface 122 can be easily grasped and the target 123 can be easily aimed (FIG. 14). reference). That is, in step S27, the first virtual camera for generating the television game image is set so that the entire control surface 122 and the target 123 are included in the visual field range, and the terminal game image is generated.
  • the second virtual camera to be set is set so that the screen of the LCD 51 (the input surface of the touch panel 52) and the control surface 122 coincide on the screen. Therefore, in the first game example, the game operation is made easier by displaying images of the game space viewed from different viewpoints on the television 2 and the terminal device 7.
  • the game using the sensor output of the inertial sensor and the touch panel 52 as a game input is not limited to the first game example, and various game examples are conceivable.
  • the second game example is a game in which an object (cannon bullet) is blown in the game space by operating the terminal device 7. The player can instruct the direction in which the bullet is to be fired by an operation for changing the attitude of the terminal device 7 and an operation for designating a position on the touch panel 52.
  • FIG. 15 is a diagram showing the screen of the television 2 and the terminal device 7 in the second game example.
  • a cannon 131, a bullet 132, and a target 133 are displayed on the television 2.
  • bullets 132 and targets 133 are displayed on the terminal device 7.
  • the terminal game image displayed on the terminal device 7 is an image of the game space viewed from the position of the cannon 131.
  • the player can change the display range displayed on the terminal device 7 as a terminal game image by operating the attitude of the terminal device 7. That is, the CPU 10 calculates the attitude of the terminal device 7 based on the outputs of the inertial sensor (the acceleration sensor 63 and the gyro sensor 64) and the magnetic sensor 62 (step S24), and based on the calculated attitude, the terminal game image To control the position and orientation of the second virtual camera for generating (step S27). Specifically, the second virtual camera is installed at the position of the cannon 131 and the direction (attitude) is controlled according to the attitude of the terminal device 7. Thus, the player can change the range of the game space displayed on the terminal device 7 by changing the attitude of the terminal device 7.
  • the player designates the firing direction of the bullet 132 by an operation of inputting a point (touching operation) on the touch panel 52.
  • the CPU 10 calculates a position (control position) in the game space corresponding to the touch position, and changes from a predetermined position (for example, the position of the cannon 131) in the game space to the control position. Is calculated as the launch direction. Then, a process of moving the bullet 132 in the firing direction is performed.
  • the player performs an operation of drawing a line on the touch panel 52, but in the second game example, an operation of designating a point on the touch panel 52 is performed.
  • the control position can be calculated by setting a control surface similar to that in the first game example (however, the control surface is not displayed in the second game example). That is, the control surface is arranged according to the attitude of the second virtual camera so as to correspond to the display range in the terminal device 7 (specifically, the control surface is centered on the position of the cannon 131 and The position on the control surface corresponding to the touch position can be calculated as the control position.
  • the game apparatus 3 changes the display range of the terminal game image according to the movement (posture) of the terminal device 7 by using the output of the inertial sensor as a game input.
  • the direction in the game space (the firing direction of the bullet 132) can be specified. Accordingly, in the second game example, as in the first game example, the player can move the game image displayed on the terminal device 7 or perform a touch operation on the game image. It is possible to play a game with a novel operation feeling as if the game image was directly operated.
  • the player actually adjusts the attitude of the terminal device 7 with one hand and performs touch input on the touch panel 52 with the other hand.
  • the direction can be easily instructed by an intuitive operation such as actually inputting the direction in the space.
  • the player since the player can simultaneously perform the posture operation of the terminal device 7 and the input operation on the touch panel 52 in parallel, the player can quickly perform the operation of instructing the direction in the three-dimensional space.
  • the image displayed on the television 2 may be an image from the same viewpoint as the terminal device 7, but in FIG. 15, the game apparatus 3 displays an image from another viewpoint.
  • the second virtual camera for generating the terminal game image is set at the position of the cannon 131
  • the first virtual camera for generating the TV game image is at the position behind the cannon 131.
  • the television 2 by causing the television 2 to display a range that cannot be seen on the screen of the terminal device 7, the player may aim at the target 133 that cannot be seen on the screen of the terminal device 7 by looking at the screen of the television 2. How to play can be realized.
  • the display range of the television 2 and the terminal device 7 it is possible not only to make it easier to grasp the state in the game space but also to improve the fun of the game. .
  • the terminal device 7 including the touch panel 52 and the inertial sensor can be used as the operation device, the game image as in the first and second game examples is used. It is possible to realize a game with a feeling of operation such as direct operation.
  • the third game example is a baseball game of a form in which two players battle each other. That is, the first player operates the batter using the controller 5, and the second player operates the pitcher using the terminal device 7.
  • the television 2 and the terminal device 7 display a game image that allows each player to easily perform a game operation.
  • FIG. 16 is a diagram illustrating an example of a television game image displayed on the television 2 in the third game example.
  • the television game image shown in FIG. 16 is an image mainly for the first player. That is, the television game image represents a game space in which the pitcher (pitcher object) 142 that is the operation target of the second player is viewed from the batter (batter object) 141 that is the operation target of the first player.
  • the first virtual camera for generating the television game image is disposed at a position behind the batter 141 so as to face the pitcher 142 from the batter 141.
  • FIG. 17 is a diagram illustrating an example of a terminal game image displayed on the terminal device 7 in the third game example.
  • the terminal game image shown in FIG. 17 is an image mainly for the second player. That is, the terminal game image represents a game space in which the batter 141 that is the operation target of the first player is viewed from the pitcher 142 that is the operation target of the second player.
  • the CPU 10 controls the second virtual camera used for generating the terminal game image based on the attitude of the terminal device 7.
  • the attitude of the second virtual camera is calculated so as to correspond to the attitude of the terminal device 7 as in the second game example described above. Further, the position of the second virtual camera is fixed at a predetermined position.
  • the terminal game image includes a cursor 143 for indicating the direction in which the pitcher 142 throws the ball.
  • any method may be used for the operation method of the batter 141 by the first player and the operation method of the pitcher 142 by the second player.
  • the CPU 10 may detect a swing operation on the controller 5 based on output data of an inertial sensor of the controller 5 and cause the batter 141 to swing the bat in accordance with the swing operation. Further, for example, the CPU 10 moves the cursor 143 in accordance with the operation on the analog stick 53 and, when a predetermined button of the operation buttons 54 is pressed, performs an operation of throwing a ball toward the position indicated by the cursor 143 to the pitcher 142. You may let them. Further, the cursor 143 may be moved according to the attitude of the terminal device 7 instead of the operation on the analog stick 53.
  • the third game example two virtual cameras are set in a single game space, and two types of game images when the game space is viewed from each virtual camera are displayed (FIGS. 16 and 17). . Therefore, for the two types of game images generated in the third game example, most of the game processing (control of objects in the game space, etc.) for the game space is common, and drawing processing is performed for the common game space. Since each game image can be generated only by performing it twice, there is an advantage that the processing efficiency is higher than in the case where the game processing is performed.
  • the cursor 143 indicating the pitching direction is displayed only on the terminal device 7 side, so the first player cannot see the position pointed to by the cursor 143. Therefore, there is no inconvenience on the game that the first player knows the pitching direction and the second player is disadvantaged.
  • the game image may be displayed on the terminal device 7. This can prevent inconveniences such as a decrease in the strategy of the game.
  • the game apparatus 3 may be the terminal game. The image may be displayed on the television 2 together with the television game image.
  • the fourth game example is a shooting game in which two players cooperate. That is, the first player performs an operation of moving the airplane using the controller 5, and the second player performs an operation of controlling the firing direction of the airplane cannon using the terminal device 7. Also in the fourth game example, similar to the third game example, the television 2 and the terminal device 7 display a game image that allows each player to easily perform the game operation.
  • FIG. 18 is a diagram illustrating an example of a television game image displayed on the television 2 in the fourth game example.
  • FIG. 19 is a diagram illustrating an example of a terminal game image displayed on the terminal device 7 in the fourth game example.
  • an airplane (plane object) 151 and a target (balloon object) 153 appear in a virtual game space.
  • the airplane 151 has a cannon (cannon object) 152.
  • an image of the game space including the airplane 151 is displayed as the television game image.
  • the first virtual camera for generating the television game image is set so as to generate an image of the game space when the airplane 151 is viewed from behind. That is, the first virtual camera is arranged at a position behind the airplane 151 in a posture in which the airplane 151 is included in the shooting range (viewing range). Further, the first virtual camera is controlled to move as the airplane 151 moves. That is, in the process of step S27, the CPU 10 controls the movement of the airplane 151 based on the controller operation data, and controls the position and orientation of the first virtual camera. Thus, the position and posture of the first virtual camera are controlled in accordance with the operation of the first player.
  • the second virtual camera for generating the terminal game image is arranged at the position of the airplane 151 (more specifically, the position of the cannon 152).
  • the CPU 10 controls the movement of the airplane 151 and the position of the second virtual camera based on the controller operation data.
  • the second virtual camera may be arranged at a position around the airplane 151 or the cannon 152 (for example, a position slightly behind the cannon 152).
  • the position of the second virtual camera is controlled by the operation of the first player (operating the movement of the airplane 151). Therefore, in the fourth game example, the first virtual camera and the second virtual camera move in conjunction with each other.
  • the firing direction of the cannon 152 is controlled so as to correspond to the attitude of the terminal device 7. That is, in the present embodiment, the attitude of the second virtual camera is controlled so that the line-of-sight direction of the second virtual camera matches the firing direction of the cannon 152.
  • the CPU 10 controls the orientation of the cannon 152 and the attitude of the second virtual camera according to the attitude of the terminal device 7 calculated in step S24.
  • the attitude of the second virtual camera is controlled by the operation of the second player. Further, the second player can change the firing direction of the cannon 152 by changing the attitude of the terminal device 7.
  • the second player presses a predetermined button of the terminal device 7.
  • a predetermined button is pressed, a bullet is fired in the direction of the cannon 152.
  • an aim 154 is displayed at the center of the LCD 51 and a bullet is fired in the direction indicated by the aim 154.
  • the first player mainly looks at the television game image (FIG. 18) representing the game space viewed in the traveling direction of the airplane 151 (for example, a desired game).
  • the airplane 151 is operated (moving in the direction of the target 153).
  • the second player operates the cannon 152 while mainly viewing the terminal game image (FIG. 19) representing the game space as seen in the firing direction of the cannon 152.
  • game images that are easy to see and operate for each player can be displayed on the television 2 and the terminal device 7, respectively. .
  • the positions of the first virtual camera and the second virtual camera are controlled by the operation of the first player, and the posture of the second virtual camera is controlled by the operation of the second player.
  • the display range of the game space displayed on each display device changes as a result of the position or posture of the virtual camera changing according to the respective game operations of each player. Since the display range of the game space displayed on the display device changes according to the operation of each player, each player can realize that his game operation is sufficiently reflected in the game progress. Can fully enjoy.
  • a game image viewed from behind the airplane 151 is displayed on the television 2, and a game image viewed from the position of the cannon of the airplane 151 is displayed on the terminal device 7.
  • the game apparatus 3 displays a game image viewed from behind the airplane 151 on the terminal device 7 and displays a game image viewed from the position of the cannon 152 of the airplane 151 on the television 2. You may do it.
  • the role of each player is switched to the fourth game example, so that the first player operates the cannon 152 using the controller 5, and the second player operates the airplane 151 using the terminal device 7. It is good to.
  • the fifth game example is a game in which a player performs an operation using the controller 5, and the terminal device 7 is used as a display device instead of an operation device.
  • the fifth game example is a golf game, and in response to an operation (swing operation) in which the player swings the controller 5 like a golf club, the game apparatus 3 plays golf on the player character in the virtual game space. Make the swing action.
  • FIG. 20 is a diagram showing a state of use of the game system 1 in the fifth game example.
  • an image of a game space including a player character (its object) 161 and a golf club (its object) 162 is displayed on the screen of the television 2.
  • the ball (object) 163 arranged in the game space is also displayed on the television 2 although it is not displayed because it is hidden by the golf club 162.
  • the terminal device 7 is arranged on the floor surface in front of the television 2 so that the screen of the LCD 51 is vertically upward.
  • the terminal device 7 displays an image representing the ball 163, an image representing a part of the golf club 162 (specifically, the golf club head 162a), and an image representing the ground of the game space.
  • the terminal game image is an image of the periphery of the ball viewed from above.
  • step S27 the CPU 10 controls the position and posture of the golf club 162 in the game space according to the posture of the controller 5 calculated in the processing of step S23. Specifically, when the front end direction of the controller 5 (the Z-axis positive direction shown in FIG. 3) faces the image of the ball 163 displayed on the LCD 51, the golf club 162 in the game space has the ball 163. It is controlled to hit.
  • the front end direction of the controller 5 the Z-axis positive direction shown in FIG. 3
  • the golf club 162 in the game space has the ball 163. It is controlled to hit.
  • an image (head image) 164 representing a part of the golf club 162 is displayed on the LCD 51 (see FIG. 20).
  • the image of the ball 163 may be displayed in actual size in order to increase the sense of reality, and the direction of the head image 164 rotates according to the rotation of the controller 5 around the Z axis. May be displayed.
  • the terminal game image may be generated using a virtual camera installed in the game space, or may be generated using image data prepared in advance. In the case of generating using image data prepared in advance, a detailed and realistic image can be generated with a small processing load without constructing a detailed golf course terrain model.
  • the CPU 10 determines whether or not the golf club 162 and the ball 163 are in contact in step S27, and moves the ball 163 if they are in contact.
  • the television game image is generated so as to include the ball 163 after movement. That is, the CPU 10 controls the position and posture of the first virtual camera for generating the television game image so that the moving ball is included in the shooting range.
  • the image of the ball 163 is moved and immediately disappears from the screen. Therefore, in the fifth game example, the movement of the ball is mainly displayed on the television 2, and the player 160 can confirm the whereabouts of the ball that flew by the swing operation on the television game image.
  • the player 160 can swing the golf club 162 by swinging the controller 5 (the player character 161 can swing the golf club 162).
  • the controller 5 the player character 161 can swing the golf club 162.
  • the tip direction of the controller 5 faces the image of the ball 163 displayed on the LCD 51
  • the golf club 162 in the game space is controlled so as to hit the ball 163. Therefore, the player can obtain a feeling as if he / she is hitting an actual golf club by the swing operation, and the swing operation can be made more realistic.
  • a head image 164 is further displayed on the LCD 51 when the tip direction of the controller 5 faces the terminal device 7. Therefore, the player can obtain a sense that the posture of the golf club 162 in the virtual space corresponds to the posture of the controller 5 in the real space by turning the tip direction of the controller 5 toward the terminal device 7. The operation can be made more realistic.
  • the operation using the controller 5 is more realistic by placing the terminal device 7 in an appropriate position. Can be a thing.
  • the terminal device 7 is placed on the floor surface, and an image representing the game space only around the ball 163 is displayed on the terminal device 7. Therefore, the terminal device 7 cannot display the position / posture of the entire golf club 162 in the game space, and the terminal device 7 cannot display the movement of the ball 163 after the swing operation. Therefore, in the fifth game example, the entire golf club 162 is displayed on the television 2 before the movement of the ball 163, and the manner in which the ball 163 moves is displayed on the television 2 after the movement of the ball 163.
  • a realistic operation can be provided to the player, and an easy-to-view game image can be displayed to the player by using the two screens of the television 2 and the terminal device 7. Can be presented.
  • the marker unit 55 of the terminal device 7 is used to calculate the attitude of the controller 5. That is, the CPU 10 turns on the marker unit 55 (the marker device 6 is not turned on) in the initial process of step S1, and the CPU 10 calculates the attitude of the controller 5 based on the marker coordinate data 96 in step S23. According to this, it is possible to accurately determine whether or not the tip direction of the controller 5 is in the posture facing the marker portion 55.
  • steps S21 and S22 do not have to be executed, but in other game examples, the process of steps S21 and S22 is executed to indicate the marker to be lit. You may make it change in the middle of.
  • step S21 the CPU 10 determines whether or not the tip direction of the controller 5 is directed in the direction of gravity based on the first acceleration data 94.
  • step S22 the marker unit 55 is turned on when the direction is in the direction of gravity.
  • the marker device 6 may be controlled to be lit when it does not face the direction of gravity. According to this, when the tip direction of the controller 5 is directed in the direction of gravity, the posture of the controller 5 can be calculated with high accuracy by acquiring the marker coordinate data of the marker unit 55 and the tip of the controller 5 is obtained.
  • the orientation of the controller 5 can be calculated with high accuracy by acquiring the marker coordinate data of the marker device 6.
  • the game system 1 can be used as a display device by installing the terminal device 7 at a free position.
  • the controller 5 is directed toward the television 2 and the controller 5 is directed in a free direction by setting the terminal device 7 to a desired position.
  • the game system 1 can perform operations for playing various games as described above. While the terminal device 7 can be used as a portable display or a second display, the terminal device 7 can also be used as a controller that performs touch input or input by movement. The game can be executed. Also, the following operations can be performed including applications other than games.
  • the terminal device 7 functions as a display device and also functions as an operation device. Therefore, by using the terminal device 7 as a display unit and an operation unit without using the television 2 and the controller 5, the terminal device 7 can be used like a portable game device.
  • the CPU 10 acquires the terminal operation data 97 from the terminal device 7 in step S3, and uses only the terminal operation data 97 as a game input in step S4 (step S3).
  • Game processing is executed (without using controller operation data). And a game image is produced
  • steps S2, S5, and S9 may not be executed.
  • a game process is performed according to an operation on the terminal device 7, and a game image representing the game process result is displayed on the terminal device 7.
  • the terminal device 7 can be used as a portable game device (although game processing is actually executed by the game device). Therefore, according to the present embodiment, even if the game image cannot be displayed on the television 2 because the television 2 is in use (for example, another person is viewing the television broadcast), the user can use the terminal device. 7 can be used to play the game.
  • the CPU 10 may transmit the image to the terminal device 7 to display not only the game image but also the above-described menu screen displayed after the power is turned on. This is convenient because the player can play the game without using the television 2 from the beginning.
  • the display device for displaying the game image can be changed from the terminal device 7 to the television 2 during the game.
  • the CPU 10 may further execute the above step S ⁇ b> 9 and output the game image to the television 2.
  • the image output to the television 2 in step S9 is the same as the game image transmitted to the terminal device 7 in step S10.
  • the display device can be changed to the television 2. Note that after the game image is displayed on the television 2, the screen display of the terminal device 7 may be turned off.
  • an infrared remote control signal for the television 2 may be output from the infrared output means (the marker device 6, the marker unit 55, or the infrared communication module 72). According to this, the game apparatus 3 can perform an operation on the television 2 by outputting the infrared remote control signal from the infrared output means in response to an operation on the terminal device 7. In this case, since the user can operate the television 2 using the terminal device 7 without operating the remote controller of the television 2, it is convenient when switching the input of the television 2 as described above.
  • FIG. 21 is a diagram illustrating a connection relationship between devices included in the game system 1 when connected to an external device via a network. As shown in FIG. 21, the game apparatus 3 can communicate with the external apparatus 201 via the network 200.
  • the game system 1 can communicate with the external device 201 using the terminal device 7 as an interface.
  • the game system 1 can be used as a videophone by transmitting and receiving images and sound between the external device 201 and the terminal device 7.
  • the game device 3 receives an image and sound (image and sound of the telephone partner) from the external device 201 via the network 200 and transmits the received image and sound to the terminal device 7.
  • the terminal device 7 displays the image from the external device 201 on the LCD 51 and outputs the sound from the external device 201 from the speaker 67.
  • the game apparatus 3 receives the camera image captured by the camera 56 and the microphone sound detected by the microphone 69 from the terminal device 7, and transmits the camera image and the microphone sound to the external apparatus 201 via the network 200. To do.
  • the game apparatus 3 can use the game system 1 as a videophone by repeating the transmission and reception of the above image and sound with the external apparatus 201.
  • the terminal device 7 since the terminal device 7 is portable, the user can use the terminal device 7 in a free position or point the camera 56 in a free direction.
  • the game apparatus 3 can also transmit input information (touch position data 100) to the touch panel 52 to the external device 201.
  • input information touch position data 100
  • the game system 1 is used as a so-called e-learning system. It is also possible to do.
  • the game system 1 can also operate in conjunction with the television broadcast when the television broadcast is being viewed on the television 2. That is, the game system 1 causes the terminal device 7 to output information on the television program when the television program is viewed on the television 2.
  • the game system 1 operates in conjunction with television broadcasting.
  • the game apparatus 3 can communicate with a server via a network (in other words, the external apparatus 201 shown in FIG. 21 is a server).
  • the server stores various information (television information) related to television broadcasting for each channel of television broadcasting.
  • This television information may be information relating to a program such as subtitles or performer information, EPG (electronic program guide) information, or information broadcast as a data broadcast.
  • the television information may be information on images, sounds, characters, or a combination thereof.
  • the number of servers does not have to be one, and a server may be installed for each television broadcast channel or each program, and the game apparatus 3 may be able to communicate with each server.
  • the game device 3 When television broadcast video / audio is output on the television 2, the game device 3 causes the user to input the television broadcast channel being viewed using the terminal device 7. And it requests
  • the terminal device 7 displays image and character data among the above data on the LCD 51, and outputs audio data from the speaker. As described above, the user can enjoy information on the TV program currently being viewed using the terminal device 7.
  • the game system 1 can also provide information to the user via the terminal device 7 through the communication with the external device (server) via the network.
  • the terminal device 7 since the terminal device 7 is portable, the user can use the terminal device 7 at a free position, which is highly convenient.
  • the user can use the terminal device 7 in various applications and forms in addition to being used in the game.
  • the game system 1 has only one terminal device, but the game system 1 may have a plurality of terminal devices. That is, the game apparatus 3 can wirelessly communicate with a plurality of terminal apparatuses, transmits game image data, game sound data, and control data to each terminal apparatus, and operates data, camera image data, and microphone sound data. May be received from each terminal device.
  • the game device 3 performs wireless communication with each of the plurality of terminal devices. At this time, the game device 3 may perform wireless communication with each terminal device in a time-sharing manner, or divide the frequency band. You may go.
  • the game system 1 When having a plurality of terminal devices as described above, more types of games can be played using the game system. For example, when the game system 1 has two terminal devices, the game system 1 has three display devices. Therefore, a game image for each of three players is generated, and each display device has Can be displayed. Further, when the game system 1 has two terminal devices, two players can play a game simultaneously in a game using the controller and the terminal device as one set (for example, the fifth game example). . Further, when the game process of step S27 is performed based on the marker coordinate data output from the two controllers, two game operations are performed to point the controller toward the marker (marker device 6 or marker unit 55). Each player can do it. That is, one player can perform a game operation with the controller directed toward the marker device 6, and the other player can perform a game operation with the controller directed toward the marker unit 55.
  • the terminal device 7 functions as a so-called thin client terminal that does not execute game processing.
  • some of the series of game processes executed by the game apparatus 3 in the above embodiment may be executed by another apparatus such as the terminal apparatus 7.
  • the terminal device 7 may execute a part of processing (for example, processing for generating a game image for a terminal).
  • the plurality of information processing devices may share and execute game processing.
  • the present invention can be used as, for example, a game system or a terminal device used in a game system for the purpose of causing a player to perform a new game operation.

Abstract

　ゲームシステムは、据置型のゲーム装置と端末装置とを含む。端末装置は、タッチパネルと慣性センサとを備え、タッチパネルおよび慣性センサの出力データを含む操作データをゲーム装置へ無線で送信する。ゲーム装置は、端末装置から操作データを受信し、操作データに基づいてゲーム処理を実行する。さらに、ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する。第１ゲーム画像は逐次圧縮され、圧縮画像データが端末装置へ無線で逐次送信される。第２ゲーム画像は、端末装置とは別体の外部表示装置へ逐次出力されて表示される。また、端末装置は、ゲーム装置から圧縮画像データを逐次受信し、受信した圧縮画像データを伸張し、第１ゲーム画像を表示部に逐次表示する。

Description

ゲームシステム、操作装置、およびゲーム処理方法
　本発明は、プレイヤが動かして操作することが可能な操作装置を含むゲームシステム、ならびに、当該ゲームシステムにおける操作装置およびゲーム処理方法に関する。
　従来、プレイヤが操作装置自体を動かしてゲーム操作を行うことができるゲームシステムがある（例えば、特許文献１参照）。例えば特許文献１に記載のゲームシステムにおいては、操作装置は加速度センサや撮像素子といった部材を備えており、これらの部材によってゲーム装置は操作装置の動きを算出（推測）することができる。これによれば、プレイヤは、操作装置自体を動かすことでゲーム操作を行うことができるので、ボタンやスティックを操作するだけの場合に比べて、より直感的な操作や、よりリアルな操作や、あるいはより複雑な操作等が可能となる。
特許第４２６５８１４号明細書
　特許文献１に記載のゲームシステムにおいては、ゲーム画像は操作装置とは別体の表示装置に表示され、プレイヤは、表示装置の画面を見ながら、手に持った操作装置によってゲーム操作を行うことになる。したがって、上記ゲームシステムにおいては、プレイヤは、画面に表示されるゲーム画像に対して直接操作を行うことはできなかった。すなわち、プレイヤは、例えば操作装置を画面の方に向けることによって画面上の所望の位置を指し示す操作を行うことはできるものの、例えば画面に直接タッチするような操作や、画面自体を動かす操作を行うことはできなかった。
　それ故、本発明の目的は、新規なゲーム操作を行うことが可能なゲームシステム、操作装置、およびゲーム処理方法を提供することである。
　本発明は、上記の課題を解決するために、以下の（１）～（１０）の構成を採用した。
　（１）
　本発明の一例は、据置型のゲーム装置と、第１操作装置とを含むゲームシステムである。
　ゲーム装置は、第１操作データ受信部と、ゲーム処理部と、画像生成部と、ゲーム画像圧縮部と、ゲーム画像送信部と、画像出力部とを備える。第１操作データ受信部は、第１操作装置から第１操作データを受信する。ゲーム処理部は、第１操作データに基づいてゲーム処理を実行する。画像生成部は、ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する。ゲーム画像圧縮部は、第１ゲーム画像を逐次圧縮して圧縮画像データを生成する。ゲーム画像送信部は、圧縮画像データを第１操作装置へ無線で逐次送信する。画像出力部は、第１操作装置とは別体の外部表示装置へ第２ゲーム画像を逐次出力する。
　また、第１操作装置は、表示部と、タッチパネルと、慣性センサと、第１操作データ送信部と、ゲーム画像受信部と、ゲーム画像伸張部とを備える。タッチパネルは、表示部の画面に設けられる。第１操作データ送信部は、タッチパネルおよび慣性センサの出力データを含む第１操作データをゲーム装置へ無線で送信する。ゲーム画像受信部は、ゲーム装置から圧縮画像データを逐次受信する。ゲーム画像伸張部は、圧縮画像データを逐次伸張して第１ゲーム画像を得る。表示部は、伸張によって得られた第１ゲーム画像を逐次表示する。
　上記「ゲーム装置」は、ゲーム処理を実行し、ゲーム処理に基づいて画像を生成する情報処理装置であればどのようなものであってもよい。上記ゲーム装置は、ゲーム専用の情報処理装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
　上記「第１操作装置」は、上記の表示部、タッチパネル、慣性センサ、第１操作データ送信部、ゲーム画像受信部、およびゲーム画像伸張部を少なくとも備えていればよく、後述する実施形態における端末装置のように他の構成を備えていてもよいし、備えていなくてもよい。
　上記「ゲームシステム」は、ゲーム装置および第１操作装置を含んでいればよく、第２ゲーム画像を表示する上記外部表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、ゲームシステムは、当該外部表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
　上記「外部表示装置」とは、第１操作装置と別体であればよく、後述する実施形態におけるテレビ２の他、ゲーム装置によって生成された第２ゲーム画像を表示することが可能なものであればどのようなものであってもよい。例えば、外部表示装置は、ゲーム装置と一体として（１つの筐体内に）形成されるものであってもよい。
　上記（１）の構成によれば、第１操作装置は、タッチパネルおよび慣性センサを備え、ゲーム装置は、タッチパネルおよび慣性センサの出力データを含む第１操作データに基づいてゲーム処理を実行する。これによれば、プレイヤは、第１操作装置の画面を直接タッチしたり、画面自体（第１操作装置自体）を動かしたりすることでゲーム操作を行うことができる。すなわち、上記（１）の構成によれば、画面に表示されるゲーム画像に対して直接操作を行うという新規なゲーム操作をプレイヤに提供することができる。
　なお、上記（１）の構成では、第１操作装置の画面に表示される第１ゲーム画像は、タッチパネルで操作を行うためのゲーム画像となる場合が多くなる。ゲーム内容によってはタッチパネルでの操作のためではない画像を表示させたい場合もがあるが、タッチパネルでの操作を行いつつ、そのような画像も表示するというのは難しい。これに関して、上記（１）の構成では、外部表示装置に第２ゲーム画像を表示することができるので、異なる２種類のゲーム画像をプレイヤに提示することができる。したがって、例えば、タッチパネルの操作に適した第１ゲーム画像を第１操作装置の画面に表示し、ゲーム空間を把握するのに適した第２ゲーム画像を外部表示装置に表示する等、２種類のゲーム画像によってゲーム空間を様々な方法で表すことができる。したがって、上記（１）の構成によれば、より見やすく、ゲーム操作が行いやすいゲーム画像をプレイヤに提示することができる。
　また、上記（１）の構成によれば、第１操作装置は画像データの伸張処理を少なくとも実行すればよく、ゲーム処理についてはゲーム装置側で実行すればよい。ゲーム処理が複雑になっても、ゲーム装置側の処理が増加するだけで、第１操作装置での画像の伸張処理の処理量にはほとんど影響しないので、仮に複雑なゲーム処理を要する場合であっても、第１操作装置側の処理負荷を所定の範囲に抑えることができ、第１操作装置には高い情報処理能力が要求されない。そのため、ユーザが手に持って使用する第１操作装置の小型化・軽量化が容易になり、製造も容易になる。
　さらに、上記（１）の構成によれば、第１ゲーム画像は、圧縮されてゲーム装置から第１操作装置へ送信されるので、ゲーム画像を高速に無線送信することができ、ゲーム処理が行われてからゲーム画像が表示されるまでの遅延を少なくすることができる。
　（２）
　ゲームシステムは、第２操作装置をさらに含んでいてもよい。第２操作装置は、当該第２操作装置に対する操作を表す第２操作データをゲーム装置へ無線で送信する第２操作データ送信部を備えている。また、ゲーム装置は、第２操作データを受信する第２操作データ受信部をさらに備えている。ゲーム処理部は、第２操作データに基づいてゲーム処理を実行する。
　上記「第２操作装置」は、後述する実施形態におけるコントローラの他、操作データ（第２操作データ）をゲーム装置へ無線送信可能な装置であればよい。
　上記（２）の構成によれば、プレイヤは、第１操作装置だけでなく、第２操作装置を用いてゲーム操作を行うこともできる。第２操作装置を用いるプレイヤは、外部表示装置に表示されるゲーム画像を見ながらゲームを行うことができるので、上記（２）の構成によれば、２人のプレイヤが外部表示装置および第１操作装置の画面のそれぞれを見ながらゲームを行うことができる。
　（３）
　ゲーム装置は、ゲーム音声生成部と、ゲーム音声出力部と、ゲーム音声送信部とをさらに備えていてもよい。ゲーム音声生成部は、ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成する。ゲーム音声出力部は、第１操作装置とは別体の外部音響装置へ第２ゲーム音声を出力する。ゲーム音声送信部は、第１ゲーム音声を第１操作装置へ無線で送信する。また、第１操作装置は、ゲーム音声受信部と、スピーカとをさらに備える。ゲーム音声受信部は、第１ゲーム音声をゲーム装置から受信する。スピーカは、ゲーム音声受信部によって受信された第１ゲーム音声を出力する。
　上記（３）において、ゲーム装置から第１操作装置へ無線送信される第１ゲーム音声は、後述する実施形態のように圧縮されて送信されてもよいし、圧縮されずに送信されてもよい。
　上記（３）の構成によれば、ゲーム画像と同様、ゲーム音声についても２種類のゲーム音声を出力することができる。したがって、第１操作装置においては、第１ゲーム画像に合わせたゲーム音声を出力することができるとともに、第２ゲーム画像に合わせた第２ゲーム音声を外部音響装置から出力することができる。
　（４）
　第１操作装置はマイクをさらに備えていてもよい。このとき、第１操作データ送信部は、マイクが検知した音のデータをゲーム装置へ無線でさらに送信する。
　上記（４）において、第１操作装置からゲーム装置へ無線送信される音のデータは、後述する実施形態のように圧縮されて送信されてもよいし、圧縮されずに送信されてもよい。
　上記（４）の構成によれば、第１操作装置のマイクで検知された音（マイク音声）はゲーム装置へ送信される。したがって、ゲーム装置は、マイク音声をゲーム音声に用いたり、マイク音声に音声認識処理を行った結果をゲーム入力として用いたりすることができる。
　（５）
　第１操作装置は、カメラと、カメラ画像圧縮部とをさらに備えていてもよい。カメラ画像圧縮部は、カメラが撮像したカメラ画像を圧縮して圧縮撮像データを生成する。このとき、第１操作データ送信部は、圧縮撮像データをゲーム装置へ無線でさらに送信する。また、ゲーム装置は、圧縮撮像データを伸張してカメラ画像を得るカメラ画像伸張部をさらに備える。
　上記（５）の構成によれば、第１操作装置のカメラで撮像されたカメラ画像がゲーム装置へ送信される。したがって、ゲーム装置は、カメラ画像をゲーム画像に用いたり、カメラ画像に画像認識処理を行った結果をゲーム入力として用いたりすることができる。また、上記（５）の構成によれば、カメラ画像は圧縮して送信されるので、カメラ画像を高速に無線送信することができる。
　（６）
　第１操作装置は、複数の表面操作ボタンと、方向を指示可能な方向入力部とを備えていてもよい。複数の表面操作ボタンは、表示部の画面およびタッチパネルが設けられる表平面において当該画面の両側に設けられる。方向入力部は、表平面において画面の両側に設けられる。このとき、第１操作データは、複数の表面操作ボタンおよび方向入力部に対する操作を表すデータをさらに含む。
　上記（６）の構成によれば、第１操作装置の画面の両側には操作ボタンおよび方向入力部が設けられる。したがって、プレイヤは、第１操作装置を把持した状態において（典型的には両手の親指で）操作ボタンおよび方向入力部を操作することができるので、第１操作装置を動かす操作を行いながらであっても、操作ボタンおよび方向入力部を容易に操作することができる。
　（７）
　第１操作装置は、複数の裏面操作ボタンと、複数の側面操作ボタンとをさらに備えていてもよい。複数の裏面操作ボタンは裏平面に設けられる。裏平面は、表示部の画面およびタッチパネルが設けられる表平面の反対側の面である。複数の側面操作ボタンは、表平面と裏平面との間の側面に設けられる。このとき、第１操作データは、複数の裏面操作ボタンおよび側面操作ボタンに対する操作を表すデータをさらに含む。
　上記（７）の構成によれば、第１操作装置の裏平面および側面には操作ボタンが設けられる。したがって、プレイヤは、第１操作装置を把持した状態において（典型的には人差し指または中指で）これらの操作ボタンを操作することができるので、第１操作装置を動かす操作を行いながらであっても、操作ボタンを容易に操作することができる。
　（８）
　第１操作装置は磁気センサをさらに備えていてもよい。このとき、第１操作データは磁気センサの検出結果のデータをさらに含む。
　上記（８）の構成によれば、第１操作装置は磁気センサを備え、ゲーム装置においては磁気センサの出力結果がゲーム処理に用いられる。したがって、プレイヤは、第１操作装置を動かすことによってゲーム操作を行うことができる。また、ゲーム装置は、実空間における絶対的な第１操作装置の姿勢を磁気センサの出力結果から判断することができるので、例えば慣性センサの出力結果と磁気センサの出力結果とを用いることで第１操作装置の姿勢を正確に算出することができる。
　（９）
　慣性センサは、どのような慣性センサでもよいが、例えば３軸の加速度センサおよび３軸のジャイロセンサであってもよい。
　上記（９）の構成によれば、慣性センサとして加速度センサおよびジャイロセンサの２種類のセンサを用いることによって、第１操作装置の動きや姿勢を正確に算出することができる。
　（１０）
　ゲーム装置は、読出部と、ネットワーク通信部と、電力供給部とを備えていてもよい。読出部は、ゲーム装置に着脱可能であり、ゲームプログラムを記録した外部記録媒体から情報を読み出す。ネットワーク通信部は、ネットワークに接続可能であり、当該ネットワークを介して通信可能な情報処理装置との間で通信を行う。電力供給部は、ゲーム装置の外部の電源から当該ゲーム装置内の各部へ電力を供給する。ゲーム処理部は、読出部から読み出されたゲームプログラムに基づいてゲーム処理を行う。
　上記（１０）の構成によれば、ゲームプログラムを記録した外部記録媒体を取り替えることによって、ゲーム装置において実行されるゲームプログラムを容易に変更することができる。また、ゲーム装置はネットワークを介した通信を行うことができるので、例えばネットワークを介して新たなアプリケーションやデータをダウンロードすることによって、ゲーム装置の機能やゲーム装置において実行されるゲームの内容をより充実させることができる。また、後述する［７．ゲームシステムの他の動作例］で述べるように、ネットワークを介して他の情報処理装置と通信を行う場合のインターフェースとして端末装置７を使用することができる。
　また、本発明の別の一例は、上記（１）～（１０）における第１操作装置の形態で実施されてもよい。また、本発明の別の一例は、上記（１）～（１０）のゲームシステムにおいて行われるゲーム処理方法の形態で実施されてもよい。
　本発明によれば、タッチパネルおよび慣性センサを備える操作装置に対する操作に基づいてゲーム処理を実行することにより、新規なゲーム操作を行うことが可能となる。
図１はゲームシステム１の外観図である。 図２はゲーム装置３の内部構成を示すブロック図である。 図３はコントローラ５の外観構成を示す斜視図である。 図４はコントローラ５の外観構成を示す斜視図である。 図５はコントローラ５の内部構造を示す図である。 図６はコントローラ５の内部構造を示す図である。 図７はコントローラ５の構成を示すブロック図である。 図８は端末装置７の外観構成を示す図である。 図９はユーザが端末装置７を把持した様子を示す図である。 図１０は端末装置７の内部構成を示すブロック図である。 図１１はゲーム処理において用いられる各種データを示す図である。 図１２はゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャートである。 図１３はゲーム制御処理の詳細な流れを示すフローチャートである。 図１４は第１のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。 図１５は第２のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。 図１６は第３のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。 図１７は第３のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。 図１８は第４のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。 図１９は第４のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。 図２０は第５のゲーム例におけるゲームシステム１の使用の様子を示す図である。 図２１はネットワークを介して外部装置と接続される場合におけるゲームシステム１に含まれる各装置の接続関係を示す図である。
　［１．ゲームシステムの全体構成］
　以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。
　ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。
　ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。
　テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６はゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。
　コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、本実施形態では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。
　端末装置７は、ユーザが把持可能な程度の大きさであり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ６４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する。
　［２．ゲーム装置３の内部構成］
　次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ－ＩＣ１５等を有する。
　ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ－ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ　Ｔｉｍｅ　Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。
　システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｏｒ　Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ　ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ～１１ｅは内部バスによって互いに接続される。
　ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示するゲーム画像と、端末装置７に表示するゲーム画像との両方を生成する。以下では、テレビ２に表示されるゲーム画像を「テレビ用ゲーム画像」と呼び、端末装置７に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
　ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、テレビ２のスピーカから出力するゲーム音声と、端末装置７のスピーカから出力するゲーム音声との両方が生成される。以下では、テレビ２から出力されるゲーム音声を「テレビ用ゲーム音声」と呼び、端末装置７から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
　上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ－ＩＣ１５によって読み出される。ＡＶ－ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。
　また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。
　入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。
　ゲーム装置３は、インターネット等のネットワークに接続して外部情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続し、ネットワークに接続される外部情報処理装置と通信することができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。
　また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
　また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ－Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ　Ｉｎｐｕｔ　Ｍｕｌｔｉｐｌｅ　Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。
　また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。
　さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１０に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１０に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。
　また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。
　また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。
　ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。
　なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。
　［３．コントローラ５の構成］
　次に、図３～図７を参照して、コントローラ５について説明する。図３は、コントローラ５の外観構成を示す斜視図である。図４は、コントローラ５の外観構成を示す斜視図である。図３は、コントローラ５の上側後方から見た斜視図であり、図４は、コントローラ５を下側前方から見た斜視図である。
　図３および図４において、コントローラ５は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、コントローラ５に設けられたボタンを押下すること、および、コントローラ５自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。
　ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ～３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ～３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。
　ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、コントローラ５に他の機器（例えば、他のセンサユニットやコントローラ）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。
　ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ～３４ｄが設けられる。ここで、コントローラ５には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ～３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ～３４ｄのいずれか１つが点灯する。
　また、コントローラ５は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。
　ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、コントローラ５に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。
　次に、図５および図６を参照して、コントローラ５の内部構造について説明する。図５および図６は、コントローラ５の内部構造を示す図である。なお、図５は、コントローラ５の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、コントローラ５の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。
　図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ～３２ｈ、各ＬＥＤ３４ａ～３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ　Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してコントローラ５の中心からずれた位置に配置されている。これによって、コントローラ５をＺ軸回りに回転させたときのコントローラ５の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してコントローラ５の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５がワイヤレスコントローラとして機能する。
　一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、コントローラ５の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８～４１はそれぞれ基板３０の下主面に取り付けられる。
　さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってコントローラ５に振動が発生する。これによって、コントローラ５を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がコントローラ５の中心よりも端側に配置することによって、バイブレータ４６の振動によりコントローラ５全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、コントローラ５は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。
　なお、図３～図６に示したコントローラ５の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。
　図７は、コントローラ５の構成を示すブロック図である。コントローラ５は、操作部３２（各操作ボタン３２ａ～３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。
　操作部３２は、上述した各操作ボタン３２ａ～３２ｉを含み、各操作ボタン３２ａ～３２ｉに対する入力状態（各操作ボタン３２ａ～３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。
　撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。
　撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。以下では、撮像素子４０によって撮像された画像を撮像画像と呼ぶ。撮像素子４０によって生成された画像データは、画像処理回路４１で処理される。画像処理回路４１は、撮像画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。
　なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。
　加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。
　本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。
　加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や動きに対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや動きを算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。
　なお、加速度センサ３７（後述する加速度センサ６３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。
　一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の動きに応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の動き方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの動きに応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。
　ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。
　通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。
　操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータは、一時的にメモリ４３に格納される。これらのデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。
　以上のように、コントローラ５は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下する従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、コントローラ５を任意の姿勢に傾ける操作、コントローラ５によって画面上の任意の位置を指示する操作、および、コントローラ５自体を動かす操作等を行うことが可能となる。
　また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。
　［４．端末装置７の構成］
　次に、図８～図１０を参照して、端末装置７の構成について説明する。図８は、端末装置７の外観構成を示す図である。図８における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。また、図９は、ユーザが端末装置７を把持した様子を示す図である。
　図８に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。
　端末装置７は、ハウジング５０の表面にＬＣＤ５１を有する。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図９に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置を持って動かすことができる。なお、図９ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。
　図８の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペンを用いて行われるが、タッチペンに限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペンを収納するための収納穴が設けられていてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。
　図８に示すように、端末装置７は、操作手段として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン５４Ａ～５４Ｌとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示するデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作されるスティック部がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドまたは傾倒することができるように構成されている。また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図９に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。
　各ボタン５４Ａ～５４Ｌは、所定の入力を行うための操作手段である。以下に示すように、各ボタン５４Ａ～５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図９参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。
　図８の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ～５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ～５４Ｈとが設けられる。つまり、これらのボタン５４Ａ～５４Ｈは、ユーザの親指で操作可能な位置に配置されている（図９参照）。
　十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、上下左右の方向を指示することが可能なボタンである。また、ボタン５４Ｂ～５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ～５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、４つのボタン５４Ｅ～５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ～５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ～５４Ｈは、（４つのボタン５４Ｅ～５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ～５４Ｈを機能させることも可能である。
　また、図８の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、上側および左側の側面から露出している。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、上側および右側の側面から露出している。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図９参照）。
　また、図８の（ｂ）図および（ｃ）図に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、板状のハウジング５０の裏面（すなわちＬＣＤ５１が設けられる表面の反対側の面）に突起して設けられる足部５９Ａおよび５９Ｂに配置される。具体的には、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの概ね反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの概ね反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指で操作可能な位置に配置される（図９参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図８の（ｃ）図に示すように、上記足部５９Ａおよび５９Ｂの斜め上方を向く面に設けられ、斜め上方を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。また、ハウジング５０の裏面に足部が設けられることにより、ユーザはハウジング５０を把持しやすくなり、かつ、足部にボタンが設けられることで、ハウジング５０を把持したまま操作しやすくなる。
　なお、図８に示す端末装置７に関しては、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面が完全に水平にはならない場合がある。そのため、他の実施形態においては、ハウジング５０の裏面に３つ以上の足部が形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では足部が床面に接することで床面に載置できるので、画面が水平になるように端末装置７を載置することができる。また、着脱可能な足部を追加することで端末装置７を水平に載置するようにしてもよい。
　各ボタン５４Ａ～５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ～５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ～５４Ｅは決定操作やキャンセル操作等に用いられてもよい。
　なお、図示しないが、端末装置７は、端末装置７の電源をオン／オフするための電源ボタンを有している。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンや、スピーカ（図１０に示すスピーカ６７）の音量を調節するためのボタンを有していてもよい。
　図８の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部（図１０に示すマーカ部５５）をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。
　端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図８に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。
　なお、端末装置７は、音声入力手段であるマイク（図１０に示すマイク６９）を備えている。ハウジング５０の表面には、マイクロフォン用孔６０が設けられる。マイク６９はこのマイクロフォン用孔６０の奥のハウジング５０内部に設けられる。マイクは、ユーザの音声等、端末装置７の周囲の音を検出する。
　端末装置７は、音声出力手段であるスピーカ（図１０に示すスピーカ６７）を備えている。図８の（ｄ）図に示すように、ハウジング５０の下側側面にはスピーカ孔５７が設けられる。スピーカ６７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。
　また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。本実施形態においては、図８の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。他の装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。
　なお、図８に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。
　次に、図１０を参照して、端末装置７の内部構成について説明する。図１０は、端末装置７の内部構成を示すブロック図である。図１０に示すように、端末装置７は、図８に示した構成の他、タッチパネルコントローラ６１、磁気センサ６２、加速度センサ６３、ジャイロセンサ６４、ユーザインタフェースコントローラ（ＵＩコントローラ）６５、コーデックＬＳＩ６６、スピーカ６７、サウンドＩＣ６８、マイク６９、無線モジュール７０、アンテナ７１、赤外線通信モジュール７２、フラッシュメモリ７３、電源ＩＣ７４、および電池７５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。
　ＵＩコントローラ６５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ６５は、タッチパネルコントローラ６１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ～５４Ｌ）、マーカ部５５、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４に接続される。また、ＵＩコントローラ６５は、コーデックＬＳＩ６６と拡張コネクタ５８に接続される。また、ＵＩコントローラ６５には電源ＩＣ７４が接続され、ＵＩコントローラ６５を介して各部に電力が供給される。電源ＩＣ７４には内蔵の電池７５が接続され、電力が供給される。また、電源ＩＣ７４には、コネクタ等を介して外部電源から電力を取得可能な充電器７６またはケーブルを接続することが可能であり、端末装置７は、当該充電器７６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うようにしてもよい。
　タッチパネルコントローラ６１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ６１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ６５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ６１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ６５からタッチパネルコントローラ６１へは、タッチパネル５２に対する各種の制御指示が出力される。
　アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ６５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ～５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ６５へ出力する。
　磁気センサ６２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から磁気センサ６２へは、磁気センサ６２に対する制御指示が出力される。磁気センサ６２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。
　加速度センサ６３は、ハウジング５０の内部に設けられ、３軸（図８の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ６３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の短辺方向をｙ軸、ハウジング５０の表面に対して垂直な方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５から加速度センサ６３へは、加速度センサ６３に対する制御指示が出力される。加速度センサ６３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ６３は１軸または２軸方向を検出する加速度センサであってもよい。
　ジャイロセンサ６４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ６５へ出力される。また、ＵＩコントローラ６５からジャイロセンサ６４へは、ジャイロセンサ６４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ６４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ６４は１軸または２軸方向を検出するジャイロセンサであってもよい。
　ＵＩコントローラ６５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ６６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。
　コーデックＬＳＩ６６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ６６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ６８、無線モジュール７０、フラッシュメモリ７３、および赤外線通信モジュール７２が接続される。また、コーデックＬＳＩ６６はＣＰＵ７７と内部メモリ７８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ７３に格納されたプログラムを内部メモリ７８に読み出してＣＰＵ７７が実行することで、端末装置７が起動する。また、内部メモリ７８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。
　カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ６６へ出力する。また、コーデックＬＳＩ６６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ６６へ繰り返し出力することも可能である。
　サウンドＩＣ６８は、スピーカ６７およびマイク６９に接続され、スピーカ６７およびマイク６９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ６６から音声データを受け取った場合、サウンドＩＣ６８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ６７へ出力し、スピーカ６７から音を出力させる。また、マイク６９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ６８へ出力する。サウンドＩＣ６８は、マイク６９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ６６へ出力する。
　コーデックＬＳＩ６６は、カメラ５６からの画像データ、マイク６９からの音声データ、および、ＵＩコントローラ６５からの操作データを、端末操作データとして無線モジュール７０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ６６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール７０に出力される。無線モジュール７０にはアンテナ７１が接続されており、無線モジュール７０はアンテナ７１を介してゲーム装置３へ上記送信データを送信する。無線モジュール７０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール７０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。
　以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール７２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ６６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。
　また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ７１および無線モジュール７０を介してコーデックＬＳＩ６６に受信される。コーデックＬＳＩ６６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。また、伸張された音声データはサウンドＩＣ６８へ出力され、サウンドＩＣ６８はスピーカ６７から音を出力させる。
　また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ６６およびＵＩコントローラ６５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ６１、マーカ部５５、各センサ６２～６４、および赤外線通信モジュール７２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。
　以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。
　また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ６２、加速度センサ６３、およびジャイロセンサ６４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。
　また、端末装置７は、カメラ５６およびマイク６９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク６９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。
　また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。
　［５．ゲーム処理］
　次に、本ゲームシステムにおいて実行されるゲーム処理の詳細を説明する。まず、ゲーム処理において用いられる各種データについて説明する。図１１は、ゲーム処理において用いられる各種データを示す図である。図１１において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１１に示すように、ゲーム装置３のメインメモリには、ゲームプログラム９０、受信データ９１、および処理用データ１０６が記憶される。なお、メインメモリには、図１１に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。
　ゲームプログラム９０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム９０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム９０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。
　受信データ９１は、コントローラ５および端末装置７から受信される各種のデータである。受信データ９１は、コントローラ操作データ９２、端末操作データ９７、カメラ画像データ１０４、および、マイク音データ１０５を含む。コントローラ５が複数接続される場合には、コントローラ操作データ９２も複数になる。端末装置７が複数接続される場合には、端末操作データ９７、カメラ画像データ１０４、および、マイク音データ１０５も複数になる。
　コントローラ操作データ９２は、コントローラ５に対するユーザ（プレイヤ）の操作を表すデータである。コントローラ操作データ９２は、コントローラ５から送信されてゲーム装置３において取得され、メインメモリに記憶される。コントローラ操作データ９２は、第１操作ボタンデータ９３、第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６を含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のコントローラ操作データが記憶されてもよい。
　第１操作ボタンデータ９３は、コントローラ５に設けられる各操作ボタン３２ａ～３２ｉに対する入力状態を表すデータである。具体的には、第１操作ボタンデータ９３は、各操作ボタン３２ａ～３２ｉが押下されているか否かを表す。
　第１加速度データ９４は、コントローラ５の加速度センサ３７によって検出された加速度（加速度ベクトル）を表すデータである。ここでは、第１加速度データ９４は、図３に示すＸＹＺの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
　第１角速度データ９５は、コントローラ５におけるジャイロセンサ４８によって検出された角速度を表すデータである。ここでは、第１角速度データ９５は、図３に示すＸＹＺの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。
　マーカ座標データ９６、撮像情報演算部３５の画像処理回路４１によって算出される座標、すなわち上記マーカ座標を表すデータである。マーカ座標は、撮像画像に対応する平面上の位置を表すための２次元座標系で表現され、マーカ座標データ９６は、当該２次元座標系における座標値を表す。
　なお、コントローラ操作データ９２は、コントローラ５を操作するユーザの操作を表すものであればよく、上記各データ９３～９６の一部のみを含むものであってもよい。また、コントローラ５が他の入力手段（例えば、タッチパネルやアナログスティック等）を有する場合には、コントローラ操作データ９２は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のようにコントローラ５自体の動きをゲーム操作として用いる場合には、コントローラ操作データ９２は、第１加速度データ９４、第１角速度データ９５、またはマーカ座標データ９６のように、コントローラ５自体の動きに応じて値が変化するデータを含むようにする。
　端末操作データ９７は、端末装置７に対するユーザの操作を表すデータである。端末操作データ９７は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。端末操作データ９７は、第２操作ボタンデータ９８、スティックデータ９９、タッチ位置データ１００、第２加速度データ１０１、第２角速度データ１０２、および方位データを含む。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。
　第２操作ボタンデータ９８は、端末装置７に設けられる各操作ボタン５４Ａ～５４Ｌに対する入力状態を表すデータである。具体的には、第２操作ボタンデータ９８は、各操作ボタン５４Ａ～５４Ｌが押下されているか否かを表す。
　スティックデータ９９は、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。上記方向および量は、例えば２次元座標や２次元ベクトルとして表されてもよい。
　タッチ位置データ１００は、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。本実施形態では、タッチ位置データ１００は、上記入力面上の位置を示すための２次元座標系の座標値を表す。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データ１００は複数のタッチ位置を表すこともある。
　第２加速度データ１０１は、加速度センサ６３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、第２加速度データ１０１は、図８に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。
　第２角速度データ１０２は、ジャイロセンサ６４によって検出された角速度を表すデータである。本実施形態では、第２角速度データ１０２は、図８に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。
　方位データ１０３は、磁気センサ６２によって検出された方位を表すデータである。本実施形態では、方位データ１０３は、端末装置７を基準として所定の方位（例えば北）の向きを表す。ただし、地磁気以外の磁界が発生している場所においては、方位データ１０３は厳密には絶対的な方位（北等）を示さないことになるが、その場所における磁界の方向に対する端末装置７の相対的な方向が示されるので、そのような場合であっても端末装置７の姿勢変化を算出することが可能である。
　なお、端末操作データ９７は、端末装置７を操作するユーザの操作を表すものであればよく、上記各データ９８～１０３のいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ９７は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ９７は、第２加速度データ１０１、第２角速度データ１０２、または方位データ１０３のように、端末装置７自体の動きに応じて値が変化するデータを含むようにする。
　カメラ画像データ１０４は、端末装置７のカメラ５６によって撮像された画像（カメラ画像）を表すデータである。カメラ画像データ１０４は、端末装置７からの圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、メインメモリには、最新の（最後に取得された）ものから順に所定個数のカメラ画像データが記憶されてもよい。
　マイク音データ１０５は、端末装置７のマイク６９によって検出された音声（マイク音）を表すデータである。マイク音データ１０５は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。
　処理用データ１０６は、後述するゲーム処理（図１２）において用いられるデータである。処理用データ１０６は、制御データ１０７、コントローラ姿勢データ１０８、端末姿勢データ１０９、画像認識データ１１０、および音声認識データ１１１を含む。なお、図１１に示すデータの他、処理用データ１０６は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。
　制御データ１０７は、端末装置７が備える構成要素に対する制御指示を表すデータである。制御データ１０７は、例えば、マーカ部５５の点灯を制御する指示や、カメラ５６の撮像を制御する指示等を表す。制御データ１０７は、適宜のタイミングで端末装置７へ送信される。
　コントローラ姿勢データ１０８は、コントローラ５の姿勢を表すデータである。本実施形態では、コントローラ姿勢データ１０８は、上記コントローラ操作データ９２に含まれる第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６に基づいて算出される。コントローラ姿勢データ１０８の算出方法についてはステップＳ２３で後述する。
　端末姿勢データ１０９は、端末装置７の姿勢を表すデータである。本実施形態では、端末姿勢データ１０９は、上記端末操作データ９７に含まれる第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３に基づいて算出される。端末姿勢データ１０９の算出方法についてはステップＳ２４で後述する。
　画像認識データ１１０は、上記カメラ画像に対する所定の画像認識処理の結果を表すデータである。この画像認識処理は、カメラ画像から何らかの特徴を検知してその結果を出力するものであればどのような処理であってもよく、例えば、カメラ画像から所定の対象（例えば、ユーザの顔やマーカ等）を抽出し、抽出した対象に関する情報を算出する処理であってもよい。
　音声認識データ１１１は、上記マイク音声に対する所定の音声認識処理の結果を表すデータである。この音声認識処理は、マイク音声から何らかの特徴を検知してその結果を出力するものであればどのような処理であってもよく、例えば、ユーザの言葉を検知する処理であってもよいし、単に音量を出力する処理であってもよい。
　次に、図１２を参照して、ゲーム装置３において行われるゲーム処理の詳細を説明する。図１２は、ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。なお、ゲーム装置３においては、電源投入後に光ディスク４に記憶されたゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後ユーザによってゲームの開始が指示されたときに光ディスク４に記憶されたゲームプログラムが実行される構成であってもよい。図１２に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。
　なお、図１２に示すフローチャートの各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、ＣＰＵ１０以外のプロセッサや専用回路が上記各ステップの一部のステップの処理を実行するようにしてもよい。
　まずステップＳ１において、ＣＰＵ１０は初期処理を実行する。初期処理は、例えば、仮想のゲーム空間を構築し、ゲーム空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。
　また、本実施形態においては、初期処理において、ＣＰＵ１０は、ゲームプログラムの種類に基づいてマーカ装置６およびマーカ部５５の点灯を制御する。ここで、ゲームシステム１は、コントローラ５の撮像手段（撮像情報演算部３５）の撮像対象として、マーカ装置６と端末装置７のマーカ部５５との２つを有している。ゲームの内容（ゲームプログラムの種類）によっては、マーカ装置６とマーカ部５５のうちいずれかが使用されたり、あるいは、両方が使用されたりする。なお、ゲームプログラム９０には、マーカ装置６およびマーカ部５５のそれぞれについて点灯させるか否かを表すデータ含まれている。ＣＰＵ１０は、当該データを読み出して点灯させるか否かを判断する。そして、マーカ装置６および／またはマーカ部５５を点灯させる場合には以下の処理を実行する。
　すなわち、マーカ装置６を点灯する場合、ＣＰＵ１０は、マーカ装置６が備える各赤外ＬＥＤを点灯させる旨の制御信号をマーカ装置６へ送信する。この制御信号の送信は単に電力を供給するというだけのことであってもよい。これに応じてマーカ装置６の各赤外ＬＥＤが点灯される。一方、マーカ部５５を点灯する場合、ＣＰＵ１０は、マーカ部５５を点灯する指示を表す制御データを生成してメインメモリに記憶する。生成された制御データは、後述するステップＳ１０において端末装置７へ送信される。端末装置７の無線モジュール７０において受信された制御データは、コーデックＬＳＩ６６を介してＵＩコントローラ６５へ送られ、ＵＩコントローラ６５はマーカ部５５に点灯する指示を行う。これによってマーカ部５５の赤外ＬＥＤが点灯する。なお、上記においてはマーカ装置６およびマーカ部５５を点灯させる場合を説明したが、マーカ装置６およびマーカ部５５の消灯は、点灯する場合と同様の処理によって行うことができる。
　以上のステップＳ１の次にステップＳ２の処理が実行される。以降、ステップＳ２～Ｓ１１の一連の処理からなる処理ループが所定時間（１フレーム時間）に１回の割合で繰り返し実行される。
　ステップＳ２において、ＣＰＵ１０は、コントローラ５から送信されてくるコントローラ操作データを取得する。コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９が当該コントローラ操作データを逐次受信し、受信されたコントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。送受信の間隔はゲームの処理時間よりも短い方が好ましく、例えば２００分の１秒である。ステップＳ２においては、ＣＰＵ１０は、最新のコントローラ操作データ９２をメインメモリから読み出す。ステップＳ２の次にステップＳ３の処理が実行される。
　ステップＳ３において、ＣＰＵ１０は、端末装置７から送信されてくる各種のデータを取得する。端末装置７は、端末操作データとカメラ画像データとマイク音データとをゲーム装置３へ繰り返し送信するので、ゲーム装置３はこれらのデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８がこれらのデータを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。ステップＳ３においては、ＣＰＵ１０は、最新の端末操作データ９７をメインメモリから読み出す。ステップＳ３の次にステップＳ４の処理が実行される。
　ステップＳ４において、ＣＰＵ１０はゲーム制御処理を実行する。ゲーム制御処理は、ユーザによるゲーム操作に従ってゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。本実施形態においては、ユーザは、コントローラ５および／または端末装置７を用いて種々のゲームを行うことが可能である。以下、図１３を参照して、ゲーム制御処理について説明する。
　図１３は、ゲーム制御処理の詳細な流れを示すフローチャートである。なお、図１３に示す一連の処理は、コントローラ５および端末装置７を操作装置として用いる場合において実行され得る種々の処理であるが、各処理の必ずしも全てが実行される必要はなく、ゲームの種類や内容によっては一部の処理のみが実行されてもよい。
　ゲーム制御処理においては、まずステップＳ２１において、ＣＰＵ１０は、使用するマーカを変更するか否かを判定する。上述のように、本実施形態においては、ゲーム処理の開始時（ステップＳ１）において、マーカ装置６およびマーカ部５５の点灯を制御する処理が実行される。ここで、ゲームによっては、ゲームの途中でマーカ装置６およびマーカ部５５のうちで使用する（点灯する）対象を変更する場合も考えられる。また、ゲームによってはマーカ装置６およびマーカ部５５の両方を使用することも考えられるが、両方を点灯させると、一方のマーカを他方のマーカと誤検出してしまうおそれがある。そのため、ゲーム中において、いずれか一方のみを点灯させるように点灯を切り替えて使用することが好ましい場合もある。ステップＳ２１の処理は、かかる場合を考慮し、点灯する対象をゲーム途中で変更するか否かを判定する処理である。
　上記ステップＳ２１の判定は、例えば以下の方法で行うことができる。すなわち、ＣＰＵ１０は、ゲーム状況（ゲームのステージや操作対象等）が変化したか否かによって上記判定を行うことができる。ゲーム状況が変化する場合、マーカ装置６の方を向けてコントローラ５を操作する操作方法と、マーカ部５５の方を向けてコントローラ５を操作する操作方法との間で、操作方法が変更されることが考えられるからである。また、ＣＰＵ１０は、コントローラ５の姿勢に基づいて上記判定を行うことができる。すなわち、コントローラ５がマーカ装置６の方を向いているか、マーカ部５５の方を向いているかによって上記判定を行うことができる。なお、コントローラ５の姿勢は、例えば加速度センサ３７やジャイロセンサ４８の検出結果に基づいて算出することができる（後述するステップＳ２３参照）。また、ＣＰＵ１０は、ユーザによる変更指示があったか否かによって上記判定を行うこともできる。
　上記ステップＳ２１の判定結果が肯定である場合、ステップＳ２２の処理が実行される。一方、上記ステップＳ２１の判定結果が否定である場合、ステップＳ２２の処理がスキップされてステップＳ２３の処理が実行される。
　ステップＳ２２において、ＣＰＵ１０は、マーカ装置６およびマーカ部５５の点灯を制御する。すなわち、マーカ装置６および／またはマーカ部５５の点灯状態を変更する。なお、マーカ装置６および／またはマーカ部５５を点灯または消灯する具体的な処理は、上記ステップＳ１の場合と同様に行うことができる。ステップＳ２２の次にステップＳ２３の処理が実行される。
　以上のように本実施形態によれば、上記ステップＳ１の処理によって、ゲームプログラムの種類に応じてマーカ装置６およびマーカ部５５の発光（点灯）を制御することができるとともに、上記ステップＳ２１およびＳ２２の処理によって、ゲーム状況に応じてマーカ装置６およびマーカ部５５の発光（点灯）を制御することができる。
　ステップＳ２３において、ＣＰＵ１０はコントローラ５の姿勢を算出する。本実施形態では、コントローラ５の姿勢は、第１加速度データ９４、第１角速度データ９５、およびマーカ座標データ９６に基づいて算出される。以下、コントローラ５の姿勢の算出方法について説明する。
　まず、ＣＰＵ１０は、メインメモリに記憶されている第１角速度データ９５に基づいてコントローラ５の姿勢を算出する。コントローラ５の姿勢を角速度から算出する方法はどのような方法であってもよいが、当該姿勢は、前回の姿勢（前回に算出された姿勢）と、今回の角速度（今回の処理ループにおけるステップＳ２で取得された角速度）とを用いて算出される。具体的には、ＣＰＵ１０は、前回の姿勢を今回の角速度で単位時間分だけ回転させることによって姿勢を算出する。なお、前回の姿勢は、メインメモリに記憶されているコントローラ姿勢データ１０８により表され、今回の角速度は、メインメモリに記憶されている第１角速度データ９５により表される。したがって、ＣＰＵ１０は、メインメモリからコントローラ姿勢データ１０８および第１角速度データ９５を読み出して、コントローラ５の姿勢を算出する。以上のようにして算出された「角速度に基づく姿勢」を表すデータはメインメモリに記憶される。
　なお、角速度から姿勢を算出する場合、初期姿勢を定めておくのがよい。つまり、コントローラ５の姿勢を角速度から算出する場合には、ＣＰＵ１０は、最初にコントローラ５の初期姿勢を算出しておく。コントローラ５の初期姿勢は、加速度データに基づいて算出されてもよいし、コントローラ５を特定の姿勢にした状態でプレイヤに所定の操作を行わせることで、所定の操作が行われた時点における特定の姿勢を初期姿勢として用いるようにしてもよい。なお、空間における所定方向を基準とした絶対的な姿勢としてコントローラ５の姿勢を算出する場合には上記初期姿勢を算出することが良いが、例えばゲーム開始時点におけるコントローラ５の姿勢を基準とした相対的な姿勢としてコントローラ５の姿勢を算出する場合には、上記初期姿勢は算出されなくても良い。
　次に、ＣＰＵ１０は、角速度に基づいて算出したコントローラ５の姿勢を、第１加速度データ９４を用いて補正する。具体的には、ＣＰＵ１０はまず、メインメモリから第１加速度データ９４を読み出して、第１加速度データ９４に基づいてコントローラ５の姿勢を算出する。ここで、コントローラ５がほぼ静止している状態では、コントローラ５に対して加えられる加速度は重力加速度を意味する。したがって、この状態においては、加速度センサ３７が出力する第１加速度データ９４を用いて重力加速度の方向（重力方向）を算出することができるので、重力方向に対するコントローラ５の向き（姿勢）を当該第１加速度データ９４に基づいて算出することができる。以上のようにして算出された「加速度に基づく姿勢」を表すデータはメインメモリに記憶される。
　加速度に基づく姿勢を算出すると、ＣＰＵ１０は次に、加速度に基づく姿勢を用いて、角速度に基づく姿勢を補正する。具体的には、ＣＰＵ１０は、角速度に基づく姿勢を表すデータと加速度に基づく姿勢を表すデータとをメインメモリから読み出し、角速度データに基づく姿勢を、加速度データに基づく姿勢へ所定の割合で近づける補正を行う。この所定の割合は、予め定められた固定値であってもよいし、第１加速度データ９４が示す加速度等に応じて設定されてもよい。また、加速度に基づく姿勢に関しては、重力方向を軸とする回転方向については姿勢を算出することができないので、ＣＰＵ１０は、当該回転方向に関しては補正を行わないようにしてもよい。本実施形態においては、以上のようにして得られた補正後の姿勢を表すデータはメインメモリに記憶される。
　上記のようにして角速度に基づく姿勢を補正した後、ＣＰＵ１０は、補正後の姿勢をマーカ座標データ９６を用いてさらに補正する。まず、ＣＰＵ１０は、マーカ座標データ９６に基づいてコントローラ５の姿勢（マーカ座標に基づく姿勢）を算出する。マーカ座標データ９６は、撮像画像内におけるマーカ６Ｒおよび６Ｌの位置を示すので、これらの位置から、ロール方向（Ｚ軸回りの回転方向）に関するコントローラ５の姿勢を算出することができる。つまり、撮像画像内においてマーカ６Ｒの位置とマーカ６Ｌの位置とを結ぶ直線の傾きから、ロール方向に関するコントローラ５の姿勢を算出することができる。また、マーカ装置６に対するコントローラ５の位置が特定できる場合（例えば、マーカ装置６の正面にコントローラ５が位置すると想定できる場合）には、撮像画像内におけるマーカ装置６の位置から、ピッチ方向およびヨー方向に関するコントローラ５の姿勢を算出することができる。例えば、撮像画像内においてマーカ６Ｒおよび６Ｌの位置が左に移動した場合、コントローラ５は右に向き（姿勢）を変えたと判断することができる。このように、マーカ６Ｒおよびマーカ６Ｌの位置から、ピッチ方向およびヨー方向に関するコントローラ５の姿勢を算出することができる。以上のようにして、マーカ座標データ９６に基づいてコントローラ５の姿勢を算出することができる。
　マーカ座標に基づく姿勢を算出すると、ＣＰＵ１０は次に、上記補正後の姿勢（加速度に基づく姿勢によって補正された姿勢）を、マーカ座標に基づく姿勢で補正する。すなわち、ＣＰＵ１０は、補正後の姿勢を、マーカ座標に基づく姿勢へ所定の割合で近づける補正を行う。この所定の割合は、予め定められた固定値であってもよい。また、マーカ座標に基づく姿勢による補正は、ロール方向、ピッチ方向、およびヨー方向のいずれか１つまたは２つの方向のみについて行われてもよい。例えば、マーカ座標データ９６を用いる場合、ロール方向については精度良く姿勢を算出することができるので、ＣＰＵ１０は、ロール方向についてのみ、マーカ座標データ９６に基づく姿勢を用いて補正を行ってもよい。また、コントローラ５の撮像素子４０によってマーカ装置６またはマーカ部５５が撮像されていない場合は、マーカ座標データ９６に基づく姿勢を算出することができないので、この場合にはマーカ座標データ９６を用いる補正処理は実行されなくてもよい。
　上記によれば、ＣＰＵ１０は、第１角速度データ９５に基づいて算出されたコントローラ５の第１姿勢を、第１加速度データ９４およびマーカ座標データ９６を用いて補正した。ここで、コントローラ５の姿勢を算出する方法のうち、角速度を用いる方法では、コントローラ５がどのように動いているときであっても姿勢を算出することができる。一方、角速度を用いる方法では、逐次検出される角速度を累積加算していくことによって姿勢を算出するので、誤差が累積すること等によって精度が悪くなったり、いわゆる温度ドリフトの問題でジャイロセンサの精度が悪くなったりするおそれがある。また、加速度を用いる方法は、誤差が蓄積しない一方、コントローラ５が激しく動かされている状態では、（重力方向を正確に検出することができないので）姿勢を精度良く算出することができない。また、マーカ座標を用いる方法は、（特にロール方向に関して）姿勢を精度良く算出することができる一方、マーカ部５５を撮像できない状態では姿勢を算出することができない。これに対して、本実施形態によれば、上記のように特長の異なる３種類の方法を用いるので、コントローラ５の姿勢をより正確に算出することができる。なお、他の実施形態においては、上記３つの方法のうちいずれか１つまたは２つを用いて姿勢を算出するようにしてもよい。また、上記ステップＳ１またはＳ２２の処理においてマーカの点灯制御を行う場合には、ＣＰＵ１０は、少なくともマーカ座標を用いてコントローラ５の姿勢を算出することが好ましい。
　上記ステップＳ２３の次に、ステップＳ２４の処理が実行される。ステップＳ２４においては、ＣＰＵ１０は、端末装置７の姿勢を算出する。すなわち、端末装置７から取得される端末操作データ９７には、第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３が含まれるので、ＣＰＵ１０は、これらのデータに基づいて端末装置７の姿勢を算出する。ここで、ＣＰＵ１０は、第２角速度データ１０２によって端末装置７の単位時間当たりにおける回転量（姿勢の変化量）を知ることができる。また、端末装置７がほぼ静止している状態では、端末装置７に対して加えられる加速度は重力加速度を意味するので、第２加速度データ１０１によって端末装置７に加えられる重力方向（すなわち、重力方向を基準とした端末装置７の姿勢）を知ることができる。また、方位データ１０３によって、端末装置７を基準とした所定の方位（すなわち、所定の方位を基準とした端末装置７の姿勢）を知ることができる。なお、地磁気以外の磁界が発生している場合であっても、端末装置７の回転量を知ることができる。したがって、ＣＰＵ１０は、これら第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３に基づいて端末装置７の姿勢を算出することができる。なお、本実施形態においては、上記３つのデータに基づいて端末装置７の姿勢を算出するが、他の実施形態においては、上記３つのデータのうち１つまたは２つに基づいて姿勢を算出するようにしてもよい。
　なお、端末装置７の姿勢の具体的な算出方法はどのような方法であってもよいが、例えば、第２角速度データ１０２が表す角速度に基づいて算出される姿勢を、第２加速度データ１０１および方位データ１０３を用いて補正する方法が考えられる。具体的には、ＣＰＵ１０は、まず、第２角速度データ１０２に基づいて端末装置７の姿勢を算出する。なお、角速度に基づいて姿勢を算出する方法は、上記ステップＳ２３における方法と同様であってもよい。次に、ＣＰＵ１０は、適宜のタイミング（例えば、端末装置７が静止状態に近い場合に）で、角速度に基づいて算出される姿勢を、第２加速度データ１０１に基づいて算出される姿勢、および／または、方位データ１０３に基づいて算出される姿勢によって補正する。なお、角速度に基づく姿勢を加速度に基づく姿勢で補正する方法は、上述したコントローラ５の姿勢を算出する場合と同様の方法であってもよい。また、角速度に基づく姿勢を方位データに基づく姿勢で補正する場合には、ＣＰＵ１０は、角速度に基づく姿勢を、方位データに基づく姿勢へと所定の割合で近づけるようにしてもよい。以上によれば、ＣＰＵ１０は、端末装置７の姿勢を正確に算出することができる。
　なお、コントローラ５は、赤外線検知手段である撮像情報演算部３５を備えているので、ゲーム装置３はマーカ座標データ９６を取得することができる。そのため、コントローラ５に関しては、ゲーム装置３は、実空間における絶対的な姿勢（実空間に設定された座標系においてコントローラ５がどのような姿勢であるか）をマーカ座標データ９６から知ることができる。一方、端末装置７は撮像情報演算部３５のような赤外線検知手段を備えていない。そのため、ゲーム装置３は、第２加速度データ１０１および第２角速度データ１０２からのみでは、重力方向を軸とした回転方向に関して実空間における絶対的な姿勢を知ることができない。そこで、本実施形態では端末装置７が磁気センサ６２を備える構成とし、ゲーム装置３は方位データ１０３を取得するようにしている。これによれば、ゲーム装置３は、重力方向を軸とした回転方向に関して実空間における絶対的な姿勢を方位データ１０３から算出することができ、端末装置７の姿勢をより正確に算出することができる。
　上記ステップＳ２４の具体的な処理としては、ＣＰＵ１０は、第２加速度データ１０１、第２角速度データ１０２、および方位データ１０３をメインメモリから読み出し、これらのデータに基づいて端末装置７の姿勢を算出する。そして、算出された端末装置７の姿勢を表すデータを端末姿勢データ１０９としてメインメモリに記憶する。ステップＳ２４の次にステップＳ２５の処理が実行される。
　ステップＳ２５において、ＣＰＵ１０は、カメラ画像の認識処理を実行する。すなわち、ＣＰＵ１０は、カメラ画像データ１０４に対して所定の認識処理を行う。この認識処理は、カメラ画像から何らかの特徴を検知してその結果を出力するものであればどのようなものであってもよい。例えば、カメラ画像にプレイヤの顔が含まれている場合には、顔を認識する処理であってもよい。具体的には、顔の一部（目や鼻や口等）を検出する処理であってもよいし、顔の表情を検出する処理であってもよい。また、認識処理の結果を表すデータは、画像認識データ１１０としてメインメモリに記憶される。ステップＳ２５の次にステップＳ２６の処理が実行される。
　ステップＳ２６において、ＣＰＵ１０は、マイク音声の認識処理を実行する。すなわち、ＣＰＵ１０は、マイク音データ１０５に対して所定の認識処理を行う。この認識処理は、マイク音声から何らかの特徴を検知してその結果を出力するものであればどのようなものであってもよい。例えば、マイク音声からプレイヤの指示を検出する処理であってもよいし、単にマイク音声の音量を検出する処理であってもよい。また、認識処理の結果を表すデータは、音声認識データ１１１としてメインメモリに記憶される。ステップＳ２６の次にステップＳ２７の処理が実行される。
　ステップＳ２７において、ＣＰＵ１０は、ゲーム入力に応じたゲーム処理を実行する。ここで、ゲーム入力とは、コントローラ５または端末装置７から送信されてくるデータ、あるいは、当該データから得られるデータであればどのようなものであってもよい。具体的には、ゲーム入力は、コントローラ操作データ９２および端末操作データ９７に含まれる各データの他、当該各データから得られるデータ（コントローラ姿勢データ１０８、端末姿勢データ１０９、画像認識データ１１０、および音声認識データ１１１）であってもよい。また、ステップＳ２７におけるゲーム処理の内容はどのようなものであってもよく、例えば、ゲームに登場するオブジェクト（キャラクタ）を動作させる処理、仮想カメラを制御する処理、または、画面に表示されるカーソルを移動する処理であってもよい。また、カメラ画像（またはその一部）をゲーム画像として用いる処理、または、マイク音声をゲーム音声として用いる処理等であってもよい。なお上記ゲーム処理の例については後述する。ステップＳ２７においては、例えば、ゲームに登場するキャラクタ（オブジェクト）に設定される各種パラメータのデータや、ゲーム空間に配置される仮想カメラに関するパラメータのデータや、得点のデータ等、ゲーム制御処理の結果を表すデータがメインメモリに記憶される。ステップＳ２７の後、ＣＰＵ１０はステップＳ４のゲーム制御処理を終了する。
　図１２の説明に戻り、ステップＳ５において、テレビ２に表示するためのテレビ用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ４のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、ゲーム画像を生成する。ゲーム画像は、ステップＳ４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。例えば、ゲーム画像の生成方法は、仮想のゲーム空間内に仮想カメラを配置して、仮想カメラから見たゲーム空間を計算することによって３次元のＣＧ画像を生成する方法であってもよいし、（仮想カメラを用いずに）２次元の画像を生成する方法であってもよい。生成されたテレビ用ゲーム画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ５の次にステップＳ６の処理が実行される。
　ステップＳ６において、端末装置７に表示するための端末用ゲーム画像がＣＰＵ１０およびＧＰＵ１１ｂによって生成される。端末用ゲーム画像も上記テレビ用ゲーム画像と同様、ステップＳ４のゲーム制御処理の結果を表すものであればよく、どのような方法で生成されてもよい。また、端末用ゲーム画像は、上記テレビ用ゲーム画像と同様の方法で生成されてもよいし、異なる方法で生成されてもよい。生成された端末用ゲーム画像はＶＲＡＭ１１ｄに記憶される。なお、ゲームの内容によってはテレビ用ゲーム画像と端末用ゲーム画像とは同一であってもよく、この場合、ステップＳ６においてゲーム画像の生成処理は実行されなくてもよい。上記ステップＳ６の次にステップＳ７の処理が実行される。
　ステップＳ７においては、テレビ２のスピーカ２ａに出力するためのテレビ用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ４のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、生成されるゲーム音声は、例えばゲームの効果音や、ゲームに登場するキャラクタの声や、ＢＧＭ等であってもよい。上記ステップＳ７の次にステップＳ８の処理が実行される。
　ステップＳ８においては、端末装置７のスピーカ６７に出力するための端末用ゲーム音声が生成される。すなわち、ＣＰＵ１０は、ステップＳ４のゲーム制御処理の結果に応じたゲーム音声をＤＳＰ１１ｃに生成させる。なお、端末用ゲーム音声は、上記テレビ用ゲーム音声と同じであってもよいし、異なっていてもよい。また、例えば効果音は異なるが、ＢＧＭは同じである、というように、一部のみが異なっていてもよい。なお、テレビ用ゲーム音声と端末用ゲーム音声とが同一である場合、ステップＳ８においてゲーム音声の生成処理は実行されなくてもよい。上記ステップＳ８の次にステップＳ９の処理が実行される。
　ステップＳ９において、ＣＰＵ１０は、テレビ２へゲーム画像およびゲーム音声を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用ゲーム画像のデータと、ステップＳ７でＤＳＰ１１ｃによって生成されたテレビ用ゲーム音声のデータとをＡＶ－ＩＣ１５へ送る。これに応じて、ＡＶ－ＩＣ１５は画像および音声のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用ゲーム画像がテレビ２に表示されるとともに、テレビ用ゲーム音声がスピーカ２ａから出力される。ステップＳ９の次にステップＳ１０の処理が実行される。
　ステップＳ１０において、ＣＰＵ１０は、端末装置７へゲーム画像およびゲーム音声を送信する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用ゲーム画像の画像データ、および、ステップＳ８でＤＳＰ１１ｃによって生成された音声データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像および音声のデータは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像および音声のデータを無線モジュール７０によって受信し、コーデックＬＳＩ６６によって所定の伸張処理が行われる。伸張処理が行われた画像データはＬＣＤ５１に出力され、伸張処理が行われた音声データはサウンドＩＣ６８に出力される。これによって、端末用ゲーム画像がＬＣＤ５１に表示されるとともに、端末用ゲーム音声がスピーカ６７から出力される。ステップＳ１０の次にステップＳ１１の処理が実行される。
　ステップＳ１１において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ１１の判定は、例えば、ゲームオーバーになったか否か、あるいは、ユーザがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ１１の判定結果が否定の場合、ステップＳ２の処理が再度実行される。一方、ステップＳ１１の判定結果が肯定の場合、ＣＰＵ１０は図１２に示すゲーム処理を終了する。以降、ステップＳ２～Ｓ１１の一連の処理は、ステップＳ１１でゲームを終了すると判定されるまで繰り返し実行される。
　以上のように、本実施形態では、端末装置７は、タッチパネル５２と、加速度センサ６３またはジャイロセンサ６４といった慣性センサとを備えており、タッチパネル５２および慣性センサの出力が操作データとしてゲーム装置３へ送信されてゲームの入力として用いられる（ステップＳ３，Ｓ４）。さらに、端末装置７は表示装置（ＬＣＤ５１）を備えており、ゲーム処理によって得られるゲーム画像がＬＣＤ５１に表示される（ステップＳ６，Ｓ１０）。したがって、ユーザは、タッチパネル５２を用いてゲーム画像に対して直接タッチする操作を行うことができ、また、（端末装置７の動きが慣性センサによって検出されるため）ゲーム画像が表示されるＬＣＤ５１自体を動かす操作を行うことができる。ユーザは、これらの操作によってゲーム画像に対して直接操作を行うような操作感覚でゲームを行うことができるので、例えば後述する第１および第２のゲーム例のような新規な操作感覚のゲームを提供することができる。
　さらに、本実施形態では、端末装置７は、端末装置７を把持した状態で操作可能なアナログスティック５３および操作ボタン５４を備えており、ゲーム装置３は、アナログスティック５３および操作ボタン５４に対する操作をゲームの入力として用いることができる（ステップＳ３，Ｓ４）。したがって、上記のようにゲーム画像に対して直接操作を行う場合においても、ユーザはボタン操作やスティック操作によってより詳細なゲーム操作を行うことができる。
　さらに、本実施形態では、端末装置７はカメラ５６およびマイク６９を備えており、カメラ５６が撮像するカメラ画像のデータ、および、マイク６９が検出するマイク音のデータはゲーム装置３へ送信される（ステップＳ３）。したがって、ゲーム装置３は、上記カメラ画像および／またはマイク音をゲーム入力として用いることが可能であるので、ユーザは、カメラ５６で画像を撮像する操作や、マイク６９に音声を入力する操作によってゲーム操作を行うことも可能である。なお、これらの操作は端末装置７を把持した状態で行うことが可能であるので、上記のようにゲーム画像に対して直接操作を行う場合においてこれらの操作を行うことによって、ユーザはより多彩なゲーム操作を行うことができる。
　また、本実施形態では、可搬型である端末装置７のＬＣＤ５１にゲーム画像が表示される（ステップＳ６，Ｓ１０）ので、ユーザは、端末装置７を自由に配置することができる。したがって、コントローラ５をマーカの方へ向けて操作を行う場合において、ユーザは、端末装置７を自由な位置に配置することによってコントローラ５を自由な方向に向けてゲームを行うことができ、コントローラ５に対する操作の自由度を向上することができる。また、端末装置７を任意の位置に配置することができるので、例えば後述する第５のゲーム例のように、ゲーム内容に適した位置に端末装置７を配置することによって、より現実感のあるゲームを提供することができる。
　また、本実施形態によれば、ゲーム装置３は、コントローラ５および端末装置７から操作データ等を取得する（ステップＳ２，Ｓ３）ので、ユーザは、コントローラ５および端末装置７という２つの装置を操作手段として用いることができる。したがって、ゲームシステム１においては、各装置を複数人のユーザが使用することによって複数人でゲームを行うこともでき、また、１人のユーザが２つの装置を使用してゲームを行うこともできる。
　また、本実施形態によれば、ゲーム装置３は２種類のゲーム画像を生成し（ステップＳ５，Ｓ６）、テレビ２と端末装置７とにゲーム画像を表示させる（ステップＳ９，Ｓ１０）ことができる。このように、２種類のゲーム画像を異なる装置に表示させることによって、ユーザにとってより見やすいゲーム画像を提供することができ、ゲームの操作性を向上することができる。例えば、２人でゲームを行う場合には、後述する第３または第４のゲーム例のように、一方のユーザにとって見やすい視点のゲーム画像をテレビ２に表示し、他方のユーザにとって見やすい視点のゲーム画像を端末装置７に表示することによって、それぞれのプレイヤが見やすい視点でゲームを行うことができる。また、例えば１人でゲームを行う場合においても、後述する第１、第２および第５のゲーム例のように、異なる２箇所の視点で２種類のゲーム画像を表示することによって、プレイヤはゲーム空間の様子をより容易に把握することができ、ゲームの操作性を向上することができる。
　［６．ゲーム例］
　次に、ゲームシステム１において行われるゲームの具体例について説明する。なお、以下に説明するゲーム例においては、ゲームシステム１における各装置の構成のうち一部を利用しない場合もあり、また、図１２および図１３に示す一連の処理のうち一部の処理を実行しない場合もある。つまり、ゲームシステム１は、上述した全ての構成を備えていなくてもよく、また、ゲーム装置３は図１２および図１３に示す一連の処理の一部を実行しなくてもよい。
　（第１のゲーム例）
　第１のゲーム例は、端末装置７を操作することによってゲーム空間内においてオブジェクト（手裏剣）を飛ばすゲームである。プレイヤは、端末装置７の姿勢を変化させる操作と、タッチパネル５２上に線を描く操作とによって、手裏剣を発射する方向を指示することができる。
　図１４は、第１のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。図１４においては、テレビ２および端末装置７のＬＣＤ５１には、ゲーム空間を表すゲーム画像が表示されている。テレビ２には、手裏剣１２１、制御面１２２、および標的１２３が表示されている。ＬＣＤ５１には、制御面１２２（および手裏剣１２１）が表示されている。第１のゲーム例においては、プレイヤは、端末装置７を用いた操作によって手裏剣１２１を飛ばして標的１２３に当てて遊ぶ。
　手裏剣１２１を飛ばす場合、プレイヤは、まず、端末装置７の姿勢を操作することによって、仮想のゲーム空間内に配置される制御面１２２の姿勢を変化させて所望の姿勢にする。すなわち、ＣＰＵ１０は、慣性センサ（加速度センサ６３およびジャイロセンサ６４）ならびに磁気センサ６２の出力に基づいて端末装置７の姿勢を算出し（ステップＳ２４）、算出された姿勢に基づいて制御面１２２の姿勢を変化させる（ステップＳ２７）。第１のゲーム例では、制御面１２２の姿勢は、現実空間における端末装置７の姿勢に応じた姿勢となるように制御される。つまり、プレイヤは、端末装置７（端末装置７に表示されている制御面１２２）の姿勢を変化させることで、ゲーム空間内において制御面１２２の姿勢を変化させることができる。なお、第１のゲーム例においては、制御面１２２の位置は、ゲーム空間における所定位置に固定される。
　次に、プレイヤは、タッチペン１２４等を用いてタッチパネル５２上に線を描く操作を行う（図１４に示す矢印参照）。ここで、第１のゲーム例においては、端末装置７のＬＣＤ５１には、タッチパネル５２の入力面と制御面１２２とが対応するように制御面１２２が表示される。したがって、タッチパネル５２上に描かれた線によって、制御面１２２上での方向（当該線が表す方向）を算出することができる。手裏剣１２１は、このようにして決定された方向へ発射される。以上より、ＣＰＵ１０は、タッチパネル５２のタッチ位置データ１００から制御面１２２上での方向を算出し、算出された方向へ手裏剣１２１を移動させる処理を行う（ステップＳ２７）。なお、ＣＰＵ１０は、例えば線の長さや線を描く速度に応じて手裏剣１２１の速度を制御するようにしてもよい。
　以上のように、第１のゲーム例によれば、ゲーム装置３は、慣性センサの出力をゲーム入力として用いることによって、端末装置７の動き（姿勢）に応じて制御面１２２を動かすとともに、タッチパネル５２の出力をゲーム入力として用いることによって、制御面１２２上における方向を特定することができる。これによれば、プレイヤは、端末装置７に表示されたゲーム画像（制御面１２２の画像）を動かしたり、当該ゲーム画像に対してタッチ操作を行ったりすることができるので、ゲーム画像に対して直接操作を行っているような新規な操作感覚でゲームを行うことができる。
　また、第１のゲーム例においては、慣性センサおよびタッチパネル５２のセンサ出力をゲーム入力として用いることで、３次元空間における方向を容易に指示することができる。すなわち、プレイヤは、一方の手で端末装置７の姿勢を実際に調整し、もう一方の手でタッチパネル５２に線で方向を入力することによって、空間内で実際に方向を入力しているような直感的な操作で容易に方向を指示することができる。さらに、プレイヤは、端末装置７の姿勢の操作とタッチパネル５２に対する入力操作とを同時に並行して行うことができるので、３次元空間における方向を指示する操作を迅速に行うことができる。
　また、第１のゲーム例によれば、制御面１２２に対するタッチ入力の操作を行いやすくするために、端末装置７には画面全体に制御面１２２が表示される。一方、テレビ２には、制御面１２２の姿勢を把握しやすいように、また、標的１２３を狙いやすいように、制御面１２２の全体および標的１２３を含むゲーム空間の画像が表示される（図１４参照）。すなわち、上記ステップＳ２７においては、テレビ用ゲーム画像を生成するための第１仮想カメラは、制御面１２２の全体および標的１２３が視野範囲に含まれるように設定されるとともに、端末用ゲーム画像を生成するための第２仮想カメラは、ＬＣＤ５１の画面（タッチパネル５２の入力面）と制御面１２２とが画面上において一致するように設定される。したがって、第１のゲーム例においては、テレビ２と端末装置７とに異なる視点から見たゲーム空間の画像を表示することによって、ゲーム操作をより行いやすくしている。
　（第２のゲーム例）
　なお、慣性センサおよびタッチパネル５２のセンサ出力をゲーム入力として用いるゲームは、上記第１のゲーム例に限らず、種々のゲーム例が考えられる。第２のゲーム例は、第１のゲーム例と同様、端末装置７を操作することによってゲーム空間内においてオブジェクト（大砲の弾）を飛ばすゲームである。プレイヤは、端末装置７の姿勢を変化させる操作と、タッチパネル５２上の位置を指定する操作とによって、弾を発射する方向を指示することができる。
　図１５は、第２のゲーム例におけるテレビ２の画面と端末装置７とを示す図である。図１５においては、テレビ２には、大砲１３１、弾１３２、および標的１３３が表示されている。端末装置７には、弾１３２および標的１３３が表示されている。端末装置７に表示される端末用ゲーム画像は、大砲１３１の位置からゲーム空間を見た画像である。
　第２のゲーム例においては、プレイヤは、端末装置７の姿勢を操作することによって、端末用ゲーム画像として端末装置７に表示される表示範囲を変化させることができる。すなわち、ＣＰＵ１０は、慣性センサ（加速度センサ６３およびジャイロセンサ６４）ならびに磁気センサ６２の出力に基づいて端末装置７の姿勢を算出し（ステップＳ２４）、算出された姿勢に基づいて、端末用ゲーム画像を生成するための第２仮想カメラの位置および姿勢を制御する（ステップＳ２７）。具体的には、第２仮想カメラは、大砲１３１の位置に設置され、端末装置７の姿勢に応じて向き（姿勢）が制御される。このように、プレイヤは、端末装置７の姿勢を変化させることによって、端末装置７に表示されるゲーム空間の範囲を変化させることができる。
　また、第２のゲーム例においては、プレイヤは、タッチパネル５２上において点を入力する操作（タッチする操作）によって弾１３２の発射方向を指定する。具体的には、上記ステップＳ２７の処理として、ＣＰＵ１０は、タッチ位置に対応するゲーム空間内の位置（制御位置）を算出し、ゲーム空間内における所定位置（例えば大砲１３１の位置）から制御位置への方向を発射方向として算出する。そして、発射方向へ弾１３２を移動させる処理を行う。このように、上記第１のゲーム例ではプレイヤはタッチパネル５２上に線を描く操作を行ったが、第２のゲーム例では、タッチパネル５２上の点を指定する操作を行う。なお、上記制御位置は、上記第１のゲーム例と同様の制御面を設定する（ただし、第２のゲーム例では制御面は表示されない）ことで算出することができる。すなわち、端末装置７における表示範囲に対応するように、第２仮想カメラの姿勢に応じて制御面を配置する（具体的には、制御面は、大砲１３１の位置を中心として、端末装置７の姿勢の変化に応じて回転移動する）ことで、タッチ位置に対応する制御面上の位置を制御位置として算出することができる。
　上記第２のゲーム例によれば、ゲーム装置３は、慣性センサの出力をゲーム入力として用いることによって、端末装置７の動き（姿勢）に応じて端末用ゲーム画像の表示範囲を変化させるとともに、当該表示範囲内の位置を指定するタッチ入力をゲーム入力として用いることによって、ゲーム空間内における方向（弾１３２の発射方向）を特定することができる。したがって、第２のゲーム例においても第１のゲーム例と同様、プレイヤは、端末装置７に表示されたゲーム画像を動かしたり、当該ゲーム画像に対してタッチ操作を行ったりすることができるので、ゲーム画像に対して直接操作を行っているような新規な操作感覚でゲームを行うことができる。
　また、第２のゲーム例においても第１のゲーム例と同様、プレイヤは、一方の手で端末装置７の姿勢を実際に調整し、もう一方の手でタッチパネル５２に対してタッチ入力を行うことによって、空間内で実際に方向を入力しているような直感的な操作で容易に方向を指示することができる。さらに、プレイヤは、端末装置７の姿勢の操作とタッチパネル５２に対する入力操作とを同時に並行して行うことができるので、３次元空間における方向を指示する操作を迅速に行うことができる。
　なお、第２のゲーム例において、テレビ２に表示される画像は端末装置７と同じ視点からの画像であってもよいが、図１５では、ゲーム装置３は別視点からの画像を表示させるようにしている。すなわち、端末用ゲーム画像を生成するための第２仮想カメラは大砲１３１の位置に設定されるのに対して、テレビ用ゲーム画像を生成するための第１仮想カメラは大砲１３１の後方の位置に設定される。ここで、例えば、端末装置７の画面には見えない範囲をテレビ２に表示させるようにすることによって、端末装置７の画面では見えない標的１３３をプレイヤがテレビ２の画面を見て狙うような遊び方を実現することができる。このように、テレビ２と端末装置７との表示範囲を異なるようにすることで、ゲーム空間内の様子をより把握しやすくするだけでなく、ゲームの興趣性をより向上することも可能である。
　以上のように、本実施形態によれば、タッチパネル５２と慣性センサを備える端末装置７を操作装置として用いることができるので、上記第１および第２のゲーム例のような、ゲーム画像に対して直接操作を行うような操作感覚のゲームを実現することができる。
　（第３のゲーム例）
　以下、図１６および図１７を参照して、第３のゲーム例について説明する。第３のゲーム例は、２人のプレイヤが対戦する形式の野球ゲームである。すなわち、第１プレイヤは、コントローラ５を用いて打者を操作し、第２プレイヤは端末装置７を用いて投手を操作する。また、テレビ２および端末装置７には各プレイヤにとってゲーム操作が行いやすいゲーム画像が表示される。
　図１６は、第３のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。図１６に示すテレビ用ゲーム画像は、主に第１プレイヤのための画像である。すなわち、テレビ用ゲーム画像は、第１プレイヤの操作対象である打者（打者オブジェクト）１４１の側から、第２プレイヤの操作対象である投手（投手オブジェクト）１４２の方を見たゲーム空間を表す。テレビ用ゲーム画像を生成するための第１仮想カメラは、打者１４１の後方の位置に、打者１４１から投手１４２の方へ向くように配置される。
　一方、図１７は、第３のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。図１７に示す端末用ゲーム画像は、主に第２プレイヤのための画像である。すなわち、端末用ゲーム画像は、第２プレイヤの操作対象である投手１４２の側から、第１プレイヤの操作対象である打者１４１の方を見たゲーム空間を表す。具体的には、上記ステップＳ２７において、ＣＰＵ１０は、端末用ゲーム画像を生成するために用いる第２仮想カメラを端末装置７の姿勢に基づいて制御する。第２仮想カメラの姿勢は、上述した第２のゲーム例と同様、端末装置７の姿勢と対応するように算出される。また、第２仮想カメラの位置は、予め定められた所定位置に固定される。なお、端末用ゲーム画像には、投手１４２がボールを投げる方向を示すためのカーソル１４３が含まれる。
　なお、第１プレイヤによる打者１４１の操作方法、および、第２プレイヤによる投手１４２の操作方法は、どのような方法であってもよい。例えば、ＣＰＵ１０は、コントローラ５の慣性センサの出力データに基づいてコントローラ５に対する振り操作を検出し、振り操作に応じて打者１４１にバットを振る動作を行わせるようにしてもよい。また例えば、ＣＰＵ１０は、アナログスティック５３に対する操作に従ってカーソル１４３を移動させ、操作ボタン５４のうちの所定のボタンが押下された場合、カーソル１４３が指し示す位置に向かってボールを投げる動作を投手１４２に行わせてもよい。また、カーソル１４３は、アナログスティック５３に対する操作に代えて、端末装置７の姿勢に応じて移動されてもよい。
　以上のように、第３のゲーム例においては、テレビ２および端末装置７に互いに異なる視点でゲーム画像を生成することによって、各プレイヤにとって見やすく操作しやすいゲーム画像が提供される。
　また、第３のゲーム例においては、単一のゲーム空間に２つの仮想カメラが設定され、ゲーム空間を各仮想カメラから見た２種類のゲーム画像がそれぞれ表示される（図１６および図１７）。したがって、第３のゲーム例において生成される２種類のゲーム画像に関しては、ゲーム空間に対するゲーム処理（ゲーム空間内のオブジェクトの制御等）はほとんどが共通であって、共通のゲーム空間に関して描画処理を２回行なうだけでそれぞれのゲーム画像が生成できるので、当該ゲーム処理をそれぞれ行う場合に比べると処理効率が高いという利点がある。
　また、第３のゲーム例においては、投球方向を表すカーソル１４３は端末装置７側にのみ表示されるので、第１プレイヤはカーソル１４３が指し示す位置を見ることができない。そのため、第１プレイヤに投球方向が知られて第２プレイヤが不利になるといったゲーム上の不都合が生じない。このように、本実施形態においては、一方のプレイヤがそのゲーム画像を見てしまうと他方のプレイヤにとってゲーム上の不都合が生じる場合には、当該ゲーム画像を端末装置７に表示すればよい。これによって、ゲームの戦略性が低下する等の不都合を防止することができる。なお、他の実施形態において、ゲームの内容によっては（例えば、端末用ゲーム画像が第１プレイヤに見られても上記のような不都合が生じない場合には）、ゲーム装置３は、端末用ゲーム画像をテレビ用ゲーム画像とともにテレビ２に表示するようにしてもよい。
　（第４のゲーム例）
　以下、図１８および図１９を参照して、第４のゲーム例について説明する。第４のゲーム例は、２人のプレイヤが協力する形式のシューティングゲームである。すなわち、第１プレイヤは、コントローラ５を用いて飛行機を移動させる操作を行い、第２プレイヤは、端末装置７を用いて飛行機の大砲の発射方向を制御する操作を行う。第４のゲーム例においても第３のゲーム例と同様、テレビ２および端末装置７には各プレイヤにとってゲーム操作が行いやすいゲーム画像が表示される。
　図１８は、第４のゲーム例においてテレビ２に表示されるテレビ用ゲーム画像の一例を示す図である。また、図１９は、第４のゲーム例において端末装置７に表示される端末用ゲーム画像の一例を示す図である。図１８に示すように、第４のゲーム例では、仮想のゲーム空間に飛行機（飛行機オブジェクト）１５１と標的（風船オブジェクト）１５３とが登場する。また、飛行機１５１は大砲（大砲オブジェクト）１５２を有している。
　図１８に示すように、テレビ用ゲーム画像としては、飛行機１５１を含むゲーム空間の画像が表示される。テレビ用ゲーム画像を生成するための第１仮想カメラは、飛行機１５１を後方から見たゲーム空間の画像を生成するように設定される。すなわち、第１仮想カメラは、飛行機１５１の後方の位置に、飛行機１５１が撮影範囲（視野範囲）に含まれる姿勢で配置される。また、第１仮想カメラは、飛行機１５１の移動に伴って移動するように制御される。つまり、ＣＰＵ１０は、上記ステップＳ２７の処理において、コントローラ操作データに基づいて飛行機１５１の移動を制御するとともに、第１仮想カメラの位置および姿勢を制御する。このように、第１仮想カメラの位置および姿勢は、第１プレイヤの操作に応じて制御される。
　一方、図１９に示すように、端末用ゲーム画像としては、飛行機１５１（より具体的には大砲１５２）から見たゲーム空間の画像が表示される。したがって、端末用ゲーム画像を生成するための第２仮想カメラは、飛行機１５１の位置（より具体的には大砲１５２の位置）に配置される。ＣＰＵ１０は、上記ステップＳ２７の処理において、コントローラ操作データに基づいて飛行機１５１の移動を制御するとともに、第２仮想カメラの位置を制御する。なお、第２仮想カメラは、飛行機１５１あるいは大砲１５２の周辺の位置（例えば、大砲１５２のやや後方の位置）に配置されてもよい。以上のように、第２仮想カメラの位置は、（飛行機１５１の移動を操作する）第１プレイヤの操作によって制御されることになる。したがって、第４のゲーム例においては、第１仮想カメラと第２仮想カメラは連動して移動する。
　また、端末用ゲーム画像としては、大砲１５２の発射方向の向きに見たゲーム空間の画像が表示される。ここで、大砲１５２の発射方向は、端末装置７の姿勢に対応するように制御される。つまり、本実施形態においては、第２仮想カメラの姿勢は、第２仮想カメラの視線方向が大砲１５２の発射方向と一致するように制御される。ＣＰＵ１０は、上記ステップＳ２７の処理において、上記ステップＳ２４で算出される端末装置７の姿勢に応じて、大砲１５２の向きおよび第２仮想カメラの姿勢を制御する。このように、第２仮想カメラの姿勢は、第２プレイヤの操作によって制御される。また、第２プレイヤは、端末装置７の姿勢を変化させることによって、大砲１５２の発射方向を変化させることができる。
　なお、大砲１５２から弾を発射する場合、第２プレイヤは、端末装置７の所定のボタンを押下する。所定のボタンが押下されると、大砲１５２の向きに弾が発射される。端末用ゲーム画像においては、ＬＣＤ５１の画面中央に照準１５４が表示され、照準１５４が指し示す方向へ弾が発射される。
　以上のように、第４のゲーム例においては、第１プレイヤは、飛行機１５１の進行方向の方を見たゲーム空間を表すテレビ用ゲーム画像（図１８）を主に見ながら、（例えば所望の標的１５３の方向へ移動するように）飛行機１５１を操作する。一方、第２プレイヤは、大砲１５２の発射方向の方を見たゲーム空間を表す端末用ゲーム画像（図１９）を主に見ながら、大砲１５２を操作する。このように、第４のゲーム例においては、２人のプレイが協力する形式のゲームにおいて、それぞれのプレイヤにとって見やすく操作しやすいゲーム画像を、テレビ２と端末装置７とにそれぞれ表示することができる。
　また、第４のゲーム例においては、第１プレイヤの操作によって第１仮想カメラおよび第２仮想カメラの位置が制御され、第２プレイヤの操作によって第２仮想カメラの姿勢が制御される。つまり、本実施形態においては、各プレイヤのそれぞれのゲーム操作に応じて仮想カメラの位置または姿勢が変化する結果、各表示装置に表示されるゲーム空間の表示範囲が変化する。表示装置に表示されるゲーム空間の表示範囲が各プレイヤの操作に応じて変化するので、各プレイヤは、自己のゲーム操作がゲーム進行に十分に反映されていることを実感することができ、ゲームを十分に楽しむことができる。
　なお、第４のゲーム例においては、飛行機１５１の後方から見たゲーム画像がテレビ２に表示され、飛行機１５１の大砲の位置から見たゲーム画像が端末装置７に表示された。ここで、他のゲーム例においては、ゲーム装置３は、飛行機１５１の後方から見たゲーム画像を端末装置７に表示させ、飛行機１５１の大砲１５２の位置から見たゲーム画像がテレビ２に表示させるようにしてもよい。このとき、各プレイヤの役割は上記第４のゲーム例と入れ替わり、第１プレイヤがコントローラ５を用いて大砲１５２の操作を行い、第２プレイヤが端末装置７を用いて飛行機１５１の操作を行うようにするとよい。
　（第５のゲーム例）
　以下、図２０を参照して、第５のゲーム例について説明する。第５のゲーム例は、プレイヤがコントローラ５を用いて操作を行うゲームであり、端末装置７は操作装置ではなく表示装置として用いられる。具体的には、第５のゲーム例はゴルフゲームであり、プレイヤがコントローラ５をゴルフクラブのように振る操作（スイング操作）に応じて、ゲーム装置３は仮想のゲーム空間におけるプレイヤキャラクタにゴルフのスイング動作を行わせる。
　図２０は、第５のゲーム例におけるゲームシステム１の使用の様子を示す図である。図２０において、テレビ２の画面には、プレイヤキャラクタ（のオブジェクト）１６１およびゴルフクラブ（のオブジェクト）１６２を含むゲーム空間の画像が表示される。なお、図２０では、ゴルフクラブ１６２に隠れているので表示されていないが、ゲーム空間に配置されたボール（のオブジェクト）１６３もテレビ２に表示される。一方、図２０に示すように、端末装置７は、ＬＣＤ５１の画面が鉛直上向きとなるように、テレビ２の前方正面の床面に配置される。端末装置７には、ボール１６３を表す画像と、ゴルフクラブ１６２の一部（具体的には、ゴルフクラブのヘッド１６２ａ）を表す画像と、ゲーム空間の地面を表す画像とが表示される。端末用ゲーム画像は、ボールの周囲を上から見た画像である。
　ゲームを行う際、プレイヤ１６０は、端末装置７の近傍に立ち、コントローラ５をゴルフクラブのように振るスイング操作を行う。このとき、ＣＰＵ１０は、上記ステップＳ２７において、上記ステップＳ２３の処理で算出されるコントローラ５の姿勢に応じてゲーム空間におけるゴルフクラブ１６２の位置および姿勢を制御する。具体的には、ゴルフクラブ１６２は、コントローラ５の先端方向（図３に示すＺ軸正方向）がＬＣＤ５１に表示されるボール１６３の画像を向く場合に、ゲーム空間内のゴルフクラブ１６２がボール１６３に当たるように、制御される。
　また、コントローラ５の先端方向がＬＣＤ５１の方へ向く場合には、ゴルフクラブ１６２の一部を表す画像（ヘッド画像）１６４がＬＣＤ５１に表示される（図２０参照）。なお、端末用ゲーム画像に関しては、現実感を増すために、ボール１６３の画像が実物大で表示されてもよいし、コントローラ５のＺ軸回りの回転に応じてヘッド画像１６４の向きが回転するように表示されてもよい。また、端末用ゲーム画像は、ゲーム空間に設置される仮想カメラを用いて生成されてもよいし、予め用意された画像データを用いて生成されてもよい。予め用意された画像データを用いて生成する場合には、ゴルフコースの地形モデルを詳細に構築することなく、詳細でリアルな画像を小さい処理負荷で生成することができる。
　プレイヤ１６０が上記スイング操作を行うことによってゴルフクラブ１６２が振られた結果、ゴルフクラブ１６２がボール１６３に当たると、ボール１６３が移動する（飛んでいく）。すなわち、ＣＰＵ１０は、上記ステップＳ２７においてゴルフクラブ１６２とボール１６３とが接触したか否かを判定し、接触した場合にはボール１６３を移動させる。ここで、テレビ用ゲーム画像は、移動後のボール１６３が含まれるように生成される。すなわち、ＣＰＵ１０は、テレビ用ゲーム画像を生成するための第１仮想カメラは、移動するボールがその撮影範囲に含まれるように位置および姿勢が制御される。一方、端末装置７においては、ゴルフクラブ１６２がボール１６３に当たると、ボール１６３の画像が移動されてすぐに画面外に消える。したがって、第５のゲーム例においては、ボールが移動する様子は主にテレビ２に表示され、プレイヤ１６０は、スイング操作によって飛んでいったボールの行方をテレビ用ゲーム画像で確認することができる。
　以上のように、第５のゲーム例においては、プレイヤ１６０は、コントローラ５を振ることでゴルフクラブ１６２を振る（プレイヤキャラクタ１６１にゴルフクラブ１６２を振らせる）ことができる。ここで、第５のゲーム例においては、コントローラ５の先端方向がＬＣＤ５１に表示されるボール１６３の画像を向く場合に、ゲーム空間内のゴルフクラブ１６２がボール１６３に当たるように制御される。したがって、プレイヤは、スイング操作によって実際のゴルフクラブを打っているかのような感覚を得ることができ、スイング操作をより現実感のあるものにすることができる。
　第５のゲーム例においてはさらに、コントローラ５の先端方向が端末装置７の方を向く場合にはヘッド画像１６４がＬＣＤ５１に表示される。したがって、プレイヤは、コントローラ５の先端方向を端末装置７の方へ向けることによって、仮想空間におけるゴルフクラブ１６２の姿勢が現実空間におけるコントローラ５の姿勢と対応している感覚を得ることができ、スイング操作をより現実感のあるものにすることができる。
　以上のように、第５のゲーム例は、端末装置７を表示装置として利用する場合には、端末装置７を適切な位置に配置することによって、コントローラ５を用いた操作をより現実感のあるものにすることができる。
　また、上記第５のゲーム例においては、端末装置７は床面に配置され、端末装置７にはボール１６３の周辺のみのゲーム空間を表す画像が表示される。そのため、ゲーム空間におけるゴルフクラブ１６２全体の位置・姿勢を端末装置７では表示することはできず、また、スイング操作後においてボール１６３が移動する様子を端末装置７では表示することはできない。そこで、第５のゲーム例では、ボール１６３の移動前においてはゴルフクラブ１６２の全体がテレビ２に表示され、ボール１６３の移動後においてはボール１６３が移動する様子がテレビ２に表示される。このように、第５のゲーム例によれば、現実感のある操作をプレイヤに提供することができるとともに、テレビ２および端末装置７の２つの画面を用いることで見やすいゲーム画像をプレイヤに対して提示することができる。
　また、上記第５のゲーム例においては、コントローラ５の姿勢を算出するために、端末装置７のマーカ部５５が用いられる。すなわち、ＣＰＵ１０は、上記ステップＳ１の初期処理においてマーカ部５５を点灯させ（マーカ装置６は点灯させない）、ＣＰＵ１０は、上記ステップＳ２３においてマーカ座標データ９６に基づいてコントローラ５の姿勢を算出する。これによれば、コントローラ５の先端方向がマーカ部５５の方を向く姿勢か否かを正確に判定することができる。なお、上記第５のゲーム例では、上記ステップＳ２１およびＳ２２は実行されなくてもよいが、他のゲーム例においては、上記ステップＳ２１およびＳ２２の処理を実行することによって、点灯すべきマーカをゲームの途中で変更するようにしてもよい。例えば、ＣＰＵ１０は、ステップＳ２１において、第１加速度データ９４に基づいてコントローラ５の先端方向が重力方向を向くか否かを判定し、ステップＳ２２において、重力方向を向く場合にはマーカ部５５を点灯させ、重力方向を向かない場合にはマーカ装置６を点灯させるように制御してもよい。これによれば、コントローラ５の先端方向が重力方向を向く場合には、マーカ部５５のマーカ座標データを取得することで、コントローラ５の姿勢を精度良く算出することができるとともに、コントローラ５の先端方向がテレビ２の方を向く場合には、マーカ装置６のマーカ座標データを取得することで、コントローラ５の姿勢を精度良く算出することができる。
　上記第５のゲーム例で説明したように、ゲームシステム１は、端末装置７を自由な位置に設置して表示装置として利用することができる。これによれば、マーカ座標データをゲーム入力として用いる場合において、コントローラ５をテレビ２の方へ向けて使用する他、端末装置７を所望の位置に設定することによってコントローラ５を自由な方向に向けて使用することができる。すなわち、本実施形態によれば、コントローラ５を使用できる向きが制限されることないので、コントローラ５の操作の自由度を向上することができる。
　［７．ゲームシステムの他の動作例］
　上記ゲームシステム１は、上記で説明したように種々のゲームを行うための動作を行うことが可能である。端末装置７は、可搬形のディスプレイや第２のディスプレイとしても使用することができる一方で、タッチ入力や動きによる入力を行うコントローラとしても使用することができ、上記ゲームシステム１によれば、幅広いゲームを実施することが可能となる。また、ゲーム以外の用途も含め、以下のような動作を行うことも可能である。
　（プレイヤが端末装置７のみを用いてゲームをプレイする動作例）
　本実施形態において、端末装置７は、表示装置として機能するとともに、操作装置としても機能するものである。そのため、テレビ２およびコントローラ５を使用せずに端末装置７を表示手段および操作手段として使用することによって、端末装置７を携帯型のゲーム装置のように使用することも可能である。
　図１２に示したゲーム処理に即して具体的に説明すると、ＣＰＵ１０は、ステップＳ３において端末装置７から端末操作データ９７を取得し、ステップＳ４において端末操作データ９７のみをゲーム入力として用いて（コントローラ操作データを用いずに）ゲーム処理を実行する。そして、ステップＳ６においてゲーム画像を生成し、ステップＳ１０においてゲーム画像を端末装置７へ送信する。なお、このとき、ステップＳ２、Ｓ５、およびＳ９は実行されなくてもよい。以上によれば、端末装置７に対する操作に応じてゲーム処理が行われ、ゲーム処理結果を表すゲーム画像が端末装置７に表示されることとなる。このようにすれば、（実際にはゲーム処理はゲーム装置で実行されるが、）端末装置７を携帯型のゲーム装置として利用することも可能である。したがって、本実施形態によれば、テレビ２が使用中である（例えば、他の人がテレビ放送を視聴中である）等の理由でテレビ２にゲーム画像を表示できない場合でも、ユーザは端末装置７を用いてゲームを行うことができる。
　なお、ＣＰＵ１０は、ゲーム画像に限らず、電源投入後に表示される上述のメニュー画面についても画像を端末装置７へ送信して表示させるようにしてもよい。これによれば、プレイヤは最初からテレビ２を使用せずにゲームを行うことができるので、便利である。
　さらに、上記において、ゲーム画像を表示する表示装置を端末装置７からテレビ２へとゲーム中に変更することも可能である。具体的には、ＣＰＵ１０は、上記ステップＳ９をさらに実行し、ゲーム画像をテレビ２へ出力するようにすればよい。なお、ステップＳ９でテレビ２へ出力される画像は、ステップＳ１０で端末装置７へ送信されるゲーム画像と同じである。これによれば、ゲーム装置３からの入力を表示させるようにテレビ２の入力を切り替えることで、端末装置７と同一のゲーム画像がテレビ２に表示されることとなるので、ゲーム画像を表示する表示装置をテレビ２に変更することができる。なお、テレビ２にゲーム画像が表示された後は、端末装置７の画面表示がオフにされてもよい。
　なお、ゲームシステム１においては、テレビ２に対する赤外線リモコン信号を赤外線出力手段（マーカ装置６、マーカ部５５、あるいは赤外線通信モジュール７２）から出力可能であるようにしてもよい。これによれば、ゲーム装置３は、端末装置７に対する操作に応じて上記赤外線リモコン信号を赤外線出力手段から出力させることによって、テレビ２に対する操作を行うことができる。この場合、ユーザはテレビ２のリモコンを操作することなく、端末装置７を用いてテレビ２を操作することができるので、上記のようにテレビ２の入力を切り替える場合等において便利である。
　（ネットワークを介して他の装置と通信を行う動作例）
　上述のように、ゲーム装置３はネットワークに接続する機能を有しているので、ゲームシステム１は、ネットワークを介して外部装置と通信を行う場合にも利用することができる。図２１は、ネットワークを介して外部装置と接続される場合におけるゲームシステム１に含まれる各装置の接続関係を示す図である。図２１に示すように、ゲーム装置３は、外部装置２０１とネットワーク２００を介して通信可能である。
　上記のように外部装置２０１とゲーム装置３とが通信可能である場合、ゲームシステム１においては端末装置７をインターフェースとして外部装置２０１との間で通信を行うことができる。例えば、外部装置２０１と端末装置７との間で画像および音声を送受信することによって、ゲームシステム１をテレビ電話として使用することができる。具体的には、ゲーム装置３は、外部装置２０１からの画像および音声（電話相手の画像および音声）をネットワーク２００を介して受信し、受信した画像および音声を端末装置７に送信する。これによって、端末装置７は、外部装置２０１からの画像をＬＣＤ５１に表示するとともに、外部装置２０１からの音声をスピーカ６７から出力する。また、ゲーム装置３は、カメラ５６で撮像されたカメラ画像と、マイク６９で検知されたマイク音声とを端末装置７から受信し、カメラ画像およびマイク音声をネットワーク２００を介して外部装置２０１へ送信する。ゲーム装置３は、上記の画像および音声の送受信を外部装置２０１との間で繰り返すことによって、ゲームシステム１をテレビ電話として使用することができる。
　なお、本実施形態においては端末装置７は可搬型であるので、ユーザは、端末装置７を自由な位置で使用したり、カメラ５６を自由な方向に向けたりすることができる。また、本実施形態においては端末装置７はタッチパネル５２を備えているので、ゲーム装置３は、タッチパネル５２に対する入力情報（タッチ位置データ１００）を外部装置２０１へ送信することも可能である。例えば、外部装置２０１からの画像および音声を端末装置７で出力するとともに、ユーザがタッチパネル５２上に書いた文字等を外部装置２０１へ送信する場合には、いわゆるｅラーニングシステムとしてゲームシステム１を使用することも可能である。
　（テレビ放送と連動した動作例）
　また、ゲームシステム１は、テレビ２でテレビ放送が視聴されている場合に、テレビ放送と連動して動作することも可能である。すなわち、ゲームシステム１は、テレビ２でテレビ番組が視聴されている場合に、そのテレビ番組に関する情報等を端末装置７に出力させる。以下、ゲームシステム１がテレビ放送と連動して動作する場合の動作例を説明する。
　上記動作例においては、ゲーム装置３は、ネットワークを介してサーバと通信可能である（換言すれば、図２１に示す外部装置２０１がサーバである。）。サーバは、テレビ放送に関連する種々の情報（テレビ情報）をテレビ放送のチャンネル毎に記憶している。このテレビ情報は、字幕や出演者情報等の番組に関する情報でもよいし、ＥＰＧ（電子番組表）の情報や、データ放送として放送される情報でもよい。また、テレビ情報は、画像や、音声や、文字や、これらの組み合わせの情報であってもよい。また、サーバは１つである必要はなく、テレビ放送のチャンネル毎、あるいは番組毎にサーバが設置され、ゲーム装置３は各サーバと通信可能であってもよい。
　テレビ２においてテレビ放送の映像・音声が出力されている場合において、ゲーム装置３は、視聴中のテレビ放送のチャンネルを端末装置７を用いてユーザに入力させる。そして、入力されたチャンネルに対応するテレビ情報を送信するように、ネットワークを介してサーバに要求する。これに応じて、サーバは上記チャンネルに対応するテレビ情報のデータを送信する。サーバから送信されてくるデータ受信すると、ゲーム装置３は、受信したデータを端末装置７へ出力する。端末装置７は、上記データのうち画像および文字のデータをＬＣＤ５１に表示し、音声のデータをスピーカから出力する。以上によって、ユーザは、現在視聴中のテレビ番組に関する情報等を端末装置７を用いて享受することができる。
　上記のように、ゲームシステム１は、ネットワークを介して外部装置（サーバ）と通信を行うことによって、テレビ放送と連動した情報を端末装置７によってユーザに提供することも可能である。特に、本実施形態では端末装置７は可搬型であるので、ユーザは自由な位置で端末装置７を使用することができ、利便性が高い。
　以上のように、本実施形態においては、ユーザは、ゲームに使用する他にも、種々の用途・形態で端末装置７を使用することができる。
　［８．変形例］
　上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。
　（複数の端末装置を有する変形例）
　上記実施形態においては、ゲームシステム１は端末装置を１つのみ有する構成であったが、ゲームシステム１は複数の端末装置を有する構成であってもよい。すなわち、ゲーム装置３は、複数の端末装置とそれぞれ無線通信可能であり、ゲーム画像のデータとゲーム音声のデータと制御データとを各端末装置へ送信し、操作データとカメラ画像データとマイク音データとを各端末装置から受信するものであってもよい。なお、ゲーム装置３は、複数の端末装置のそれぞれと無線通信を行うが、このとき、ゲーム装置３は、各端末装置との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。
　上記のように複数の端末装置を有する場合には、ゲームシステムを用いてより多くの種類のゲームを行うことができる。例えば、ゲームシステム１が２つの端末装置を有する場合には、ゲームシステム１は３つの表示装置を有することになるので、３人のプレイヤのそれぞれのためのゲーム画像を生成し、各表示装置に表示させることができる。また、ゲームシステム１が２つの端末装置を有する場合には、コントローラと端末装置とを１組として用いるゲーム（例えば上記第５のゲーム例）において、２人のプレイヤが同時にゲームを行うことができる。さらに、２つのコントローラから出力されるマーカ座標データに基づいて上記ステップＳ２７のゲーム処理が行われる場合には、コントローラをマーカ（マーカ装置６またはマーカ部５５）に向けて行うゲーム操作を２人のプレイヤがそれぞれ行うことができる。すなわち、一方のプレイヤは、マーカ装置６の方へコントローラを向けてゲーム操作を行い、他方のプレイヤは、マーカ部５５の方へコントローラを向けてゲーム操作を行うことができる。
　（端末装置の機能に関する変形例）
　上記実施形態においては、端末装置７は、ゲーム処理を実行しない、いわゆるシンクライアント端末として機能するものであった。ここで、他の実施形態においては、上記実施形態においてゲーム装置３によって実行される一連のゲーム処理のうち、一部の処理は端末装置７等の他の装置によって実行されてもよい。例えば、一部の処理（例えば、端末用ゲーム画像の生成処理）を端末装置７が実行するようにしてもよい。また例えば、互いに通信可能な複数の情報処理装置（ゲーム装置）を有するゲームシステムにおいて、当該複数の情報処理装置がゲーム処理を分担して実行するようにしてもよい。
　以上のように、本発明は、新規なゲーム操作をプレイヤに行わせること等を目的として、例えばゲームシステムやゲームシステムに用いられる端末装置等として利用することが可能である。
　１　ゲームシステム
　２　テレビ
　３　ゲーム装置
　４　光ディスク
　５　コントローラ
　６　マーカ装置
　７　端末装置
　１０　ＣＰＵ
　１１ｅ　内部メインメモリ
　１２　外部メインメモリ
　１９　コントローラ通信モジュール
　２８　端末通信モジュール
　３５　撮像情報演算部
　３７　加速度センサ
　４４　無線モジュール
　４８　ジャイロセンサ
　５１　ＬＣＤ
　５２　タッチパネル
　５３　アナログスティック
　５４　操作ボタン
　５５　マーカ部
　５６　カメラ
　６２　磁気センサ
　６３　加速度センサ
　６４　ジャイロセンサ
　６６　コーデックＬＳＩ
　６７　スピーカ
　６９　マイク
　７０　無線モジュール
　９０　コントローラ操作データ
　９７　端末操作データ
　９８　カメラ画像データ
　９９　マイク音データ

Claims (13)

  1. 　据置型のゲーム装置と、第１操作装置とを含むゲームシステムであって、
    　前記ゲーム装置は、
    　　前記第１操作装置から第１操作データを受信する第１操作データ受信部と、
    　　前記第１操作データに基づいてゲーム処理を実行するゲーム処理部と、
    　　前記ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成部と、
    　　前記第１ゲーム画像を逐次圧縮して圧縮画像データを生成するゲーム画像圧縮部と、
    　　前記圧縮画像データを前記第１操作装置へ無線で逐次送信するゲーム画像送信部と、
    　　前記第１操作装置とは別体の外部表示装置へ前記第２ゲーム画像を逐次出力する画像出力部とを備え、
    　前記第１操作装置は、
    　　表示部と、
    　　前記表示部の画面に設けられるタッチパネルと、
    　　慣性センサと、
    　　前記タッチパネルおよび慣性センサの出力データを含む第１操作データを前記ゲーム装置へ無線で送信する第１操作データ送信部と、
    　　前記ゲーム装置から前記圧縮画像データを逐次受信するゲーム画像受信部と、
    　　前記圧縮画像データを逐次伸張して前記第１ゲーム画像を得るゲーム画像伸張部とを備え、
    　前記表示部は、伸張によって得られた前記第１ゲーム画像を逐次表示する、ゲームシステム。
  2. 　前記ゲームシステムは、第２操作装置をさらに含み、
    　前記第２操作装置は、当該第２操作装置に対する操作を表す第２操作データを前記ゲーム装置へ無線で送信する第２操作データ送信部を備え、
    　前記ゲーム装置は、前記第２操作データを受信する第２操作データ受信部をさらに備え、
    　前記ゲーム処理部は、前記第２操作データに基づいてゲーム処理を実行する、請求項１に記載のゲームシステム。
  3. 　前記ゲーム装置は、
    　　前記ゲーム処理に基づいて第１ゲーム音声および第２ゲーム音声を生成するゲーム音声生成部と、
    　　前記第１操作装置とは別体の外部音響装置へ前記第２ゲーム音声を出力するゲーム音声出力部と、
    　　前記第１ゲーム音声を前記第１操作装置へ無線で送信するゲーム音声送信部とをさらに備え、
    　前記第１操作装置は、
    　　前記第１ゲーム音声を前記ゲーム装置から受信するゲーム音声受信部と、
    　　前記ゲーム音声受信部によって受信された前記第１ゲーム音声を出力するスピーカとをさらに備える、請求項１または請求項２に記載のゲームシステム。
  4. 　前記第１操作装置はマイクをさらに備え、
    　前記第１操作データ送信部は、前記マイクが検知した音のデータを前記ゲーム装置へ無線でさらに送信する、請求項１から請求項３のいずれか１項に記載のゲームシステム。
  5. 　前記第１操作装置は、
    　　カメラと、
    　　前記カメラが撮像したカメラ画像を圧縮して圧縮撮像データを生成するカメラ画像圧縮部とをさらに備え、
    　前記第１操作データ送信部は、前記圧縮撮像データを前記ゲーム装置へ無線でさらに送信し、
    　前記ゲーム装置は、前記圧縮撮像データを伸張してカメラ画像を得るカメラ画像伸張部をさらに備える、請求項１から請求項４のいずれか１項に記載のゲームシステム。
  6. 　前記第１操作装置は、
    　　前記表示部の画面および前記タッチパネルが設けられる表平面において当該画面の両側に設けられる複数の表面操作ボタンと、
    　　前記表平面において前記画面の両側に設けられ、方向を指示可能な方向入力部とを備え、
    　前記第１操作データは、前記複数の表面操作ボタンおよび前記方向入力部に対する操作を表すデータをさらに含む、請求項１から請求項５のいずれか１項に記載のゲームシステム。
  7. 　前記第１操作装置は、
    　　前記表示部の画面および前記タッチパネルが設けられる表平面の反対側の裏平面に設けられる複数の裏面操作ボタンと、
    　　前記表平面と前記裏平面との間の側面に設けられる複数の側面操作ボタンとをさらに備え、
    　前記第１操作データは、前記複数の裏面操作ボタンおよび側面操作ボタンに対する操作を表すデータをさらに含む、請求項１から請求項６のいずれか１項に記載のゲームシステム。
  8. 　前記第１操作装置は磁気センサをさらに備え、
    　前記第１操作データは前記磁気センサの検出結果のデータをさらに含む、請求項１から請求項７のいずれか１項に記載のゲームシステム。
  9. 　前記慣性センサは、３軸の加速度センサおよび３軸のジャイロセンサである、請求項１から請求項８のいずれか１項に記載のゲームシステム。
  10. 　前記ゲーム装置は、
    　　前記ゲーム装置に着脱可能であり、ゲームプログラムを記録した外部記録媒体から情報を読み出す読出部と、
    　　ネットワークに接続可能であり、当該ネットワークを介して通信可能な情報処理装置との間で通信を行うネットワーク通信部と、
    　　前記ゲーム装置の外部の電源から当該ゲーム装置内の各部へ電力を供給する電力供給部とを備え、
    　前記ゲーム処理部は、前記読出部から読み出されたゲームプログラムに基づいてゲーム処理を行う、請求項１から請求項９のいずれか１項に記載のゲームシステム。
  11. 　据置型のゲーム装置と無線通信可能な操作装置であって、
    　表示部と、
    　前記表示部の画面に設けられるタッチパネルと、
    　慣性センサと、
    　前記タッチパネルおよび慣性センサの出力データを含む操作データを前記ゲーム装置へ無線で送信する操作データ送信部と、
    　前記ゲーム装置において、前記操作データに基づいて実行されるゲーム処理に基づいて生成されるゲーム画像に圧縮処理が施された圧縮画像データを、前記ゲーム装置から逐次受信するゲーム画像受信部と、
    　前記圧縮画像データを逐次伸張して前記ゲーム画像を得るゲーム画像伸張部とを備え、
    　前記表示部は、伸張によって得られた前記ゲーム画像を逐次表示する、操作装置。
  12. 　据置型のゲーム装置と、第１操作装置とを含むゲームシステムにおいて実行されるゲーム処理方法であって、
    　前記第１操作装置は、第１操作装置が備える表示部の画面に設けられるタッチパネルの出力データと、慣性センサの出力データとを含む第１操作データを前記ゲーム装置へ無線で送信する第１操作データ送信ステップを実行し、
    　前記ゲーム装置は、
    　　前記第１操作装置から第１操作データを受信する第１操作データ受信ステップと、
    　　前記第１操作データに基づいてゲーム処理を実行するゲーム処理ステップと、
    　　前記ゲーム処理に基づいて第１ゲーム画像および第２ゲーム画像を逐次生成する画像生成ステップと、
    　　前記第１ゲーム画像を逐次圧縮して圧縮画像データを生成するゲーム画像圧縮ステップと、
    　　前記圧縮画像データを前記第１操作装置へ無線で逐次送信するゲーム画像送信ステップと、
    　　前記第１操作装置とは別体の外部表示装置へ前記第２ゲーム画像を逐次出力する画像出力ステップとを実行し、
    　前記第１操作装置はさらに、
    　　前記ゲーム装置から前記圧縮画像データを逐次受信するゲーム画像受信ステップと、
    　　前記圧縮画像データを逐次伸張して前記第１ゲーム画像を得るゲーム画像伸張ステップと、
    　伸張によって得られた前記第１ゲーム画像を前記表示部に逐次表示する表示ステップとを実行する、ゲーム処理方法。
  13. 　前記ゲームシステムは、第２操作装置をさらに含み、
    　前記第２操作装置は、当該第２操作装置に対する操作を表す第２操作データを前記ゲーム装置へ無線で送信する第２操作データ送信ステップを実行し、
    　前記ゲーム装置は、前記第２操作データを受信する第２操作データ受信ステップをさらに実行し、
    　　前記ゲーム処理ステップにおいては、前記第２操作データに基づいてゲーム処理が実行される、請求項１２に記載のゲーム処理方法。
PCT/JP2011/000565 2010-02-03 2011-02-02 ゲームシステム、操作装置、およびゲーム処理方法 WO2011096203A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11739552.5A EP2392389A4 (en) 2010-02-03 2011-02-02 GAME SYSTEM, OPERATING METHOD AND GAME PROCESSING METHOD
CA2746481A CA2746481C (en) 2010-02-03 2011-02-02 Game system, controller device, and game process method
KR1020117016995A KR101287696B1 (ko) 2010-02-03 2011-02-02 게임 시스템, 조작 장치 및 게임 처리 방법
AU2011204815A AU2011204815B2 (en) 2010-02-03 2011-02-02 Game system, controller device, and game process method

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
JP2010022023A JP2011156260A (ja) 2010-02-03 2010-02-03 ゲームシステム
JP2010-022022 2010-02-03
JP2010022022A JP5727705B2 (ja) 2010-02-03 2010-02-03 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム画像出力方法
JP2010-022023 2010-02-03
JP2010-177893 2010-08-06
JP2010177893 2010-08-06
JP2010-185315 2010-08-20
JP2010185315 2010-08-20
JP2010-192221 2010-08-30
JP2010192220 2010-08-30
JP2010192221 2010-08-30
JP2010-192220 2010-08-30
JP2010-245298 2010-11-01
JP2010245298 2010-11-01
JP2010-245299 2010-11-01
JP2010245299A JP4798809B1 (ja) 2010-11-01 2010-11-01 表示装置、ゲームシステム、およびゲーム処理方法

Publications (1)

Publication Number Publication Date
WO2011096203A1 true WO2011096203A1 (ja) 2011-08-11

Family

ID=44342131

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2011/000566 WO2011096204A1 (ja) 2010-02-03 2011-02-02 表示装置、ゲームシステム、およびゲーム処理方法
PCT/JP2011/000565 WO2011096203A1 (ja) 2010-02-03 2011-02-02 ゲームシステム、操作装置、およびゲーム処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/000566 WO2011096204A1 (ja) 2010-02-03 2011-02-02 表示装置、ゲームシステム、およびゲーム処理方法

Country Status (7)

Country Link
US (4) US8317615B2 (ja)
EP (2) EP2392391B1 (ja)
KR (3) KR101154636B1 (ja)
AU (2) AU2011204815B2 (ja)
BR (1) BRPI1106085A2 (ja)
CA (3) CA2746481C (ja)
WO (2) WO2011096204A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090857A (ja) * 2011-10-27 2013-05-16 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
WO2013099381A1 (ja) * 2011-12-26 2013-07-04 株式会社コナミデジタルエンタテインメント ゲームシステム、選択方法、情報記録媒体、および、プログラム
CN103212202A (zh) * 2011-12-20 2013-07-24 维基平板电脑公司 游戏控制器
JP2013196568A (ja) * 2012-03-22 2013-09-30 Nintendo Co Ltd ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
JP2015506198A (ja) * 2011-12-20 2015-03-02 マイクロソフト コーポレーション ２次タッチ・コントローラーを有するコンテンツ・システム
JP2016073663A (ja) * 2015-11-25 2016-05-12 グリー株式会社 プログラム、及び表示システム
US9782673B2 (en) 2013-01-31 2017-10-10 Gree, Inc. Terminal display control method, terminal display system and server apparatus
CN109845417A (zh) * 2017-04-24 2019-06-04 深圳市大疆创新科技有限公司 一种遥控器及其壳体组件

Families Citing this family (154)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7749089B1 (en) 1999-02-26 2010-07-06 Creative Kingdoms, Llc Multi-media interactive play system
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6761637B2 (en) 2000-02-22 2004-07-13 Creative Kingdoms, Llc Method of game play using RFID tracking device
US7066781B2 (en) 2000-10-20 2006-06-27 Denise Chapman Weston Children's toy with wireless tag/transponder
US6967566B2 (en) 2002-04-05 2005-11-22 Creative Kingdoms, Llc Live-action interactive adventure game
US20070066396A1 (en) 2002-04-05 2007-03-22 Denise Chapman Weston Retail methods for providing an interactive product to a consumer
US7674184B2 (en) 2002-08-01 2010-03-09 Creative Kingdoms, Llc Interactive water attraction and quest game
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US8659565B2 (en) 2010-10-01 2014-02-25 Z124 Smartpad orientation
US8504936B2 (en) * 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
KR101299682B1 (ko) * 2006-10-16 2013-08-22 삼성전자주식회사 범용 입력장치
US8740701B2 (en) 2009-06-15 2014-06-03 Wms Gaming, Inc. Controlling wagering game system audio
WO2011005798A1 (en) 2009-07-07 2011-01-13 Wms Gaming, Inc. Controlling wagering game lighting content
WO2011005797A1 (en) 2009-07-07 2011-01-13 Wms Gaming, Inc. Controlling gaming effects for gaming network nodes
WO2011014760A1 (en) 2009-07-31 2011-02-03 Wms Gaming, Inc. Controlling casino lighting content and audio content
US10269207B2 (en) 2009-07-31 2019-04-23 Bally Gaming, Inc. Controlling casino lighting content and audio content
US8613667B2 (en) 2009-12-21 2013-12-24 Wms Gaming, Inc. Position-based lighting coordination in wagering game systems
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8317615B2 (en) 2010-02-03 2012-11-27 Nintendo Co., Ltd. Display device, game system, and game method
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8840464B1 (en) 2010-04-26 2014-09-23 Wms Gaming, Inc. Coordinating media in a wagering game environment
US9367987B1 (en) 2010-04-26 2016-06-14 Bally Gaming, Inc. Selecting color in wagering game systems
US8814673B1 (en) 2010-04-26 2014-08-26 Wms Gaming, Inc. Presenting lighting content in wagering game systems
US8912727B1 (en) 2010-05-17 2014-12-16 Wms Gaming, Inc. Wagering game lighting device chains
JP6243586B2 (ja) * 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US8827805B1 (en) * 2010-08-06 2014-09-09 Wms Gaming, Inc. Balancing community gaming effects
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840386B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840385B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
KR101364826B1 (ko) 2010-11-01 2014-02-20 닌텐도가부시키가이샤 조작 장치 및 조작 시스템
WO2012065885A1 (en) * 2010-11-15 2012-05-24 Movea Smart air mouse
JP5829020B2 (ja) 2010-12-22 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5774314B2 (ja) * 2011-01-05 2015-09-09 任天堂株式会社 遅延測定システムおよび遅延測定方法
AU2012212356B2 (en) 2011-02-01 2016-10-06 Timeplay Inc. Systems and methods for interactive experiences and controllers therefor
US9597590B2 (en) * 2011-04-01 2017-03-21 Massachusetts Institute Of Technology Methods and apparatus for accessing peripheral content
US8858333B2 (en) * 2011-04-01 2014-10-14 Electronic Arts, Inc. Method and system for media control
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
JP5829040B2 (ja) 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5901891B2 (ja) * 2011-05-23 2016-04-13 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
JP5745340B2 (ja) * 2011-06-02 2015-07-08 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5890969B2 (ja) * 2011-06-03 2016-03-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム及び情報処理方法
US8576140B2 (en) * 2011-06-29 2013-11-05 Xerox Corporation Methods and systems for simultaneous local and contextual display
CN103635240B (zh) 2011-07-01 2015-12-16 英派尔科技开发有限公司 基于姿势的游戏的安全方案
JP5911221B2 (ja) 2011-07-01 2016-04-27 株式会社スクウェア・エニックス コンテンツ関連情報表示システム
US20130019179A1 (en) * 2011-07-14 2013-01-17 Digilink Software, Inc. Mobile application enhancements
JP5638484B2 (ja) * 2011-08-04 2014-12-10 株式会社ソニー・コンピュータエンタテインメント 電子機器
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
US9390318B2 (en) 2011-08-31 2016-07-12 Empire Technology Development Llc Position-setup for gesture-based game system
US20130076613A1 (en) * 2011-09-28 2013-03-28 Nintendo Of America Powered marking apparatus for pointing control
US9804864B1 (en) * 2011-10-07 2017-10-31 BlueStack Systems, Inc. Method of mapping inputs and system thereof
JP6117464B2 (ja) * 2011-10-11 2017-04-19 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲームプログラム、およびゲーム装置
WO2013053043A1 (en) * 2011-10-11 2013-04-18 Timeplay Entertainment Corporation Systems and methods for interactive experiences and controllers therefor
KR101303939B1 (ko) * 2011-10-17 2013-09-05 한국과학기술연구원 디스플레이 장치 및 컨텐츠 디스플레이 방법
EP2810274B1 (en) * 2011-10-25 2019-05-15 Aquimo, Llc Method to provide dynamic customized sports instruction responsive to motion of a mobile device
US9101812B2 (en) * 2011-10-25 2015-08-11 Aquimo, Llc Method and system to analyze sports motions using motion sensors of a mobile device
US8740706B2 (en) * 2011-10-25 2014-06-03 Spielo International Canada Ulc Gaming console having movable screen
US9357329B2 (en) 2011-10-25 2016-05-31 Aquimo, Llc Method to provide dynamic customized sports instruction responsive to motion of a mobile device
EP2587438A1 (en) * 2011-10-28 2013-05-01 Nintendo Co., Ltd. Video display system; server, information processing device and information processing program which are usable in the video display system; and video display method
JP2013110736A (ja) 2011-10-28 2013-06-06 Nintendo Co Ltd 情報処理システム、サーバシステム、端末システム、情報処理プログラム、および、情報提示方法
JP6178321B2 (ja) 2011-11-04 2017-08-09 エンパイア テクノロジー ディベロップメント エルエルシー 画像のためのｉｒ信号捕捉
JP5841409B2 (ja) * 2011-11-09 2016-01-13 任天堂株式会社 制御プログラム、入力端末装置、制御システムおよび制御方法
US8657681B2 (en) 2011-12-02 2014-02-25 Empire Technology Development Llc Safety scheme for gesture-based game system
US9005025B2 (en) * 2011-12-20 2015-04-14 Wikipad, Inc. Game controller
US9339707B2 (en) 2011-12-27 2016-05-17 Aquimo, Llc Using a mobile device with integrated motion sensing for customized golf club fitting
US9474969B2 (en) * 2011-12-29 2016-10-25 Steelseries Aps Method and apparatus for determining performance of a gamer
JP5503672B2 (ja) * 2012-01-31 2014-05-28 株式会社スクウェア・エニックス ゲームシステム
FR2986715B1 (fr) * 2012-02-15 2014-10-17 Archos Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif
WO2013123171A1 (en) * 2012-02-15 2013-08-22 Wayans Damon K Method and apparatus for implementing video game that includes social darts
US8485899B1 (en) * 2012-03-06 2013-07-16 Steelseries Aps Method and apparatus for presenting performances of gamers
JP5967995B2 (ja) * 2012-03-22 2016-08-10 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および判別方法
CN102663885B (zh) * 2012-03-23 2017-11-07 中兴通讯股份有限公司 一种对显示设备进行操作的方法、系统及相关设备
JP5959047B2 (ja) * 2012-04-04 2016-08-02 任天堂株式会社 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置
US9517407B2 (en) 2012-04-20 2016-12-13 Nintendo Co., Ltd. Game system and game controller
US9713765B2 (en) 2012-04-20 2017-07-25 Empire Technology Development Llc Online game experience using multiple devices
EP2698185A4 (en) * 2012-04-20 2015-10-07 Nintendo Co Ltd GAME CONTROL UNIT
US8715080B2 (en) 2012-04-20 2014-05-06 Nintendo Co., Ltd. Game system, game controller
US9022870B2 (en) 2012-05-02 2015-05-05 Aquimo, Llc Web-based game platform with mobile device motion sensor input
US9272204B2 (en) 2012-05-07 2016-03-01 Bankerslab, Inc. Education through employment of gaming
JP5122036B1 (ja) * 2012-05-25 2013-01-16 任天堂株式会社 操作装置、情報処理システム、および通信方法
US10429961B2 (en) 2012-05-25 2019-10-01 Nintendo Co., Ltd. Controller device, information processing system, and information processing method
US8749489B2 (en) * 2012-05-25 2014-06-10 Nintendo Co., Ltd. Controller device, information processing system, and communication method
JP6534198B2 (ja) * 2012-05-31 2019-06-26 任天堂株式会社 ゲームシステム、ゲーム処理方法、ゲーム装置およびゲームプログラム
US9170667B2 (en) 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US9381427B2 (en) 2012-06-01 2016-07-05 Microsoft Technology Licensing, Llc Generic companion-messaging between media platforms
EP2687955B1 (en) 2012-07-20 2018-08-22 Nintendo Co., Ltd. Information processing program, information processing system and attitude calculation method for calculating an attitude of an input unit
JP6105221B2 (ja) 2012-07-20 2017-03-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、姿勢算出方法
JP6105222B2 (ja) 2012-07-20 2017-03-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、姿勢算出方法
CN102883205A (zh) * 2012-08-29 2013-01-16 深圳市茁壮网络股份有限公司 一种利用智能终端控制数字电视系统的方法及数字电视系统
TWI470497B (zh) * 2012-09-06 2015-01-21 Mstar Semiconductor Inc 觸控系統及其控制方法
JP6133567B2 (ja) 2012-10-18 2017-05-24 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理制御方法
JP6178066B2 (ja) * 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
KR101298030B1 (ko) * 2013-03-12 2013-08-26 주식회사 네시삼십삼분 슈팅 게임이 기록된 컴퓨터 판독 가능한 기록매체
US20140274384A1 (en) * 2013-03-15 2014-09-18 Electronic Arts Inc. Delivering and consuming interactive video gaming content
JP6162991B2 (ja) * 2013-03-26 2017-07-12 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム処理方法、およびゲーム装置
US20140302919A1 (en) 2013-04-05 2014-10-09 Mark J. Ladd Systems and methods for sensor-based mobile gaming
JP6288084B2 (ja) * 2013-05-21 2018-03-07 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
KR102064934B1 (ko) * 2013-07-17 2020-02-11 삼성전자 주식회사 무선 단말과 전자펜간 데이터 송/수신 방법 및 장치
US20150241984A1 (en) * 2014-02-24 2015-08-27 Yair ITZHAIK Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
US9852522B2 (en) * 2014-03-17 2017-12-26 Sony Interactive Entertainment Inc. Image decoder, graphics processing system, image decoding method, and graphics processing method
KR102137189B1 (ko) * 2014-04-15 2020-07-24 엘지전자 주식회사 영상 표시 기기 및 그의 동작 방법
JP2015207061A (ja) * 2014-04-17 2015-11-19 株式会社東芝 電子機器
JP6633825B2 (ja) * 2014-06-05 2020-01-22 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US20160282949A1 (en) * 2015-03-27 2016-09-29 Sony Corporation Method and system for detecting linear swipe gesture using accelerometer
TWM508350U (zh) * 2015-04-24 2015-09-11 Aten Int Co Ltd 遊戲錄製裝置
US9757647B2 (en) 2015-06-12 2017-09-12 Nintendo Co., Ltd. Game controller
JP6074534B2 (ja) 2015-06-12 2017-02-01 任天堂株式会社 ゲームコントローラ
US20180124458A1 (en) * 2015-06-23 2018-05-03 Gregory Knox Methods and systems for generating media viewing experiential data
US20180115802A1 (en) * 2015-06-23 2018-04-26 Gregory Knox Methods and systems for generating media viewing behavioral data
JP6463251B2 (ja) 2015-10-27 2019-01-30 任天堂株式会社 充電器および充電システム
JP2017124071A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 電子機器、システム、提示方法、提示プログラム、及び記録媒体
JP2017124099A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 運動解析方法、運動解析プログラム及びその記憶媒体並びに運動解析装置及び運動解析システム
TWI631507B (zh) 2016-03-04 2018-08-01 德凡特未來股份有限公司 動作判識裝置及其控制方法
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US10649583B1 (en) 2016-10-11 2020-05-12 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10549183B2 (en) 2016-10-11 2020-02-04 Valve Corporation Electronic controller with a hand retainer, outer shell, and finger sensing
US10691233B2 (en) 2016-10-11 2020-06-23 Valve Corporation Sensor fusion algorithms for a handheld controller that includes a force sensing resistor (FSR)
US10391400B1 (en) 2016-10-11 2019-08-27 Valve Corporation Electronic controller with hand retainer and finger motion sensing
US10898797B2 (en) 2016-10-11 2021-01-26 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US11185763B2 (en) 2016-10-11 2021-11-30 Valve Corporation Holding and releasing virtual objects
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
JP6854132B2 (ja) 2017-01-10 2021-04-07 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP6955339B2 (ja) 2017-01-10 2021-10-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
KR102599441B1 (ko) * 2017-06-16 2023-11-10 밸브 코포레이션 손가락 움직임 감지 기능을 갖춘 전자 제어기
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
JP2019016316A (ja) 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
CN107362533A (zh) * 2017-07-12 2017-11-21 深圳市山弯科技有限公司 利用悬浮窗实现移动光标功能的游戏手柄系统
US10672015B2 (en) * 2017-09-13 2020-06-02 Bby Solutions, Inc. Streaming events modeling for information ranking to address new information scenarios
US10264315B2 (en) * 2017-09-13 2019-04-16 Bby Solutions, Inc. Streaming events modeling for information ranking
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
US11194464B1 (en) 2017-11-30 2021-12-07 Amazon Technologies, Inc. Display control using objects
US10848792B2 (en) * 2018-03-05 2020-11-24 Maestro Interactive, Inc. System and method for providing audience-targeted content triggered by events during program
JP6759267B2 (ja) * 2018-03-30 2020-09-23 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
JP6916150B2 (ja) * 2018-06-05 2021-08-11 任天堂株式会社 ゲームシステム、ゲームプログラム、ゲーム装置、およびゲーム処理方法
US11100713B2 (en) * 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems
EP3686609A1 (en) * 2019-01-25 2020-07-29 Rohde & Schwarz GmbH & Co. KG Measurement system and method for recording context information of a measurement
US11678031B2 (en) 2019-04-19 2023-06-13 Microsoft Technology Licensing, Llc Authoring comments including typed hyperlinks that reference video content
US11785194B2 (en) 2019-04-19 2023-10-10 Microsoft Technology Licensing, Llc Contextually-aware control of a user interface displaying a video and related user text
US11026000B2 (en) * 2019-04-19 2021-06-01 Microsoft Technology Licensing, Llc Previewing video content referenced by typed hyperlinks in comments
KR102271490B1 (ko) * 2019-06-03 2021-07-01 주식회사 게임빌 스포츠 게임에서 공의 이동을 제어하는 방법 및 시스템
JP6670030B1 (ja) 2019-08-30 2020-03-18 任天堂株式会社 周辺装置、ゲームコントローラ、情報処理システム、および、情報処理方法
US11497997B2 (en) * 2019-12-27 2022-11-15 Bandai Namco Entertainment Inc. Server system, game system, and game execution method
CN111258489B (zh) * 2020-01-15 2021-05-25 腾讯科技（深圳）有限公司 虚拟道具的操作方法和装置及存储介质
CN111766950B (zh) * 2020-08-12 2022-05-24 腾讯科技（深圳）有限公司 虚拟角色交互方法、装置、计算机设备和存储介质
CN112121420A (zh) * 2020-09-22 2020-12-25 北京冰封互娱科技有限公司 图像的显示方法和装置、存储介质、电子装置
CN112423060B (zh) * 2020-10-26 2023-09-19 深圳Tcl新技术有限公司 视频图像截取方法、系统、装置、终端设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294260A (ja) * 1996-04-26 1997-11-11 Sega Enterp Ltd 通信処理装置、端末装置、通信システム及びこの通信システムを用いた多人数参加型ゲームシステム並びに通信方法
JP2004032548A (ja) * 2002-06-27 2004-01-29 Alps Electric Co Ltd 携帯端末
JP2009178363A (ja) * 2008-01-31 2009-08-13 Namco Bandai Games Inc プログラム、情報記憶媒体及びコンテンツ提供装置
JP2010017412A (ja) * 2008-07-11 2010-01-28 Nintendo Co Ltd 画像通信システム、画像通信装置、および画像通信プログラム

Family Cites Families (272)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2653113C2 (de) 1976-11-23 1983-01-13 Loewe Opta Gmbh, 8640 Kronach Fernsehspielschaltung
JPH0768052B2 (ja) 1985-10-29 1995-07-26 セントラル硝子株式会社 フロ−トガラスの化学強化方法
EP0344153B1 (en) 1986-11-27 1995-04-05 David Fenton Fenner Remote control systems
US5440326A (en) 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5068168A (en) 1990-12-20 1991-11-26 Monsanto Company Styrene/maleates terpolymers
DE69222766T2 (de) 1991-06-04 1998-05-07 Qualcomm Inc System zur adaptiven kompression der blockgrössen eines bildes
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JPH06285259A (ja) 1993-03-31 1994-10-11 Sega Enterp Ltd 液晶コントローラ
JPH0764754A (ja) 1993-08-24 1995-03-10 Hitachi Ltd 小型情報処理装置
JPH0788251A (ja) 1993-09-22 1995-04-04 Muumin:Kk ゲーム機用コントロールパッド
US5820462A (en) 1994-08-02 1998-10-13 Nintendo Company Ltd. Manipulator for game machine
JP4036246B2 (ja) 1994-08-02 2008-01-23 任天堂株式会社 ゲーム機用操作装置
JPH0895669A (ja) 1994-09-29 1996-04-12 Toshiba Corp 電子機器システム
GB9421840D0 (en) 1994-10-28 1994-12-14 Plessey Semiconductors Ltd Improvements in or relating to television receivers
US5608449A (en) 1994-10-31 1997-03-04 Rtc Industries, Inc. Wireless interactive consumer video system
US6396480B1 (en) 1995-07-17 2002-05-28 Gateway, Inc. Context sensitive remote control groups
JP2770802B2 (ja) 1995-10-05 1998-07-02 日本電気株式会社 ゲーム機用コントロールパッド
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
JPH09146708A (ja) 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US6164808A (en) 1996-02-09 2000-12-26 Murata Mfg. Co., Ltd. Three-dimensional data input device
JP2002248267A (ja) 1996-03-05 2002-09-03 Sega Corp コントローラ及び電子装置
CN1177634C (zh) 1996-03-05 2004-12-01 世嘉企业股份有限公司 控制器和电子装置
US5825350A (en) 1996-03-13 1998-10-20 Gyration, Inc. Electronic pointing apparatus and method
JPH09325081A (ja) 1996-06-05 1997-12-16 Casio Comput Co Ltd 運動測定装置及び運動測定装置を備えた電子式ゲーム装置
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JPH1049290A (ja) 1996-08-05 1998-02-20 Sony Corp 情報処理装置および方法
US6208329B1 (en) 1996-08-13 2001-03-27 Lsi Logic Corporation Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device
JPH1094676A (ja) 1996-09-20 1998-04-14 Konami Co Ltd 対戦型ゲームシステムにおける画像表示方法及びゲームシステム
US6084584A (en) 1996-10-01 2000-07-04 Diamond Multimedia Systems, Inc. Computer system supporting portable interactive graphics display tablet and communications systems
US6657627B1 (en) 1997-02-18 2003-12-02 Konami Co., Ltd. Video simulation system for calculating distance between characters and applying polygon to polygon plane
JPH1186038A (ja) 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
US6104380A (en) 1997-04-14 2000-08-15 Ricoh Company, Ltd. Direct pointing apparatus for digital displays
US20040051785A1 (en) 1997-06-06 2004-03-18 Nikon Corporation Electronic camera having a communication function
JPH10341388A (ja) 1997-06-06 1998-12-22 Nikon Corp 通信機能を有する電子カメラ
JP4251673B2 (ja) 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6340957B1 (en) 1997-08-29 2002-01-22 Xerox Corporation Dynamically relocatable tileable displays
JP3269797B2 (ja) 1997-12-12 2002-04-02 株式会社ナムコ 画像生成装置及び情報記憶媒体
SE511516C2 (sv) 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
US6097441A (en) 1997-12-31 2000-08-01 Eremote, Inc. System for dual-display interaction with integrated television and internet content
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
KR100595920B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6069790A (en) 1998-01-27 2000-05-30 Dell Usa, L.P. Portable computer ejection mechanism for docking devices
US6499027B1 (en) 1998-05-26 2002-12-24 Rockwell Collins, Inc. System software architecture for a passenger entertainment system, method and article of manufacture
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
USD411530S (en) 1998-06-10 1999-06-29 Pelco Video keyboard
US6347290B1 (en) 1998-06-24 2002-02-12 Compaq Information Technologies Group, L.P. Apparatus and method for detecting and executing positional and gesture commands corresponding to movement of handheld computing device
JP3788694B2 (ja) * 1998-09-16 2006-06-21 株式会社ソニー・コンピュータエンタテインメント データ処理システム及び方法、並びにエンタテインメント装置
JP2000176176A (ja) 1998-09-18 2000-06-27 Sega Enterp Ltd ゲ―ム装置
JP2000116940A (ja) 1998-10-15 2000-04-25 Seta Corp 双方向通信型ゲームシステム
US6557001B1 (en) 1998-11-23 2003-04-29 Moonlight Cordless Ltd. Method for enhancing video compression through automatic data analysis and profile selection
JP3017986B1 (ja) 1998-11-26 2000-03-13 コナミ株式会社 ゲームシステムおよびコンピュータ読み取り可能な記憶媒体
JP3662435B2 (ja) 1998-12-17 2005-06-22 コナミ株式会社 射的ビデオゲーム装置
US6400376B1 (en) 1998-12-21 2002-06-04 Ericsson Inc. Display control for hand-held data processing device
US6201554B1 (en) 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
JP4366746B2 (ja) 1999-01-28 2009-11-18 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6500070B1 (en) 1999-05-28 2002-12-31 Nintendo Co., Ltd. Combined game system of portable and video game machines
US6538636B1 (en) 1999-07-06 2003-03-25 Intel Corporation Apparatus and method for configuring a hand-held interactive device
JP2001034247A (ja) 1999-07-19 2001-02-09 Minolta Co Ltd 映像表示装置
JP3317686B2 (ja) 1999-09-03 2002-08-26 コナミ株式会社 歌唱伴奏システム
US6897833B1 (en) 1999-09-10 2005-05-24 Hewlett-Packard Development Company, L.P. Portable user interface
US6254481B1 (en) 1999-09-10 2001-07-03 Wms Gaming Inc. Gaming machine with unified image on multiple video displays
JP3674413B2 (ja) 1999-10-07 2005-07-20 日本ビクター株式会社 画像撮影装置
US6716103B1 (en) 1999-10-07 2004-04-06 Nintendo Co., Ltd. Portable game machine
US6567101B1 (en) 1999-10-13 2003-05-20 Gateway, Inc. System and method utilizing motion input for manipulating a display of data
US6466198B1 (en) 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
EP1471482B1 (en) 2000-02-29 2009-02-11 Panasonic Corporation Image pickup system and vehicle-mounted-type sensor system
JP4547071B2 (ja) 2000-03-30 2010-09-22 任天堂株式会社 ゲーム情報記憶媒体およびそれを用いたゲームシステム
US7285051B2 (en) 2000-05-25 2007-10-23 Nintendo Co., Ltd. Game information storage medium and game system using the same
US7149549B1 (en) 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
JP4543513B2 (ja) 2000-07-17 2010-09-15 ソニー株式会社 双方向通信システム、表示装置、ベース装置および双方向通信方法
US7289102B2 (en) 2000-07-17 2007-10-30 Microsoft Corporation Method and apparatus using multiple sensors in a device with a display
US6820025B2 (en) 2000-10-30 2004-11-16 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for motion tracking of an articulated rigid body
US6690358B2 (en) 2000-11-30 2004-02-10 Alan Edward Kaplan Display control for hand-held devices
FI20002841A (fi) 2000-12-22 2002-06-23 Nokia Corp Menetelmä päätelaitteen näytön ohjaamiseksi
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US7030861B1 (en) 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4291467B2 (ja) 2001-03-01 2009-07-08 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、メニュー表示方法および情報記録媒体
US6798429B2 (en) 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US6834249B2 (en) 2001-03-29 2004-12-21 Arraycomm, Inc. Method and apparatus for controlling a computing system
US7068294B2 (en) 2001-03-30 2006-06-27 Koninklijke Philips Electronics N.V. One-to-one direct communication
JP4691268B2 (ja) * 2001-05-02 2011-06-01 任天堂株式会社 ゲームシステムおよびゲームプログラム
US6966837B1 (en) * 2001-05-10 2005-11-22 Best Robert M Linked portable and video game systems
FI117488B (fi) 2001-05-16 2006-10-31 Myorigo Sarl Informaation selaus näytöllä
JP2002352138A (ja) 2001-05-23 2002-12-06 Ibm Japan Ltd サーバ、検索システム、情報提供システム、情報提供端末、情報検索方法、情報提供方法、情報表示方法
US7540011B2 (en) 2001-06-11 2009-05-26 Arrowsight, Inc. Caching graphical interface for displaying video and ancillary data from a saved video
US6954491B1 (en) 2001-06-14 2005-10-11 Silicon Image, Inc. Methods and systems for sending side-channel data during data inactive period
WO2003007117A2 (en) 2001-07-12 2003-01-23 Friedman Gary L Portable, hand-held electronic input device and combination with a personal digital device
JP3762295B2 (ja) 2001-12-21 2006-04-05 京セラ株式会社 携帯端末用充電装置及び携帯端末
US9544523B2 (en) 2001-08-06 2017-01-10 Ati Technologies Ulc Wireless display apparatus and method
US6847351B2 (en) 2001-08-13 2005-01-25 Siemens Information And Communication Mobile, Llc Tilt-based pointing for hand-held devices
JP2003062164A (ja) 2001-08-30 2003-03-04 Kpe Inc 遊技機、遊技機の制御方法および制御プログラム
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
CN100353293C (zh) 2001-10-24 2007-12-05 索尼公司 图像信息显示装置
JP2002177644A (ja) 2001-11-02 2002-06-25 Bandai Co Ltd 液晶ゲーム装置
US6888532B2 (en) 2001-11-30 2005-05-03 Palmone, Inc. Automatic orientation-based user interface for an ambiguous handheld device
WO2003083822A1 (en) 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7007242B2 (en) 2002-02-20 2006-02-28 Nokia Corporation Graphical user interface for a mobile device
JP3797608B2 (ja) 2002-05-01 2006-07-19 任天堂株式会社 ゲーム装置およびゲームプログラム
US7198568B2 (en) 2002-05-01 2007-04-03 Nintendo Co., Ltd. Game machine and game program for changing the movement of one character based on the movement of another character
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP2003325972A (ja) 2002-05-17 2003-11-18 Nintendo Co Ltd 傾き操作に関連して音と画像を変化させるゲーム装置およびそのゲームプログラム
US7461356B2 (en) 2002-06-03 2008-12-02 Fuji Xerox Co., Ltd. Function control unit and method thereof
US7023427B2 (en) 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
JP3602519B2 (ja) 2002-07-12 2004-12-15 コナミ株式会社 ビデオゲーム装置、画像処理方法及びプログラム
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7352358B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to acoustical tracking
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US6773349B2 (en) * 2002-07-31 2004-08-10 Intec, Inc. Video game controller with integrated video display
JP3980966B2 (ja) 2002-08-21 2007-09-26 シャープ株式会社 プレゼンテーション用表示装置
JP4482269B2 (ja) 2002-08-28 2010-06-16 ソニー株式会社 電子機器装置、信号補償装置及び信号補償方法
US7030856B2 (en) 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US7184020B2 (en) 2002-10-30 2007-02-27 Matsushita Electric Industrial Co., Ltd. Operation instructing device, operation instructing method, and operation instructing program
JP4115809B2 (ja) 2002-11-11 2008-07-09 任天堂株式会社 ゲームシステム及びゲームプログラム
US8840475B2 (en) 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
JP2004198450A (ja) 2002-12-16 2004-07-15 Sharp Corp 画像表示システム
US7158123B2 (en) 2003-01-31 2007-01-02 Xerox Corporation Secondary touch contextual sub-menu navigation for touch screen interface
US7098868B2 (en) 2003-04-08 2006-08-29 Microsoft Corporation Display source divider
US20040201595A1 (en) 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US7719830B2 (en) 2005-05-09 2010-05-18 Apple Inc. Universal docking station for hand held electronic devices
US7233316B2 (en) 2003-05-01 2007-06-19 Thomson Licensing Multimedia user interface
US8038533B2 (en) 2003-05-09 2011-10-18 Nintendo Co., Ltd. Game system using parent game machine and child game machine
USD519118S1 (en) 2003-05-12 2006-04-18 Radica Games Ltd Game controller
JP4048150B2 (ja) 2003-05-12 2008-02-13 任天堂株式会社 ゲーム装置およびゲームプログラム並びにゲームシステム
KR100968457B1 (ko) 2003-05-14 2010-07-07 삼성전자주식회사 컴퓨터 시스템 및 이를 이용한 디스플레이방법
KR100543701B1 (ko) 2003-06-17 2006-01-20 삼성전자주식회사 공간형 입력 장치 및 방법
US20040266529A1 (en) * 2003-06-30 2004-12-30 Sony Computer Entertainment America Inc. Methods and systems for remote execution of game content and presentation on a wireless portable device
JP4601925B2 (ja) 2003-07-17 2010-12-22 任天堂株式会社 情報処理システム
JP2007260409A (ja) 2003-09-26 2007-10-11 Sony Computer Entertainment Inc 携帯型電子装置
US8105169B2 (en) 2003-09-26 2012-01-31 Sony Computer Entertainment Inc. Portable electronic device
JP4154311B2 (ja) 2003-11-04 2008-09-24 任天堂株式会社 ゲームシステムおよびゲームプログラム
NZ529518A (en) 2003-11-13 2005-03-24 Andy Zheng Song Input method, system and device
JP2005152508A (ja) 2003-11-28 2005-06-16 Nintendo Co Ltd 複数人でプレイするゲームシステム、ゲーム装置およびゲームプログラム
US7510477B2 (en) 2003-12-11 2009-03-31 Argentar Eric J Control apparatus for use with a computer or video game system
US7942743B2 (en) 2004-01-20 2011-05-17 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
KR100537518B1 (ko) 2004-01-27 2005-12-19 삼성전자주식회사 공간에서 클릭 동작에 따른 포인팅 위치 조절 방법 및이를 위한 공간형 입력 장치
US6856259B1 (en) 2004-02-06 2005-02-15 Elo Touchsystems, Inc. Touch sensor system to detect multiple touch events
JP3703473B2 (ja) 2004-02-09 2005-10-05 任天堂株式会社 ゲーム装置およびゲームプログラム
US20050181756A1 (en) 2004-02-17 2005-08-18 Chung-Hung Lin Wireless digital music player
JP2005269399A (ja) 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd カメラ付き携帯電話
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7180500B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US7176887B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Environmental modeling for motion controlled handheld devices
US7176888B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7301527B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Feedback based user interface for motion controlled handheld devices
US7365735B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor
US7176886B2 (en) 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US7180502B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US7365736B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7180501B2 (en) 2004-03-23 2007-02-20 Fujitsu Limited Gesture based navigation of a handheld user interface
US7301526B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7365737B2 (en) 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
JP2007535773A (ja) 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
EP1769399B1 (en) 2004-06-07 2020-03-18 Sling Media L.L.C. Personal media broadcasting system
US20060015826A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US20060012564A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US20060015808A1 (en) 2004-07-13 2006-01-19 Sony Corporation Hard disk multimedia player and method
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
CN101010700B (zh) 2004-08-23 2010-05-26 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统
US20060077165A1 (en) 2004-10-12 2006-04-13 Samsung Electronics Co., Ltd. Wireless LCD device for displaying images received from a mobile communication terminal and an operation method thereof
JP3108313U (ja) 2004-10-20 2005-04-14 ストームエレクトロニクス株式会社 ゲーム機用コントローラ
JP3770499B1 (ja) 2004-11-02 2006-04-26 任天堂株式会社 ゲーム装置及びゲームプログラム
US20060174026A1 (en) 2005-01-05 2006-08-03 Aaron Robinson System and method for a remote user interface
US7519468B2 (en) 2005-02-28 2009-04-14 Research In Motion Limited System and method for navigating a mobile device user interface with a directional sensing device
US20060252537A1 (en) 2005-04-21 2006-11-09 Wen-An Wu Portable wireless control apparatus
US7667707B1 (en) 2005-05-05 2010-02-23 Digital Display Innovations, Llc Computer system for supporting multiple remote displays
JP4778267B2 (ja) 2005-05-16 2011-09-21 任天堂株式会社 ゲーム機用操作装置および携帯ゲーム機
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
TWM278452U (en) 2005-06-03 2005-10-21 Weistech Technology Co Ltd Game controlling handle having a display device
JP2006350986A (ja) 2005-06-17 2006-12-28 Tokyo Institute Of Technology 顔写真付きメールを送受信できる携帯電話機
US20070021216A1 (en) 2005-07-19 2007-01-25 Sony Ericsson Mobile Communications Ab Seamless gaming method and apparatus
JP2007021065A (ja) 2005-07-21 2007-02-01 Aruze Corp 携帯ゲーム機用コントローラ
JP4627072B2 (ja) 2005-08-22 2011-02-09 任天堂株式会社 ゲーム用操作装置およびゲームシステム
JP4907128B2 (ja) 2005-08-30 2012-03-28 任天堂株式会社 ゲームシステムおよびゲームプログラム
US8308563B2 (en) * 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
JP4853611B2 (ja) 2005-09-15 2012-01-11 ソニー株式会社 触覚提供機構及び触覚提供機構を備えた電子機器
US7431216B2 (en) 2005-11-16 2008-10-07 Sony Ericsson Mobile Communications Ab Methods for presenting parameter status information and related portable electronic devices and parameters
US7518503B2 (en) 2005-12-14 2009-04-14 Sony Ericsson Mobile Communications Ab Portable A/V relay device
EP1804154A3 (en) 2005-12-27 2012-08-08 Poston Timothy Computer input device enabling three degrees of freedom and related input and feedback methods
JP2007274836A (ja) 2006-03-31 2007-10-18 Hosiden Corp 電子機器の充電装置
KR100771626B1 (ko) 2006-04-25 2007-10-31 엘지전자 주식회사 단말기 및 이를 위한 명령 입력 방법
JP5196515B2 (ja) 2006-04-25 2013-05-15 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US7988558B2 (en) 2006-04-27 2011-08-02 Nintendo Co., Ltd. Game apparatus and storage medium storing game program
JP5188682B2 (ja) 2006-04-28 2013-04-24 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステムおよびゲーム制御方法
USD568882S1 (en) 2006-05-02 2008-05-13 Nintendo Co., Ltd. Controller for electronic game machine
GB0608939D0 (en) 2006-05-05 2006-06-14 Sony Comp Entertainment Europe Display apparatus and method
JP5041730B2 (ja) 2006-05-08 2012-10-03 任天堂株式会社 オブジェクト処理装置及びオブジェクト処理プログラム
JP4989105B2 (ja) 2006-05-09 2012-08-01 任天堂株式会社 ゲームコントローラ
JP2007310840A (ja) 2006-05-22 2007-11-29 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及びプログラム
JP2009539432A (ja) 2006-06-03 2009-11-19 アージェンター，エリック ビデオゲームコントローラ
US7696980B1 (en) 2006-06-16 2010-04-13 Logitech Europe S.A. Pointing device for use in air with improved cursor control and battery life
US9011249B2 (en) * 2006-06-30 2015-04-21 Wms Gaming Inc. Method and apparatus for use of movement and position sensors with portable handheld wagering devices
JP4884867B2 (ja) * 2006-07-25 2012-02-29 任天堂株式会社 情報処理装置および情報処理プログラム
JP5051822B2 (ja) 2006-08-02 2012-10-17 任天堂株式会社 汎用遠隔制御機能を備えたゲーム装置
US20080030458A1 (en) 2006-08-07 2008-02-07 Rene Helbing Inertial input apparatus and method with optical motion state detection
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
JP5037077B2 (ja) 2006-09-13 2012-09-26 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
JP5134224B2 (ja) 2006-09-13 2013-01-30 株式会社バンダイナムコゲームス ゲームコントローラ及びゲーム装置
US7480139B2 (en) 2006-10-25 2009-01-20 Hewlett-Packard Development Company, L.P. Electronic device docking system
JPWO2008136064A1 (ja) 2007-04-19 2010-07-29 株式会社ソニー・コンピュータエンタテインメント 操作デバイス、情報処理システム、表示装置及び情報処理方法
JP5285234B2 (ja) 2007-04-24 2013-09-11 任天堂株式会社 ゲームシステム、情報処理システム
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
USD599352S1 (en) 2007-06-21 2009-09-01 Nintendo Co., Ltd. Controller adaptor
JP4387429B2 (ja) 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
CN104219560B (zh) 2007-09-18 2018-05-25 汤姆森许可贸易公司 机顶盒的用户界面
JP5420833B2 (ja) 2007-11-30 2014-02-19 任天堂株式会社 ゲームシステム
JP5436773B2 (ja) 2007-12-14 2014-03-05 株式会社バンダイナムコゲームス プログラム及びゲーム装置
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US8255090B2 (en) * 2008-02-01 2012-08-28 Energyhub System and method for home energy monitor and control
JP5060990B2 (ja) 2008-02-21 2012-10-31 株式会社ソニー・コンピュータエンタテインメント スタンド及び電子機器
JP5270930B2 (ja) 2008-02-28 2013-08-21 パナソニック株式会社 ストラップ装置を備えた電子装置
JP5224595B2 (ja) 2008-02-28 2013-07-03 パナソニック株式会社 電子装置
GB2493606B (en) 2008-03-07 2013-03-27 Milwaukee Electric Tool Corp Visual inspection device
JP5429444B2 (ja) 2008-03-17 2014-02-26 株式会社セガ ゲーム制御プログラムおよびゲーム装置
JP5522902B2 (ja) 2008-03-24 2014-06-18 任天堂株式会社 情報処理プログラムおよび情報処理装置
US20090254953A1 (en) 2008-04-02 2009-10-08 Chung-Hung Lin Wireless video and audio broadcasting device
JP2009247763A (ja) * 2008-04-10 2009-10-29 Namco Bandai Games Inc ゲームシステム、プログラムおよび情報記憶媒体
US20090256809A1 (en) 2008-04-14 2009-10-15 Sony Ericsson Mobile Communications Ab Three-dimensional touch interface
TWM347787U (en) 2008-05-02 2008-12-21 Wistron Corp A fixture structure of a handheld electronic device
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
FR2932998B1 (fr) 2008-06-25 2014-08-08 Bigben Interactive Sa Accessoire immersif pour jeux video
EP2140915B1 (en) 2008-06-30 2019-03-06 Nintendo Co., Ltd. Orientation calculation apparatus, storage medium having orientation calculation program stored therein, game apparatus, and storage medium having game program stored therein
JP5730463B2 (ja) * 2008-07-11 2015-06-10 任天堂株式会社 ゲームプログラムおよびゲーム装置
JP2010017395A (ja) 2008-07-11 2010-01-28 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
JP5329140B2 (ja) 2008-07-11 2013-10-30 任天堂株式会社 操作システム
US8858330B2 (en) 2008-07-14 2014-10-14 Activision Publishing, Inc. Music video game with virtual drums
WO2010019509A1 (en) 2008-08-11 2010-02-18 Imu Solutions, Inc. Instruction device and communicating method
WO2010022386A2 (en) 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
JP2010066899A (ja) 2008-09-09 2010-03-25 Sony Computer Entertainment Inc 入力装置
US20100083341A1 (en) 2008-09-30 2010-04-01 Hector Gonzalez Multiple Signal Output System and Technology (MSOST)
US8221229B2 (en) 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
JP5289031B2 (ja) 2008-12-22 2013-09-11 任天堂株式会社 ゲーム装置およびゲームプログラム
US8384680B2 (en) 2008-12-23 2013-02-26 Research In Motion Limited Portable electronic device and method of control
KR101653432B1 (ko) 2009-01-29 2016-09-01 임머숀 코퍼레이션 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
CA131848S (en) 2009-02-23 2010-03-29 Nintendo Co Ltd Controller for electronic game machine
JP5366588B2 (ja) 2009-02-23 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 携帯用電子機器の支持装置
US20100311501A1 (en) 2009-06-04 2010-12-09 Hsu Kent T J Game controller
EP2451383B1 (en) * 2009-07-10 2015-10-21 Kirk Promotion LTD. Hip joint device
US8531571B1 (en) 2009-08-05 2013-09-10 Bentley Systmes, Incorporated System and method for browsing a large document on a portable electronic device
CN201572520U (zh) 2009-12-23 2010-09-08 周建正 游戏机三合一支架
US8567599B2 (en) 2010-01-26 2013-10-29 Modulr Llc Multifunctional electronic device case
EP2353677A3 (en) 2010-02-03 2014-01-22 Nintendo Co., Ltd. Game system, image output device, and image display method
US8913009B2 (en) 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8339364B2 (en) 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8814686B2 (en) 2010-02-03 2014-08-26 Nintendo Co., Ltd. Display device, game system, and game method
US8317615B2 (en) 2010-02-03 2012-11-27 Nintendo Co., Ltd. Display device, game system, and game method
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
USD641022S1 (en) 2010-03-05 2011-07-05 Jason Dodo Game controller cradle for portable devices
KR101105841B1 (ko) 2010-03-22 2012-01-16 엘지전자 주식회사 휴대 전자기기
USD636773S1 (en) 2010-04-30 2011-04-26 Jow Tong Technology Co., Ltd. Multi-functional remote controller
JP5700758B2 (ja) 2010-05-19 2015-04-15 任天堂株式会社 ゲーム装置、ゲームプログラム、ゲームシステム、およびゲーム処理方法
JP6243586B2 (ja) 2010-08-06 2017-12-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP6184658B2 (ja) 2010-08-20 2017-08-23 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US10150033B2 (en) 2010-08-20 2018-12-11 Nintendo Co., Ltd. Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method
JP5840385B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP5840386B2 (ja) 2010-08-30 2016-01-06 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
CN102444766A (zh) 2010-10-11 2012-05-09 富准精密工业(深圳)有限公司 消费型电子产品的视频转播器
US8854298B2 (en) 2010-10-12 2014-10-07 Sony Computer Entertainment Inc. System for enabling a handheld device to capture video of an interactive application
TWI434717B (zh) 2010-11-01 2014-04-21 Nintendo Co Ltd 顯示裝置、遊戲系統及遊戲處理方法
KR101364826B1 (ko) 2010-11-01 2014-02-20 닌텐도가부시키가이샤 조작 장치 및 조작 시스템
TWI440496B (zh) 2010-11-01 2014-06-11 Nintendo Co Ltd 操作裝置及操作系統
JP5692904B2 (ja) 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
JP5689014B2 (ja) 2011-04-07 2015-03-25 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および３次元位置算出方法
USD666250S1 (en) 2011-11-03 2012-08-28 Performance Designed Products, Llc Gaming device attachment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09294260A (ja) * 1996-04-26 1997-11-11 Sega Enterp Ltd 通信処理装置、端末装置、通信システム及びこの通信システムを用いた多人数参加型ゲームシステム並びに通信方法
JP2004032548A (ja) * 2002-06-27 2004-01-29 Alps Electric Co Ltd 携帯端末
JP2009178363A (ja) * 2008-01-31 2009-08-13 Namco Bandai Games Inc プログラム、情報記憶媒体及びコンテンツ提供装置
JP2010017412A (ja) * 2008-07-11 2010-01-28 Nintendo Co Ltd 画像通信システム、画像通信装置、および画像通信プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2392389A4 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090857A (ja) * 2011-10-27 2013-05-16 Nintendo Co Ltd ゲームシステム、ゲーム装置、ゲームプログラム、およびゲーム処理方法
CN103212202A (zh) * 2011-12-20 2013-07-24 维基平板电脑公司 游戏控制器
JP2015506198A (ja) * 2011-12-20 2015-03-02 マイクロソフト コーポレーション ２次タッチ・コントローラーを有するコンテンツ・システム
CN103212202B (zh) * 2011-12-20 2017-05-24 维基平板电脑公司 用于平板计算机的游戏控制器
WO2013099381A1 (ja) * 2011-12-26 2013-07-04 株式会社コナミデジタルエンタテインメント ゲームシステム、選択方法、情報記録媒体、および、プログラム
JP2013150776A (ja) * 2011-12-26 2013-08-08 Konami Digital Entertainment Co Ltd ゲームシステム、選択方法、および、プログラム
US8956226B2 (en) 2011-12-26 2015-02-17 Konami Digital Entertainment Co., Ltd. Game system, selection method, and information recording medium
JP2013196568A (ja) * 2012-03-22 2013-09-30 Nintendo Co Ltd ゲームシステム、ゲーム処理方法、ゲーム装置、およびゲームプログラム
US9782673B2 (en) 2013-01-31 2017-10-10 Gree, Inc. Terminal display control method, terminal display system and server apparatus
JP2016073663A (ja) * 2015-11-25 2016-05-12 グリー株式会社 プログラム、及び表示システム
CN109845417A (zh) * 2017-04-24 2019-06-04 深圳市大疆创新科技有限公司 一种遥控器及其壳体组件
CN109845417B (zh) * 2017-04-24 2021-03-12 深圳市大疆创新科技有限公司 一种遥控器及其壳体组件

Also Published As

Publication number Publication date
AU2011204815B2 (en) 2013-05-30
AU2011204816A1 (en) 2011-08-18
US8317615B2 (en) 2012-11-27
KR101154636B1 (ko) 2012-06-08
AU2011204816B8 (en) 2013-08-08
US20110190052A1 (en) 2011-08-04
BRPI1106085A2 (pt) 2016-05-10
CA2746486C (en) 2012-03-06
US9358457B2 (en) 2016-06-07
US8961305B2 (en) 2015-02-24
EP2392391A1 (en) 2011-12-07
US20120088580A1 (en) 2012-04-12
US20110190061A1 (en) 2011-08-04
EP2392389A1 (en) 2011-12-07
CA2746481A1 (en) 2011-08-03
EP2392389A4 (en) 2014-10-15
KR20120100702A (ko) 2012-09-12
US8684842B2 (en) 2014-04-01
CA2753118A1 (en) 2011-08-03
CA2746481C (en) 2017-06-13
KR101287696B1 (ko) 2013-07-24
KR20110112369A (ko) 2011-10-12
AU2011204816B2 (en) 2013-03-14
AU2011204815A1 (en) 2011-08-18
EP2392391B1 (en) 2017-06-28
WO2011096204A1 (ja) 2011-08-11
CA2746486A1 (en) 2011-08-03
KR20110103434A (ko) 2011-09-20
EP2392391A4 (en) 2012-06-13
US20120015732A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
WO2011096203A1 (ja) ゲームシステム、操作装置、およびゲーム処理方法
KR101492310B1 (ko) 조작 장치 및 정보 처리 장치
JP6188766B2 (ja) 操作装置および操作システム
TWI442963B (zh) 操作裝置及資訊處理裝置
TWI541051B (zh) 遊戲系統、操作裝置及遊戲處理方法
JP5829020B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
US9022862B2 (en) Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
JP4798809B1 (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP5829040B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
JP5719147B2 (ja) ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法
JP6103677B2 (ja) ゲームシステム、操作装置、およびゲーム処理方法
US9101839B2 (en) Computer-readable storage medium having stored therein game program, game apparatus, game system, and game processing method
JP2012096005A (ja) 表示装置、ゲームシステム、およびゲーム処理方法
JP5936315B2 (ja) 情報処理システムおよび情報処理装置
KR20130020715A (ko) 조작 장치 및 조작 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2746481

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2011204815

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 20117016995

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011739552

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11739552

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE