WO2007066818A1 - 音楽編集装置及び音楽編集方法 - Google Patents

音楽編集装置及び音楽編集方法 Download PDF

Info

Publication number
WO2007066818A1
WO2007066818A1 PCT/JP2006/324889 JP2006324889W WO2007066818A1 WO 2007066818 A1 WO2007066818 A1 WO 2007066818A1 JP 2006324889 W JP2006324889 W JP 2006324889W WO 2007066818 A1 WO2007066818 A1 WO 2007066818A1
Authority
WO
WIPO (PCT)
Prior art keywords
music
beat
section
song
remix
Prior art date
Application number
PCT/JP2006/324889
Other languages
English (en)
French (fr)
Inventor
Kosei Yamashita
Yasushi Miyajima
Motoyuki Takai
Akihiro Komori
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US12/095,745 priority Critical patent/US7855334B2/en
Priority to JP2007549214A priority patent/JP5243042B2/ja
Priority to EP06834644A priority patent/EP1959428A4/en
Priority to KR1020087013805A priority patent/KR101287984B1/ko
Priority to CN2006800461745A priority patent/CN101326569B/zh
Publication of WO2007066818A1 publication Critical patent/WO2007066818A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/105Composing aid, e.g. for supporting creation, edition or modification of a piece of music
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/125Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
    • G10H2210/136Morphing interpolation, i.e. interpolating in pitch, harmony or time, tempo or rhythm, between two different musical pieces, e.g. to produce a new musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375Tempo or beat alterations; Music timing control
    • G10H2210/391Automatic tempo adjustment, correction or control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/016File editing, i.e. modifying musical data files or streams as such
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/061MP3, i.e. MPEG-1 or MPEG-2 Audio Layer III, lossy audio compression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/046File format, i.e. specific or non-standard musical file format used in or adapted for electrophonic musical instruments, e.g. in wavetables
    • G10H2240/066MPEG audio-visual compression file formats, e.g. MPEG-4 for coding of audio-visual objects
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/091Info, i.e. juxtaposition of unrelated auxiliary information or commercial messages with or between music files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/295Packet switched network, e.g. token ring
    • G10H2240/305Internet or TCP/IP protocol use for any electrophonic musical instrument data or musical parameter transmission purposes

Definitions

  • a book for example, a music device that generates new (content) by collecting music content obtained by subdividing the music into music parts, measures, etc. Music collection method.
  • Memo With the audio, it became routine for the user to carry a large number of songs. In an audio system where you can listen to a large amount of songs continuously, you can not only listen to the original CD album, but also listen to all songs across albums and play only the songs you like. The style of reconstructing as a list and listening is widespread. It can also be said that the freedom to listen to the songs that The Za listened to in the order in which they listened to has spread without observing the numbers on the album.
  • Figure 32 shows the conventional live performance using song A and song B. Each is played at the original tempo of the song. Of course, there is no sound in.
  • the 2 0 0 3 4 4 0 4 6 report discloses how to combine multiple materials according to their power via the keyboard to interactively edit and play back songs to enjoy. Chips that consist of hooks that apply to them, such as sound pattern and sound pattern, are assigned. When the user presses, the chip corresponding to this is executed. By pressing a number at the same time, the chip is put into force. Also, press in order and combine the chips with to configure the music.
  • DJ the turntable on the record board of the job category
  • the timing tempo of a song is controlled, and multiple songs are played in sequence as if they were a series of songs. You can do it.
  • This method is generally called a lock.
  • the listener is given a new feeling and excitement as a way of making music from simple music to advanced music. Therefore, in recent years, this DJ clock technique has It has become popular as a law.
  • J can start playing back in sync with the beat measure of the next song, matching the beat measure currently being played.
  • the machine cannot recognize bit measures, so it cannot do it automatically.
  • D J can start playback seamlessly while adjusting the tempo of the next song according to the tempo of the currently playing song. Since it cannot recognize the tempo, it cannot do it automatically.
  • D J can start playback in a seamless manner while playing the next piece of music. It can't do that automatically because it can't recognize the tempo.
  • D J can start playback in a seamless manner while keeping track of the melody of the next song in accordance with the melody of the song currently being played. It can't do that automatically because it can't recognize melodies.
  • the purpose is to provide a music device that realizes automatic DJ mixing by loading and automatically.
  • a mix logic is generated based on the mix pattern file, which is the data generated at least for the beat position on the time axis. Generates a mixing control unit and a star bit, sends this stabit to the above-mentioned mixing control unit, and responds to the above-mentioned mixing control unit slash pattern data. Synchronized playback that plays multiple songs in response to instructions or mix processing, mixes the songs played in the above-mentioned period playback, and The phase of the bit sync signal generated from the meta data and the phase of the star bit are compared, and a branch circuit for integrating the above force and a correction for correcting the tempo based on the force of the above branch circuit are further provided. .
  • the music collection method according to Ming is based on a data pattern, a at least time-based beat position data generated corresponding to the music data, and a dynamics pattern file.
  • the mixing process is performed and a stub is generated, and this star beat is sent to the above-mentioned mixing process section, and at the same time, the above-mentioned mixing process step is performed.
  • It is equipped with a synchronized playback process that gives instructions according to the audio data and plays multiple songs in response to the mix, and the songs played in the above-mentioned period playback are mixed.
  • the bit sync and star-bit generated from the above-mentioned metadata supplied from the It further comprises a step of comparing the phase with the signal, a step of integrating the force in the above step, and a step of correcting the tempo based on the force of the step.
  • DJ play of music can be performed in real time and dynamically, so that it is possible to provide a new way of making music with the music production apparatus.
  • it will become easier to synchronize music bits and other media, creating new entertainment.
  • Fig. 2 is a block to which the device and method according to the invention are applied
  • Fig. 2 is a block showing the detailed structure of the synchronous playback and audio mixing unit
  • Fig. 3 is Music device program
  • Fig. 4 is a chart showing the order of music programs executed by the music device
  • 5, Fig. 6 shows data on the time axis
  • Fig. 6 shows time
  • Fig. 7 shows an example of the axis data
  • Fig. 7 shows another specific example of the time axis data
  • Fig. 8A, 8B, 8C shows the method of the data
  • Fig. 9 shows the mix.
  • Fig. 0 shows an example of the pattern figure
  • Fig. 0 is for explaining the connection by the cross using the effect
  • Fig. 2 explains the connection by the cross-face
  • Fig. 3 explains the connection by the cut-in.
  • Fig. 4 is for explaining the connection using the effect
  • Fig. 5 is for explaining the simultaneous regeneration
  • Fig. 16 is for explaining the use of hook
  • Fig. 7 is For the purpose of explaining the partial live
  • Fig. 8 shows the synchronous playback that enables editing and playback so that SE is sandwiched between song A, song B, and the class shown in Fig. 0.
  • Fig. 9 is for explaining the function of the synchronous playback limit processing part, which is the main part of the explanation.
  • Fig. 20 shows the set of bit playback
  • Fig. 20 shows the set of bit playback
  • Fig. 20 shows the set of bit playback
  • Figure 22 Shows the detailed bit-playback timing chart.
  • Figure 22 shows the tempo of a certain music.
  • ⁇ 2 3 A, 2 3 B, 23 C show the problems associated with the tempo movement.
  • Fig. 24 shows the time-line data of Fig. 25, and
  • Fig. 25 shows a system for playing in sync with a constantly changing music bit.
  • Fig. 27 shows the network communication.
  • Fig. 28 is a block of a music device having a network
  • Fig. 29 is a block of a music device having a network
  • Fig. 30 is a block of a music device having a sensor.
  • a musical instrument block with a sensor, 3A 3B, is a flowchart showing the order of the musical instrument with a sensor
  • 3 2 is a diagram for explaining a conventional life.
  • FIG. 1 is a block diagram of music to which the parts and methods according to the present invention are applied.
  • This is a song provided through a body such as a disk (D, a compact disc (), a mini disc MD, a digital bass disc (or a network such as the internet.
  • a body such as a disk (D, a compact disc (), a mini disc MD, a digital bass disc (or a network such as the internet.
  • D disk
  • mini disc MD a mini disc
  • MD digital bass disc
  • the data DJ described later, is used to play an automatic DJ live that, for example, plays a song A song B beat that originally has a different tempo and plays it back and forth.
  • C P central processing unit
  • memory 4 a memory 4
  • synchronous playback 8 a synchronous playback 8
  • R 3 RAM 4 and user 1 5 design interface 6 are connected to C P 2 through 3.
  • C 2 decides how to connect the music to the real time, and gives the necessary materials to the synchronized playback 8 with the required timing. Also, the tempo bit sync is indicated for the sync playback 8 according to the operation of the z.
  • music data 6 mix pattern 7. 5 It is also possible to externally connect a storage device for storage, which is a memory that holds multiple data, or a flash media device such as a portable storage device.
  • the music data stored in Music 5 may be compressed or compressed.
  • the data 6 stores the data on the time axis, such as the flash media disc, which is added to the song.
  • the metadata is added to the music.
  • This is the supplementary data on the time axis, which includes not only the tempo but also the bit information, the information simply referred to as the head of a measure), the prelude intro) te (chorus), and so on.
  • Mix pattern 7 does not need to be particularly limited as long as it is a memory like song 5. It is a memory that gives instructions on how to determine the mix pattern and holds the mix pattern. The details of the Mic Spatte will be described later, but not only is written, but it is also written, such as how to combine, or where to use where in song A and song B to combine. It is a certain file.
  • Periodic playback 8 is a block for automatically playing music and plays the music material indicated by the mix control function of C P 2 in synchronization with the reference bit.
  • Period playback 9 audio switching 0, digital analog (DA and audio 2).
  • Period replay 9 replays a number of issues with multiple numbers in synchronism with the number of issues generated within itself.
  • Kithing 0 is a multiple of
  • the synthesized signal reproduced in is synthesized and output. Converts the digital signal reproduced by DA audio mixing 0 to an analog signal. 2 is the analog from DA Amplify and output to a speakerphone.
  • ROM 3 contains a music program in the order according to the method of collection of Ming. It also stores the data of Defol. R M serves as a query when C P 2 executes the above program. It also stores the data when the above program is executed.
  • the 1 F 5 is, for example, Kibod, Us, Touchpad, etc. that accepts works by The. 16 is a display that includes the current situation, the music situation, or a touch panel that allows the user to make a work, for example ,.
  • Kibod, Us, Touchpad etc.
  • The. 16 is a display that includes the current situation, the music situation, or a touch panel that allows the user to make a work, for example ,.
  • Fig. 2 is a block diagram showing the detailed structure of the synchronized playback 9 audio mixing 0.
  • the term regeneration 9 consists of a stabit 90 and three systems.
  • Starbeat 90 produces a clock equivalent to a bit. Specifically, the tempo at the time of mixing and the bit number synchronized with that tempo are output.
  • the star bit 90 generates and outputs the measure number and other usual bit numbers in accordance with the specified values (44 children, 34 children, etc.).
  • the stadium 90 is used to stabit the song nobit position based on the sync signal (clock or bit) generated by the stabit 90. Synchronous playback is performed according to the bit position.
  • Each track has a decor (r) 9 9
  • Decoder 9 9 9 C outputs the compressed voice of MP3, etc. as the code and data.
  • the timeline 9 2 9 9 2 is a section that converts the playback level while keeping the pitch constant. Match materials with different tempos to the tempo of the reference bit based on the data from 6 for metadata. Depending on the ratio with the original tempo stadium of the song, the process of changing the playback to real time is performed. This allows the original tempo of the song to match the tempo of the master beat. Of course, as I said, there is no need to change it.
  • pitch shift t h f r function may be included in these voices. Change the shift while keeping the shift and the degree of playback constant. This is used to comfortably combine materials with different degrees, but it is not always a necessary function but an additional function.
  • the mixing 0 has three systems of processing units 0, 0 0 0 0 and a volume adjusting unit corresponding to the above 3 tracks. After being mixed by the mix 0 2 of these three systems, it is amplified by the audio part 0 3 and output to the external speaker and headphone. For each issue from It has a structure that allows for both face processing and volume management.
  • Figure 3 is a block diagram of music.
  • the function of C P 2 as a door is shown in the figure as the mixing section 20.
  • the text processing section 20 is further divided into a data processing section 2 and a data pattern 2 2 2 containing patterns.
  • the query processing unit 20 processes the data stored in the metadata 6 by the data processing unit 2. As described above, data is added to the song along the time axis, and not only the tempo but also the beat information, measure information, and intro / melody information are retained.
  • the meta data processing unit 2 reads the data on the time axis corresponding to the music, reads it with the mix pattern embedding 22 and investigates the music information according to the instructions in the mix pattern report. For example, by understanding which bit is where you are, and where the beat of the song you are trying to match is, you can identify multiple songs and their effects. At what point and how to reproduce.
  • the mix processing unit 20 stores the mix pattern 7 or reads the mix pattern file 7a with the mix pattern included 22.
  • the mix pattern file 7a is a file that specifies what is to be done, whether to cut out, cut, or what SE should apply.
  • the mix pattern was created by an automatic algorithm, although it could be the data that was artificially directed by the hand of a third party, or that it could be used as a part of this song. Anything can be used, like a machine-determined cook.
  • the star bit is generated by the star bit 90, and this star bit is sent to the mixing control unit 20.
  • the mixing control unit 20 controls the mixing.
  • the player may use the media data such as the media data 6 to play multiple songs according to the instruction or the command.
  • Figure 4 shows the order of music programs that music executes by C P 2. This program is an example of how to collect things.
  • the processing unit 20 of the CP 2 reads and acquires the mix pattern file 7a from the mix pattern 7 with the mix pattern included 2 2 (step S. Next, easy, for example, synchronized playback of eyes). (Step S 2) If there is the next song, go to Step S 3 and determine the tempo of the synchronized playback 9 stat 90 0. This is 40 0. It may be fixed at or specified by the user. Next, obtain the connection pattern (also written in the pattern) (step S 5
  • step S6 the data of the song is acquired (step S6. If A, then this is the data file of song A. Next, if the feature is needed, It is judged from the mix pattern (step S 7), YES if necessary, and it is enabled to apply the appropriate FUKU to the fictional processing unit 0 0 (step S 7). 8)
  • step S9 it is judged from the check pattern function whether the volume fade process is necessary. For example, select whether you want to raise or lower the song when editing song A and song B and stacking them. . If necessary (, step S 0 for setting the hood parameter. I wrote it on the premise that it can be raised or lowered dynamically, but set the lammeter there.
  • step S the original tempo of the song is set for the star bit 90 of synchronized playback 9.
  • the original tempo of the song is attached to the data.
  • the empty voice in the synchronized playback 9 is acquired.
  • the example of 3 C is described above.
  • step S4 it is determined in step S4) whether or not the point for preparing the next song has been reached (step S5). For example, if S E is a cross, the cross will end immediately before the bar, or if it is a cut, it will start immediately, so you can make preparations from the front. Of course, it's all at the same time. If you haven't reached the point where the song is prepared, go back to Step S4 and wait until it is reached. If the point for the next song is reached (,, return to step S 2
  • Figure 5 is a diagram showing data 30 on the time axis.
  • the meta data 30 is supplementary data added to the music on the time axis, and not only the tempo but also the bit report, the bar report, and the melody report such as intro. Is described. 3 represents the eyes. Represents the eye.
  • 4 represents 4 of the knot.
  • 2 represents the second eye.
  • 2 represents the beat at the beginning of the knot Become 3 2 shows what is in that position. Indicates the position of a normal, media, tesa, etc. clause. 0 indicates that it is the head of the bar. ⁇ It has a sex of 2. If a sample, for example a song is sampled in kH, there are 4 samples in between, but the position is described in sample positions.
  • the data 30 such as shown in Fig. 5 is described by a text expression or expression.
  • Figure 6 shows an example of time axis data. The data of the axis between 40 bits 4 is displayed at the same time.
  • FIG. 6 4 of the bit numbers is the first bit of the section, and 42 is the normal bit. If it is a bit 4 of a clause and the other beats 4 2 4 children, it has 4) timings followed by 3) positions corresponding to the sample positions of the music.
  • FIG. 7 Figure is also a diagram showing an example of the time axis metadata. It is possible to attach a report to 50 indicating not only the bit 5 5 but also the song intro 5 and the melody such as A melody 5 2 5 3, B melody 5 4 and theesabi). It is possible. You can use this information to find out the position of the target song and the position of the fixed melody.
  • 8A is an example in which data 7 of music data 7 2 is logically separate and physically present in the same media like MP 3.
  • 8 B is M
  • data 7 4 coexists with music 7 4 like PEG 4.
  • 8 C is an example in which data 7 5 corresponding to music data 7 6 is retrieved via a network, for example. Logically and theoretically, the music data data is. This is applied when music is connected to a network such as the Internet with a network receiver, like Music 800, which will be described later.
  • Fig. 9 is a diagram showing an example of the body of the Xspatanfire.
  • the surface data is for the song, but for the mix pattern, it is possible for Z to make it freely and to have no dependency on the song. It is the Isle that connects them.
  • (file) 6 may be the same as ⁇ , ⁇ E. It can be a counter file isle. 6 2 Indicates where to play for each song. Rust for A, intro for B, and 8 to 20 for C.
  • Tethering pattern 4 4 is a cross for A, but when it is connected to B Show the connection and the child with a cross-face.
  • B to C are cut lines
  • C to D are crossfees
  • D and E are connected together.
  • the joint effect 6 5 specifies that the reverb, mouthpiece, and distortion are applied as engineering hooks at the time of joining.
  • Tether SE 6 6 specifies the effect 9 When the pattern shown in Fig. 9 is specified, and when the pattern is reproduced, the following occurs. Is played. Intros come to the crowd near the rust. At the same time, from the beginning of the 20th section, at which the birth of the 8th section begins, the section will start from the section of 20. It is sometimes locked. When it is released, E is also played back at the same time. It is like that.
  • both music A and music B can be played in synchronization with the reference bit, as shown in Fig. 0.
  • song B is being played back at the same tempo.
  • the wave number can be determined by the user.
  • song A and song B each consist of bars.
  • the measures are equal in size.
  • the measure fit ing.
  • the effect (SE is also easy, there is a bar. Since the tempo is correct, the bar is found. Both the wave number and the phase are present. With this kind of connection, it is possible to listen to the sound in a harmonious and musical sense.
  • the figure shows an example of playing music A, music B, and music C continuously. Simultaneously adjust the tempo of all the songs to the tempo determined by the system or system regardless of the original tempo of the song, and play back the (down) of those songs as well. It enables you to go to lessons and lessons.
  • the data on the time axis which is the music, is used.
  • the original tempo of the song at the time of birth The playback rate is changed from the ratio of the current stubby tempo, and playback is started with the section of each song aligned.
  • the tempo positions of multiple songs are handled accurately, and the playback positions are controlled by the real time for synchronous playback. It is premised that the method described in this section is used to connect the music described here to the seamless mode.
  • Fig. 1 2 shows an example in which song A and song B are overlapped with a bit and are connected by the k-n theory.
  • Current A
  • the figure shows the effect for each of song A, song B, and song C. It is an example. Of course, it is possible to synchronize with the star bito tempo of this case. By sandwiching or overlapping SEs, it is possible to connect naturally with musicians who have large and different musical tones.
  • Fig. 5 In music, you may live together. As shown in Fig. 5, not only are the songs that are connected to each other played, but a beat period is set and playback is continued at the same time. Since the tempo beats are synchronized, it may even seem as if it was a song like that from the beginning.In addition, as shown in Fig. May be applied.
  • the quality is changed by applying the engineering effect (reverberation effect) to the part A or the whole. It includes not only those that emphasize the bass and treble, but also those that change the timbre itself, such as reverb, delay, distortion, and quiz.
  • the engineering effect reverberation effect
  • the fuku is played back to song A, and song B is played back at the same time with the cut file being applied, or by applying the various connection methods described above at the same time to create a more natural and attractive connection method. It can be realized.
  • the music does not have to be a musical piece to apply the above-mentioned connection method, and may be the portion of the song as shown in Fig. 7 or the portion of the song. If you connect the parts of a song, it will be possible to make a connection that mimics.
  • the backspan pattern As mentioned above, according to the music, it is possible to describe the backspan pattern and to perform the backsock of the song based on the backspan pattern.
  • the user may decide the tempo at the tempo specified by the user, or You can put the whole together.
  • an acceleration sensor or the like may be used to measure the jog tempo of the user, and the star bito tempo may be determined to match the tempo.
  • the user can make the following new original stains in the same way as in the past.
  • These stains can never be obtained by passively listening to music as before, and they are actively involved in music and create a musical style that suits oneself. Or something that satisfies one's own. In other words, you can connect different parts of the song in a cool way and listen as a non-stop music. In addition, you can satisfy yourself by experimenting with how to connect your dreams and creating a product of your choice.
  • Figure 8 shows the composition of synchronized playback 8 that enables editing and playback of song A and song B shown in Fig. 0 so that S E is sandwiched between the tracks.
  • the 3rd generation system As shown in Fig. 2, the 3rd generation system) and the audio mixing 0 are provided as the 9th period reproduction.
  • Tracks are in charge of songs A, B, and SE, respectively.
  • the number of tracks changes depending on the song.
  • the tratter is equipped with the functions of Dekoda 99, Time Stretch 9 2 9 2 9 2 and Pitch Shift 9 4 9 9 4 respectively.
  • the decoder outputs the compressed voice of MP3, etc. as the code and data.
  • the SE is short in length and small in size, so there is no need to shrink it. Therefore, the SE track decoder is omitted and PCM ugd is used.
  • the time stretch part converts the playback level while keeping the pitch constant. This is used to match materials with different tempos to match the tempo of the reference beat.
  • the pitch shift part is changed while keeping the pitch constant. It is used to comfortably harmonize materials with different degrees, but it is not always a necessary function but an additional function.
  • Figure 9 is a diagram for explaining the function of the synchronized playback 9-ix processing section 20 that is the main part of this invention.
  • the management section 20 selects the music to be played and indicates the playback in the periodic playback 9. In this case, in some cases, the music body is instructed to be live, while in other cases only the part of the music piece is reproduced. In the example of Fig. 0, the selection of song A, song B S E, and its timing are instructed.
  • Periodic playback 9 plays the music material indicated by the disk management section 20 in synchronization with the reference beat. Periodic playback 9 plays the music number in synchronization with the task number generated by me.
  • a clock is a clock that is equivalent to a beat. The rise of this rising edge is given to the task control section 20 as an interruption. As the tree enters, it is possible to know that it is the turning point counting from the head by counting it. The lock management unit 20 interrupts this clock and interrupts it. Since it has been updated, it is possible to know the timing when it is time to input song A or song B, so an instruction is given to the synchronized playback 9 according to that timing.
  • the synchronized playback 9 is not just a voice signal, but is also generated at the same time, and that clock is a clock equivalent to a bit and the clock is a clock.
  • the feature is that it is given to 20 and interrupted.
  • the reference bit consists of the number indicating the beginning of the bar and the number indicating the beat. It depends on (4 4).
  • the bit is supplied as a signal that is included in the fax management section 20.
  • the counting section 20 counts the position of the clock by counting this clock. You can know things. It can also be used as a timing signal to input music material.
  • Figure 20 shows the set of bite regeneration. Let's look at an example of synchronizing with music, especially the bit of a bar. , This is not limited to the beginning of a bar, but of course, it is also possible to perform a synchronized playback for finer beats such as the normal 6 bits.
  • the mixing management section 20 obtains the timing of the measure bit as an interrupt signal as a reference beat.
  • the mix management section 20 selects the next material to be played next, and inserts the music material 9 in synchronization at the timing before the bit of the next bar to be played.
  • the synchronized playback 9 starts to play the material at the timing of the next bar.
  • Synchronous playback 9 takes the form of performing commands according to commands with very fine timing.
  • a clock generation unit that generates a clock in 9 minutes of synchronized playback, and that plays the music material at a timing that is accurately synchronized with that clock Mimics a system that controls the whole. It controls the rough timing. Gives instructions to synchronous playback 9 with rough timing so that playback 9 operates correctly.
  • Figure 2 shows the detailed management section 20 that shows the detailed regeneration timing chart, indicating which materials are put into 3 tra. Also, the mixing section 20 receives the reference bit as an interrupt, so it is possible to know the mining for inserting the material into each tray.
  • the input songs SC and SC 2 are held within the (a weighting (t ng) range of the synchronized playback 9. Then, for the timing of the bit of the next bar, (b Current item) (urr) is loaded and playback is started.
  • SC is the (C) () clock
  • Synchronous playback 9 is executed in synchronization with all the reference beats from these control units 20.
  • a beat mode in the above example, a beat of a bar is taken as an example, but it is also possible to synchronize with a finer beat such as a beat or a beat.
  • sync playback 9 starts playback as indicated by the mix control section 20.
  • the mixing control section 20 of these synchronous modes performs the synchronous playback control section 9.
  • FIG. 2 Figure 2 shows the tempo of a song.
  • the beat indicates the vertical BPM. Ming contains problems to be solved.
  • the tempo of music at that time varies considerably depending on the power of the performer and the performance chart.
  • the average B PM is 96, but in reality, it fluctuates in a range of 0 B P or more throughout one song.
  • the fluctuations and patterns of varieties vary depending on the song, and cannot be quantified or qualitative.
  • (2 3 A) is a spectrum (2 3 B) and a beat is taken to extract a beat (2 3 C). This corresponds to a 4th note.
  • the position of the 4th note is called a time stamp.
  • the timeline metadata (simply the data) is created by recording the position of the bit. In this case, record the raw sounds and the bits included in the data. This is also included in the data. In other words, what includes the time bit is called data.
  • Figure 24 shows the timeline data.
  • the timeline data describes the beat position that corresponds to the song's song.
  • a musical time stamp corresponding to the section bite bit position is recorded in a unit of time code, for example, a sample from the head. This size is a mere time stamp, which is thousands of minutes to tens of thousands of minutes of the original PCM data, which is very small. Physically, when there are 44 children, there is a time stamp of 3 3 2 3 8 from the eye to the 39th bit in the song. Looking at this time stamp audio signal, the synchronous playback 9 is generating this clock.
  • Figure 25 shows the synchronization signal 20 for solving the problem.
  • the period signal 20 stab 90, biorhythm 20 0, and song rhythm 20) generate the bar sync and beat sync that are the standard bits, and the sync playback is synchronized.
  • 9 Apply.
  • the music rhythm 206 generates a beat signal corresponding to the number of beats of the song in sync with the live song from the timeline data of the currently playing song. To do.
  • the reference beats are compared in the Vis- ing device and the branch circuit 20 4 generated from this timeline data, and output as a signal.
  • 26A, 26B, 26C, and 26 show actual P products in order to explain the synchronization method using timeline data.
  • the phase of 2 6 B does. (2 6 C, it is possible to obtain a positive output pulse for the delayed phase and a negative pulse train for the advanced phase.
  • This pulse train is integrated by the integrator circuit and the DC value tempo positive human power (2 6 D)
  • the tempo is input to the positive input time stretch block, and positive values are used for tempo conversion, and negative values are used for tempo conversion.
  • the bit will be controlled so as to be phased with the reference bit.
  • the original beat beats , Beats can be played real-time and dynamically so that the rhythms have a constant tempo.
  • FIG. 27 shows the composition of other sounds 80 to which the embodiment of Ming is applied.
  • Figure 2 is a professional figure of Music 80. This 80 is equipped with a network transmitter 8 and can be connected to the internet 82.
  • Having a network subscriber 8 allows you to create and / or mix your mix pattern by exchanging and sharing the mix pattern on a network such as the internet 82. You can enjoy downloading.
  • a content pattern provided by the content service side may be used.
  • the method of connecting songs is published on the Internet, etc., and new music that is shared with other people or created by multiple people to create and compose a new music
  • the communication function as the axis becomes effective.
  • Figures 29 and 30 further show the door composition and block diagram of other sounds 0.
  • This 0 is a configuration that acquires the sensor sensor value via the A / D converter, and is functionally equipped with a sensor.
  • the sensor 3 is, for example,
  • the technique of detecting the walking tempo by using the acceleration sensor and changing the tempo of the music according to the tempo is applied.
  • the audio and audio As described in (2 0 0 5 3 6 3 0 9 4), the invention of selecting music in accordance with the tempo of walking jogging may be applied.
  • a sensor is indispensable, and by applying the sensor and the algorithm of these inventions to the system, songs are selected according to the user's needs, and they are further tracked. It is possible to make a stop.
  • 3 A 3 B is music with sensor mode
  • the sensor mode changes the processing depending on the selection of the user.
  • the sensor mode the sensor detects a pattern such as walking or jogging, and the bit is changed according to the pattern.
  • step S that determines whether the sensor mode is the button mode.
  • the sensor mode is a technique in which Sakihoza selects songs by jogging or walking, and the order of the songs or the song selection itself is determined by the sensor. There is no guarantee that it will be decided. It can be said that this suggests a dynamic change.
  • the VS3 sensor tip is an image that dynamically creates a pattern based on the value from the sensor. When the pattern mode is selected instead, the process is the same as in the above-mentioned four figures.
  • step S3 and step S32 The case where the sensor mode is selected in step S3 and step S32 will be described. It is called automatically selecting songs according to the jog and automatically connecting the songs accordingly. This is the case.
  • step S33 the song and tempo are determined from the power of the sensor (step S33).
  • step S34 the stubby tempo is set in step S35.
  • the tempo is set according to the tempo of walking. Since it is not always the case that the connection of the songs has been completely sewn, an automatic determination step S 36. For example, some jogging modes are easy to connect with a cross, and since I am looking at the data on the next page and doing in, I sometimes overlap them.
  • the reason for the step S 3 7 is the same as S 6 to S 5 in Fig. 4, so we will explain it.
  • the music tempo is selected according to the tempo of the jogi, and by connecting them with a nonstop, the tempo of jogging is adjusted. You can enjoy playing comfortably without going out. In addition to jogging, depending on the sensor, other rhythm exercises (dancing, etc.) can be matched or miked.
  • the mike it is possible to set the mike only in 30 minutes when commuting, and finish the mick when reaching the destination. Also, at times near the arrival time, the tempo can be gradually increased, and certain SEs can be overlapped to create an atmosphere of being worn soon.
  • the way to connect music is disclosed on the Internet, etc., and it can be shared with other people or created by multiple people to create a mock. It is possible to have a communication centered on new music that has been played together. You can also use the sensor to listen to music that suits your situation and conditions.
  • the real time has a means to track to the beat of the rhythm of music.
  • timeline metadata By having a time stamp (), it is accurate and has a means to track to the beat of the rhythm of music in the real time.
  • it is characterized by having a means for generating a sync beat sync signal from the timeline data beat time stamp () of the reproduced music. It is also characterized by having a means to track to the beat of the rhythm of the music at the timeline metadata real time, even for music that has a tempo change or rhythm in the middle of the song. . It is also characterized by having a number of tracks for playing songs of different rhythms continuously or simultaneously.
  • each track has means for playing back beats without shifting from each other, even when playing songs of different rhythms with different tempos continuously or simultaneously. Also, even when playing a number of songs with different rhythms in succession or simultaneously, as a stage for synchronous playback for beats without shifting from each other, each track has a P path. Characterize things.

Abstract

楽曲のビートやメロディ構造を予め記述したタイムラインメタデータというもの用い、これを利用する事により、自動的かつ低負荷にて自動DJリミックスプレイを実現する音楽編集装置を提供する。マスタービートをリミックス処理部に送るとともに、リミックス処理部がリミックスパターンとメタデータに応じて指示してきたリミックス処理に応じて複数の楽曲を再生する同期再生制御部と、同期再生制御部にて再生された楽曲を混合する混合部とを備え、同期再生制御部はリミックス処理部から供給されるメタデータから生成したビートシンク信号とマスタービート信号との位相を比較する位相比較器と、位相比較器の位相比較出力を積分する積分回路と、積分回路の積分出力に基づいてテンポを補正する補正部とをさらに備える。

Description

明 細 書
音楽編集装置及び音楽編集方法
技術分野
本発明は、 例えば 、 楽曲を楽曲パー ト、 小節などに細分化する こと によ り得られる音楽コ ンテンツなどを素材と して用いて編集する こと
【こよ り 、 新たな楽曲 (音楽コ ンテンッ) を生成する in楽編集装置及び 楽編集方法に関する。
背京技術 '
メモ リ型オーディ ォの普及とともに i ザは大量の楽曲を持ち歩く とが日常的になつた。 大量の楽曲をメディ ァの交換無く連続して聴 けるメモリ 型オーデ 'ィ ォにおいては、 もともとの C Dァルパ:厶単位で 聴ぐだけではなく.、 すべての楽曲をアルバムをまたいでシャ ツ フルし て聴いたり 、 自分の気に入った曲だけをプレイ リ ス とし,て再構成し て聴く というス夕ィルが広まつている。 予めァルバムに録音されてい る順番を守らずに、 ユーザが自分で聴きたい曲を聴きたい順番で聴く 自由が広まつたとも Sえ
しカゝしながら、 1 曲 1 曲については先頭から最後まで聴く こ とか HIJ 提となっており 、 また曲と曲の間には無音部分がでさてしまう。 すな わち、 曲は 1 曲という単位が最小になっており 、 その 1 曲 完結する 聴き方しかできない 。 そのため 、 そこで集中、 あるいはいわゆる ノ り が途切れてしまう こ とがあるので、 ある一定のテンシヨ ンを保つたま ま楽曲を聴き続ける こ とが難しい。
第 3 2 図には楽曲 Aと楽曲 B を用いた従来の音楽再生を示す。 二 の楽曲はそれぞれ楽曲の持つォリ ジナルのテンポで再生される。 もち ろん、 曲間には無音部分ができてしまう。
そこで、 複数の音楽素材を組み合わせて編集する技術が考えられた 特開 2 0 .0 3 - 4 4 0 4 6 号公報には、 キーボー ドゃマウスを介し たユーザ入力に応じて、 複数の音素材を組み合わせて楽曲を対話的に 編集した り 再生して楽しむ技術が開示されている。 キーポー ドの各キ 一に.対して、 サゥン ドハ°ターンやワンショ ッ 卜.などの音片や、 これら 片に.適用するエフェク 卜などからなるチップが割り 当てられている ュ一ザがキ,一を押下する こ とによって 、 この押下キーに対応するチ ソ プが実行される。 複数のキーを同時に押下操作することによって、 . 該当するチップを合成出力する。 また、 各キーを順に押下してチップ を時系列的に組み合わせて楽曲を構成する。
しかし、 特開 2 0 0 3 — 4 4 0 4 6 号公報の技術によつても、 例え ばディ スクジョ ッキー ( D J ) が行う リ ミ ッ クスのよう に曲の一部分 を他の曲とつないで複数の曲がらあたかも一つの曲を、 ビー 卜を.揃え て繫ぐよう に再構成するといラ とは困難であつた D J は現在では 一般的な職業であ り 、. リ ミ ツクス音楽もそれ専用の レ一ベル会社があ りそれを楽しんでいるユーザ層 規模が'大きく なつてきている。
そこで、 音楽編集装置における 、 音楽のリ ズムに着目 した場合、 現 在再生している楽曲の リ ズムに ■J アルタイムに追徒しながら 、 プロフ エ ツ ショ ナルの D J が行なうよ Ό に、 各楽曲のリ ズムをう ま く揃えな がら、 順または同時に複数の楽曲を再生する ことが望まれる
現在、 D J と呼ばれる職種の人達は、 レコー ド の夕一ンテーブル を用いながら楽曲の再生開始夕ィ ミ ングゃ楽曲テンポを制御して、 あ たかもそれらが一連の曲であるかのよう に複数の楽曲を順につないで 再生する事が出来る。 一般に リ ッ クス と呼ばれる手法である。 この ようなリ ズム同期再生を行なう事によ り 、 単純な 楽の聴き方から一 歩進んだ新しい音楽の聴き方と して、 新たな感覚や感動を リ スナ一に 与えている 。 それ故、 近年、 この D J リ ミ ッ クスという手法は新たな ^表現手法と して、 一般化してきている
しかし 上記 D J による再生手法を機械によ り 自動化するのは現在 のところ極めて困難である。 なぜなら 楽のリ ズムやビー トや丁ン ポの.感覚といつたものは人間にとつては容易に知覚可能な感覚量であ るが、 機慨にとつてはその認識は極めて困難な のであるからである また'例え 、 自動認識技術があったとしてち その精度は 1 0 0 %に 滴たず、 元璧性を要求される音楽ァ レンジという ®に対しては実用性. に乏しい 機械力 日楽の構造そのものを理解する事ができないという ΐ口果、 D J プレイのような音楽構造に根.さ.'したフ レキシブルなァ レン ジ再生を白動で行なう事は出来ない
以上のような背景を鑑み、 本発明は以下の問題や課題を解決する も のである D J は現在再生中の楽曲のビー や小節に合わせて、 次の 楽曲のビ 卜や小節を揃えながら シ一ム レスに再生開始.する事か出来 る 。 しかし fe はビー トや小節をき 識する事が出来ないので、 それ が自動で出来ない。
. D J は現在再生中の楽曲のテンポに合わせて、 次の楽曲のテンポを 揃えながら シーム レスに再生開始する事が出来る。"機械はテンポを認 識する事が出来ないので、 それが自動で出来ない。
D J は現在再生中の楽曲のテンポが揺らいでいても 、 次の楽曲のテ ンポを揃.えながら シーム レスに再生開始する事が出来る。 機械はテン ポを認識する事が出来ないので、 それが自動で出来ない。
D J は現在再生中の楽曲のメ ロディ に合わせて、 次の楽曲のメ □ T ィ を揃えながら シーム レスに再生開始する事が出来る 械はメ □丁 ィ を認識する事が出来ないので、 それが自動で出来ない。
本発明は _h ec ^ ii¾に みてなされたものであ り 、 楽曲の ビー 卜や メ ロディ構造を予め記述したタイムライ ンメ タデータという もの用い 、 これを利用する事によ り 、 自動的かつ低負荷にて自動 D J リ ミ ッ ク スプレイ を実現する音楽編集装置の提供を目的とする。
発明の開示
本発明に係る音楽編集装置は、 上記課題を解決するために、 楽曲デ 一夕に対応して予め生成された、 少なく と も時 軸上のビー ト位置を 含むメ夕デ一,タ と、 リ ミ ッ クスパターンフ ァイルに基づいて リ ミ ッ ク ス処理を行う ミ ッ クス処理部と、 マスタ一ビー ト を生成し、 このマ. スタービー トを上記リ ミ ッ クス処理部に送る とともに、 上記リ ミ ッ ク ス処理部がリ ッ クスパターンフ ァイルとメタデータに応じて指示し てきたリ ミ ックス処理に応じて複数の楽曲を再生する同期再生制御部 と、 上記同期再生制御部にて再生'された楽曲を混合する混:合部とを備 え、 上記同期再生制御部は上記リ ミ ッ クス処理部から供給される上記 メタデータから生成したビー ト シンク信号とマスタービ、ー ト信^との 位相を比較する位相比較器と、 上記位相比較器の位相比較出力を積分 する積分回路と 、 上記積分回路の積分出力に基づいてテンポを補正す る補正部とをさ bに備んる。
本発明に係る音楽編集方法は、 上記課題を解決するた.めに、 楽曲デ 一夕に対応して予め生成された、 少なく と も時間軸上のピー ト位置を 含むメタデー夕と、 リ ミ'ッ クスパターンフ ァイルに基づいてリ ミ ック ス処理を行う ミ ッ クス処理工程と、 マスタービー トを生成し、 この マスタービー 卜を上記リ ミ ッ クス処理部に送る とと もに、 上記リ ミ ッ クス処理部が ミ ッ クスパターンフ ァイルとメ タデータに応じて指示 してきた リ ミ ッ クス処理に応じて複数の楽曲を再生する同期再生制御 工程と、 上記同期再生制御部にて再生された楽曲を混合する混合工程 とを備え、 上記同期再生制御工程は上記リ ミ ッ クス処理工程から供給 される上記メタデータから生成したビー ト シンク信号とマスタービー 卜信号との位相を比較する位相比較工程と、 上記位相比較工程の位相 比較出力を積分する積分ェ程と、 上記積分工程の積分出力に基づいて テンポを補正する補正工程とをさ らに備える。
本発明によれば、 異なるテンポや異なる リ ズムの楽曲同士を リ ミ ッ クス再生す'る場合、 元の音楽ビー ト に揺れがあ ても、 互いに一定の テンポゃ一定,の リ ズムとなるよ う、 リ アルタイムかつ自動的にビー 卜 同期再生する こ とができる
したがって、 本発明によれば、 リ アルタイムかつ自動的に音楽の D
J リ ミ ッ クスプレイができるため、 音楽再生装置において新たな音楽 の聴き方を提供する事が可能となる。 また発展系として、 音楽のビ一 卜 と他のメディ ァのシンク 口が容易とな り、 新たなェンタ一ティ メ ン 卜を創造できる。
図面の簡単な説明
第 1 図は 、 本発明による装置、 方法の一実施の形態が適用 される 楽 集装置 1 のブロ ッ ク 図、 第 2 図は、 同期再生制御部と音声ミ キシング部の詳細 suaな構成を示すブロ ッ ク図, 第 3 図は、 音楽編集装 置の機能ブ □ ッ ク 図、 第 4 図は.、 音楽編集装置が' C P Uによ っ て実 行する音楽 プロ グラムの処理手順を示すフ ローチ ヤ一 第 5 図は 時間軸上のメ タデータ を示す図、 第 6 図は、 時間軸メ 夕デ一 夕の 体例 ¾:示す図、 第 7 図は、 時間軸メ タデータの他の具体例を 示す図 、 第 8 図 A 、 第 8 図 B 、 及び第 8 図 C は、 メ タデー夕の格納 方法を示す図、 第 9 図は、 リ ミ ッ ク スパター ン フ ァ イ ルの具体例を 示す図 、 第 1 0 図は、 効果音を用 いたク ロス フ ェー ド によ るつなぎ を 兑明するための図、 第 1 1 図は、 本発明による音楽再生を説明す るための図 、 第 1 2 図は、 ク ロス フ ェー ド によ るつなぎを説明する ための図、 :第 1 3 図は、 カ ツ 卜 イ ンによ るつな ぎを説明するための m、: 第 1 4 図は、 効果音を用 いたつなぎを説明するための図、 第 1
5 図は , 同時同期再生を説明するための図、 第 1 6 図は、 エフ ェ ク 卜 の適用 を 3兌明するための図、 第 1 7 図は、 部分再生を説明するた めの図 、 第 1 8 図は、 第 1 0 図に示した楽曲 A と楽曲 B と をク ロ ス フ ェ― ドで S E を挟むよ う に編集 し再生する .こ と を可能 とする 同 期再生部の構成を示す図、 第 1 9 図は、 本発明の主要部となる 同期 再生制御部と リ ミ ッ ク ス処理部の機能を説明するための図、 第 2 0 図は、 ビー 卜 同期再生の仕組みを示す図、 第 2 1 図は、 詳細な ビー 卜 同期再生夕イ ミ ングチヤ一ト を示す図、 第 2 2 図は、 ある楽曲の テンポの変動例を示す図、 第 2 3 図 A、 第 2 3 図 B 、 及び第 2 3 図
C は、 テンポの変動に伴う課題を説明する.ための図、 第 · 2 4 図は、 夕ィ ム ライ ンメ タデータの記述例を示す図、 第 2 5 図は、 常に変動 す 日 楽ビー 卜 に同期 して再生する システムの構成図,、 第 2 6 図 A
'、 第 2 6 図 B 、 第 2 6 図(: 、 及び第 2 6 図 は、 タイ ム ライ ンメ タ デ一夕 を利用 した同期方法を説明するための P L L の出力波形図、 第 2 7 図は、 ネ ッ ト ワーク通信部を有する音楽編集装置の構成図、 第 2 8 図は、 ネ ッ ト ワーク通信部を有す ¾音楽編集装置の機能ブ ロ ッ ク 図、 第 2 9 図は、 セ ンサー値取得部を有する音楽編集装置の 構成図、 第 3 0 図は、 センサー値取得部を有する音楽編集装置の機 能ブロ ッ ク 図、 第 3 1 図 A及び第 3 1 図 B は、 セ ンサ一値取得部を 有する音楽編集装置の処理手順を示すフ ローチヤ 一 ト 、 第 3 2 図は 、 従来の音楽再生を説明するための図である。
発明を実施するための最良の形態
以下、 本発明を実施するための最良の形態について図面を参照しな がら説明する。 第 1 図は本発明による部、 方法の一実施の形態が適用 される音楽編集装置 1 のブロ ッ ク図である。 の音楽 集装置 1 は、 ノヽ一ドディ スク ( H D ) 、 コ ンパク 卜アイ スク ( C D ) 、 ミニディ スク ( M D ) 、 ディ ジタルバ一サタイルデ スク ( D V D ) などの種々の記録媒体ゃィ ンターネッ 卜などのネッ 卜 ヮ一クを通じて提供される楽曲の音楽コ ンテンッデ一タ (ォリ ジナル つ—タ) に'対して、 後述するメ 夕デ一夕を用いて、 例えば本来テンポ が異なる楽曲 Aと楽曲 B とをビー 卜 を揃えて再生した Ό 、 重.ねて再生 する 自動 D J 再生を.行う部である
第 1 図 示すよう に、 この音楽編集装置 1 は、 中央演算処理部 ( C
P U ) 2 に ス 3 を介して記憶部 _ 4 、 同期再生部 8 を接続している。 また 、 C P u 2 にバス 3 を介して R O M 1 3 、 R A M 1 4 、 ュ一ザ操 作 I / F部 1 5及びユーザィ ン夕 —フェース ( U / I ) 表示,部 1 6 を 接続している
C P U 2 はリ アルタイムに楽曲のつなぎ方を決定し 、、同期再生部 8 に対して必 な楽曲素材を必要なタイ ミ ングで与える また、 ュ一ザ の操作に応じて同期再生部 8 に対し、 テンポの指示やビ一ト同期/非 同期の指示を行う。
記憶部.4 は、 楽曲用記憶部 5 楽曲メタ y 夕用記憶部 6 及びり ミ ソ クスパ夕一ン用記憶部 7 からなる 曲用記憶部 5 は、 複数の楽曲 ータを保持する記憶部である 据え置さ用の 楽再生装置や、 携帯 用の音楽再生装置が持つているよ なフラ ッ シュメモ リや八一ドァィ スクなどの 己 部を外部接続してちよい なお 、 楽曲用記憶部 5 に記 僚される楽曲丁一夕は圧縮された のでも非圧縮のものでもかまわな 楽曲メタつ 夕用 己憶部 6 は 、 フラ ッ シュメモ U や八一ドディ スク などの種々の記憶部であ り 、 楽曲に付加されている 、 時間軸上のメ夕
T一夕を記憶している。 詳細は後述するが 、 メ夕テ一夕は楽曲に付加 された時間軸上の補助デ一夕であ り 、 テンポだけでなぐビ―卜の位置 情報、 小節の先頭 (単に頭と記す) 位置情報、 前奏 (イ ン 卜 口) ゃテ 一マ (サビ) などのメ □ザィ 情報が記述されている。
リ ミ ックスパ夕一ン用記憶部 7 は、 楽曲用記憶部 5 と同様に記憶部 であれば特に制限を付ける必要はない。 リ ミ ッ クスパターン指定方法 を指示した リ ミ ッ クスパ夕ーンフ ァイルを保持する記憶部である。 リ ミ ッ クスパターンフ ァィルについては、 詳細を後述するが 、 曲順が書' いてあるだけでな 曲順 + どう レ、うふう に組み合わせるか 、 あるい は楽曲 Aと楽曲 Bのど を使ってどこに組み合わせるかというような
、 こ とが書いてある フ ァィルである。
同期再生部 8 は 楽 集装置 1 が自動的に D J 再生を行うための 信号処理ブロ ッ クであ り' C P U 2 のリ ミ ッ クス制御機能によ り指示 された楽曲素材を基準ビ ―卜に同期して再生する。 同期、再 ■生制御部 9 、 音声ミキシング部 1 0 デジタル Zァナログ変換部 ( D / A ) 1 1 及び音声出力部 1 2 から
同期再生制御部 9 は 複数の音声信号生成部,を有し、 .複数の音楽信 号を、 自分の中で生成したク ロ ック信号に同期して再生する ノ 、 メ タデータ用記憶部 6 からのメタデ一夕に基づいて現在再生されてい る楽曲の位置を常に監視し、 C P U 2 の リ ミ ックス処理機能部に、 今 どこを再生しているのかという位置 (楽曲の再生を しているサンプル 数とかの位置) や、 何小節目の何拍目を再生している とかの位置を返 す。
音声ミキシング部 1 0 は 、 同期再生制御部 9 内の複数の 尸信号生 成部で再生された複数系統の音声信号を合成して出力する D / A 1 1 は音声ミキシング部 1 0 口
で再生された丁ジ夕ル信 をァナ □グ ί' に変換する 音声出力部 1 2 は、 D / A 1 1 からのァナ □グ立
尸 la を増幅し, 'ス ピーカやへッ ドホンなどに出力する
R 0 M 1 3 は、 本発明の音楽編集方法に したがつた処理手順からな る音楽編集プログラムを格納している。 また 、 ァフ オル 卜の各種デー 夕を格納している R A M 1 4 は 、 C P U 2 が上記音楽編集プログラ ムを実行す'るときのフ一クェリ アになる また 、 上記音楽編集プログ ラムを実行する とさの各種更新デ一夕を記憶する
ユーザ操作 I / F部 1 5 はユーザによる fee作を受けつける例えばキ
―ポー ドゃ、 マウス 、 夕 ッチパッ トなどである U / I 表示部 1 6 は
、 現在の操作状況 、 楽編集処理状況、 あるいはュ —ザによる操作を 可能とする夕ツチパネルを含めた表示部であ り. 、 例えば液晶表示部で ある。 もちろん、 C R Tでもよい
第 2 図は同期再生制御部 9 と音声ミキシング部 1 0 の詳細な構成を 示すブロ ッ ク図である。 同期再生制御部 9 は 、 マス夕 ―ビー ト ^成部 9 0 と 、 3 系統の音声信号生成部からなる マス夕 ―ビ一 ト生成部 9 0は 、 ビー 卜に相当するク ロ ッ クを生成する s¥細'には 、 リ ミ ッ クス 時のテンポとそのテンポに同期したビー ト信号.を出力す.る。 マス夕一 ビ一 卜生成部 9 0 は指定された拍子 ( 4 / 4拍子 3 / . 4拍子など) にあわせて、 小節の頭信号とそれ以外の通常のビ一 卜信号を生成し、 出力する。
3 系 ( 卜 ラ ック) の音声信号生成部は 、 リ アル夕ィムにステレ才 の音を複数だせるよう にするために、 典型的な例と して 、 楽曲 A、 楽 曲 B、 効果音 ( S o u n d e f f e c t : S E という こ とで 3 卜 ラ ク と して いるちのである。 もちろん、 楽曲の構成数に応じて 4 卜 ラ ッ ク 、 5 卜 ラ ッぁるいはそれ以上の 卜 ラ ッ ク数でもかまわない。 の 信号生 成部は 、 マスタービー 卜生成部 9 0 が生成した同期信 (ク □ッ ク 、 あるレ はビー ト) をも とに楽曲の小節ノビー ト位置を ス夕一ビー 卜 .の小節/ビ一卜位置に合わせて同期再生を行う。
各 ト ラ ッ ク には、 それぞれ、 デコーダ ( Decoder) 9 1 a , 9 1 及 び 9 1 c と 、 夕ィ ムス ト レッチ部 (Time Stretch) 9 2 a . 9 2 及 び 9 2 c が備え られている。 デコーダ 9 1 a、 9 1 b及び 9 1 c は、
M P 3や A T R A C等の圧縮音声をデコー ド し、 P C Mデー夕 と して 出力する。 で、 S Eは長さが短く 、 データサイ ズも小さ いため必 ずしも圧縮する必要は無い。 そのため、 この S E .卜 ラ ッ クの τ Ώ一ダ は省略し Tちよい。 タイムス ト レッチ部 9 2 a 9 2 b及び 9 2 c は 、 音程を一定に保ったまま.再生速度を変換する部で.める メタ了一夕 用記憶部 6 からのメ タデータに基づいて異なるテンポを持つ楽曲素材 を基準ビー 卜のテンポに合わせる。 楽曲のオリ ジナルテン'ポ.と ス夕 一ビー 卜 との比率に鑑みて、 再生速度を リ アルタイ ムに変化させる と. いう処理を行 Ό 。 これによつて、 楽曲のオリ ジナルテンポ,をマス夕― ビー 卜のテンポに合わせる ことができる。 もちろん 、 上述したよう に 音程を変える とはない'。
なお、 これら音声信号生成部には、 ピッチシフ ト (Pi tch S i f ter
) 機能を搭載してもよい。 ピッチシフ ト機能は、 再生速度を一定に保 つたまま音程を変更する。 これは異なるキーや音程を持つ楽 素材を 音楽的に調和させるの 利用されるが、 必ずしも必要な機能ではなく 付加的な機能で "&。
尸 キシング部 1 0 は、 上記 3 卜 ラ ッ クの 尸信号生成部に対応 して、 3 系統のエフェク ト処理部 1 0 0 a 1 0 0 b及び 1 0 0 c と 周整部 1 0 1 a 1 0 1 b及び 1 0 1 c を備 る ら 3 系 統の出力は音声ミ ッ クス部 1 0 2 によ り 5. ッ クスされてから音尸出力 部 1 0 3 によ り増幅されて外部のス ピー力、 へッ ト'ホンに出力される
。 音声信号生成部の各 卜 ラ ッ クからの出力音尸信 に対してそれぞれ エフェク 卜処理と 調 処理ができる構成となっている 第 3 図は音楽 集装置 1 の機能プロ ッ ク図である。 第 1 図に八 ド ウェア構成と して示した C P U 2 の機能が リ ミ ッ クス処理部 2 0 と して示してある 'J クス処理部 2 0 は さ らにメタデータ処理部
2 1 と リ ミ ツ クス A夕 ン 冗み込み部 2 2 に分かれている。
リ ミ ッ クス処理部 2 0 は メ タデータ用記憶部 6 に格納されたメ 夕 データをメタデ 夕処理部 2 1 によって処理する。 上述したよう に 楽曲には時間軸上のメ夕ァ ―夕が付加されてお り 、 テンポだけでな < ビー 卜の位置情報 小節の頭位置情報、 ィ シ ト ロゃサビなどの 'メ 口丁 ィ 情報を保持している。
メタデータ処理部 2 1 は 楽曲'に対応した時間軸上のメ'夕 .デ '夕を mみ.込み、 リ ミ ッ.クスパ夕 ン読み込み部 2 2.で読み込んだリ ミ ツク スパターン情報の指示に従つて当該楽曲の位置情報を調査する 例 ば、 今、 どこのビ 卜に白分がいるのかとか 、 今組み合わせよう と し ている楽曲のビ ―卜はど にあるのかという こ とを把握したうえで 複数ある楽曲とか 効果 という ものを どの時点で、 どう いうふ Ό に再生するかを決めている
また、 リ ミ ッ クス処理部 2 0 は、 リ ミ ックスパ夕一シ用記憶部 7 に 格納された リ ミ V クスパ夕 ンフ ァイル 7 a を リ ミ ッ クスパター ン e冗 み込み部 2 2 で み込む ミ ックスパ夕 ンフ ァイル 7 a は、 フェ ー ドアウ トするのか 、 力 ソ 卜イ ンするのか S Eは何をかけるのか というよ うなこ とを指定したフ ァイルである 。 リ ミ ッ クスパターンは
、 ユーザあるいは第三者の手によって人為的に指示されたデ -夕列 ( この曲の後には いふラ につなげとか ) でもよい し、 自動生成アル ゴリ ズムによつて作られたものでもよい (勝手に機械側が決める リ ッ クスのよ う なもの 同期再生制御部 9 は、 マス夕一ピ一ト生成部 9 0 によ りマスタービ 一ト を生成し、 このマス夕一ビー 卜を リ ミ ックス処理部 2 0 に送る と と もに、· リ ミ ックス処理部 2 0 が U ッ クスパ夕 —ンとメタデ一夕に 応じて指示してきたリ ミ ッ クス処理に応じ、 メタデータ用記憶部 か らの各メダデータを用いて複数の楽曲を再生す o
第 4図は音楽編集装置 1 が C P U 2 によって実行する音楽編集プロ グラムの処理手順である。 この音楽 集プログラムは本発明の音楽編 集方法の真体例でめ 。
まず、 C P U 2 の リ ミ ツクス処理部 2 0 はリ ッ クスパターン用記
■憶部 7 力、らの リ ミ ッ クスパ夕一ンファィル 7 a を リ ミ ックパターン読 み込み部 2 2 で読み込んで取得する (ステツフ S 1 ) 。 次に、 楽曲、 例えば 1 曲目を同期再生 御部 9 に取得させる (ステップ S 2 ) o さ らに、 次の曲があれば .(ステツ プ S 3 にて Y E S ) 、 同期.再生制御部
9 のマスタービー ト生成部 9 0 のテンポを決定する (ステッ プ S 4 ) o これは、 1 4 0 なら 1 4 0 で固定でちいいし 、 ュ一ザが何か指定し ているものでもよい。 次に 、 つなぎ.かたパター.ン (こ: ίαもパターンフ ァィルに書いてある) を取得する (ステツ プ S 5 ) ο .
これで、 曲とつなぎ方のパターンが決まつたので、 楽曲のメタデー 夕を取得する (スアツ フ S 6 ) 。 楽曲 Aであれば楽曲 Αのメタデータ のこ とである。 次に, エフェク 卜処理が必要かどう かをリ ミ ッ クスパ 夕ーンフ ァイルから判断する (ステッ プ S 7 ) し 、 必要であれば ( Y
E S ) 、 エフェク ト処理部 1 0 0 にて 、 しかるベきエフェク 卜をかけ るよ う に有効にする (ステッ プ S 8 ) o
次に、 音量フエー ド処理が必要かどうかを リ ッ クスパターンフ ァ ィルから判断する (ステツ プ S 9 ) 例えば楽曲 A と楽曲 B を編集し て重ねるときに上げた り下げた り の 量フエ一ドが必要かを選択する 。 も し必要があれば ( Y E S ) , フエ一ドパラメ一夕を設定する (ス テツ プ S 1 0 ) 。 白動的に上げた り、 下げたり を前提にして書いたが
、 そこにパラメ一夕を 5又 ¾■しておく。
次に、 同期再生制御部 9 のマスタービー ト生成部 9 0 に対して、 楽 曲のオリ ジナルのテン 3、 セッ 卜する (ステツ プ S 1 1 ) 。 楽曲のォ リ ジナルのテ.ンポはメ夕データに付与されている。 そして、 同期再生 制御部 9 内の空いてい o 曰 尸 生成部を取得する。 3 c h の具体例 を上述しだが、 空いている ところを取得して再生させたい楽曲をセッ 卜する (ステツ プ S 1 3 ) .
そして 、 各楽曲の現在の再生位置を取得してから (ステツプ S 1 4
) 、 次の ¾曲を用思するポイ ン トに到達したかを判断する' (ステップ
S 1 .5 ) 。 例えば、 S Eがク bスフェ一ドであれば、 ク ロスフェー ド が終わるのはその小節の何小節か前であつた り、 イ ンで れば
、 すぐに始まるので 1 小節前から準備しても間に もちろん、 同 時再生は全く 同時に再生である。 そう いう ポイ ン 達したかを見 て、 も し楽曲を用 ¾·するポイ ン ト に到達していな あれば、 ステ ップ S 1 4 にも ど Ό、 到達するまで待つている。 次の楽曲を用 思するポイ ン ドに到達したのであれば ( Y E S ) ップ S 2 に戻 る。
第 5 図.は時間軸上のメ夕デ一夕 3 0 を示す図で る。 メ夕デ一夕 3 0 は、 上述したよう に rffa
、 木 t t>—付加された時間軸 の補助データであ り、 テンポだけでなく ビー トの位置情報、 小節の 位置情報、 イ ン ト ロゃサビなどのメ 口ディ 情報が記述されている。 節/柏 3 1 は 1 小 節目の何拍目かを表している。 J は 1 小節 の 1 拍目を表す。 「 1 4」 は 1 小節目の 4拍目を表す。 同様に、 「 1 」 は 2 小節目の 1 拍目を表す。 特 厂 1 1 」 、 「 2 1 」 は各小 の先頭の拍を表す ことになる。 属性 3 2 はその位置に何があるかを示している。 小節の 頭、 普通の拍、 メ ロディ 、 テーマ (サビ) 等の位置を示す。 「 0 1 8 0 0 0 0 1 J は小節の先頭である こ とを示す。 前記 「 1 1 」 「 2 1 」 の属性 と して示している。 サンプル位置は、 例えば楽曲が 44 . 1 k H zでサンプリ ングされているのであれば; 1 秒間に 44 1 0 0サンプルであるが、 その位 置がサンプル単位で c Mlされている ことになる の第 5 図に示した ようなメタデ一夕 3 0 はテキス ト形式やバイ ナ 形式で記述されてい
第 6 図は時間軸メ 夕デ タの具体例である 曰楽信号 4 0 と ビー ト 信号 4 1 4 2 の時間蚰のメ夕デ 夕を同時に 示している。 音声信 号.4 0 は左から右に時間の経過とともに変化しているが、 それと とも
にビー 卜 も乗っている。 第 6 '図においてビー 卜信 の長い線 4 1 が小 節の先頭ビー ト、 HIい 4 2 が通常のビ 卜を示してレ)る。 小節の先 頭ビー ト 4 1 とそれ以外のビー 卜 4 2 ( 4拍子であれば小節頭のあと に 4分音符のタイ ミ ングで 3拍) 位置を楽曲のサンプル位置に对応さ せて保持しているものである。
第 7 図も時間軸メ 夕デ タの具体例を示す図で る 。 音声信号 5 0 に、 ビー ト位置 5 5 だけでなく 楽曲のィ ン 卜 □ 5 1 や Aメ ロ'ディ 5
2及び 5 3 B メ 口ディ: 5 4 、 テ ―マ (サビ ) といつたメ ロディ 構成 を示す位置情報を付ける とが可能である o の情報を利用 して対象 の楽曲の小節位置や特定のメ ロディ の開始位置がわか •0
上記第 1 図等に構成を示した音 集装置 1 では メタデータは楽 曲メ夕ァ一夕用記憶部 6 に格納されていた。 メ夕テ 夕の格納方法は
、 第 8 図 A、 第 8 図 B 及び第 8 図 Cに示すよう に してもよい。 第 8 図 Aは、 M P 3 のよ う にメ 夕デ タ 7 1 と楽曲丁 夕 7 2 が論理的に 別で物理的に同 じメディ ァに存在する である また 、 第 8 図 B は M P E G 4 のよう に楽曲データ 7 4 にメタデ—夕 7 3 が混在している例 である。 また、 第 8 図 Cは例えばネッ ト ワーク を介して楽曲データ 7
6 に対応するメ夕デ一夕 7 5 が検索される例である。 論理的にも物理 的に楽曲データとメタデ^ "夕は別々である。 これは、 後述する音楽編 置 8 0 及び 1 1 0 のよう に、 ネッ ト ワーク通信部を備え、 イ ン夕 一ネッ.卜などのネッ ト ワーク に接続する形態のときに適用される。 楽 曲 I Dに応じてネッ 卜 ワーク上のサイ 卜から'メタデータをダウン口一 ドする こどができる。
第 9 図はリ ミ ッ クスパ夕一ンフ ァィルの具体例を示す図である。 楽 曲のメ夕丁一夕は楽曲に対して 1 対 1 のものであるが、 リ ミ ックスパ タ ンのほう は、 ユーザが自由に作るこ とができ 、 楽曲と'は何の依存 関係もないよう にする.こ ともでさる。 楽曲間をどう なぐかという フ ァィルである。 リ ミ ッ クスのパ夕ーン 6 0 における 、 曲、 I D (フ アイ ル) 6 1 の I D_A~ I D— Eは、 曲 Ό A 〜 E と同じであ てもよい。 絶対的 なファィル名やフ ァイルパスで よい。 再生部分 6 2 は、 それぞれの 楽曲に対してどこを再生するかを示す。 曲 Aに対しては. 「サピ」 、 B に対しては 「イ ン 卜 口」 、 C に対しては 「 8 小節 Sから 2 0 小節目」 まで 、 Dに対しては全体、 E に対しては 「サビ J という位置を指定す る 再生時 (エフェク ト') 6 3 は 、 各曲の各部分に 、 それぞれどう い
Όふうなェフエク ト をかけるかを指定する。 つなぎ方 (パターン) 4
4 は 、 曲 Aに対してク ロスフェ一ド とぁるが、 B とゥなぐときにク ロ ス フ X ― ト'でつなぎなさいとい こ とを不す。 また 、 Bから Cはカ ツ 卜ィ ンで 、 Cから Dはク ロスフェー ドで 、 D と Eはサビの部分を同時 再生でつなぐという こ とを示す ο また、 つなぎ時 (ェフェク 卜) 6 5 はつなぎ時にエフェク 卜 と して U バ一ブ 、 ロー力 ッ 卜 イ ス トーシ ョ ンをかける こ とを指定す 。 ゥなぎ S E 6 6 は 効 を指定する 第 9 図に示したパターンを指示した場合、 実際の再生は次のよう に 行われる。 「 I D— Aのサビが再生される。 → I D_Aのサビ終わ り付近で I D
— Bィ'ン ト ロ力 ク □スフ ドで入つてぐ る I D— Bのィ ン 卜 □終わ Ό と同時に I D— Cの 8小節巨の再生が開始される— I D_C 2 0小即の数小節 から I D— Dがク.口スフェ で入つて < る 。 同時に S E— Aも V クスされ る。 → I D Dのサビがく る と I D— Eのサビち同咹に再生される という. 具合であ 。
のよ う に、 'J ミ ッ クス Λターンは概念的に従来のプレィ ス 卜に 対し曲のどこをどのよう につなぐかとい 'う指示'を追加'したものである ともいえる。
次に 、 第 1 0 図 〜第 1 7 図を参照して楽曲をつなぐ方法の実例を概 略的に説明する 従来の音楽再生では後述する第 3 2 図のよう に二ゥ の楽曲 Aと楽曲 Bはそれぞれの楽曲のもっ才リ ンナルのテンポで再生 され 曲と曲の間には無音部分がでさる こ とがほとんどであつた 。 再 生部の仕組み的に無音部分なく 繋ぐ .こ とができるあのも.あるが 楽曲 の前後には多少なり無音部分がある曲も く 、 それらの.曲は曲の前後 に曲の一部として無音部分を含んでいるためど しても曲間に 音部 分ができてしまう。
第 1 図に構成を示した 集 1 によれば、 第 1 0 図のよつ に
、 楽曲 Aと楽曲 Bが共に基準ビ ―卜に同期して再生できる。 楽曲 Aと 楽曲 B は本来異なるテンポであるにも関わらず 、 共に同一のテンポに て再生されている の 一テンポとなる 準ビー 卜のテンポ (発 周波数 ) はユーザ一からの 定等によ り 決定する とが出来る
第 1 0 図に示すよ う に 楽曲 A 、 楽曲 Bはそれぞれ小節からな 0た つている。 ΛΙ、即と小節の長さが等 しい 。 なおかつ、 小節の先頭ち つ ている。 さ .ら に効果音 ( S E ) も音楽であ り 、 小節があっている。 テ ンポが合つているので、 小節の長さがすべてあっている。 周波数と位 相が両方あ ている とい こ とになる。 このよう につなぐこ とで、 音 楽的に違和感のない調和がとれたような聞き方ができる。
さ ら.に、 第 1 0 図にあつては、 楽曲 Aから楽曲 Bへの過渡部では、 例えば、 楽曲, Aと楽曲 Bのピー トゃ小節の先頭位置が共に同期しなが らク ロス フェー ドされ、 2 つの楽曲が同時に発音される。 更 ίこは上述 したよう に S Eの音素材 付加され、 楽曲 Aから楽曲 Βへの過渡部が 更に音楽的に装飾される この S Eが持つテンポゃビー ト も当然なが ら基準ビ一 卜 に同期している。
尚、 本発明はこの楽曲 A 、 楽曲 B 、 S Eのみの構成に限定する もの では.ない。 楽曲 Cゃ更なる S Έが付加されるケースも当然有り得る。 しかしながら 、 本説明では簡単のため、 以後 、 楽曲 Α、、楽曲 Β 、 S E の構成を用いて説明する ものとする。.
第 1 1 図には、 楽曲 A 、 楽曲 B、 楽曲 . Cを連続して再生する例を示 す。 楽曲のォリ ジナルテンポによ らずユーザあるいはシステムが決定 したテンポにすべての楽曲のテンポを合わせ, 、 そじてそれら楽曲の拍 位置 (ダウンビー 卜位置 ) も合わせて再生する ことで、 曲を違和感な く シーム レスにノ ンス ドヅプに魃ぐことを可能にする。
これは音楽編集装置 1 が楽曲 Aと楽曲 B と楽曲 C を上述したよ う に ビー ト同期再生する ことによる。 異なるテンポの楽曲のビー ト (拍) を同期させて再生するためには、 それぞれの楽曲のオリ ジナルのテン ポと拍 (ビ一 ト) 位置を知らなく てはな らない。 また、 再生時にはテ ンポとビー 卜位置を揃えるために楽曲の再生速度を変化させなく ては ならない。
才リ ジナルのテンポと ピ一 ト位置を知るために、 音楽編集装置 1 で は楽曲とぺ'ァとなつた時間軸上のメ タデー夕を用いている 再生時に は楽曲の才リ ジナルテンポと現在のマス夕一ビ ―卜テンポの比から再 生速度を変化させたうえで、 おのおのの楽曲の小節の頭位置を合わせ て再生を開始する。
上記のよ う に複数の楽曲のテンポと ビー 卜位置を正確に扱つて、 リ ァルタィムに.再生 \L置を制御して同期再生を行 でロ兑明する楽 曲をシーム レスにつなぐ手法はすべてこのビ ―卜同期再生という方法' を用いる ごとが前提とな ている。
第 1 2 図には、 楽曲 Aと楽曲 B をビ ―トを揃えて重ねながら、 ク ロ スフエ — ド処理によ りつなぐという例を示す。 現在の楽曲 Aをフエ一 ドアゥ ト (音量を徐々 に小さ く する) しながら次にく る楽曲 Bをフエ 一 ドィ ン (音量を徐々 に大きぐする ) し 、 その両方を同時に再生する ことで双方の曲がシ一ム レスに入れ替わる効果が得られ、る。 ク ロスフ エー ドは、 従来から F Mラジォ放送などでよ く 利用される手法である が本発明のポイ ン 卜はしれらの楽曲 Aと'楽曲 Bのテンポと ビー ト位置 が'揃えられているため理和感なく ノ ンス 卜 ッ プ.で楽曲がつながる とこ ろにある
音楽編集装置 1 では 、 第 1 3 図に概要を示すカ ツ トイ ン処理も行え る。 楽曲 A、 楽曲 B、 楽'曲 C間の繋ぎ gが音楽的に切れがよい場合な どではク ロスフエ一 ドを行う よ り も第 1 3 図のよう にそのまま紫いで しまつた方がよい場合もあ O た、 楽曲のビー 卜の切れ目で意図的 に切つて次のビー 卜から次の曲に切換 るこ と も考えられる。
また 、 音楽編集装置 1 では、 上述したよう に効果音 ( S E ) を用い て楽曲をつないでいる ま り 、 楽曲だけでなく 、 楽曲つなぎ部分や 任意の部分に効果音 ( S E : S o u n d E f f e c t ) をはさむことができる。 第 1 4図は楽曲 Aと楽曲 B と楽曲 Cのそれぞれの楽曲間に効果音を挟 ん 例である ちちろん の場合の効果音もマスター ビ一 卜テンポに 同期させる ことが可能である 。 S Eを挟んだり重ねた りする ことで曲 調が大き く 異なる楽曲同士をつなぐ場合によ り 自然につなぐこ とが可 能と.なる。
また、 音楽 集装 1 では 、 同時再生を行つ ^:もよい 。 異なる楽曲 雛
をつなぐだけ,ではな < 、 第 1 5 図に示すよう に、 ビー 卜同期を行い同
m
時に再生を続ける テンポと ビー ト位置が同期しているため 、 あたか, も最初からそのような 1 曲であつたかのよう に錯覚する こ とすらある
また、 楽 置 1 は、 第 1 6 図に示すよフ に 、 一つの楽曲 A中 にェフエク 卜 ■a:適用 してもよい。 楽曲 Aの一部分 し ぐは全体にェフ ェク ト ( 響効果) を適用 し音質を変化させる 単に低音や高音 'を強 調するものだけでなぐ 、 リ バ一ブ 、 了ィ レイ、 丁ィ ス 卜,ーショ ン 、 マ
, キシマイザといつた 色そのも'のを変化させる ちのまでを含む。
ェフエク トは楽曲 Aにはリバ―ブ 、 楽曲 B には □一カ ツ ト フィ ル夕 をかけながら同時に再生したり 上記さまざまなつなぎ方を同時に週用 する こ とによつてよ 0 自然で魅力的な なぎ方を 現す.る こ とがでさ
また、 楽編 置 1 'は、 上記つなぎ ¾ ¾:適用するには楽曲全体に 限らず、 .第 1 7 図のよう に各楽曲のサビの部分であつたり 、 イ ン 卜 □ 部分であつたり して かまわない 楽曲の部分をつなぐこ とで例えば サビだけリ ッ クスするようなつなぎ方が可能となる
以上説明したよ う に 、 音楽編集装置 1 によれば 、 リ ミ ッ クスパ夕 ― ンを 己述した U ミ ッ クスパターンフ ァィルをも とに楽曲の リ ミ ツ クス をノ ンス 卜 ソプで行 Ό こ とができる その際ュ ―ザが指定したテンポ でマス夕一ビー トテ .ンポを決定してちよいし、 メィ ンとなる楽曲のテ ンポに全体をあわせてもよい。 または加速度セ ンサ一等を用いて、 ュ ザの歩行やジョ ギングのテンポを計測して、 そのテンポに う よ つ にマスタービ 卜テンポを決定してもよい。
したがつて 楽 集装置 1 によれば、 ユーザはこれまでの 楽の 楽しみ方に'加えて 次の新しい次元の楽しみ方ができる。 これらの楽 しみはこれま.でのよう に受動的に音楽を聴いているだけでは.決して得 られないも φであ Ό 能動的に音楽にかかわ り 、' 自分自身に合つた音 楽の聴き方を創出したり 白分自身の顕示欲を満たすものである つま り 、 楽曲の好きな部分をかつ つよ < つないでノ ンス 卜 ップの リ ミ ッ クス音楽と して聞く こ がでさる また 楽曲のつなぎ方を白 分で試行錯誤して選んだ力 ッコ ゥのよいものを作る という' '創造欲を痫 たす.こ とができる。 '
第 1 8 図には、 第 1 0 図に示した楽曲 Aと楽曲 B とを力 ロス フエ ドで S E を挟むよう に編集し再生する とを可能とする同期再生部 8 の構成を示す。 同期再生制御部 9 と しては 第 2 図に示したよう に
.3 系統 ( ト ラ ック) の音声信号生成部と 尸 キシング.部 1 0 を備 ている。 .
各 トラ ッ クばそれぞれ、 楽曲 A 楽曲 B S Eの再生を担当 してい る。 楽曲の構成数によ り'この 卜 ラ ': ク数は変化する。 各 卜 ラ ッ ク には
、 それぞれ、 デコーダ 9 1 a , 9 1 b 夕ィムス 卜 レツチ部 9 2 a
9 2 b及び 9 2 c 、 ピッチシフ ト部 9 4 a 9 4 b及び 9 4 c の機能 が搭載されている。 デコ一ダは、 M P 3 や A T R A C等の圧縮音声を デコー ド し、 P C Mデータ と して出力する で、 S Eは長さが短 く 、 データサイズも小さいため必ずしも圧縮する必要は無い。 そのた め、 この S E ト ラ ッ クのデコーダは省略し、 P C M o u t 9 1 d を用いて いる。 夕ィムス 卜 レツチ部は、 程を一定に保つたまま再生速度を変換す る これは異なるテンポを持 楽曲素材を基準ビー 卜のテンポに合わ せるのに利用する。 ピッチシフ ト部は、 再生速度を一定に保つたまま 程を変更する 。 これは異なるキーや音程を持つ楽曲素材を音楽的に 和ざせるのに利用されるが 必ずしも必要な機能ではなぐ 付加的な 機能でのる。 」
第 1 9 図は本発明の主要部となる同期再生制御部 9 と リ ッ クス処 理部 2 0 の機能を説明するための図である。 'J ミ ッ クス処理部 2 0 は 再生する楽曲を選択し、 同期再生制御部 9 に再生の指示を行なう。 こ の場合、 楽曲全体の再生を指示する 合もあれば、 楽曲の 部分のみ を再生指未する場合もある。 第 1 0 図の例で言えば、 楽曲 A , 楽曲 B S .Eの選択、 及び、 .その再生夕ィ ングを指示する。
同期再生制御部 9 はリ ミ ックス処理部 2 0 によ り指示.さ ,れた楽曲素
, 材を基準ビー トに同期して再生する 同期再生制御部 9 は 音 ¾信号 を、 自分の中で生成したクロ ッ ク 号に同期して再生する ク ロ ッ ク 信号という のは、 ビー トに相当するク ロ ッ クを自分のなかで生成して いる。 このク ロ ックの立ち上がりェ 'ソ ジの割り込みを リ ミ ッ クス処理 部 2 0 に割り込みと して与える。 卜 U ガーが入る こ とによ Ό 3貞カゝら 数えて何小節目の何拍目'という ことがこれを力ゥン トする とで分か る。 リ ミ ッ クス処理部 2 0 はこのク □ッ ク を割り込みでずつ とカ ウン トアッ プしているので、 楽曲 Aな Ό楽曲 Bな り を投入する時期だとい う タイ ミ ングを知る こ とができるので 、 そのタイ ミ ングに したがつて 同期再生制御部 9 に命令を投げる
従来の音楽編集装置 1 と違って同期再生制御部 9 は、 単なる音声信 号の再生部ではなく て、 同時にク □ V ク も生成していて、 そのク ロ ッ クはビー ト に相当するク ロ ッ クであ り 、 そのク ロ ッ ク をリ ックス処 理部 2 0 に与えて割り込みをかける というのが特徴的である このよう に、 基準ビ一 卜 は小節の先頭を示す ト リ ガ一信号と 、 拍を 示すビ , 卜信号から構成される 1 小節当たり の拍数は拍子 ( 4 / 4 拍子等 ) に依存する 。 基準ビー 卜はリ ミ ッ クス処理部 2 0 へ割 Ό込み 信号と して供給され 、 U ックス処理部 2 0 はこのク ロ ックを力ゥン 卜する事によ り 、 現在め再生位置力 可小即目か、 何拍目かという事を 知る事が出来る。 また、 楽曲素材を投入する夕ィ:ミ ング信号と しても 利用する事が出来る
第 2 0 図には、 ビ一 卜同期再生の仕組みを示す 。 本例では音楽ビー 卜の特に小節の先頭ビー 卜 に同期する例を示す。 尚 、 しれは小節の先 頭に限ったものではなく、 当然ながら通常の拍ゃ、 1 6 ビー 卜といつ た、 ■更に細かい拍に開しても同様に同期再生可能である
U ミ ッ クス処理部 2 0 は基準ビート と して小節の先頭ビー 卜の夕ィ ミ ングを割り込み信号と して得ている。 リ ミ ッ クス処理部 2 0 は次に 再生したい楽曲素材を予め選択しておき、 再生開始したい.次の小節の 先頭ビー 卜の少し前のタイ ミ ングで楽曲素材を同期再丰制御部 9 へ投 入する。
する と同期再生制御部 9 は次の小節の先頭ビー ト夕ィ ミ ングにて、 その楽曲素材の再生を開始する。 全ての楽曲素材は同様にこの基準ビ 一 卜に同期して再生開始されるため、 例えば、 楽曲 A 、 楽曲 B 、 S E は全て同期再生する事ができる。
具体的に、 第 2 0 図にあつては、 楽曲 Α、 楽曲 Β 、 S Eをク □スフ ェ― ド している。 つなぎ部分のク ロスフェー ドをしている部分の夕ィ ミ ングチャー トである。 楽曲 Αが頭から再生されてさ 、 なおか 次に ク 口ス フェー ド して再生するときは、 ち ょ う ど小節の頭なので 、 楽曲
Βの再生を揃えたい。 S Ε も同じ く 先頭で再生したいが 、 実際にはセ ソ 卜ァッ プタイ ムのような準備時間が必要になるので、 今、 必要とい つてもアクセス時間や他の要因があ り 、 今すぐは再生はできない あ る 度準備状態が必要となる。 つま り 、 空白部分が必要となる。 U ミ ッ クス処理部 2 0 力 、 1個まえの小節のタイ ミ ングで、 次の小節の頭で 再生を開始しろ という こ とで命令を投入すると、 同期再生制御部 9 が 夕ィ ングを.見計ら って小節の頭で再生を開始する。
ま り 、 リ ミ ックス処理部 2 0 はラフなタイ ミ ングで管理している. それに対して同期再生制御部 9 は非常に細かいタイ ミ ングで命令ど おり に処 Sを行う という形になっている。
のよう に、 音楽編集装置 1 にあって、 同期再生制御部 9 は自分で ク □ッ クを生成していて、 なおかつそのク ロッ クに正確に伺期した夕 ィ ングで楽曲素材を再生する。 リ ミ ッ クス処理部 2 0 は、 全体を制 御するシステム制御部のような働きをする。 ラフなタイ ミ ングを制御 している。 ラフなタイ ミ ングで同期再生制御部 9 に指示を与えて 、 同 期再生制御部 9 にて正確に動作する。
第 2 1 図には、 詳細なビー 卜同期再生タイ ミ ングチヤ ー トを示す。 リ ミ ックス処理部 2 0 は全 3 ト ラ ッ ク にどの楽曲 材を.投入するかを 予め準備している。 また、 リ ミ ッ クス処理部 2 0 は基準ビー トを割り 込みと して受けているた'め、 各楽曲素材を各 卜 ラ ッ クへ投入するタイ ミ ングを知る事が出来る。 投入された楽曲素材 S C 1 S C 2 は一旦 、 同期再生制御部 9 の ( a ) ウェイティ ング (Wai ting) 頜域内へ保持 される。 そして、 次の小節の先頭ビー トのタイ ミ ングにて、 ( b ) 力 レン トアイテム (Current I tem) 領域へロー ドされ、 再生が開始され る。 この例では、 S C 1 は ( c ) ノ 一 Ba r (小節) ク ロ ッ クの先頭ビ一 卜のタイ ミ ングにてフェー ドアウ ト を開始し、 同時に S C 2 がフエ一 ドイ ンにて再生を開始する。 ( cl ) 投入タイ ミ ングに示すよ う に、 S C 1 はフェー ドァゥ ト後に再生を停止するが、 S C 2 は更に次の小節 の先頭ビー トにてループ再生を開始する。 このフェー ドイ ン、 フエ一 ドアウ ト、 ループ再生 O N / O F F、 ループ再生め.反復数等はり ミ ツ クス.処理部 2 0 が指示し、 同期再生制御部 9 が実行する。 投入された 楽曲素材はリ ミ ッ クス処理部 2 0からの除去指 ( e ) によ り 、 次の 小節の先頭ビー トにて再生停止する事も出来る。
これらの リ ミ ックス処理部 2 0からの指示は全て基準ビー トに同期 して、 同期再生制御部 9 が実行する。 基準ピー トの同期モー ドと して 、 本例では小節の先頭ビ一 卜を例に挙げたが、 これが柏であった り 、 6 ビー ト といった、 よ り細かいビー トに同期する といつた事も可能 である。 また同期モー ドが O F Fの場合は、. リ ミ ッ クス処理部 2 0 か らの指示によ り即座に同期再生制御部 9 が再生を開始する。 これら同 期モー ト'の指示はリ ミ ックス処理部 2 0 が同期再生制御部 9 に して 行なう
第 2 2 図には 、 ある楽曲'のテンポの変'動例を示す 横軸が拍を縦軸 が瞬時 B P Mを示す。 '本発明が解決すベき課題を含んでいる 美際の 音楽の τンポという ものは演奏者の演奏能力ゃ演 意図によ り 、 かな り変動する ものである この例では平均 B P M =約 9 6 であるが 、 実 際には ―曲を通して 1 0' B P Mく らいの変動幅にて変動している の変動幅や変動パターンは各楽曲によ り 千差万別であ Ό 、 一概に定量 化、 定性化出来るものではない。
第 2 1 図の例のよ う に各楽曲素材の再生開始タイ ングを正確に制 御する事は出来ても、 実際の音楽のビ一 トは常に変動しているため、 再生が継続する と基準ビ一 卜から徐々 にずれてく る しのずれは再生 開始の数秒から数十秒後には数十 m s e c のずれに到達する事が多
< 、 その結果、 楽曲 A 楽曲 B 、 S E間の リ ズムのずれはリ スナ一で ある人間が知覚できる レべルにまで達して しまつ。 この音楽的に不自 然なリ ズムのずれを何らかの方法で補正する事が必要である
第 2 3 図 A , 第 2 3 図 B 、 及び第 2 3 図 C には、 この問題を解決す るた.めの方法の概念を示す まず実際の楽曲のテンポやビー ト間隔は 常に変動し'ているため、 それらのビ — 卜の夕ィ スタ ンプを記録した タイムライ ン.メタデータとい ちのを予め作成する。
時間波形 (第 2 3 図 A ) をスぺク 卜ル分析 (第 2 3 図 B ) して、 ピ. ークをとるこ とによってビ一卜 (第 2 3 図 C ) を抽出する これが 4 分.音符に相当する。 その 4分 符の位置を夕ィムスタンプと してとつ て、 そのビー トの位置を記録する とによつてタイム.ラィ ンメタデ一 夕 (単にメ タデータ ともいう ) を作る。 実際には生の音楽'ァ一夕に含 まれる揺れる ビー 卜 も記録してやる 。 'これ ■含めてメタ y—夕 とする
。 つま り、 時間波形にビー 卜の位 を含めたものをメタ、 Ϊ—夕といつ ている。
第 2 4図にはタイ ムライ ンメ 夕テ一夕の記述例を示す 。 夕ィムライ ンメタデータにはその楽曲の P C M波形フ ァィルに一対一に対応する
、 ビー ト位置が記されている 小節の先頭ビ一卜 各ピ一卜の位置に 相当する音楽波形上のタイムス夕 ンプが、 例えばタイムコ一ド、 例え ば先頭からの何サンプル'目 といつた単位にて記録されている 。· このデ 一夕サイズは単なるタイムス夕 ンプを記録したものなので、 元の P C
Mデータの数千分から数万分の一のサイ ズとなり 、 非常に小さいもの である。 具体的に、 4 4拍子のとき、 1 曲の中に 1 回目から 3 9 回 目のビー トの位置は 3 3 2 3 8 1 5 という タィムスタ ンプがある。 こ のタイムスタンプと音声信号を見て 、 同期再生制御部 9 はこのク ロ ッ ク を生成している。
第 2 5 図には、 本課題を解決するための、 同期信号生成部 2 1 0 に 対する解決案と して、 常に変動する音楽ビー トに同期して再生する シ ステムの構成図を示す。 同期信号生成部 2 1 0 (マスタービー 卜生成 部 9 0 、 生体リ ズム取得部 2 0 0 、 楽曲 リ ズム取得部 2 0 1 ) は基準 ビ 卜 となる小節シンク信 と ビ一 卜 シンク信 '号を生成して、 同期再 生部 8 の同期再生制御部 9へ入力する。 同期再生制御部 9 内では、 楽 曲 リ ズム取得部 2 0 6 が現在再生中の楽曲の夕ィムライ ンメ 夕データ カゝら楽曲の 生に同期して 自分の楽曲のビー 卜に相当する ビー .ト シ ンク信号を生成する。 この夕ィムライ ンメ夕デ一夕から生成されたビ
- 卜 シンク信号.は位相比較器及び積分囪路 2 0 4 にて基準ビー 卜 と位 相比較され、 位相誤差信 と して出力される。 位相誤差信号は同回路
2 0 4内の積分回路にて積分され 、 テンポ補正量として、' タイムス 卜 レッ.チ部 9 2 c に入力される しのテンポ補正量は系の位相誤差が最 小となるよう に働き、 系として負帰還を形成する。 これは一般的な P し し回路に相当する ものであ 。 この P L L.回路は ト ラ ッ ク毎に形成 され 、 各 ト ラ ッ クの再生.楽曲の音楽ビー トが基準ビ一 卜に位相ロ ッ ク するよう 、 常にフィ ー ドハ、 、ソ ク制御する。 こ うする事によ り 、 全ての 卜 ラ ックのビー ト位相が揃い 、 長時間再生してもテンポやビー ト位相 が互いにずれない。
■ いま、 楽曲 A、 楽曲 B' S E という 3種類の音楽を同時に再生する ことを考える その周波数と位相を □ クするために、 まずはマス夕 一ク □ヅ ク を用意する。 それが、 マス夕一ビー ト生成部 9 0 でめる。 マス夕一ビ一卜生成部 9 0 は、 同期信号生成部 2 1 0 内部にある。 単 なる発振回路であ り 、 そのマスターク □ッ クに同期するよ う に同期再 生部 8 の同期再生制御部 9 は自分の 楽のビー トを追従する マス夕 —ビッ 卜 は、 例えば 1 2 0 B P Mで 、 それに追従するよう に、 3種類 の再生部はク P ック に位相同期するよ う に 、 再生テンホカ 誤差の累積 がないよ う に フィ 一 ドバッ ク制御をかける。 楽曲 り ズム取得部 2 0 6 が夕ィ ムラィ ンメ夕データから ビー ト シンク信号を作る。 この生成し たビー 卜 とマス夕一ク ロ ッ クの ビー 卜の位相と周波数を位相比較器及 び積分回 0路 2 0 4で比較する。 そのずれが累積しないよう に負帰還を かけてやる' そして、 タイムス ト レッチのテン を微妙に調整する。 マ 眯
マスターク 口,ックよ り遅れてきた らテンポを早くする。 マスターク ロ ッッ クよ り早 < なつた mらテンポを遅らすという具合である。 つま り 、 マ ススターク ロ ッ ク に音楽再生を同期させる こ とになる
第 2 6 図 A 、 第 2 6 図 B、 第 2 6 図 C、 及び第 2 図 Dには 、 夕ィ ムムライ ンメ夕ァ一夕を利用 した同期方法を説明する めに、 実際の P
LL L動作め出力波形を示す。 基準ビー トのビー 卜 ン ク信号 (第 2 6 図図 A.) と夕ィムラィ ンメタデー夕から生成されたビー 卜 シンク信号 ( 第 2 6 図 B ) の位相比較を位相比較器が行なう。 位相 較器の出力 ( 第 2 6 図 C ) と して、 遅れ位相は正の出力パルス列、 進み位相は負の 出力パルス列を得る事ができる。 この出力パルス列 積分回路にて積 分され、 D C値のテンポ補正入力値 (第 2 6 図 D ) 変換される のテンポ補正入力値は夕ィムス 卜 レツチ部に入力き 、 .正の値でテン ポ U p、 負の値でテンポ D o w nするよう再生速度変換を行なう れによ り全ての楽曲のピー トが基準ビー トに位相ロ ッ クするよ Ό負帰 還制御が掛かる事になる。
さ らに説明する と、 夕ィムラィ ンメ タテー夕を使つて、 自分の 楽 のビー 卜 に相当する ビー 卜 シンク を生成し、 それと ス夕一ク □ ク を比較し 、 位相がずれないよ う に フィ ー ドバックル一プをかける れによ て、 何時間再生しても互いにずれな < なる
したが 装 s 1 によれば、 異なるテンポゃ異なる 'J ズ ムの楽曲同士を リ ミ ッ クス再生する場合、 元の音楽ビ一 卜に揺れがあ つそも、 互いに一定のテンポゃ一定の リ ズムとなるよう、 リ アルタイ ムかつ自動的にビ一 卜同期再生する事ができる。
なお、 .第 2 7 図には、 本発明の実施の形態が適用される他の音楽編 集装置 8 0 の構成を示す。 第 2 8 図は、 音楽編集装置 8 0 の機能プロ ッ ク図である。 この音楽編集装置 8 0 は、 ネッ ト ワーク通信部 8 1 を 備え、 イ ンターネッ ト 8 2 に接続できる。
ネッ 卜 ワーク通信部 8 1 を有する こ とで、 リ ミ ッ クスパターンフ ァ ィルをイ ンターネッ ト 8 2 などのネッ ト ワークで交換、 共有する こ と によってあるユーザが作成した リ ミ ッ クスを第三者がダウンロー ド し て楽しむこ とができる。' また、 個人のユーザに限らずコ ンテンッサー ビス側が提供したリ ミ ッ.クスパターンを用いてもよい。 ■
この.音楽編集装置 8 0 によれば、 楽曲のつなぎ方をイ ン夕一不ッ .ト などで公開し、 .それを他の人と共有した り複数人でリ ミ ツ クスを作り 上げ評価しあう といつた新しい音楽を軸と したコミ ニケ —シヨ ンが 可能となる。
. 第 2 9 図及び第 3 0 図にはさ らに他の音楽編集装置 1 1 0 のハ一 ド ウェア構成及び機能ブ口 ヅ ク図を示す。 この音楽編集装置 1 1 0 は、 Aノ Dコ ンバータ 1 1 1 を介してセンサー 1 1 2 からセンサ一値を取 得する構成であ り 、 機能 '的にセンサ—値取得部を備える。
センサー値取得部 1 1 3 'は 、 例えば、 「再生様態制御装置及び再生 様態制御方法 (特開 2 0 0 5 一 1 5 6 6 4 1 ) 」 の発明にあるよう に 、 加速度センサーを利用 して歩行テンポを検出 し、 その歩行テンポに 合わせて楽曲のテ ポを変化させる技術を適用 している。 この例を応 用すると、 歩行テンポに合わせてマスタービー ト生成部のテンポを変 更し、 すべての楽曲を歩行ゃジヨ ギングのテンポに合わせて リ ミ ッ ク ス再生する こ とが可能となる。 また、 「オーディ オ信号の再生機およ び苒生方法. J (特願 2 0 0 5― 3 6 3 0 9 4 ) にあるよ う に歩行ゃジ ヨ ギングのテンポに合わせて楽曲を選択する発明を iii用 してもよい。' これらを使うためには 、 センサーが不可欠で、 そのセンサ一と これ ら発明のァルゴリ ズムを本システムに適用する こ とで、 ュ一ザの状態 に合わせて楽曲が選ばれ さ ら にそれらがリ ミ ッ クスされてノ ンス 卜 ッ プ再生する こ とが可能である
第 3 1 図 A及び第 3 1 図 Bはセンサー優先モー ド'を備えた音楽編集 装置 1 1 0 の処理手順を示すフ □―チヤ一 トである の処理手順は
、 .リ クスパターン優先モ ―ドのほかに 、 セノサ一優先モ「 ドがぁ
Ό 、 例えばユーザの選択に応じて処理を異ならせる センサー優先モ 一 ドでは 、 歩行とか 、 ジョ ギングとかのパ夕一ンをセンサ一が検出し
、 そのパターンに応じてビ一 トを変化させるちのである
まず 、 センサ一優先モー ト'かパ夕 ―ン優先モ ―ドかを決定する (ス テップ S 1 1 ) の.場合 、 センサ —優先モ ―ト' とい のは、 さきほ どの 一ザがジョギングするとか、 歩ぐとかで選曲すると.いう技術で あ り 、 曲の順番とか 、 '選曲そ,のものはセンサ一によつて決定されるも 定されるとはかぎらな しれは、 動的に かわる といつのを示唆している とも言える。 あらカゝじめフィ ックスさ れているパ夕 ―ンフ ァィルを読むのではなくて 、 センサ一からの値に よつて、 パ夕一ンフ ァィルを動的に作る という ようなィ メ ―ジである
ステップ S 3 1 1 にてセンサー優先ではなぐ パターン優先モ一 ドが 選択されたとさには、 上述した第 4 図の処理手順と同様である
ステップ S 3 1 1 、 ステップ S 3 1 2 にてセンサー優先モ一 ト'が選 択されたとさについて説明する。 ジョ ギングに合わせて楽曲が白動的 、aa
に J≤ばれてそれに合わせて楽曲を自動的につなぎま しょ う とい よ う な場合である。
サブルーチンとなっているが、 センサーの入力から楽曲とテンポを 決める (ステッ プ S 3 1 3 ) 。 ステップ S 3 1 4 にて次の曲があると 判定する と、■ ステップ S 3 1 5 にてマスタービー トテンポを設定する
。 この 八 歩行のテンポから検出されて設定されたテンポとなる この場口 は, .曲のつなぎかたがあらかじめ決められたものとはかぎら ないので 、 自動的に決定する (ステツプ S 3 1 6 ) 。 例えば 、 ジョ ギ ングモ ドならば全部ク ロスフエ ドでつなぐ安易なものもある し、 次の曲のメ夕デ一夕を見て、 フェー ドイ ンしている曲なので 、 そのま ま重ねる · σ 口 もある。 ステップ S 3 1 7以降の処理については第 4 図 のステソ プ s 6 〜 S 1 5 と同一であるため、 説明を省略す-る
このよう に音楽編集装置 1 1 0 によれば、 ジョ ギングのテンポに合 わせた楽曲選択をし、 さ らにそれらをノ ンス 卜 ップでつなぐこ とによ つてジ 3 ギングのテンショ ンゃテンポを狂わせるこ となく快適にジョ ギングを楽しむこ とができる。 また、 ジョ ギングに限らず、 センサー
.によつては他の リ ズミ '力ルな運動 (ダンスなど) や心拍に合わせたリ ミ ックスなどが実現できる。
センサ からの入力を使つて、 曲を選択してさ ら にそのテンポもン ョ ギングのテンポに合わせてやつて、 リ ッ クス してやる 白分の好 きな曲を自分のテンポに合わせて 、 楽しむことができる。
また 夕ィ マー リ ミ ッ クス再生を行ラ ともできる。 例 ば気に入 つたァルバムの曲や自分で作ったプレィ ス トを通勤時間の 3 0 分の 間に聞きたいという要求がある。 従来であれば 、 ァルバムが 6 0 分で ある場 回 3 0 分再生したところで 曲を途中停止する しかなか つたが 本発明のシステムを利用する とで指定した楽曲集が 3 0分 にち よ Ό どおさ まるよ う にテンポおよび曲め使用する部分を選び U 5 V クスする こ とが可能となる
ジヨ ギングと組み合わせる こ ともでさる o 0 分だけ走り たいときに
、 3 0 分 U ミ ッ クスでジョ ギング Tンポで曲がなっているが 、 3 0分 でぴつた り 曲がおわるよう にする とができる
サビだけを通勤時の 3 0分に Ό よう に リ ミ ッ クス し、 目的地につ いたときにち.よ う ど リ ミ ッ クスが終わるよう にする ことが可能である また、 同時に到着時刻付近ではテンポをだんだん遅く したり 、 特定 の S E を重ねるなどしてそろそろ到着する という雰囲気を演出する こ ともできる
以上に説明したよう (こ 楽 集装置 8 0 及び 1 1 . 0 によれば、 楽 曲のつなぎ方をイ ンターネッ 卜などで公開し 、 それを他の-人と共有し た り.複数人でリ ミ ッ クスを作 'り上げ評価しあう といつた新しい音楽を 軸と したコ ミ ュニケーショ ンが可能となる。 また、 'センサ一を利用 し て 、 よ り 自分の状況や状態にあ た 楽を聴く こ とができる
これらの特徴は、 これまでのプ □ク リ エ一夕、 ージシャ ンが作 つた作品をそのまま楽しむこ とを当たり 前と してきた世界に一石を投 じ 、 それら作品を自分の表現のための素材と して苒利用し再構成して 楽しむという新しい世界をュ一ザに体験させる こ とができる
これによ り 、 音楽に楽しみを見出すユーザが増えれば音楽業界全体 が活性化される。 また、 音楽業界側から見てもユーザ側で新たに再構 成する こ とを前提と した楽曲作品とそれを創出する新たなク リエ一夕 が登場する可能性がある 業界とユーザによつて新しい 楽文化創造 の可能性がある
最後に、 本発明の 楽 fiの利用可能な特徵について記述する 。 まず、 リ アルタィ ムに 楽の リ ズムの ビ一卜 に ラ ヅキングする手 段を有する事を特徴とする 。 また 、 予め夕ィ ムラィ ンメ夕丁一夕 (ビ 一 ト位置等のタイムス夕 ンプ情報等の時刻情報) を持つ事で、 正確か つ精度良く 、 リ アル夕ィ ムに音楽の ズムのビー 卜に 卜 ラ ツキングす る手段を有する事を特徴とする。 また 、 夕ィムライ ンメ夕デ一夕 (ビ 一一 卜ト位 ^置B等^ののタ夕イィムムスタ ンプ情報等の時刻情 ) から再生楽曲に同期 ししたたビビーー ト卜 シシンンクク信信号を生成する手段を有する亨を特徵とする また / 、、 曲曲のの..途途中中ででテンポの変更や ズムの揺れがある音楽に対して もち、、 タタイイムムラライィ ンンメメ 夕丁一夕から ァルタイムに音楽の リ ズ厶のビー 卜卜にに ト卜ララ ッッキキンンググすする手段を有する事を特徴とする。 また、 異なるテ ンンポポゃゃ異異ななるる リ ズズムムの複数の楽曲を feeまたは同時に再生するための 複数の再生 卜 ラ ック を有する事を特徴とする。
また、 異なるテンポゃ異なる リ ズムの複数の楽曲を連続または同時 に再生するための複数の再生 ト ラ ッ クを有し、 再生楽曲の切替え過渡 時に別の楽曲をォーバーラ ッ プして同期再生する手段を有する搴を特 徵とする。 また 、 異なるテンポや異なる リ ズムの複数の楽曲を連続ま たは同時に再生するための複数の再生 ドラ ックを有し、 再生楽曲の切 替え時の過渡状態にォーバーラ ップして同期再生する楽曲を選択する 手段を有する事を特徴とする。
また、 異なるテンポや異なる リ ズムの複数の楽曲を連 feeまたは同時 に再生する でも、 お互いにずれる こ となく 基準ビ一 卜 に対して同 期再生する手段を有する *を特徴とする。 また、 異なるテンポゃ異な る リ ズムの複数の楽曲を連 fenまたは同時に再生する場 でも 、 お互い にずれる となく基準ビ一 卜に対して同期再生するための手段と して 卜 ラ ック毎に P L L回路を有する事を特徴とする
また、 異なるテンホゃ異なる リ ズムの複数の楽曲を連 iまたは同時 に再生する でも、 お互いにずれる こ となく基準ビ ―卜 に対して同 期再生するための手段と して、 各 ト ラ ッ クに基準ビ一 卜 を入力する事 を特徴とする。 また、 異なるテンポや異なる リ ズムの複数の楽曲を連 続または同時に再生する場合でも、 お互いにずれる こ となく 基準ビー 卜に対して同期再生するための手段と して、 ト ラ ッ ク毎にタイムライ ンメ,夕データから ビー ト シンク信号を生成する手段を有する事を特徴 とする.。 ,
また、 再生の同期マス夕一となる基準ビー 卜のテンポを決定する手 段を有する事を特徴とする。 また、 リ アルタイムに音楽の リ ズムのビ 一卜に ト ラ ッキングし、 璜在のビー 卜カウン ト値を生成する手段を有 する ことを特徴とする。 また、 リ アルタイムに音楽のリ ズムのビー ト に ト ラ ッキングし、 現在の小節カウン ト値を生成する.手段を有するこ とを特徴とする。

Claims

請求の範囲
1 . 楽曲データ に対応 して予め生成された、 少な く と も時間軸上の ビー 卜位置を含むメ タデータ と、 リ ミ ッ ク スパターンフ ァ イ ルに基 づいて リ ミ ッ クス処理を行う リ ミ ッ ク ス処理部と、
マス ター ビー ト を生成 し、 こ のマス ター ビー ト を上記 リ ミ ッ クス 処理部に送 ¾ と と も に.、 上記 リ ミ ッ ク ス処理部が リ ミ ッ ク スパター ン フ ァ イ ル と メ タデ一夕 に応 じて指示 してきた リ ミ ッ ク ス処理に 応 じ、 各メ ダデ一夕 を用 いて複数の楽曲を再生する同期再生制御部 と、 . ' '
上記同期再生制御部にて再生された楽曲を混合する混合部 と を 備え、
上記同期再生制御部は上記メ タ データか ら 生成 した ビー ト シ ン ク信号とマスタ一 ビー ト信号との位相を比較する位相比較器と、 上 記位相比較器の位相比較出力 を積分する積分回路と、 上記積分回路 の積分出力 に基づいてテ ンポを補正す.る補正部と.を さ ら に備える とを特徴とする音楽編集装置。
2 上記 リ ミ ッ ク ス処理部は、 .上記メ タデ一夕 を処理.する メ 夕デ一 夕処理部と、 上記 リ ミ ッ ク スパターンフ ァイ ルを読み込む リ ミ ッ ク スハ0ター ン読み込み部'を備える こ と を特徴とする 請求の範囲 1 記 載の SB i¾
3 上記同期再生制御部は、 複数の楽曲の音声信号を生成する複数 系統の音声信号生成部を備え、 複数系統の音声信号生成部 ごと に 上記メ タ データか ら 生成 した ビー 卜 シ ンク 信号 と マス タ ー ビー 卜 信 との位相を比較する位相比較器 と、 上記位相比較器の位相比較 出力 を積分する積分回路と 、 上記積分回路の積分出力に基づいてテ ンポを補正する補正部と を備え る こ と を特徴 とする請求の範囲 1 記 の音楽編集装置。
4 . 上記補正部にて用 い られるテンポ補正量は系の位相誤差が最小 となるよ う に働き、 系と して負帰還を形成するご と を特徴とする請 求の,範囲 1 記載の音楽編集装置。
5 . 上記同期再生制御部は、 複数の楽曲の全体,あ る いは一部分を使 用する こ とを特徴とする請求の範囲 1 記載の音楽編集装置。
6 . 上記同期再生制御部の複数系統の各音声信号生成部は、 デコー ダ 、 夕ィ ムス ト レ ツ チ部を備える こ と を特徴とする請求の範囲 3 記 載の音楽編集装.置。
7 . ネ ッ ト ワーク通信^をさ ら に備え、 上記メ タデータ をネ ッ' 卜 一ク 上のサーバか ら 取得する こ と を特徴 とする請求の範囲 1 記載 の音楽編集装置。 '
8 ネ ッ ト ワーク通信部をさ ら に備え、 上記 リ ミ ッ ク スパ夕一ンフ ァ ィ ルをネ ッ ト ワー ク 上で共有する こ と を特徴 とする請求の範囲
1 記載の音楽編集装置。
.9 . ユーザの歩行又はジ ョ ギングのテンポを計測 して取得するセン サ一値取得部をさ ら に備え、 上記同期再生制御部は上記計測された テ ンポ に基づいてマス ター ビ一 ト テ ンポを生成する こ と を特徴 と する請求の範囲 1 記載の音楽編集装置。
1 0 . 楽曲データ に対応 して予め生成された、 少な く と も時間軸上 の ビー ト位置を含むメ タデータ と、 リ ミ ッ ク スパターンフ ァィ ルに 基づいて リ ミ ッ ク ス処理を行う リ ミ ッ ク ス処理工程と、
マスター ビー ト を生成 し、 このマス ター ビー 卜 を上記 リ ソ ク ス 処理部に送る と と も に、 上記 リ ミ ッ ク ス処理部が リ ミ ッ ク スパ夕一 ン と メ タ データ に応 じて指示 してきた リ ミ ッ ク ス処理に応 じて複 数の楽曲を再生する 同期再生制御工程 と、 '上記同期再生制御部にて再生 さ れた楽曲 を混合する混合工程 と を備え、
上記同期再生制御工程は上記 リ ミ ッ ク ス処理工程か ら供給さ れ る 上記メ タ データ か ら 生成 し た ビー ト シ ン ク 信号 とマス ター ビ一 ト信号との位相を比較する位相比較工程と、
上記位相 t.ヒ較工程の.位相比較出力 を積分する積分工程と、 上記積分工程の積分出力 に基づいてテ ンポを補正する補正:]:程 と をさ ら に備える こ と を特徴とする音楽編集方法。
PCT/JP2006/324889 2005-12-09 2006-12-07 音楽編集装置及び音楽編集方法 WO2007066818A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US12/095,745 US7855334B2 (en) 2005-12-09 2006-12-07 Music edit device and music edit method
JP2007549214A JP5243042B2 (ja) 2005-12-09 2006-12-07 音楽編集装置及び音楽編集方法
EP06834644A EP1959428A4 (en) 2005-12-09 2006-12-07 MUSICAL EDITING DEVICE AND METHOD
KR1020087013805A KR101287984B1 (ko) 2005-12-09 2006-12-07 음악 편집 장치 및 음악 편집 방법
CN2006800461745A CN101326569B (zh) 2005-12-09 2006-12-07 音乐编辑设备和音乐编辑方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005356830 2005-12-09
JP2005-356830 2005-12-09

Publications (1)

Publication Number Publication Date
WO2007066818A1 true WO2007066818A1 (ja) 2007-06-14

Family

ID=38122952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/324889 WO2007066818A1 (ja) 2005-12-09 2006-12-07 音楽編集装置及び音楽編集方法

Country Status (6)

Country Link
US (1) US7855334B2 (ja)
EP (1) EP1959428A4 (ja)
JP (1) JP5243042B2 (ja)
KR (1) KR101287984B1 (ja)
CN (1) CN101326569B (ja)
WO (1) WO2007066818A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008750A (ja) * 2008-06-27 2010-01-14 Yamaha Corp 曲編集支援装置およびプログラム
JP2010008821A (ja) * 2008-06-27 2010-01-14 Yamaha Corp 曲編集支援装置およびプログラム
JP2011008136A (ja) * 2009-06-29 2011-01-13 Kddi Corp 同期再生装置、同期再生方法および同期再生プログラム
JP2011102818A (ja) * 2009-11-10 2011-05-26 Yamaha Corp 曲編集支援装置およびプログラム
WO2011151972A1 (ja) * 2010-06-04 2011-12-08 パナソニック株式会社 楽音再生装置及び楽音再生方法
WO2012007990A1 (ja) * 2010-07-14 2012-01-19 パイオニア株式会社 再生システム、再生方法およびそのプログラム
JP2012022322A (ja) * 2011-07-20 2012-02-02 Pioneer Electronic Corp 再生システム、操作部、再生方法およびそのプログラム
WO2012077555A1 (ja) 2010-12-07 2012-06-14 株式会社Jvcケンウッド 曲順決定装置、曲順決定方法、および曲順決定プログラム
US9245508B2 (en) 2012-05-30 2016-01-26 JVC Kenwood Corporation Music piece order determination device, music piece order determination method, and music piece order determination program
WO2020075533A1 (ja) * 2018-10-11 2020-04-16 株式会社コナミアミューズメント ゲームシステム、ゲームプログラム及びゲームシステムの制御方法
JP2020058653A (ja) * 2018-10-11 2020-04-16 株式会社コナミアミューズメント ゲームシステム及びゲームプログラム
JP2021101366A (ja) * 2017-03-30 2021-07-08 グレースノート インコーポレイテッド 音声を伴うビデオ提示の生成
WO2021179206A1 (zh) * 2020-03-11 2021-09-16 努音有限公司 自动混音装置

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10164686B4 (de) * 2001-01-13 2007-05-31 Native Instruments Software Synthesis Gmbh Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler
WO2007066818A1 (ja) * 2005-12-09 2007-06-14 Sony Corporation 音楽編集装置及び音楽編集方法
WO2008107994A1 (ja) * 2007-03-08 2008-09-12 Pioneer Corporation 情報再生装置及び方法、並びにコンピュータプログラム
JP4311466B2 (ja) * 2007-03-28 2009-08-12 ヤマハ株式会社 演奏装置およびその制御方法を実現するプログラム
US7956274B2 (en) * 2007-03-28 2011-06-07 Yamaha Corporation Performance apparatus and storage medium therefor
US8269093B2 (en) * 2007-08-21 2012-09-18 Apple Inc. Method for creating a beat-synchronized media mix
EP2293294B1 (en) * 2008-03-10 2019-07-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Device and method for manipulating an audio signal having a transient event
US9014831B2 (en) * 2008-04-15 2015-04-21 Cassanova Group, Llc Server side audio file beat mixing
US7915512B2 (en) * 2008-10-15 2011-03-29 Agere Systems, Inc. Method and apparatus for adjusting the cadence of music on a personal audio device
US9024166B2 (en) * 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US9070352B1 (en) * 2011-10-25 2015-06-30 Mixwolf LLC System and method for mixing song data using measure groupings
US9111519B1 (en) * 2011-10-26 2015-08-18 Mixwolf LLC System and method for generating cuepoints for mixing song data
KR20130115653A (ko) * 2012-04-12 2013-10-22 주식회사 제이디사운드 곡에 적합한 자동 디제잉 방법 및 장치
US9696884B2 (en) * 2012-04-25 2017-07-04 Nokia Technologies Oy Method and apparatus for generating personalized media streams
WO2014003072A1 (ja) * 2012-06-26 2014-01-03 ヤマハ株式会社 オーディオ波形データを使用する自動演奏技術
JP2014052469A (ja) * 2012-09-06 2014-03-20 Sony Corp 音声処理装置、音声処理方法、及び、プログラム
WO2014064531A1 (en) * 2012-10-22 2014-05-01 Spotify Ab Systems and methods for pre-fetching media content
CN102968995B (zh) * 2012-11-16 2018-10-02 新奥特(北京)视频技术有限公司 一种音频信号的混音方法及装置
DK2808870T3 (en) 2013-05-30 2016-04-18 Spotify Ab Crowdsourcing remix rules for streamed music
US9411882B2 (en) 2013-07-22 2016-08-09 Dolby Laboratories Licensing Corporation Interactive audio content generation, delivery, playback and sharing
US9798974B2 (en) * 2013-09-19 2017-10-24 Microsoft Technology Licensing, Llc Recommending audio sample combinations
US9372925B2 (en) 2013-09-19 2016-06-21 Microsoft Technology Licensing, Llc Combining audio samples by automatically adjusting sample characteristics
US20160071524A1 (en) * 2014-09-09 2016-03-10 Nokia Corporation Audio Modification for Multimedia Reversal
CN106104690B (zh) * 2015-01-15 2019-04-19 华为技术有限公司 一种分割音频内容的方法及装置
CN104778957B (zh) * 2015-03-20 2018-03-02 广东欧珀移动通信有限公司 一种歌曲音频处理的方法及装置
CN104778219B (zh) * 2015-03-20 2018-05-29 广东欧珀移动通信有限公司 一种预设效果歌曲拼接的方法及装置
CN104778220B (zh) * 2015-03-20 2019-04-05 Oppo广东移动通信有限公司 一种清唱歌曲拼接的方法及装置
CN104780438A (zh) * 2015-03-20 2015-07-15 广东欧珀移动通信有限公司 一种视频与歌曲音频拼接的方法及装置
CN104778221A (zh) * 2015-03-20 2015-07-15 广东欧珀移动通信有限公司 一种歌曲串烧拼接的方法及装置
CN104778216B (zh) * 2015-03-20 2017-05-17 广东欧珀移动通信有限公司 一种预设风格歌曲处理的方法及装置
CN104766601A (zh) * 2015-03-28 2015-07-08 王评 啦啦操音乐自动混合器
US9606766B2 (en) 2015-04-28 2017-03-28 International Business Machines Corporation Creating an audio file sample based upon user preferences
EP3095494A1 (en) 2015-05-19 2016-11-23 Harmonix Music Systems, Inc. Improvised guitar simulation
GB2581032B (en) 2015-06-22 2020-11-04 Time Machine Capital Ltd System and method for onset detection in a digital signal
ITUB20153140A1 (it) * 2015-08-17 2017-02-17 Marco Franciosa Metodo e dispositivo per la gestione delle transizioni tra brani musicali
US20170060520A1 (en) * 2015-09-01 2017-03-02 AudioCommon, Inc. Systems and methods for dynamically editable social media
US9799314B2 (en) 2015-09-28 2017-10-24 Harmonix Music Systems, Inc. Dynamic improvisational fill feature
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
US9502017B1 (en) * 2016-04-14 2016-11-22 Adobe Systems Incorporated Automatic audio remixing with repetition avoidance
JP6414164B2 (ja) * 2016-09-05 2018-10-31 カシオ計算機株式会社 自動演奏装置、自動演奏方法、プログラムおよび電子楽器
GB2557970B (en) 2016-12-20 2020-12-09 Mashtraxx Ltd Content tracking system and method
US9880805B1 (en) 2016-12-22 2018-01-30 Brian Howard Guralnick Workout music playback machine
CN108806655B (zh) * 2017-04-26 2022-01-07 微软技术许可有限责任公司 歌曲的自动生成
US10453434B1 (en) * 2017-05-16 2019-10-22 John William Byrd System for synthesizing sounds from prototypes
CN110867174A (zh) * 2018-08-28 2020-03-06 努音有限公司 自动混音装置
JP6683322B2 (ja) * 2018-10-11 2020-04-15 株式会社コナミアミューズメント ゲームシステム、ゲームプログラム、及び合成楽曲の作成方法
CN110517657B (zh) * 2019-08-15 2024-01-16 上海若安文化传播有限公司 音乐文件的节拍配置/播放方法、系统、介质及设备
CN115461809A (zh) * 2020-09-04 2022-12-09 罗兰株式会社 信息处理装置以及信息处理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58163998A (ja) * 1982-03-25 1983-09-28 ヤマハ株式会社 自動演奏装置
JPH06342282A (ja) * 1993-04-08 1994-12-13 Sony Corp 音楽出力装置
JPH07295589A (ja) * 1994-04-22 1995-11-10 Yamaha Corp 波形処理装置
JP2000056780A (ja) * 1998-08-05 2000-02-25 Yamaha Corp カラオケ装置
JP2001109470A (ja) * 1999-10-13 2001-04-20 Yamaha Corp 自動演奏装置及び方法
JP2003044046A (ja) 2001-07-30 2003-02-14 Sony Corp 情報処理装置及び情報処理方法、並びに記憶媒体
JP2003050588A (ja) * 2001-08-06 2003-02-21 Pioneer Electronic Corp コンテンツ提供システムの管理サーバ装置、および端末装置
JP2003108132A (ja) * 2001-09-28 2003-04-11 Pioneer Electronic Corp オーディオ情報再生装置及びオーディオ情報再生システム
JP2004198759A (ja) * 2002-12-19 2004-07-15 Sony Computer Entertainment Inc 楽音再生装置及び楽音再生プログラム
JP2005156641A (ja) 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2007164939A (ja) 2005-12-16 2007-06-28 Sony Corp オーディオ信号の再生機および再生方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4669024A (en) * 1985-10-23 1987-05-26 Westinghouse Electric Corp. Multiphase frequency selective phase locked loop with multiphase sinusoidal and digital outputs
JPS63103490A (ja) * 1986-10-20 1988-05-09 Matsushita Electric Ind Co Ltd 音楽信号再生装置
US4862485A (en) * 1987-10-14 1989-08-29 National Semiconductor Corporation Quotient phase-shift processor for digital phase-locked-loops
US5015939A (en) * 1990-08-10 1991-05-14 Synektron Corporation Control circuit for switched reluctance motor
US5148113A (en) * 1990-11-29 1992-09-15 Northern Telecom Ltd. Clock phase alignment
FR2734967B1 (fr) * 1995-05-31 1997-07-04 Cit Alcatel Procede de verrouillage de phase et boucle appliquant ce procede
JP2956569B2 (ja) * 1996-02-26 1999-10-04 ヤマハ株式会社 カラオケ装置
JP3861381B2 (ja) * 1997-06-13 2006-12-20 ヤマハ株式会社 カラオケ装置
JP4186298B2 (ja) 1999-03-17 2008-11-26 ソニー株式会社 リズムの同期方法及び音響装置
JP3066528U (ja) 1999-08-11 2000-02-25 橘医療器株式会社 口腔内視鏡
JP4293712B2 (ja) * 1999-10-18 2009-07-08 ローランド株式会社 オーディオ波形再生装置
JP3789326B2 (ja) 2000-07-31 2006-06-21 松下電器産業株式会社 テンポ抽出装置、テンポ抽出方法、テンポ抽出プログラム及び記録媒体
DE10123366C1 (de) 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen
JP3674950B2 (ja) 2002-03-07 2005-07-27 ヤマハ株式会社 音楽データのテンポ推定方法および装置
US20030205124A1 (en) * 2002-05-01 2003-11-06 Foote Jonathan T. Method and system for retrieving and sequencing music by rhythmic similarity
JP4243682B2 (ja) 2002-10-24 2009-03-25 独立行政法人産業技術総合研究所 音楽音響データ中のサビ区間を検出する方法及び装置並びに該方法を実行するためのプログラム
US7208672B2 (en) * 2003-02-19 2007-04-24 Noam Camiel System and method for structuring and mixing audio tracks
US7521623B2 (en) * 2004-11-24 2009-04-21 Apple Inc. Music synchronization arrangement
US7189913B2 (en) * 2003-04-04 2007-03-13 Apple Computer, Inc. Method and apparatus for time compression and expansion of audio data with dynamic tempo change during playback
US20040254660A1 (en) * 2003-05-28 2004-12-16 Alan Seefeldt Method and device to process digital media streams
JP3888353B2 (ja) * 2004-01-07 2007-02-28 ソニー株式会社 データ編集装置及びデータ編集方法
US7026536B2 (en) * 2004-03-25 2006-04-11 Microsoft Corporation Beat analysis of musical signals
MXPA06011684A (es) * 2004-04-09 2007-03-15 Micronas Semiconductors Inc Aparato y metodo para desarrollar valores compensados de muestras de una senal recibida de un canal.
WO2005104088A1 (ja) * 2004-04-19 2005-11-03 Sony Computer Entertainment Inc. 楽音を再生する装置、及びそれを含む複合装置
US7068110B2 (en) * 2004-06-28 2006-06-27 Silicon Laboratories Inc. Phase error cancellation
US7518053B1 (en) * 2005-09-01 2009-04-14 Texas Instruments Incorporated Beat matching for portable audio
US20070074618A1 (en) * 2005-10-04 2007-04-05 Linda Vergo System and method for selecting music to guide a user through an activity
WO2007066818A1 (ja) * 2005-12-09 2007-06-14 Sony Corporation 音楽編集装置及び音楽編集方法
US20080097633A1 (en) * 2006-09-29 2008-04-24 Texas Instruments Incorporated Beat matching systems

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58163998A (ja) * 1982-03-25 1983-09-28 ヤマハ株式会社 自動演奏装置
JPH06342282A (ja) * 1993-04-08 1994-12-13 Sony Corp 音楽出力装置
JPH07295589A (ja) * 1994-04-22 1995-11-10 Yamaha Corp 波形処理装置
JP2000056780A (ja) * 1998-08-05 2000-02-25 Yamaha Corp カラオケ装置
JP2001109470A (ja) * 1999-10-13 2001-04-20 Yamaha Corp 自動演奏装置及び方法
JP2003044046A (ja) 2001-07-30 2003-02-14 Sony Corp 情報処理装置及び情報処理方法、並びに記憶媒体
JP2003050588A (ja) * 2001-08-06 2003-02-21 Pioneer Electronic Corp コンテンツ提供システムの管理サーバ装置、および端末装置
JP2003108132A (ja) * 2001-09-28 2003-04-11 Pioneer Electronic Corp オーディオ情報再生装置及びオーディオ情報再生システム
JP2004198759A (ja) * 2002-12-19 2004-07-15 Sony Computer Entertainment Inc 楽音再生装置及び楽音再生プログラム
JP2005156641A (ja) 2003-11-20 2005-06-16 Sony Corp 再生態様制御装置及び再生態様制御方法
JP2007164939A (ja) 2005-12-16 2007-06-28 Sony Corp オーディオ信号の再生機および再生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1959428A4

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010008750A (ja) * 2008-06-27 2010-01-14 Yamaha Corp 曲編集支援装置およびプログラム
JP2010008821A (ja) * 2008-06-27 2010-01-14 Yamaha Corp 曲編集支援装置およびプログラム
JP2011008136A (ja) * 2009-06-29 2011-01-13 Kddi Corp 同期再生装置、同期再生方法および同期再生プログラム
JP2011102818A (ja) * 2009-11-10 2011-05-26 Yamaha Corp 曲編集支援装置およびプログラム
WO2011151972A1 (ja) * 2010-06-04 2011-12-08 パナソニック株式会社 楽音再生装置及び楽音再生方法
WO2012007990A1 (ja) * 2010-07-14 2012-01-19 パイオニア株式会社 再生システム、再生方法およびそのプログラム
US9640216B2 (en) 2010-07-14 2017-05-02 Pioneer Dj Corporation Reproduction system for maintaining synchronization between a first audio content and a plurality of audio contents during special reproduction of the first audio content, and method and program thereof
JP4927232B2 (ja) * 2010-07-14 2012-05-09 パイオニア株式会社 再生システム、操作部、再生方法およびそのプログラム
US8766078B2 (en) 2010-12-07 2014-07-01 JVC Kenwood Corporation Music piece order determination device, music piece order determination method, and music piece order determination program
EP2650875A1 (en) * 2010-12-07 2013-10-16 JVC Kenwood Corporation Track order determination device, track order determination method, and track order determination program
WO2012077555A1 (ja) 2010-12-07 2012-06-14 株式会社Jvcケンウッド 曲順決定装置、曲順決定方法、および曲順決定プログラム
EP2650875A4 (en) * 2010-12-07 2014-07-02 Jvc Kenwood Corp PITCH ORDER DETERMINATION DEVICE, TRACK ORDER DETERMINATION METHOD, AND TRACK ORDER DETERMINATION PROGRAM
JP2012022322A (ja) * 2011-07-20 2012-02-02 Pioneer Electronic Corp 再生システム、操作部、再生方法およびそのプログラム
US9245508B2 (en) 2012-05-30 2016-01-26 JVC Kenwood Corporation Music piece order determination device, music piece order determination method, and music piece order determination program
JP2021101366A (ja) * 2017-03-30 2021-07-08 グレースノート インコーポレイテッド 音声を伴うビデオ提示の生成
JP7271590B2 (ja) 2017-03-30 2023-05-11 グレースノート インコーポレイテッド 音声を伴うビデオ提示の生成
US11915722B2 (en) 2017-03-30 2024-02-27 Gracenote, Inc. Generating a video presentation to accompany audio
WO2020075533A1 (ja) * 2018-10-11 2020-04-16 株式会社コナミアミューズメント ゲームシステム、ゲームプログラム及びゲームシステムの制御方法
JP2020058653A (ja) * 2018-10-11 2020-04-16 株式会社コナミアミューズメント ゲームシステム及びゲームプログラム
WO2021179206A1 (zh) * 2020-03-11 2021-09-16 努音有限公司 自动混音装置

Also Published As

Publication number Publication date
JPWO2007066818A1 (ja) 2009-05-21
EP1959428A4 (en) 2011-08-31
JP5243042B2 (ja) 2013-07-24
CN101326569A (zh) 2008-12-17
US20090272253A1 (en) 2009-11-05
CN101326569B (zh) 2012-07-18
US7855334B2 (en) 2010-12-21
KR101287984B1 (ko) 2013-07-19
EP1959428A1 (en) 2008-08-20
KR20080074976A (ko) 2008-08-13

Similar Documents

Publication Publication Date Title
JP5243042B2 (ja) 音楽編集装置及び音楽編集方法
WO2007066813A1 (ja) 音楽編集装置、音楽編集情報の作成方法、並びに音楽編集情報が記録された記録媒体
US7626112B2 (en) Music editing apparatus and method and program
WO2007066819A1 (ja) 音楽編集装置及び音楽編集方法
US11178457B2 (en) Interactive music creation and playback method and system
KR101136974B1 (ko) 재생장치 및 재생방법
US20040177746A1 (en) Automatic generation of musical scratching effects
JP2004212473A (ja) カラオケ装置及びカラオケ再生方法
JP2001215979A (ja) カラオケ装置
JP4489650B2 (ja) 歌詞文字に基づいて切り貼り編集を行うカラオケ録音編集装置
Huber The Midi manual: A practical guide to Midi within Modern Music production
JP6926354B1 (ja) オーディオデータの分解、ミキシング、再生のためのaiベースのdjシステムおよび方法
KR101029483B1 (ko) 멀티채널 오디오 파일을 이용한 음악 ucc 제작방법 및 그 장치
JP2008216681A (ja) 録音した自分の歌声と模範歌唱とを厳しく比較できるカラオケ装置
JP2021157007A (ja) フォトムービー生成システム、フォトムービー生成装置、ユーザ端末、フォトムービー生成方法、及びプログラム
JP2008276101A (ja) 楽曲再生システム及び楽曲再生装置
JP2005300739A (ja) 演奏データ編集装置
Ortmann An overview of the historical, technological and stylistic aspects of electronic dance music with specific reference to the trance genre
TW200426779A (en) MIDI playing system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680046174.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007549214

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 4598/DELNP/2008

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 12095745

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006834644

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087013805

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE