JP7588467B2 - Processing system and program - Google Patents

Description

Translated fromJapanese

本発明は、処理システム及びプログラム等に関する。The present invention relates to a processing system, a program, etc.

従来より、先行楽曲の再生後、先行楽曲の途中から後続楽曲を再生するというように２つの楽曲を連続再生する手法が知られている。例えば特許文献１には、先行楽曲のコマンドコメントと後続楽曲のコマンドコメントとに応じて２つの楽曲を連続再生する再生装置が開示されている。特許文献２には、リスナーの心情や気分を感知して楽曲を自動選択することで、先行楽曲の途中から後続楽曲へと違和感なくスムーズに再生移行する再生装置が開示されている。Conventionally, there have been known techniques for playing two songs consecutively, such as playing a preceding song and then playing a subsequent song from the middle of the preceding song. For example,Patent Document 1 discloses a playback device that plays two songs consecutively in response to command comments of the preceding song and command comments of the subsequent song.Patent Document 2 discloses a playback device that senses the listener's feelings and mood and automatically selects a song, smoothly transitioning playback from the middle of the preceding song to the subsequent song without any sense of discomfort.

特開２００５－３３１９０５号公報JP 2005-331905 A特開２００６－１０６１０３号公報JP 2006-106103 A

先行楽曲から後続楽曲への再生移行の際には、先行楽曲と後続楽曲のミキシングを行うことが望ましい。例えばミキシング期間において、先行楽曲の音量を徐々に小さくしながら、後続楽曲の音量を徐々に大きくすることで、違和感のないスムーズな再生移行を実現できる。そして先行楽曲から後続楽曲へと、ミキシングしながら再生移行するためには、先行楽曲と後続楽曲を接続するための接続情報が必要になる。しかしながら、これまでは、このような接続情報を有効利用する手法や、接続情報を用いた適切でスムーズな再生移行を実現する手法については提案されていなかった。When transitioning from a preceding song to a following song, it is desirable to mix the preceding song and the following song. For example, during the mixing period, a smooth playback transition without any sense of discomfort can be achieved by gradually decreasing the volume of the preceding song while gradually increasing the volume of the following song. And to transition from a preceding song to a following song while mixing, connection information for connecting the preceding song and the following song is required. However, until now, no method has been proposed for effectively utilizing such connection information, or for achieving an appropriate and smooth playback transition using connection information.

本開示によれば、先行楽曲と後続楽曲の接続情報の有効利用や、或いは接続情報を利用した適切でスムーズな楽音の再生移行を実現できる処理システム及びプログラム等を提供できる。The present disclosure provides a processing system and program that can effectively utilize the connection information between the preceding and succeeding songs, or that can realize an appropriate and smooth transition in the playback of musical sounds by utilizing the connection information.

本開示の一態様は、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、キャラクタの動作制御を行うキャラクタ処理部と、前記キャラクタの画像の表示処理を行う表示処理部と、を含み、前記音処理部は、先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、前記キャラクタ処理部は、前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御する処理システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。One aspect of the present disclosure relates to a processing system that includes a music information storage unit that stores music information for multiple songs, a marker information storage unit that stores marker information, a sound processing unit that performs playback processing of songs based on the music information, a character processing unit that controls the movement of a character, and a display processing unit that performs display processing of an image of the character, where the sound processing unit performs mixing processing of the preceding music and the following music in response to the marker information when switching from the preceding music to the following music, and the character processing unit controls the movement of the character during the mixing period of the preceding music and the following music in response to the marker information when switching from the preceding music to the following music. Another aspect of the present disclosure relates to a program that causes a computer to function as each of the above units, or a computer-readable information storage medium that stores the program.

本開示の一態様によれば、楽曲情報記憶部に記憶される楽曲情報に基づいて楽曲の再生処理が行われると共に、キャラクタの動作制御が行われて、当該キャラクタの画像の表示処理が行われる。そして先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じた先行楽曲と後続楽曲のミキシング処理が行われると共に、マーカー情報に応じたミキシング期間でのキャラクタの動作制御が行われる。このようにすれば、先行楽曲と後続楽曲の接続情報となるマーカー情報の有効利用を図ったり、或いは先行楽曲と後続楽曲の接続情報となるマーカー情報を利用した適切でスムーズな楽音の再生移行を実現できるようになる。According to one aspect of the present disclosure, a song is played back based on the song information stored in the song information storage unit, and character movement control is performed to display an image of the character. When switching from the preceding song to the following song, a mixing process is performed between the preceding song and the following song according to the marker information, and character movement control is performed during the mixing period according to the marker information. In this way, it is possible to effectively use the marker information that serves as connection information between the preceding song and the following song, or to realize an appropriate and smooth transition in the playback of musical sounds by using the marker information that serves as connection information between the preceding song and the following song.

また本開示の一態様では、前記キャラクタ処理部は、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、前記キャラクタの動作を変化させてもよい。In one aspect of the present disclosure, the character processing unit may change the behavior of the character in response to at least one of the mixing pattern of the preceding song and the subsequent song, the mix mode for playing multiple songs, the analysis results of external information, and the song structure of the song.

このようにすれば、ミキシングパターン、ミックスモード、外部情報の分析結果、又は楽曲の曲構成に応じてキャラクタの動作が様々に変化するようになり、ミキシングパターン、ミックスモード、外部情報の分析結果、又は曲構成を反映させたキャラクタの動作制御を実現できるようになる。In this way, the character's movements will vary depending on the mixing pattern, mix mode, the results of analysis of external information, or the composition of the song, making it possible to control the character's movements in a way that reflects the mixing pattern, mix mode, the results of analysis of external information, or the composition of the song.

また本開示の一態様では、前記音処理部は、前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させてもよい。In one aspect of the present disclosure, the sound processing unit may change at least one of the mixing pattern of the preceding song and the subsequent song, the mix mode for playing multiple songs, and the marker information used for mixing, based on the character information.

このようにすればキャラクタの情報に応じたミキシングパターン、ミックスモード又はマーカー情報により、先行楽曲と後続楽曲のミキシング処理などを行えるようになり、様々な態様の楽曲ミキシングを実現できるようになる。In this way, mixing processes such as mixing previous and subsequent songs can be performed using mixing patterns, mix modes, or marker information according to character information, making it possible to realize a variety of types of song mixing.

また本開示の一態様では、前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、前記ミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードであってもよい。In one aspect of the present disclosure, the mixing pattern may be at least one of a volume adjustment pattern and an equalizer adjustment pattern in mixing the preceding song and the subsequent song, and the mix mode may be a basic mix mode, a short mix mode, or a long mix mode.

このようにすれば、ミキシングの音量調整パターン又はイコライザー調整パターン、ベーシックミックスモード、ショートミックスモード又はロングミックスモードを反映させたキャラクタの動作制御を実現したり、或いは、音量調整パターン又はイコライザー調整パターン、或いはこれらのミックスモードを、キャラクタの情報に応じて変化させることが可能になる。In this way, it is possible to realize character movement control that reflects the mixing volume adjustment pattern or equalizer adjustment pattern, basic mix mode, short mix mode, or long mix mode, or to change the volume adjustment pattern, equalizer adjustment pattern, or these mix modes according to character information.

また本開示の一態様では、前記マーカー情報記憶部は、前記ミキシング期間の開始タイミングに対応するマーカーの情報と、前記ミキシング期間の終了タイミングに対応するマーカーの情報を記憶してもよい。In one aspect of the present disclosure, the marker information storage unit may store marker information corresponding to the start timing of the mixing period and marker information corresponding to the end timing of the mixing period.

このようにすれば、マーカー情報によりミキシング期間の開始タイミングや終了タイミングを設定して、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作を制御できるようになる。In this way, the marker information can be used to set the start and end timing of the mixing period, allowing mixing of the preceding and succeeding songs and control of the character's movements during the mixing period.

また本開示の一態様では、前記マーカー情報のマーカーは、楽曲の曲構成に対応づけられており、前記音処理部は、前記先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、前記後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、前記マーカー情報に基づき特定し、当該期間を前記ミキシング期間として前記ミキシング処理を行ってもよい。In one aspect of the present disclosure, the markers in the marker information may correspond to the song structure of the song, and the sound processing unit may identify a period during which the preceding song is the jth song structure (j is an integer equal to or greater than 1) and the succeeding song is the kth song structure (k is an integer equal to or greater than 1) based on the marker information, and perform the mixing process with that period as the mixing period.

このようにすれば、先行楽曲が第ｊ曲構成であり、後続楽曲が第ｋ曲構成であるときに、第ｊ曲構成と第ｋ曲構成のミキシング処理を行って、再生楽曲を先行楽曲から後続楽曲に切り替えることが可能になる。In this way, when the preceding song has a jth song structure and the succeeding song has a kth song structure, it is possible to perform a mixing process of the jth song structure and the kth song structure, and switch the song being played from the preceding song to the succeeding song.

また本開示の一態様では、前記マーカー情報記憶部は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶してもよい。In one aspect of the present disclosure, the marker information storage unit may store the marker information in which, if the song is in a first genre, markers are set for the song structure in a first setting pattern, and, if the song is in a second genre, markers are set for the song structure in a second setting pattern different from the first setting pattern.

このようにすれば、楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報に応じて、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作制御を行うことが可能になる。In this way, it becomes possible to mix the previous and subsequent songs and control the character's movements during the mixing period according to the marker information that is set in the song's composition in different setting patterns depending on the genre of the song.

また本開示の一態様は、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、を含み、前記マーカー情報記憶部は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶し、前記音処理部は、先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて設定されるミキシング期間において、前記先行楽曲と前記後続楽曲のミキシング処理を行う処理システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。An aspect of the present disclosure relates to a processing system that includes a music information storage unit that stores music information for multiple music pieces, a marker information storage unit that stores marker information, and a sound processing unit that performs playback processing of music based on the music information, and the marker information storage unit stores the marker information in which markers are set for the music structure of a music piece in a first setting pattern when the music piece is in a first genre, and in which markers are set for the music structure of a music piece in a second setting pattern different from the first setting pattern when the music piece is in a second genre, and the sound processing unit performs mixing processing of the preceding music piece and the following music piece during a mixing period that is set according to the marker information when switching from the preceding music piece to the following music piece. Another aspect of the present disclosure relates to a program that causes a computer to function as each of the above-mentioned units, or a computer-readable information storage medium that stores the program.

本開示の一態様によれば、楽曲情報記憶部に記憶される楽曲情報に基づいて楽曲の再生処理が行われる。そして楽曲のジャンルに応じて異なった設定パターンでマーカー情報が設定されており、当該マーカーの情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理が行われる。従って、先行楽曲と後続楽曲の接続情報であるマーカー情報を利用して適切でスムーズな楽音の再生移行を実現できるようになる。According to one aspect of the present disclosure, music playback processing is performed based on music information stored in a music information storage unit. Marker information is set in different setting patterns depending on the genre of the music, and mixing processing of the preceding music and the following music is performed during a mixing period set according to the marker information. Therefore, it is possible to realize an appropriate and smooth transition of musical sound playback by utilizing the marker information, which is connection information between the preceding music and the following music.

また本開示の一態様では、前記先行楽曲の音波形と、前記後続楽曲の音波形と、前記マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う表示処理部を含んでもよい。In one aspect of the present disclosure, the device may also include a display processing unit that performs display processing to allow a user to visually recognize the sound waveform of the preceding song, the sound waveform of the subsequent song, and the timing of the markers in the marker information.

このような表示処理を行えば、ユーザは、先行楽曲、後続楽曲の音波形や、マーカーの画像を見ることで、先行楽曲から後続楽曲への切り替え操作や、或いは先行楽曲と後続楽曲のミキシングの操作を容易に行えるようになる。By performing this type of display processing, the user can easily switch from the preceding song to the following song, or mix the preceding song and the following song, by looking at the sound waveforms of the preceding and following songs and the marker images.

また本開示の一態様では、前記音処理部は、ユーザのミキシング操作のタイミングと前記マーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、前記マーカーのタイミングに合うように前記ミキシング操作のタイミングを補正する処理を行ってもよい。In one aspect of the present disclosure, when the amount of deviation between the timing of the user's mixing operation and the timing of the marker in the marker information is within a predetermined range, the sound processing unit may perform a process of correcting the timing of the mixing operation to match the timing of the marker.

このようにすれば、ユーザの技量が足りなくて、ユーザの操作が適切なタイミングで行われなかった場合にも、マーカーにより設定されるタイミングで楽曲のミキシングや切り替えを行うことが可能になる。In this way, even if a user lacks the skill to perform operations at the appropriate time, it is possible to mix or switch songs at the timing set by the markers.

また本開示の一態様では、前記音処理部は、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行ってもよい。In one aspect of the present disclosure, the sound processing unit may perform an evaluation process of the user's mixing operation based on the amount of deviation between the timing of the user's mixing operation and the timing of the marker.

このようにすれば、マーカーを見ながらユーザがミキシング操作を行った場合に、そのミキシング操作のタイミングが適切なタイミングであったか否かを評価できるようになり、ミキシング操作を行うことの面白味をユーザに与えることが可能になる。In this way, when a user performs a mixing operation while looking at the markers, it becomes possible to evaluate whether the timing of the mixing operation was appropriate or not, making it possible to provide the user with the fun of performing a mixing operation.

また本開示の一態様では、前記マーカー情報記憶部は、楽曲が前記先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が前記先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶してもよい。In one aspect of the present disclosure, the marker information storage unit may store information on a first marker that sets the timing at which mixing is permitted to start when the song is the preceding song, information on a second marker that sets the timing at which mixing is permitted to end when the song is the preceding song, information on a third marker that sets the timing at which mixing is permitted to start when the song is the following song, and information on a fourth marker that sets the timing at which mixing is permitted to end when the song is the following song.

このような第１マーカー、第２マーカー、第３マーカー、第４マーカーの情報を用いることで、先行楽曲と後続楽曲のミキシング期間を適切に設定して、先行楽曲と後続楽曲をミキシングしながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。By using the information of the first, second, third, and fourth markers, it is possible to appropriately set the mixing period of the preceding song and the following song, and realize a playback transition from the preceding song to the following song while mixing the preceding song and the following song.

また本開示の一態様では、前記音処理部は、前記先行楽曲の前記第２マーカーと前記後続楽曲の前記第４マーカーとに基づいて、前記後続楽曲の再生開始タイミングを決定し、前記先行楽曲の前記第１マーカーと前記後続楽曲の前記第３マーカーに基づいて、前記ミキシング処理の開始タイミングを決定してもよい。In one aspect of the present disclosure, the sound processing unit may determine a timing for starting playback of the subsequent song based on the second marker of the preceding song and the fourth marker of the subsequent song, and may determine a timing for starting the mixing process based on the first marker of the preceding song and the third marker of the subsequent song.

このようにすれば、第１マーカー～第４マーカーの情報を用いて、ミキシング期間の開始タイミングや終了タイミングを決定して、当該ミキシング期間において先行楽曲と後続楽曲のミキシング処理を行いながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。In this way, the start and end timings of the mixing period can be determined using the information from the first to fourth markers, and a playback transition can be realized in which the preceding song is switched to the following song while mixing the preceding song and the following song during the mixing period.

また本開示の一態様では、前記マーカー情報記憶部は、第１ミックスモードで使用される前記第１～第４マーカーの第１マーカーセットの情報と、第２ミックスモードで使用される前記第１～第４マーカーの第２マーカーセットの情報を記憶し、前記音処理部は、前記第１ミックスモードでは、前記第１マーカーセットの情報に応じて設定される前記ミキシング期間において前記ミキシング処理を行い、前記第２ミックスモードでは、前記第２マーカーセットの情報に応じて設定される前記ミキシング期間において前記ミキシング処理を行ってもよい。In one aspect of the present disclosure, the marker information storage unit stores information on a first marker set of the first to fourth markers used in a first mix mode and information on a second marker set of the first to fourth markers used in a second mix mode, and the sound processing unit performs the mixing process in the first mix mode during the mixing period set according to the information on the first marker set, and performs the mixing process in the second mix mode during the mixing period set according to the information on the second marker set.

このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードなどのミックスモードが設定された場合に、楽曲に設定される複数のマーカーセットの中から、設定されたミックスモードに対応するマーカーセットを用いることで、当該ミックスモードに適切なマーカーを用いてミキシング処理を行えるようになる。In this way, when a mix mode such as basic mix mode, short mix mode, or long mix mode is set, the marker set corresponding to the set mix mode from among multiple marker sets set for the song is used, and mixing processing can be performed using markers appropriate for that mix mode.

本実施形態の処理システムの構成例を示すブロック図。FIG. 1 is a block diagram showing an example of the configuration of a processing system according to an embodiment of the present invention.仮想的なＤＪのキャラクタについての説明図。FIG. 13 is an explanatory diagram of a virtual DJ character.キャラクタが操作するＤＪ機器の一例を示す図。FIG. 4 shows an example of a DJ device operated by a character.本実施形態の処理例を説明するフローチャート。4 is a flowchart illustrating a processing example of the present embodiment.ミキシングパターンに応じたキャラクタの動作制御についての説明図。11A to 11C are diagrams illustrating character movement control according to a mixing pattern.ミックスモードに応じた楽曲再生及びキャラクタの動作制御の処理を説明するフローチャート。11 is a flowchart for explaining processing for controlling music playback and character movements according to a mix mode.外部入力情報を利用する手法の説明図。FIG. 13 is an explanatory diagram of a method for utilizing external input information.楽曲の曲構成に応じたキャラクタの動作制御の説明図。11A to 11C are explanatory diagrams illustrating control of character movements in accordance with the musical composition of a piece of music.楽曲の曲構成に応じたキャラクタの動作制御の説明図。11A to 11C are explanatory diagrams illustrating control of character movements in accordance with the musical composition of a piece of music.キャラクタの情報に基づいてミキシングパターン、ミックスモード、使用するマーカー情報を変化させる処理を説明するフローチャート。11 is a flowchart for explaining a process for changing a mixing pattern, a mix mode, and marker information to be used based on character information.ミキシング期間の開始タイミング、終了タイミングに対応するマーカーを用いたミキシング処理の説明図。FIG. 11 is an explanatory diagram of a mixing process using markers corresponding to the start and end timings of a mixing period.本実施形態の処理例を説明するフローチャート。4 is a flowchart illustrating a processing example of the present embodiment.ＤＪ画面の一例を示す図。FIG. 4 is a diagram showing an example of a DJ screen.本実施形態で用いられるマーカーの具体例の説明図。FIG. 4 is an explanatory diagram of a specific example of a marker used in the present embodiment.マーカーを用いたミキシング処理を説明するフローチャート。11 is a flowchart illustrating a mixing process using a marker.図１６（Ａ）、図１６（Ｂ）、図１６（Ｃ）は、ハウスミュージック、ＥＤＭ、アニメソングのジャンルにおける曲構成についての説明図。16(A), 16(B), and 16(C) are explanatory diagrams of song structures in the genres of house music, EDM, and anime song.ハウスミュージックでのマーカーの設定パターンとミキシング処理の説明図。An illustration of the marker setting patterns and mixing process for house music.ＥＤＭでのマーカーの設定パターンとミキシング処理の説明図。FIG. 1 is an explanatory diagram of marker setting patterns and mixing processing in EDM.アニメソングでのマーカーの設定パターンとミキシング処理の説明図。An explanatory diagram of the marker setting patterns and mixing process for anime songs.ミキシング開始の許可マーカーを用いる手法の説明図。FIG. 13 is an explanatory diagram of a technique using a permission marker to start mixing.各ミックスモードのマーカーセットの説明図。An explanatory diagram of the marker sets for each mix mode.ミキシング操作とマーカーのタイミングのズレ量に基づく処理のフローチャート。11 is a flowchart of a process based on the amount of deviation between a mixing operation and a marker timing.

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。The present embodiment will be described below. Note that the present embodiment described below does not unduly limit the contents of the claims. Furthermore, not all of the configurations described in the present embodiment are necessarily essential components.

１．処理システム
図１は、本実施形態の処理システム（情報処理装置、アトラクション用装置、ゲーム装置）の構成例を示すブロック図である。なお、本実施形態の処理システムは図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。 1. Processing System Fig. 1 is a block diagram showing an example of the configuration of a processing system (information processing device, attraction device, game device) according to this embodiment. Note that the processing system according to this embodiment is not limited to the configuration shown in Fig. 1, and various modifications are possible, such as omitting some of the components or adding other components.

操作部１６０は、ユーザ（オペレータ、プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えばキーボード、操作ボタン、方向指示キー、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。Theoperation unit 160 allows the user (operator, player) to input various operation information (input information). Theoperation unit 160 can be realized, for example, by a keyboard, operation buttons, directional indicator keys, a joystick, a lever, or a touch panel display.

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、楽曲情報記憶部１７２、マーカー情報記憶部１７４、モーションデータ記憶部１７５、キャラクタ情報記憶部１７６、オブジェクト情報記憶部１７７、描画バッファ１７８を含む。楽曲情報記憶部１７２は再生対象となる楽曲の情報を記憶する。例えば楽曲のサウンドデータや、ジャンル、アーティスト名又はアルバム名などの付加データを記憶する。マーカー情報記憶部１７４はマーカーについての各種の情報を記憶する。例えば楽曲に対するマーカーの設定パターン等の設定情報を楽曲に関連づけて記憶する。モーションデータ記憶部１７５は、キャラクタ等のモデルオブジェクトのモーション再生処理を行うためのモーションデータを記憶する。モーション再生処理はアニメーション処理とも呼ばれる。キャラクタ情報記憶部１７６は、キャラクタについての種々の情報を記憶する。例えばキャラクタのレベル又は能力等のパラメータの情報や、キャラクタの性格などの属性や状態を表す情報を記憶する。オブジェクト情報記憶部１７７は、キャラクタなどのモデルオブジェクトを構成するオブジェクトや仮想空間を構成するオブジェクトについての各種の情報（形状情報、位置情報等）を記憶する。描画バッファ１７８は、フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファである。Thestorage unit 170 stores various information. Thestorage unit 170 functions as a work area for theprocessing unit 100, thecommunication unit 196, and the like. Programs and data necessary for executing the programs are held in thestorage unit 170. The functions of thestorage unit 170 can be realized by a semiconductor memory (DRAM, VRAM), a hard disk drive (HDD), a solid state drive (SSD), an optical disk device, or the like. Thestorage unit 170 includes a musicinformation storage unit 172, a markerinformation storage unit 174, a motiondata storage unit 175, a characterinformation storage unit 176, an objectinformation storage unit 177, and adrawing buffer 178. The musicinformation storage unit 172 stores information on the music to be played. For example, it stores sound data of the music, and additional data such as the genre, artist name, or album name. The markerinformation storage unit 174 stores various information about the markers. For example, it stores setting information such as a setting pattern of the marker for the music in association with the music. The motiondata storage unit 175 stores motion data for performing motion reproduction processing of model objects such as characters. Motion reproduction processing is also called animation processing. The characterinformation storage unit 176 stores various information about characters. For example, it stores parameter information such as a character's level or ability, and information representing the character's attributes and status such as personality. The objectinformation storage unit 177 stores various information (shape information, position information, etc.) about objects that make up model objects such as characters and objects that make up the virtual space. The drawingbuffer 178 is a buffer that can store image information in pixel units, such as a frame buffer or work buffer.

情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。Theinformation storage medium 180 is a computer-readable medium that stores programs, data, and the like. Theinformation storage medium 180 can be realized by an optical disk (DVD, BD, CD), HDD, or semiconductor memory (ROM). Theprocessing unit 100 performs various processes of this embodiment based on the programs (data) stored in theinformation storage medium 180. That is, theinformation storage medium 180 stores programs (programs for causing the computer to execute the processes of each unit) for causing a computer (a device equipped with an input device, processing unit, storage unit, and output unit) to function as each unit of this embodiment.

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（Head Mounted Display）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。Thedisplay unit 190 outputs the image generated by this embodiment, and its function can be realized by an LCD, an organic EL display, a CRT, a touch panel display, an HMD (Head Mounted Display), or the like. Thesound output unit 192 outputs the sound generated by this embodiment, and its function can be realized by a speaker, headphones, or the like.

Ｉ／Ｆ部１９４（インターフェース部）は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。The I/F unit 194 (interface unit) performs interface processing with the portableinformation storage medium 195, and this function can be realized by an ASIC for I/F processing or the like. The portableinformation storage medium 195 is a storage device that allows the user to save various information and retains the memory of this information even when the power supply is cut off. The portableinformation storage medium 195 can be realized by an IC card (memory card), USB memory, magnetic card, or the like.

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。Thecommunication unit 196 communicates with the outside (other devices) via a wired or wireless network, and its function can be realized by hardware such as a communication ASIC or a communication processor, or by communication firmware.

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。The programs (data) for causing a computer to function as each part of this embodiment may be distributed from an information storage medium held by a server (host device) to information storage medium 180 (or storage unit 170) via a network andcommunication unit 196. Such use of the information storage medium by a server can also be included within the scope of this embodiment.

処理部１００（プロセッサ）は、操作部１６０からの操作入力情報やプログラムなどに基づいて、音処理、キャラクタ処理、或いは表示処理などを行う。The processing unit 100 (processor) performs sound processing, character processing, display processing, etc. based on operation input information from theoperation unit 160 and programs, etc.

処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。Each process of the present embodiment performed by each part of theprocessing unit 100 can be realized by a processor (a processor including hardware). For example, each process of the present embodiment can be realized by a processor that operates based on information such as a program and a memory that stores information such as a program. The functions of each part of the processor may be realized by individual hardware, or the functions of each part may be realized by integrated hardware. For example, the processor includes hardware, and the hardware may include at least one of a circuit that processes digital signals and a circuit that processes analog signals. For example, the processor may be configured with one or more circuit devices (e.g., ICs, etc.) mounted on a circuit board, or one or more circuit elements (e.g., resistors, capacitors, etc.). The processor may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to a CPU, and various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor) can be used. The processor may also be a hardware circuit using an ASIC. The processor may also include an amplifier circuit, a filter circuit, etc. that processes analog signals. The memory (storage unit 170) may be a semiconductor memory such as an SRAM or DRAM, or may be a register. Alternatively, it may be a magnetic storage device such as a hard disk drive (HDD), or an optical storage device such as an optical disk drive. For example, the memory stores computer-readable instructions, and the instructions are executed by the processor to realize the processing of each part of theprocessing unit 100. The instructions here may be a set of instructions constituting a program, or may be instructions that instruct the hardware circuitry of the processor to operate.

処理部１００は、音処理部１０２、キャラクタ処理部１１０、表示処理部１２０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。Theprocessing unit 100 includes asound processing unit 102, acharacter processing unit 110, and adisplay processing unit 120. As described above, each process of this embodiment executed by each of these units can be realized by a processor (or a processor and a memory). Note that various modifications are possible, such as omitting some of these components (each unit) or adding other components.

音処理部１０２は種々の音処理を行う。例えば音処理部１０２は楽曲の再生処理を行う。或いは音処理部１０２は、サウンドデータに対するフィルター処理などのデジタル信号処理や、音声解析処理などの音の解析処理や、或いは音に関する種々の判断処理を行ってもよい。Thesound processing unit 102 performs various types of sound processing. For example, thesound processing unit 102 performs music playback processing. Alternatively, thesound processing unit 102 may perform digital signal processing such as filtering of sound data, sound analysis processing such as voice analysis processing, or various types of sound-related judgment processing.

キャラクタ処理部１１０は、キャラクタについての種々の処理を行う。例えばキャラクタ処理部１１０は、オブジェクト空間である仮想空間において、モデルオブジェクトであるキャラクタを動作させる処理を行う。例えばキャラクタ処理部１１０は、モーションデータ記憶部１７５に記憶されるモーションデータに基づいてキャラクタを動作させる処理を行う。モーションデータに基づくモーション再生処理はアニメーション処理とも呼ばれる。例えばキャラクタ処理部１１０は、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ、キャラクタ情報）などに基づいて、キャラクタを仮想空間内で動作（モーション、アニメーション）させたり、移動させる制御処理を行う。具体的には、キャラクタの動作情報（パーツオブジェクトの位置、或いは回転角度）や、移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、キャラクタの動作処理や画像生成処理を行う時間の単位である。Thecharacter processing unit 110 performs various processes on the character. For example, thecharacter processing unit 110 performs a process of moving a character, which is a model object, in a virtual space, which is an object space. For example, thecharacter processing unit 110 performs a process of moving a character based on motion data stored in the motiondata storage unit 175. Motion reproduction processing based on motion data is also called animation processing. For example, thecharacter processing unit 110 performs a control process of moving or moving a character in a virtual space (motion, animation) based on a program (movement/movement algorithm) and various data (motion data, character information). Specifically, a simulation process is performed to sequentially obtain the character's movement information (position or rotation angle of a part object) and movement information (position, rotation angle, speed, or acceleration) for each frame (for example, 1/60 seconds). Note that a frame is a unit of time for performing character movement processing and image generation processing.

表示処理部１２０は、表示部１９０に画像を表示するための処理を行う。例えば処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラから見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。Thedisplay processing unit 120 performs processing for displaying an image on thedisplay unit 190. For example, a drawing process is performed based on the results of various processes performed by theprocessing unit 100, thereby generating an image and displaying it on thedisplay unit 190. Specifically, geometry processing such as coordinate transformation (world coordinate transformation, camera coordinate transformation), clipping processing, perspective transformation, or light source processing is performed, and drawing data (position coordinates of vertices of primitive surfaces, texture coordinates, color data, normal vectors, or alpha values, etc.) is created based on the processing results. Then, based on this drawing data (primitive surface data), an object (one or more primitive surfaces) after perspective transformation (after geometry processing) is drawn in the drawing buffer 178 (a buffer that can store image information in pixel units, such as a frame buffer or work buffer). As a result, an image seen from a virtual camera in a virtual space is generated. The drawing process performed by thedisplay processing unit 120 can be realized by vertex shader processing, pixel shader processing, etc.

例えば本実施形態では、処理部１００は、ゲーム処理、仮想空間設定処理、仮想カメラ設定処理、移動体処理などを行うことができる。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。仮想空間設定処理は、例えば、移動体（車、人、ロボット、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、アイテム、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理である。例えば仮想空間設定処理では、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する処理が行われる。具体的には、記憶部１７０のオブジェクト情報記憶部１７７には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度又は移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。仮想空間設定処理では、例えば各フレーム毎に、仮想空間情報であるオブジェクト情報の更新処理が行われる。また仮想カメラ設定処理は、仮想空間での仮想カメラの位置や方向を設定する処理である。例えば仮想カメラ設定処理では、キャラクタなどの移動体の位置や方向の情報や、或いは仮想カメラの位置や方向の設定情報に基づいて、仮想空間での仮想カメラの位置や方向を設定する処理が行われる。移動体処理は、仮想空間での移動体の移動情報を演算する処理である。例えば移動体処理では、仮想空間において移動体を移動させるための処理が行われる。また処理部１００は、音の生成処理を行う。例えば処理部１００での種々の処理の結果に基づいて音の生成処理を行う。具体的には、楽曲、効果音、又は音声などを生成し、音出力部１９２に出力させる。For example, in this embodiment, theprocessing unit 100 can perform game processing, virtual space setting processing, virtual camera setting processing, moving body processing, etc. Game processing is, for example, processing to start a game when a game start condition is satisfied, processing to progress a started game, processing to end a game when a game end condition is satisfied, or processing to calculate game results. Virtual space setting processing is, for example, processing to arrange and set various objects (objects composed of primitive surfaces such as polygons, free-form surfaces, or subdivision surfaces) representing display objects such as moving bodies (cars, people, robots, trains, airplanes, ships, monsters, or animals, etc.), maps (terrain), buildings, spectator seats, courses (roads), items, trees, walls, and water surfaces in a virtual space. For example, in the virtual space setting processing, the position and rotation angle (synonymous with orientation and direction) of an object in the world coordinate system are determined, and the object is arranged at that position (X, Y, Z) at that rotation angle (rotation angle around the X, Y, and Z axes). Specifically, the objectinformation storage unit 177 of thestorage unit 170 stores object information, which is information such as the position, rotation angle, moving speed, or moving direction of an object (part object) in a virtual space, in association with an object number. In the virtual space setting process, for example, an update process of the object information, which is virtual space information, is performed for each frame. In addition, the virtual camera setting process is a process of setting the position and direction of the virtual camera in the virtual space. For example, in the virtual camera setting process, a process of setting the position and direction of the virtual camera in the virtual space is performed based on information on the position and direction of a moving object such as a character, or setting information on the position and direction of the virtual camera. The moving object process is a process of calculating the movement information of a moving object in the virtual space. For example, in the moving object process, a process for moving a moving object in the virtual space is performed. In addition, theprocessing unit 100 performs a sound generation process. For example, theprocessing unit 100 performs a sound generation process based on the results of various processes in theprocessing unit 100. Specifically, music, sound effects, or voices are generated and output to thesound output unit 192.

そして本実施形態の処理システムは、図１に示すように、楽曲情報記憶部１７２と、マーカー情報記憶部１７４と、音処理部１０２と、キャラクタ処理部１１０と、表示処理部１２０を含む。As shown in FIG. 1, the processing system of this embodiment includes a musicinformation storage unit 172, a markerinformation storage unit 174, asound processing unit 102, acharacter processing unit 110, and adisplay processing unit 120.

楽曲情報記憶部１７２は楽曲情報を記憶する。例えば複数の楽曲についての楽曲情報を記憶する。例えば楽曲情報記憶部１７２は、再生対象となる複数の楽曲についての楽曲情報を記憶する。楽曲情報は、例えば楽曲のサウンドデータである。或いは楽曲情報は、ジャンル、アーティスト名又はアルバム名などの付加データを含んでもよい。この楽曲情報に基づいて、楽曲の再生処理が行われる。The musicinformation storage unit 172 stores music information. For example, it stores music information for multiple songs. For example, the musicinformation storage unit 172 stores music information for multiple songs to be played. The music information is, for example, sound data for the songs. Alternatively, the music information may include additional data such as the genre, artist name, or album name. The music playback process is performed based on this music information.

マーカー情報記憶部１７４は、マーカー情報を記憶する。マーカー情報は、例えば先行楽曲から後続楽曲に切り替える際のタイミングを設定する情報である。例えばマーカー情報のマーカーは、先行楽曲から後続楽曲への切り替えタイミングの目印となるものである。具体的にはマーカー情報は、先行楽曲と後続楽曲のミキシング期間を設定する情報である。例えばマーカー情報のマーカーは、ミキシング期間のタイミングの目印となるものである。先行楽曲は、現在の楽曲から次の楽曲に切り替える再生移行において、先行する楽曲であり、後続楽曲は、先行楽曲に続く次の楽曲である。The markerinformation storage unit 174 stores marker information. The marker information is, for example, information that sets the timing when switching from a preceding song to a following song. For example, a marker in the marker information serves as a marker for the timing of switching from the preceding song to the following song. Specifically, the marker information is information that sets the mixing period of the preceding song and the following song. For example, a marker in the marker information serves as a marker for the timing of the mixing period. A preceding song is a song that precedes a current song in a playback transition that switches to the next song, and a following song is the next song that follows the preceding song.

キャラクタ処理部１１０はキャラクタの動作制御を行う。例えばキャラクタ処理部１１０は、キャラクタの動作制御としてキャラクタのモーションを再生するモーション再生処理を行う。モーション再生処理は、モデルオブジェクトのスケルトンの姿勢を変化させて、モデルオブジェクトを動かすための処理であり、アニメーション処理とも呼ばれる。具体的にはキャラクタ処理部１１０は、モーションデータ記憶部１７５に記憶されたモーションデータに基づいてキャラクタのモーション処理を行う。モーションデータは、例えばキャラクタの動作を演じる演者の動作のモーションキャプチャを行うことで取得できる。モーションキャプチャの方式としては、光学式、慣性センサ式、機械式、磁気式などの種々の方式がある。モーションデータは、キャラクタ（演者）に対応するスケルトンの姿勢を規定するものであり、スケルトンは、複数の関節や、関節で規定される骨により構成され、階層構造である親子構造を有する。具体的にはモーションデータは、親の骨に対する子の骨の、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角度α、β、γなどの情報を含むことができる。或いはモーションデータは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向での骨のスケーリング率などの情報を含んでもよい。例えばモーションデータは、回転角度α、β、γ等が行列要素となる行列情報などにより実現される。Thecharacter processing unit 110 controls the movement of the character. For example, thecharacter processing unit 110 performs a motion replay process to replay the motion of the character as the movement control of the character. The motion replay process is a process for changing the posture of the skeleton of the model object to move the model object, and is also called animation processing. Specifically, thecharacter processing unit 110 performs the motion process of the character based on the motion data stored in the motiondata storage unit 175. The motion data can be obtained, for example, by performing motion capture of the movement of the actor who performs the character's movement. There are various types of motion capture methods, such as optical, inertial sensor, mechanical, and magnetic. The motion data specifies the posture of the skeleton corresponding to the character (actor), and the skeleton is composed of multiple joints and bones specified by the joints, and has a hierarchical parent-child structure. Specifically, the motion data can include information such as the rotation angles α, β, and γ of the child bone relative to the parent bone around the X-axis, Y-axis, and Z-axis. Alternatively, the motion data may include information such as the scaling rate of the bone in the X-axis, Y-axis, and Z-axis directions. For example, motion data is realized by matrix information in which rotation angles α, β, γ, etc. are matrix elements.

表示処理部１２０は、キャラクタの画像の表示処理を行う。例えば表示処理部１２０は、３次元のモデルオブジェクトであるキャラクタのレンダリング処理を行い、オブジェクト空間である仮想空間において仮想カメラから見える画像であって、キャラクタの画像を含む仮想空間画像を生成する。Thedisplay processing unit 120 performs display processing of the character image. For example, thedisplay processing unit 120 performs rendering processing of the character, which is a three-dimensional model object, and generates a virtual space image that includes the character image and is an image seen from a virtual camera in a virtual space, which is an object space.

そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング処理を行う。例えば音処理部１０２は、マーカー情報に応じたミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。例えばミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが、先行楽曲や後続楽曲に設定されており、これらのマーカーを用いてミキシング期間が特定される。そして音処理部１０２は、これらのマーカーで特定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。ミキシング処理では、ミキシング期間において、例えば先行楽曲の音量を徐々に小さくしながら後続楽曲の音量を徐々に大きくする音量調整が行われる。例えばミキシング期間の開始タイミングでは、後続楽曲の音量は例えばゼロであり、先行楽曲だけが再生出力される状態になっている。そしてミキシング期間の終了タイミングでは、先行楽曲の音量が例えばゼロになり、後続楽曲だけが再生出力される状態になる。またミキシング期間においては、例えば低周波数帯域などの特定の周波数帯域を減衰したり或いは増幅するイコライザー調整が行われる。例えばミキシング期間が開始してから所定期間の間は、後続楽曲の低周波数帯域を減衰したままの状態にし、ミキシング期間の終了タイミング又は終了タイミングを含む短い期間において、後続楽曲の低周波数帯域を増幅して元に戻すというようなイコライザー調整が行われる。Then, thesound processing unit 102 performs mixing processing of the preceding song and the subsequent song according to the marker information when switching from the preceding song to the subsequent song. For example, thesound processing unit 102 sets a mixing period according to the marker information, and performs mixing processing of the preceding song and the subsequent song in the set mixing period. For example, a marker corresponding to the start timing of the mixing period and a marker corresponding to the end timing of the mixing period are set in the preceding song and the subsequent song, and the mixing period is specified using these markers. Then, thesound processing unit 102 performs mixing processing of the preceding song and the subsequent song in the mixing period specified by these markers. In the mixing processing, volume adjustment is performed in the mixing period, for example, gradually decreasing the volume of the preceding song while gradually increasing the volume of the subsequent song. For example, at the start timing of the mixing period, the volume of the subsequent song is, for example, zero, and only the preceding song is played and output. Then, at the end timing of the mixing period, the volume of the preceding song becomes, for example, zero, and only the subsequent song is played and output. During the mixing period, an equalizer adjustment is performed to attenuate or amplify a specific frequency band, such as a low frequency band. For example, the low frequency band of the subsequent song is kept attenuated for a predetermined period after the start of the mixing period, and at the end of the mixing period or for a short period including the end of the mixing period, the low frequency band of the subsequent song is amplified to return it to its original state.

そしてキャラクタ処理部１１０は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング期間でのキャラクタの動作を制御する。例えばキャラクタ処理部１１０は、マーカー情報により設定されるミキシング期間において、ミキシング用の動作を行うようにキャラクタの動作を制御する。例えばキャラクタ処理部１１０は、マーカー情報に応じてミキシング期間を設定し、設定されたミキシング期間において、ミキシング用の動作を行うようにキャラクタの動作を制御する。具体的には、ミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが先行楽曲や後続楽曲に設定され、キャラクタ処理部１１０は、これらのマーカーを用いてミキシング期間を特定して、キャラクタの動作を制御する。例えばキャラクタ処理部１１０は、ミキシング期間において行われる音処理部１０２のミキシング処理に連動して、キャラクタの動作を制御する。例えばミキシング用のモーションでキャラクタを動作させる。例えばキャラクタ処理部１１０は、キャラクタのモーションの補正を行うことで、ミキシング用のモーションでキャラクタを動作させる。具体的には、キャラクタの手がミキシング操作を行うように、キャラクタのモーション補正を行う。ミキシング操作は、例えばフェーダーの操作又はイコライザーの操作などである。一例としては、キャラクタの手（指）が、ミキシング操作を行うように、キャラクタの手を動かすためのインバースキネマティクス処理を行うことで、ミキシング用のモーションをキャラクタに行わせる。Then, when switching from the preceding song to the subsequent song, thecharacter processing unit 110 controls the character's behavior during the mixing period of the preceding song and the subsequent song according to the marker information. For example, thecharacter processing unit 110 controls the character's behavior so that the character performs a mixing behavior during the mixing period set by the marker information. For example, thecharacter processing unit 110 sets a mixing period according to the marker information, and controls the character's behavior so that the character performs a mixing behavior during the set mixing period. Specifically, a marker corresponding to the start timing of the mixing period and a marker corresponding to the end timing of the mixing period are set in the preceding song and the subsequent song, and thecharacter processing unit 110 uses these markers to specify the mixing period and control the character's behavior. For example, thecharacter processing unit 110 controls the character's behavior in conjunction with the mixing process of thesound processing unit 102 performed during the mixing period. For example, thecharacter processing unit 110 causes the character to perform a mixing motion. For example, thecharacter processing unit 110 causes the character to perform a mixing motion by correcting the character's motion. Specifically, the motion of the character is corrected so that the character's hands perform a mixing operation. A mixing operation is, for example, a fader operation or an equalizer operation. As one example, inverse kinematics processing is performed to move the character's hands (fingers) so that the character performs a mixing operation, thereby making the character perform a mixing motion.

またキャラクタ処理部１１０は、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、キャラクタの動作を変化させる。例えばミキシングパターンが第１ミキシングパターンである場合には、第１ミキシングパターンに対応するモーションパターンで、キャラクタを動作させ、ミキシングパターンが第２ミキシングパターンである場合には、第２ミキシングパターンに対応するモーションパターンで、キャラクタを動作させる。また複数の楽曲を再生する際におけるミックスモードが、第１ミックスモードである場合には、第１ミックスモードに対応するモーションパターンで、キャラクタを動作させ、ミックスモードが第２ミックスモードである場合には、第２ミックスモードに対応するモーションパターンで、キャラクタを動作させる。或いは処理システムが外部情報を取得して外部情報の分析を行い、キャラクタ処理部１１０は、この外部情報の分析結果に基づいて、キャラクタの動作を変化させる。外部情報の分析結果は、例えばインターネット投票の分析結果、歓声などの外部環境の音声の分析結果、或いは観客の動きの分析結果などである。また楽曲の曲構成が第１曲構成である場合には、第１曲構成に対応するモーションパターンで、キャラクタを動作させ、楽曲の曲構成が第２曲構成である場合には、第２曲構成に対応するモーションパターンで、キャラクタを動作させる。Thecharacter processing unit 110 also changes the character's behavior according to at least one of the mixing pattern of the preceding and following songs, the mix mode in the playback of multiple songs, the analysis result of the external information, and the song composition of the song. For example, when the mixing pattern is the first mixing pattern, the character is moved in a motion pattern corresponding to the first mixing pattern, and when the mixing pattern is the second mixing pattern, the character is moved in a motion pattern corresponding to the second mixing pattern. When the mix mode in the playback of multiple songs is the first mix mode, the character is moved in a motion pattern corresponding to the first mix mode, and when the mix mode is the second mix mode, the character is moved in a motion pattern corresponding to the second mix mode. Alternatively, the processing system acquires external information and analyzes the external information, and thecharacter processing unit 110 changes the character's behavior based on the analysis result of the external information. The analysis result of the external information is, for example, the analysis result of an Internet vote, the analysis result of the sound of the external environment such as cheers, or the analysis result of the movement of the audience. Furthermore, if the composition of the song is the first composition, the character is made to move in a motion pattern corresponding to the first composition, and if the composition of the song is the second composition, the character is made to move in a motion pattern corresponding to the second composition.

また音処理部１０２は、キャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用するマーカー情報の少なくとも１つを変化させる。キャラクタの情報は例えばキャラクタに対して設定された判断条件の情報である。例えば音処理部１０２は、キャラクタの情報が第１情報である場合には、第１ミキシングパターンで先行楽曲と後続楽曲のミキシング処理を行い、キャラクタの情報が第１情報から第２情報に変化すると、第２ミキシングパターンで先行楽曲と後続楽曲のミキシング処理を行う。また音処理部１０２は、キャラクタの情報が第１情報である場合には、第１ミックスモードで複数の楽曲再生を行い、キャラクタの情報が第１情報から第２情報に変化すると、第２ミックスモードで複数の楽曲再生を行う。また音処理部１０２は、キャラクタの情報が第１情報である場合には、ミキシング処理や表示処理に使用するマーカー情報として、第１タイプのマーカー情報を使用し、キャラクタの情報が第１情報から第２情報に変化すると、第２タイプのマーカー情報を使用する。キャラクタの情報は、例えばキャラクタのレベル又は能力のパラメータや、キャラクタに設定された動作アルゴリズムなどのアルゴリズムの情報や、キャラクタの性格又は属性などの情報である。キャラクタの能力は例えばキャラクタのリズム感の能力、演奏テクニックの能力又はその場対応能力などであり、例えばＤＪとして能力である。キャラクタの情報は、例えばキャラクタに対して予め設定されており、例えばキャラクタに対応づけてキャラクタ情報記憶部１７６に記憶される。Thesound processor 102 also changes at least one of the mixing pattern of the preceding music piece and the following music piece, the mix mode in the playback of multiple music pieces, and the marker information used for mixing, based on the character information. The character information is, for example, information on the judgment conditions set for the character. For example, when the character information is the first information, thesound processor 102 performs the mixing process of the preceding music piece and the following music piece in the first mixing pattern, and when the character information changes from the first information to the second information, thesound processor 102 performs the mixing process of the preceding music piece and the following music piece in the second mixing pattern. When the character information is the first information, thesound processor 102 performs the playback of multiple music pieces in the first mix mode, and when the character information changes from the first information to the second information, thesound processor 102 performs the playback of multiple music pieces in the second mix mode. When the character information is the first information, thesound processor 102 uses the first type of marker information as the marker information used for the mixing process and the display process, and when the character information changes from the first information to the second information, thesound processor 102 uses the second type of marker information. Character information is, for example, the character's level or ability parameters, algorithm information such as the movement algorithm set for the character, and information such as the character's personality or attributes. Character abilities are, for example, the character's sense of rhythm, performance technique, or on-the-spot response ability, such as DJ ability. Character information is, for example, set in advance for the character, and is stored in the characterinformation storage unit 176 in association with the character, for example.

またミキシングパターンは、先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンである。音量調整パターンは、例えばミキシングにおけるフェーダーによる音量調整パターンである。例えば音量調整のパターンは、ミキシング期間における先行楽曲や後続楽曲の音量の調整度合いや音量カープのパターンである。イコライザー調整パターンは、例えばミキシングにおけるイコライザーの調整パターンである。例えばイコライザー調整のパターンは、イコライザーによる低音、中音又は高音などの各周波数帯域の成分の調整度合いや調整カーブのパターンである。The mixing pattern is at least one of a volume adjustment pattern and an equalizer adjustment pattern when mixing a preceding song and a following song. The volume adjustment pattern is, for example, a volume adjustment pattern using a fader in mixing. For example, a volume adjustment pattern is a pattern of the degree of volume adjustment or volume curve of the preceding song and the following song during the mixing period. The equalizer adjustment pattern is, for example, an equalizer adjustment pattern in mixing. For example, an equalizer adjustment pattern is a pattern of the degree of adjustment or adjustment curve of components of each frequency band such as bass, midrange, or treble by the equalizer.

またミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。ショートミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して早いタイミングで後続楽曲をミキシングするミックスモードである。例えばショートミックスモードは、所定の演奏時間内における楽曲の演奏曲数が、ベーシックミックスモードに比べて多くなるミックスモードである。ロングミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して遅いタイミングで後続楽曲をミキシングするミックスモードである。例えばロングミックスモードは、所定の演奏時間内における楽曲の演奏曲数が、ベーシックミックスモードに比べて少なくなるミックスモードである。なおミックスモードの設定は、複数の楽曲に対して一括で行われてもよいし、楽曲ごとに変えてミックスモードを設定してもよい。例えばベーシックミックスモード用の第１楽曲群、ショートミックスモード用の第２楽曲群、ロングミックスモード用の第３楽曲群を用意して、これらの楽曲情報を楽曲情報記憶部１７２に記憶してもよい。またミックスモードの設定は、処理システムが自動的に行ってもよいし、ユーザが操作部１６０などを用いて設定してもよい。The mix mode may be a basic mix mode, a short mix mode, or a long mix mode. The short mix mode is a mix mode in which the following music piece is mixed at an earlier timing than the basic mix mode with respect to the preceding music piece. For example, the short mix mode is a mix mode in which the number of music pieces played within a given performance time is greater than that of the basic mix mode. The long mix mode is a mix mode in which the following music piece is mixed at a later timing than that of the basic mix mode with respect to the preceding music piece. For example, the long mix mode is a mix mode in which the number of music pieces played within a given performance time is less than that of the basic mix mode. The mix mode may be set for multiple music pieces at once, or may be set differently for each music piece. For example, a first music piece group for the basic mix mode, a second music piece group for the short mix mode, and a third music piece group for the long mix mode may be prepared, and information on these music pieces may be stored in the musicinformation storage unit 172. The mix mode may be set automatically by the processing system, or may be set by the user using theoperation unit 160, etc.

またマーカー情報記憶部１７４は、ミキシング期間の開始タイミングに対応するマーカーの情報と、ミキシング期間の終了タイミングに対応するマーカーの情報を記憶する。ミキシング期間の開始タイミングに対応するマーカーは、例えば当該開始タイミングに対応づけられるマーカーであり、例えばミキシング期間の開始タイミングを設定するマーカーであってもよいし、ミキシング開始の許可タイミングを設定するマーカーであってもよい。ミキシング期間の終了タイミングに対応するマーカーは、例えば当該終了タイミングに対応づけられるマーカーであり、ミキシング期間の終了タイミングを設定するマーカーである。或いはミキシング終了の許可タイミングを設定するマーカーであってもよい。The markerinformation storage unit 174 also stores information on a marker corresponding to the start timing of the mixing period and information on a marker corresponding to the end timing of the mixing period. The marker corresponding to the start timing of the mixing period is, for example, a marker associated with the start timing, and may be, for example, a marker that sets the start timing of the mixing period, or a marker that sets the permitted timing for starting mixing. The marker corresponding to the end timing of the mixing period is, for example, a marker associated with the end timing, and may be a marker that sets the end timing of the mixing period, or may be a marker that sets the permitted timing for ending mixing.

またマーカー情報のマーカーは、楽曲の曲構成に対応づけられている。例えば楽曲が第１曲構成～第ｍ曲構成（ｍは２以上の整数）を有する場合に、マーカーは、例えば第１曲構成～第ｍ曲構成のうちの第ｉ曲構成（１≦ｉ≦ｍ）に対応づけられている。例えばマーカーは、曲構成の先頭タイミング、終了タイミング又は途中タイミングに対応づけられている。なおマーカーは例えば小節単位で設定される。また楽曲の曲構成に対して、楽曲が先行楽曲である場合のマーカーと、楽曲が後続楽曲である場合のマーカーを対応づけてもよい。曲構成は、例えば２小節、４小節、８小節、１６小節又は３２小節などの複数小節を１つのブロックとするものであり、楽曲は、このブロックである曲構成が複数個連なることで構成される。曲構成としては、例えばイントロ、イントロコーラス、ビルドアップ、ドロップ、ブレーク、コーラス、バース、Ａメロ、Ｂメロ又はアウトロなどの種々の構成がある。そして音処理部１０２は、先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、マーカー情報に基づき特定し、当該期間をミキシング期間としてミキシング処理を行う。例えば先行楽曲用のマーカーが先行楽曲の第ｊ曲構成に設定されており、後続楽曲用のマーカーが後続楽曲の第ｋ曲構成に設定されている場合に、音処理部１０２は、これらのマーカーに基づいてミキシング期間を特定する。先行楽曲用のマーカーとしては、例えば先行楽曲の第ｊ曲構成の開始タイミングに対応するマーカーや、第ｊ曲構成の終了タイミングに対応するマーカーなど想定できる。また後続楽曲用のマーカーとしては、例えば後続楽曲の第ｋ曲構成の開始タイミングに対応するマーカーや、第ｋ曲構成の終了タイミングに対応するマーカーなどを想定できる。そして音処理部１０２は、これらのマーカーを用いてミキシング期間を設定して、先行楽曲と後続楽曲のミキシング処理を行う。例えば先行楽曲の第ｊ曲構成と後続楽曲の第ｋ曲構成は、両者の曲構成同士をミキシングしても違和感や不自然さが少ない曲構成として、例えば楽曲のジャンルに応じて特定されている曲構成である。The markers in the marker information are also associated with the song structure of the music. For example, if a song has a first song structure to an mth song structure (m is an integer of 2 or more), the markers are associated with, for example, the i-th song structure (1≦i≦m) of the first song structure to the mth song structure. For example, the markers are associated with the beginning timing, end timing, or middle timing of the song structure. The markers are set, for example, in units of bars. Also, for the song structure of a song, markers when the song is a preceding song and markers when the song is a following song may be associated with each other. A song structure is a block of multiple bars, such as 2 bars, 4 bars, 8 bars, 16 bars, or 32 bars, and a song is composed of multiple song structures that are blocks. There are various song structures, such as an intro, intro chorus, build-up, drop, break, chorus, verse, A melody, B melody, or outro. Thesound processor 102 then identifies a period during which the preceding music piece is the jth music piece (j is an integer equal to or greater than 1) and the succeeding music piece is the kth music piece (k is an integer equal to or greater than 1) based on the marker information, and performs mixing processing with the period as a mixing period. For example, when a marker for the preceding music piece is set to the jth music piece of the preceding music piece and a marker for the succeeding music piece is set to the kth music piece of the succeeding music piece, thesound processor 102 identifies a mixing period based on these markers. As the marker for the preceding music piece, for example, a marker corresponding to the start timing of the jth music piece of the preceding music piece or a marker corresponding to the end timing of the jth music piece of the succeeding music piece can be assumed. As the marker for the succeeding music piece, for example, a marker corresponding to the start timing of the kth music piece of the succeeding music piece or a marker corresponding to the end timing of the kth music piece of the succeeding music piece can be assumed. Then, thesound processor 102 sets a mixing period using these markers, and performs mixing processing of the preceding music piece and the succeeding music piece. For example, the jth song structure of the preceding song and the kth song structure of the following song are song structures that are specified according to, for example, the genre of the songs, so that mixing the two song structures will not sound out of place or unnatural.

また本実施形態の処理システムは、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部１７２と、マーカー情報を記憶するマーカー情報記憶部１７４と、楽曲情報に基づいて楽曲の再生処理を行う音処理部１０２を含む。そしてマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定されるマーカー情報を記憶する。第１設定パターン、第２設定パターンは、楽曲のどの曲構成にマーカーを設定するかについてのパターンである。例えば第１設定パターン、第２設定パターンは、楽曲のどの曲構成に、ミキシング期間の開始タイミング用のマーカーやミキシング期間の終了タイミング用のマーカーを設定するかについてのパターンである。例えば楽曲が第１ジャンルである場合と第２ジャンルである場合とで、楽曲のどの曲構成に対してマーカーを設定するかが異なっている。The processing system of this embodiment also includes a musicinformation storage unit 172 that stores music information for multiple songs, a markerinformation storage unit 174 that stores marker information, and asound processing unit 102 that performs playback processing of songs based on the music information. The markerinformation storage unit 174 stores marker information in which markers are set for the music structure of a song in a first setting pattern when the song is in a first genre, and in which markers are set for the music structure of a song in a second setting pattern different from the first setting pattern when the song is in a second genre. The first setting pattern and the second setting pattern are patterns regarding which music structure of a song a marker is set for. For example, the first setting pattern and the second setting pattern are patterns regarding which music structure of a song a marker for the start timing of a mixing period and a marker for the end timing of a mixing period are set for. For example, which music structure of a song a marker is set for is different between when the song is in the first genre and when it is in the second genre.

そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。例えば音処理部１０２は、ジャンルに応じて異なった設定パターンで曲構成に対してマーカーが設定されるマーカー情報に基づいて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。例えばミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが、ジャンルに応じて異なる設定パターンで、先行楽曲や後続楽曲の曲構成に設定されており、これらのマーカーを用いてミキシング期間が設定される。そして音処理部１０２は、これらのマーカーにより設定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。Then, when switching from the preceding song to the following song, thesound processing unit 102 performs mixing processing of the preceding song and the following song in a mixing period set according to the marker information. For example, thesound processing unit 102 sets a mixing period based on marker information in which markers are set in the song structure in different setting patterns depending on the genre, and performs mixing processing of the preceding song and the following song in the set mixing period. For example, a marker corresponding to the start timing of the mixing period and a marker corresponding to the end timing of the mixing period are set in the song structure of the preceding song and the following song in different setting patterns depending on the genre, and the mixing period is set using these markers. Then, thesound processing unit 102 performs mixing processing of the preceding song and the following song in the mixing period set by these markers.

また表示処理部１２０は、先行楽曲の音波形と、後続楽曲の音波形と、マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う。例えば表示処理部１２０は、先行楽曲の音波形の画像と、後続楽曲の音波形の画像を表示部１９０に表示する処理を行う。そして表示処理部１２０は、先行楽曲の音波形の画像に対して、先行楽曲用のマーカーの画像を、当該マーカーにより設定されるタイミングの位置に表示する処理を行う。また表示処理部１２０は、後続楽曲の音波形の画像に対して、後続楽曲用のマーカーの画像を、当該マーカーにより設定されるタイミングの位置に表示する処理を行う。Thedisplay processing unit 120 also performs display processing to allow the user to visually recognize the sound waveform of the preceding song, the sound waveform of the subsequent song, and the timing of the markers in the marker information. For example, thedisplay processing unit 120 performs processing to display an image of the sound waveform of the preceding song and an image of the sound waveform of the subsequent song on thedisplay unit 190. Thedisplay processing unit 120 then performs processing to display an image of a marker for the preceding song on the image of the sound waveform of the preceding song at the position of the timing set by the marker. Thedisplay processing unit 120 also performs processing to display an image of a marker for the subsequent song on the image of the sound waveform of the subsequent song at the position of the timing set by the marker.

また音処理部１０２は、ユーザのミキシング操作のタイミングとマーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行う。即ちユーザが、操作部１６０を用いて、後続楽曲の再生開始操作、フェーダーによる音量調整、又はイコライザーによるイコライザー調整などのミキシング操作を行った場合に、当該ミキシング操作のタイミングを取得する。そして当該ミキシング操作のタイミングと、マーカー情報のマーカーにより設定されるタイミングとのズレ量を測定する。そしてズレ量が所定の許容の範囲内である場合には、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行う。即ち音処理部１０４は、マーカーで設定されるタイミングで、ユーザのミキシング操作が行われたとして、先行楽曲と後続楽曲のミキシング処理を行う。Thesound processing unit 102 also performs a process of correcting the timing of the mixing operation to match the timing of the marker when the amount of deviation between the timing of the user's mixing operation and the timing of the marker in the marker information is within a predetermined range. That is, when the user uses theoperation unit 160 to perform a mixing operation such as starting playback of the subsequent song, adjusting the volume with a fader, or adjusting the equalizer with an equalizer, the timing of the mixing operation is acquired. Then, the amount of deviation between the timing of the mixing operation and the timing set by the marker in the marker information is measured. Then, when the amount of deviation is within a predetermined tolerance range, the sound processing unit 104 performs a process of correcting the timing of the mixing operation to match the timing of the marker. That is, the sound processing unit 104 performs a mixing process of the preceding song and the subsequent song, assuming that the user's mixing operation was performed at the timing set by the marker.

また音処理部１０４は、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行う。例えばズレ量が所定の範囲内である場合にはミキシング操作に対して良い評価（グッド、エクセレント）を付与し、ズレ量が所定の範囲を越えている場合にはミキシング操作に対して悪い評価（バッド）を付与する評価処理を行う。そして表示処理部１２０は、この評価処理の結果に応じた表示処理を行う。例えば表示処理部１２０は、ユーザのミキシング操作に対する評価が、どのような評価結果（グッド、エクセレント、バッド）であったのかをユーザに報知する表示処理を行う。例えば評価処理の結果に基づくゲーム成績の情報を表示する。或いは表示処理部１２０は、評価処理の結果に基づいて、演出用の表示処理を行う。例えば演出エフェクトを発生させるような表示処理を行う。具体的には、キャラクタの周囲に演出エフェクトの表示物を出現させる表示処理を行う。The sound processing unit 104 also performs evaluation processing of the user's mixing operation based on the amount of deviation between the timing of the user's mixing operation and the timing of the marker. For example, if the amount of deviation is within a predetermined range, a good evaluation (good, excellent) is given to the mixing operation, and if the amount of deviation exceeds the predetermined range, a bad evaluation (bad) is given to the mixing operation. Thedisplay processing unit 120 then performs display processing according to the results of this evaluation processing. For example, thedisplay processing unit 120 performs display processing to inform the user of the evaluation result (good, excellent, bad) of the evaluation of the user's mixing operation. For example, information on game results based on the results of the evaluation processing is displayed. Alternatively, thedisplay processing unit 120 performs display processing for presentation based on the results of the evaluation processing. For example, display processing is performed to generate a presentation effect. Specifically, display processing is performed to make a presentation effect display appear around the character.

またマーカー情報記憶部１７４は、楽曲が先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報を記憶する。またマーカー情報記憶部１７４は、楽曲が後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶する。即ち、マーカー情報記憶部１７４は、１つの楽曲に対して、楽曲が先行楽曲であるときに使用される第１マーカー、第２マーカーの情報と、楽曲が後続楽曲であるときに使用される第３マーカー、第４マーカーの情報を、当該楽曲に対応づけて記憶する。ここで、ミキシング開始の許可タイミングを設定するマーカーは、当該許可タイミング移行のタイミングでのミキシングを許可（許容）することを示すマーカーである。The markerinformation storage unit 174 also stores information on a first marker that sets the permitted timing for starting mixing when the song is a preceding song, and information on a second marker that sets the permitted timing for ending mixing when the song is a preceding song. The markerinformation storage unit 174 also stores information on a third marker that sets the permitted timing for starting mixing when the song is a following song, and information on a fourth marker that sets the permitted timing for ending mixing when the song is a following song. That is, for one song, the markerinformation storage unit 174 stores information on the first marker and the second marker that are used when the song is a preceding song, and information on the third marker and the fourth marker that are used when the song is a following song, in association with the song. Here, the marker that sets the permitted timing for starting mixing is a marker that indicates that mixing is permitted (allowed) at the timing of the transition to the permitted timing.

そして音処理部１０２は、先行楽曲の第２マーカーと後続楽曲の第４マーカーとに基づいて、後続楽曲の再生開始タイミングを決定する。そして先行楽曲の第１マーカーと後続楽曲の第３マーカーに基づいて、ミキシング処理の開始タイミングを決定する。例えば先行楽曲の第２マーカーのタイミングと後続楽曲の第４マーカーのタイミングが一致するように、後続楽曲の再生開始タイミングを決定する。そして後続楽曲の再生開始以降のタイミングにおいて、第１マーカーと第３マーカーによりミキシングが許可されたと判断されたタイミングで、先行楽曲と後続楽曲のミキシング処理を開始する。Then, thesound processing unit 102 determines the timing to start playback of the subsequent song based on the second marker of the preceding song and the fourth marker of the subsequent song. Then, thesound processing unit 102 determines the timing to start the mixing process based on the first marker of the preceding song and the third marker of the subsequent song. For example, thesound processing unit 102 determines the timing to start playback of the subsequent song so that the timing of the second marker of the preceding song and the timing of the fourth marker of the subsequent song match. Then, after the start of playback of the subsequent song, thesound processing unit 102 starts the mixing process of the preceding song and the subsequent song at the timing when it is determined that mixing is permitted by the first marker and the third marker.

またマーカー情報記憶部１７４は、第１ミックスモードで使用される第１～第４マーカーの第１マーカーセットの情報と、第２ミックスモードで使用される第１～第４マーカーの第２マーカーセットの情報を記憶する。即ち第１ミックスモード用の第１～第４マーカーの情報を、第１マーカーセットの情報として記憶し、第２ミックスモード用の第１～第４マーカーの情報を、第２マーカーセットの情報として記憶する。第１ミックスモード、第２ミックスモードの各々は、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。そして音処理部１０２は、第１ミックスモードでは、第１マーカーセットの情報に応じて設定されるミキシング期間においてミキシング処理を行う。例えば第１マーカーセットの第１～第４マーカーを用いて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。また音処理部１０２は、第２ミックスモードでは、第２マーカーセットの情報に応じて設定されるミキシング期間においてミキシング処理を行う。例えば第２マーカーセットの第１～第４マーカーを用いて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。The markerinformation storage unit 174 also stores information on the first marker set of the first to fourth markers used in the first mix mode, and information on the second marker set of the first to fourth markers used in the second mix mode. That is, the information on the first to fourth markers for the first mix mode is stored as information on the first marker set, and the information on the first to fourth markers for the second mix mode is stored as information on the second marker set. Each of the first mix mode and the second mix mode is a basic mix mode, a short mix mode, or a long mix mode. In the first mix mode, thesound processing unit 102 performs a mixing process in a mixing period set according to the information on the first marker set. For example, the mixing period is set using the first to fourth markers of the first marker set, and a mixing process is performed on the preceding song and the following song in the set mixing period. In the second mix mode, thesound processing unit 102 performs a mixing process in a mixing period set according to the information on the second marker set. For example, the first to fourth markers of the second marker set are used to set a mixing period, and the preceding and following songs are mixed during the set mixing period.

なお本実施形態の処理システムは情報処理装置により実現される。即ち、この場合には情報処理装置が本実施形態の処理システムを含む構成になる。情報処理装置は、楽曲情報やマーカー情報などの各種の情報を処理する装置であり、プロセッサ等により実現される。情報処理装置は、例えばパーソナルコンピュータ、ゲーム装置又は携帯型情報処理装置などの端末装置である。或いは情報処理装置はサーバ装置であってもよい。また処理システムは端末装置とサーバ装置の分散処理により実現されてもよい。この場合には処理システムは複数の情報処理装置により実現される。この場合に端末装置は情報の入力処理や受信処理や送信処理や表示処理などだけを行うものであってもよい。The processing system of this embodiment is realized by an information processing device. That is, in this case, the information processing device includes the processing system of this embodiment. The information processing device is a device that processes various types of information such as music information and marker information, and is realized by a processor or the like. The information processing device is, for example, a terminal device such as a personal computer, a game device, or a portable information processing device. Alternatively, the information processing device may be a server device. The processing system may also be realized by distributed processing of the terminal device and the server device. In this case, the processing system is realized by multiple information processing devices. In this case, the terminal device may only perform information input processing, reception processing, transmission processing, display processing, etc.

２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。 2. Method of the Present Embodiment Next, the method of the present embodiment will be described in detail.

２．１ 仮想ＤＪのキャラクタ
本実施形態では、図２に示すように、仮想的なＤＪ（Disc Jockey）のキャラクタＣＨを登場させて、当該キャラクタＣＨの映像の表示を可能にしている。例えば仮想空間には、ＤＪ機器１０のオブジェクトが配置され、キャラクタＣＨはこのＤＪ機器１０を操作して、楽曲を連続再生するパフォーマンスを行う。例えばキャラクタＣＨは、楽曲のリズムやテンポに合わせて飛び跳ねたり踊るなどの動作をしながら、ＤＪ機器１０のフェーダーやイコライザーやターンテーブルなどを操作するＤＪのパフォーマンスを行う。このようなＤＪのパフォーマンスを行うキャラクタＣＨの映像は、クラブやライブの会場に設置された大型のモニターに表示される。また会場に設置されたスピーカからは、キャラクタＣＨの操作で次々と再生される楽曲のサウンドが出力される。或いは、図２のＤＪのキャラクタＣＨの映像は、インターネットなどのネットワークを介して、ユーザのスマートフォンやＰＣ（パーソナルコンピュータ）などの端末装置に配信される。ユーザはＤＪのキャラクタＣＨの映像をスマートフォンやＰＣのディスプレイを見ながら、スピーカから出力される楽曲を聴いて、ＤＪのキャラクタＣＨのパフォーマンスを楽しむ。 2.1 Virtual DJ Character In this embodiment, as shown in FIG. 2, a virtual DJ (Disc Jockey) character CH appears, and an image of the character CH can be displayed. For example, an object of aDJ device 10 is placed in the virtual space, and the character CH performs a performance of playing music continuously by operating theDJ device 10. For example, the character CH performs a DJ performance of operating the fader, equalizer, turntable, etc. of theDJ device 10 while jumping and dancing to the rhythm and tempo of the music. An image of the character CH performing such a DJ performance is displayed on a large monitor installed in a club or live venue. In addition, the sound of the music played one after another by operating the character CH is output from the speakers installed in the venue. Alternatively, the image of the DJ character CH in FIG. 2 is distributed to a terminal device such as a user's smartphone or PC (personal computer) via a network such as the Internet. The user enjoys the performance of the DJ character CH by watching the image of the DJ character CH on the display of the smartphone or PC and listening to the music output from the speakers.

キャラクタＣＨは、キャラクタＣＨに対応する人物である演者のモーションキャプチャにより収録されたモーションデータに基づいて動作する。例えばキャラクタＣＨは、モーションデータに基づいて、楽曲のリズムやテンポに合わせて飛び跳ねたり踊るなどの動作を行う。また先行楽曲から後続楽曲に切り替わる際には、先行楽曲をフェードアウトして、後続楽曲をフェードインするミキシングが行われるが、このミキシング期間において、キャラクタＣＨはミキシング操作の動作を行う。例えばキャラクタＣＨは、仮想的なＤＪ機器１０のフェーダーやイコライザーなどを操作するミキシング操作を行う。例えばキャラクタＣＨの手がフェーダーを動かしたり、イコライザーのツマミを回す操作を行う。The character CH acts based on motion data recorded by motion capture of the performer who corresponds to the character CH. For example, based on the motion data, the character CH performs actions such as jumping and dancing to the rhythm and tempo of the music. When switching from the preceding music to the succeeding music, a mixing operation is performed in which the preceding music is faded out and the succeeding music is faded in, and during this mixing period, the character CH performs a mixing operation. For example, the character CH performs a mixing operation to operate the fader, equalizer, etc. of thevirtual DJ equipment 10. For example, the hand of the character CH performs an operation to move a fader or turn the knob of an equalizer.

図３は、キャラクタＣＨが操作するＤＪ機器１０（ＤＪプレーヤー、ミキシング装置）の一例を簡素的に示す図である。フェーダー１１、１２は、各々、チャンネル１、チャンネル２の音量を調整するものである。本実施形態ではチャンネル１（デッキ１）で先行楽曲が再生され、チャンネル２（デッキ２）で後続楽曲が再生されるものとする。クロスフェーダー１４は、チャンネル１とチャンネル２の音量バランスを調整するものである。イコライザー２１、２２は、各々、チャンネル１、チャンネル２の楽曲のイコライジングを行うものであり、高音、中音、低音の調整用のツマミを有する。トリム調整ツマミ２３、２４は、各々、チャンネル１、２のゲインを調整するものである。また再生ボタン３１、３２、キューボタン３３、３４により、チャンネル１、２の楽曲の再生、停止、キューの操作などが可能になる。またターンテーブル３５、３６によりスクラッチなどのエフェクトの操作が可能になる。またディスプレイ４１、４２には楽曲の音波形が表示される。なお図３はＤＪ機器１０の一例を模式的に示すものであり、ＤＪ機器１０には図３に示すもの以外にも、例えばピッチコントローラー、エフェクト操作ツマミ又はパフォーマンスパッドなどが設けられていてもよい。またＤＪ機器１０は、キャラクタＣＨと同様に仮想空間のオブジェクトにより構成されるものであり、キャラクタＣＨやＤＪ機器１０のオブジェクトを用いて、キャラクタＣＨやＤＪ機器１０の画像を含む仮想空間画像が生成される。Figure 3 is a simplified diagram showing an example of DJ equipment 10 (DJ player, mixing device) operated by character CH.Faders 11 and 12 adjust the volume ofchannel 1 andchannel 2, respectively. In this embodiment, the preceding song is played on channel 1 (deck 1), and the following song is played on channel 2 (deck 2).Crossfader 14 adjusts the volume balance betweenchannel 1 andchannel 2.Equalizers 21 and 22 equalize the songs onchannel 1 andchannel 2, respectively, and have knobs for adjusting treble, midrange, and bass. Trim adjustment knobs 23 and 24 adjust the gain ofchannels 1 and 2, respectively. In addition,play buttons 31 and 32 andcue buttons 33 and 34 allow the playback, stop, and cue operations of songs onchannels 1 and 2. In addition,turntables 35 and 36 allow the operation of effects such as scratching. In addition, the sound waveforms of the songs are displayed ondisplays 41 and 42. Note that Figure 3 is a schematic diagram of an example ofDJ equipment 10, and in addition to the components shown in Figure 3,DJ equipment 10 may also be provided with, for example, a pitch controller, an effect control knob, or a performance pad. Also,DJ equipment 10 is composed of virtual space objects, similar to character CH, and a virtual space image including an image of character CH andDJ equipment 10 is generated using the character CH andDJ equipment 10 objects.

２．２ マーカー情報に応じたミキシング処理とキャラクタ動作制御
図４は本実施形態の処理を説明するフローチャートである。まず処理システムは、再生対象となる楽曲の楽曲情報を読み出す（ステップＳ１）。例えば図１の楽曲情報記憶部１７２から楽曲のサウンドデータなどの楽曲情報を読み出す。例えばＤＪの演奏においてプレイリストが作成されている場合には、プレイリストの複数の楽曲の楽曲情報を読み出す。また楽曲のマーカー情報を読み出す（ステップＳ２）。例えば図１のマーカー情報記憶部１７４から、再生される楽曲に対応づけられるマーカー情報を読み出す。そして処理システムは、キャラクタの楽曲の再生操作の動作に合わせ、楽曲の再生を開始する（ステップＳ３）。例えば１曲目の再生開始時には、キャラクタが再生ボタンを押すなどの再生操作の動作（アニメーション）を行うため、この再生操作の動作に合わせて、楽曲再生を開始する。具体的には複数の楽曲を、楽曲同士のミキシング等を行いながら次々に連続再生する楽曲再生を開始する。そして再生楽曲の情報に基づいたキャラクタの動作制御を行う（ステップＳ４）。例えば図２に示す仮想的なＤＪのキャラクタＣＨが、再生楽曲のテンポやリズムに合わせてダンスをしたり煽り動作をする動作制御を行う。 2.2 Mixing process and character movement control according to marker information FIG. 4 is a flow chart for explaining the process of this embodiment. First, the processing system reads out the music information of the music to be played (step S1). For example, the processing system reads out music information such as the sound data of the music from the musicinformation storage unit 172 in FIG. 1. For example, if a playlist is created for a DJ's performance, the processing system reads out music information of multiple songs in the playlist. The processing system also reads out the marker information of the music (step S2). For example, the processing system reads out the marker information associated with the music to be played from the markerinformation storage unit 174 in FIG. 1. Then, the processing system starts playing the music in accordance with the character's movement of the music playback operation (step S3). For example, when the first music starts to be played, the character performs a playback operation (animation) such as pressing the play button, so the processing system starts playing the music in accordance with this playback operation. Specifically, the processing system starts playing music in which multiple songs are played one after another while mixing the songs with each other. Then, the processing system controls the character's movement based on the information of the played music (step S4). For example, the virtual DJ character CH shown in FIG. 2 performs motion control to dance and stir up the crowd in sync with the tempo and rhythm of the music being played.

次に処理システムは、マーカー情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する（ステップＳ５）。例えば先行楽曲の所定の楽曲構成に対応づけられたマーカーの情報や、後続楽曲の所定の楽曲構成に対応づけられたマーカーの情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する。具体的には、ミキシング期間の開始タイミングに対応するマーカーの情報や、ミキシング期間の終了タイミングに対応するマーカーの情報に基づいて、ミキシング期間になったか否かを判断する。そしてミキシング期間になった場合には、先行楽曲と後続楽曲のミキシング処理を行う（ステップＳ６、Ｓ７）。例えば先行楽曲をフェードアウトさせながら後続楽曲をフェードインさせるミキシング処理を行う。またミキシング期間になった場合には、ミキシング処理に基づいたキャラクタの動作制御を行う（ステップＳ８）。例えばミキシング用のモーションでキャラクタを動作させる。例えばインバースキネマティクス処理などによりキャラクタの手（指）を動かすモーション補正を、その時の基準のモーションに対して行うことで、ミキシング操作の動作をキャラクタに行わせる。即ち図３のフェーダー１１、１２、クロスフェーダー１４、イコライザー２１、２２などを操作するミキシング操作の動作をキャラクタに行わせる。そしてミキシング期間が終了したか否かを判断し（ステップＳ９）、終了した場合にはステップＳ４に戻る。これにより、そのときの後続楽曲を先行楽曲とし、次の楽曲を後続楽曲とするミキシング処理が行われるようになる。そして、全楽曲の再生が完了するまで複数の楽曲の連続再生が行われる。Next, the processing system judges whether or not it is the mixing period of the preceding song and the following song based on the marker information (step S5). For example, based on the marker information associated with a predetermined song composition of the preceding song or the marker information associated with a predetermined song composition of the following song, it judges whether or not it is the mixing period of the preceding song and the following song. Specifically, it judges whether or not it is the mixing period based on the marker information corresponding to the start timing of the mixing period or the marker information corresponding to the end timing of the mixing period. Then, when it is the mixing period, it performs a mixing process of the preceding song and the following song (steps S6, S7). For example, it performs a mixing process in which the preceding song is faded out while the following song is faded in. Also, when it is the mixing period, it performs the motion control of the character based on the mixing process (step S8). For example, it makes the character move with a motion for mixing. For example, it makes the character perform the motion of the mixing operation by performing a motion correction of the character's hand (fingers) by inverse kinematics processing or the like with respect to the reference motion at that time. That is, the character is made to perform mixing operations such as operating thefaders 11 and 12, thecrossfader 14, and theequalizers 21 and 22 in FIG. 3. Then, it is determined whether the mixing period has ended (step S9), and if so, the process returns to step S4. This causes the mixing process to be performed in which the subsequent song at that time becomes the preceding song, and the next song becomes the subsequent song. Then, multiple songs are played continuously until playback of all songs is completed.

このように本実施形態では、図４のステップＳ１～Ｓ４に示すように、楽曲情報に基づいて楽曲の再生処理が行われると共に、キャラクタの動作制御が行われ、図２に示すようにキャラクタの画像の表示処理が行われる。そして図４のステップＳ５～Ｓ９に示すように、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング処理が行われると共に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング期間でのキャラクタの動作制御が行われる。例えばマーカー情報に基づいてミキシング期間が特定され、特定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理が行われると共に、ミキシング操作に対応したモーションを行うように、キャラクタの動作が制御される。例えばマーカー情報に基づいてミキシング期間での先行楽曲と後続楽曲のミキシング処理とキャラクタの動作制御とが連動するように制御され、当該キャラクタの画像が図２に示すように表示されるようになる。このようにすれば、先行楽曲から後続楽曲に切り替える際に、先行楽曲と後続楽曲の接続情報となるマーカー情報を有効利用した画像生成を実現できるようになる。例えばマーカー情報を用いて先行楽曲と後続楽曲のミキシング処理を実現できると共に、ミキシング操作等の動作を行うキャラクタの画像を生成できるようになる。また先行楽曲と後続楽曲の接続情報となるマーカー情報を利用したスムーズな楽音の再生移行も実現できるようになる。例えばマーカー情報により設定されるミキシング期間において先行楽曲と後続楽曲のミキシングを行うことで、先行楽曲から後続楽曲へのスムーズに再生移行することが可能になる。In this embodiment, as shown in steps S1 to S4 of FIG. 4, the music is played based on the music information, and the character's movement is controlled, and the character's image is displayed as shown in FIG. 2. Then, as shown in steps S5 to S9 of FIG. 4, when switching from the preceding music to the following music, the preceding music and the following music are mixed according to the marker information, and the character's movement is controlled during the mixing period of the preceding music and the following music according to the marker information. For example, the mixing period is specified based on the marker information, and the preceding music and the following music are mixed during the specified mixing period, and the character's movement is controlled to perform a motion corresponding to the mixing operation. For example, the mixing process of the preceding music and the following music during the mixing period and the character's movement control are controlled to be linked based on the marker information, and the character's image is displayed as shown in FIG. 2. In this way, when switching from the preceding music to the following music, it is possible to realize image generation that effectively uses the marker information that serves as the connection information between the preceding music and the following music. For example, the marker information can be used to realize the mixing process of the preceding song and the following song, and an image of a character performing actions such as mixing operations can be generated. It can also realize a smooth transition in the playback of musical sounds by using the marker information, which is the connection information between the preceding song and the following song. For example, by mixing the preceding song and the following song during the mixing period set by the marker information, it becomes possible to smoothly transition the playback from the preceding song to the following song.

また本実施形態では、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、キャラクタの動作を変化させる。このようにすれば、ミキシングパターン、ミックスモード、外部情報の分析結果、又は楽曲の曲構成に応じてキャラクタの動作が様々に変化するようになり、ミキシングパターン、ミックスモード、外部情報の分析結果、又は曲構成を反映させたキャラクタの動作制御を実現できるようになる。In addition, in this embodiment, the character's behavior is changed according to at least one of the mixing pattern of the preceding song and the following song, the mix mode in playing multiple songs, the analysis results of external information, and the song composition of the song. In this way, the character's behavior changes in various ways according to the mixing pattern, mix mode, the analysis results of external information, or the song composition of the song, making it possible to realize character behavior control that reflects the mixing pattern, mix mode, the analysis results of external information, or the song composition.

例えば図５では、先行楽曲と後続楽曲のミキシングパターンＰＭＸ、ＰＭＹ、ＰＭＺ・・・と、キャラクタの動作パターンＭＴＸ、ＭＴＹ、ＭＴＺ・・・とが対応づけられている。そしてミキシングパターンがＰＭＸである場合には、ミキシング期間においてキャラクタは動作パターンＭＴＸで動作する。同様に、ミキシングパターンがＰＭＹ、ＰＭＺである場合には、ミキシング期間においてキャラクタは、各々、動作パターンＭＴＹ、ＭＴＺで動作する。For example, in Figure 5, the mixing patterns PMX, PMY, PMZ, etc. of the preceding and succeeding songs correspond to the character's movement patterns MTX, MTY, MTZ, etc. If the mixing pattern is PMX, the character moves according to the movement pattern MTX during the mixing period. Similarly, if the mixing pattern is PMY or PMZ, the character moves according to the movement patterns MTY or MTZ, respectively, during the mixing period.

ここでミキシングパターンは、例えば先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンである。例えばミキシングパターンＰＭＸが、ミキシング期間において、先行楽曲の音量を徐々に小さくしながら、後続楽曲の音量を徐々に大きくする音量調整を行うパターンだったとする。この場合にミキシングパターンＰＭＸに対応するキャラクタの動作パターンＭＴＸは、図２の先行楽曲用のフェーダー１１を徐々に下方向に下げながら、後続楽曲用のフェーダー１２を徐々に上方向に上げる動作パターンになる。具体的には、リズムやテンポに合わせて動く基本モーションを行っている図２のキャラクタの左手を、フェーダー１１の位置に移動し、右手をフェーダー１２の位置に移動し、左手を下方向に動かし、右手を上方向に動かす動作パターンＭＴＸのモーションを行わせる。このような動作パターンＭＴＸのモーション処理は、左手や右手をエンドエフェクタとするインバースキネマティクス処理などにより実現できる。Here, the mixing pattern is, for example, at least one of the volume adjustment pattern and the equalizer adjustment pattern in mixing the preceding and succeeding songs. For example, suppose that the mixing pattern PMX is a pattern in which the volume of the preceding song is gradually decreased while the volume of the succeeding song is gradually increased during the mixing period. In this case, the character's motion pattern MTX corresponding to the mixing pattern PMX is a motion pattern in which the fader 11 for the preceding song in FIG. 2 is gradually lowered downward while thefader 12 for the succeeding song is gradually raised upward. Specifically, the character in FIG. 2, which is performing a basic motion that moves in accordance with the rhythm and tempo, moves its left hand to the position of the fader 11, moves its right hand to the position of thefader 12, moves its left hand downward, and moves its right hand upward, performing the motion of the motion pattern MTX. Motion processing of such a motion pattern MTX can be realized by inverse kinematics processing with the left and right hands as end effectors.

またミキシングパターンＰＭＹが、ミキシングパターンＰＭＸのような音量調整を行うと共に、低音をイコライザー調整するパターンであったとする。例えばミキシング期間の初めにおいて、後続楽曲の低音を減衰させてバスドラム等が聞こえないようにして、ミキシング期間の最後に後続楽曲の低音を増加させて元に戻し、バスドラムが聞こえるようにするイコライザー調整パターンであったとする。この場合には、ミキシングパターンＰＭＹに対応するキャラクタの動作パターンＭＴＹは、フェーダー１１、１２又はクロスフェーダー１４の操作を行いながら、後続楽曲用のイコライザー２２の低音の調整ツマミを回す動作パターンになる。この動作パターンＭＴＹも上述のようなインバースキネマティクス処理などにより実現できる。Suppose mixing pattern PMY is a pattern that adjusts the volume like mixing pattern PMX, while also adjusting the bass with an equalizer. For example, assume that at the beginning of the mixing period, the bass of the following song is attenuated so that the bass drum and the like cannot be heard, and at the end of the mixing period, the bass of the following song is increased back to its original level so that the bass drum can be heard. In this case, the character's movement pattern MTY corresponding to mixing pattern PMY is a movement pattern in which the bass adjustment knob of theequalizer 22 for the following song is turned while operatingfaders 11, 12 orcrossfader 14. This movement pattern MTY can also be realized by inverse kinematics processing as described above.

またミキシングパターンＰＭＺが、ミキシングパターンＰＭＸのような音量調整を行うと共に、中音をイコライザー調整するパターンであったとする。例えば、先行楽曲及び後続楽曲がボーカル曲であり、ミキシング期間の初めにおいて、後続楽曲の中音を減衰させてボーカルが聞こえないようにして、ミキシング期間の最後に後続楽曲の中音を増加させて元に戻し、ボーカルが聞こえるようにするイコライザー調整パターンであったとする。この場合には、ミキシングパターンＰＭＺに対応するキャラクタの動作パターンＭＴＺは、フェーダー１１、１２又はクロスフェーダー１４の操作を行いながら、後続楽曲用のイコライザー２２の中音の調整ツマミを回す動作パターンになる。この動作パターンＭＴＺも上述のようなインバースキネマティクス処理などにより実現できる。或いは、例えば図３のターンテーブル３５、３６によるエフェクトが加わるミキシングパターンである場合には、ターンテーブル３５、３６を操作するような動作パターンでキャラクタを動作させてもよい。このようにすれば、ミキシングパターンにおける音量調整やイコライザー調整のパターンに連動するように、ミキシング期間においてキャラクタを動作させること可能になり、あたかも本物のＤＪがＤＪ機器１０を操作しているかのように見える仮想空間画像を生成できるようになる。Also, suppose that the mixing pattern PMZ is a pattern that adjusts the volume like the mixing pattern PMX and adjusts the midrange with an equalizer. For example, suppose that the preceding and following songs are vocal songs, and the equalizer adjustment pattern attenuates the midrange of the following song at the beginning of the mixing period so that the vocals cannot be heard, and increases the midrange of the following song at the end of the mixing period so that the vocals can be heard. In this case, the character's motion pattern MTZ corresponding to the mixing pattern PMZ is a motion pattern in which the adjustment knob for the midrange of theequalizer 22 for the following song is turned while operating thefaders 11, 12 or thecrossfader 14. This motion pattern MTZ can also be realized by the inverse kinematics processing described above. Alternatively, for example, if the mixing pattern is one in which effects are added by theturntables 35, 36 in FIG. 3, the character may be moved in a motion pattern that operates theturntables 35, 36. In this way, it becomes possible to make the character move during the mixing period in conjunction with the volume and equalizer adjustment patterns in the mixing pattern, making it possible to generate a virtual space image that looks as if a real DJ is operating theDJ equipment 10.

なおミキシング期間におけるキャラクタの動作は、インバースキネマティクス処理を行う手法には限定されず、種々のモーション処理手法を採用できる。例えばミキシング期間用のモーションデータを別途に用意して、ミキシング期間になったら、モーションデータを、ミキシング期間用のモーションデータに切り替えるようにしてもよい。The character's movements during the mixing period are not limited to inverse kinematics processing, and various motion processing methods can be used. For example, separate motion data for the mixing period can be prepared, and when the mixing period begins, the motion data can be switched to the motion data for the mixing period.

また本実施形態では、ミックスモードに応じてキャラクタの動作を変化させる。ここでミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。ショートミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して早いタイミングで後続楽曲をミキシングするモードであり、ロングミックスモードは、先行楽曲に対して遅いタイミングで後続楽曲をミキシングするモードである。図６は、ミックスモードに応じてキャラクタの動作を変化させる処理を説明するフローチャートである。In this embodiment, the character's behavior is changed depending on the mix mode. Here, the mix mode is a basic mix mode, a short mix mode, or a long mix mode. Compared to the basic mix mode, the short mix mode is a mode in which the subsequent song is mixed at an earlier timing than the preceding song, and the long mix mode is a mode in which the subsequent song is mixed at a later timing than the preceding song. Figure 6 is a flowchart that explains the process of changing the character's behavior depending on the mix mode.

まず処理システムは、ミックスモードが設定（変更）された否かを判断し、ベーシックミックスモードが設定された場合には、後述の図２１で例示されるようなベーシックミックスモード用のマーカーセットを用いて、ベーシックミックスモードで楽曲再生を行うと共に、ベーシックミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１１、Ｓ１２、Ｓ１３、Ｓ１４）。一方、ショートミックスモードが設定された場合には、ショートミックスモード用のマーカーセットを用いて、ショートミックスモードで楽曲再生を行うと共に、ショートミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１５、Ｓ１６、１７）。またショートミックスモードが設定されていない場合には、ロングミックスモードが設定されたとして、ロングミックスモード用のマーカーセットを用いて、ロングミックスモードで楽曲再生を行うと共に、ロングミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１８、Ｓ１９）。First, the processing system determines whether the mix mode has been set (changed), and if the basic mix mode has been set, the marker set for the basic mix mode, as illustrated in FIG. 21 below, is used to play music in the basic mix mode, and character movement control corresponding to the basic mix mode is performed (steps S11, S12, S13, S14). On the other hand, if the short mix mode has been set, the marker set for the short mix mode is used to play music in the short mix mode, and character movement control corresponding to the short mix mode is performed (steps S15, S16, S17). If the short mix mode has not been set, the long mix mode is assumed to have been set, and the marker set for the long mix mode is used to play music in the long mix mode, and character movement control corresponding to the long mix mode is performed (steps S18, S19).

例えばショートミックスモードでは、ベーシックミックスモードに比べて、演奏時間内において速いタイミングで次々に楽曲が切り替わって行く。そこでショートミックスモードでは、ベーシックミックスモードに比べて、速い動きや激しい動きの動作パターンでキャラクタを動作させる。例えばショートミックスモード用のモーションデータとして、ベーシックミックスモード用のモーションデータに比べて、速い動きや激しい動きになるモーションデータを用意して、モーション再生を行う。一方、ロングミックスモードでは、ベーシックミックスモードに比べて、演奏時間内において遅いタイミングでゆっくりと楽曲が切り替わって行く。そこでロングミックスモードでは、ベーシックミックスモードに比べて、遅い動きや穏やかな動きの動作パターンでキャラクタを動作させる。例えばロングミックスモード用のモーションデータとして、ベーシックミックスモード用のモーションデータに比べて、遅い動きや穏やかな動きになるモーションデータを用意して、モーション再生を行う。このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードに応じたモーションでキャラクタを動作させることが可能になり、各ミックスモードに適した動作を行うキャラクタの画像を表示できるようになる。For example, in the short mix mode, music pieces are switched one after another at a faster timing within the playing time than in the basic mix mode. Therefore, in the short mix mode, the character is moved in a faster or more intense motion pattern than in the basic mix mode. For example, as the motion data for the short mix mode, motion data that is faster or more intense than the motion data for the basic mix mode is prepared, and motion is played. On the other hand, in the long mix mode, music pieces are switched more slowly within the playing time than in the basic mix mode. Therefore, in the long mix mode, the character is moved in a slower or more gentle motion pattern than in the basic mix mode. For example, as the motion data for the long mix mode, motion data that is slower or more gentle than the motion data for the basic mix mode is prepared, and motion is played. In this way, it is possible to move the character in a motion corresponding to the basic mix mode, short mix mode, or long mix mode, and it is possible to display an image of the character performing a motion suitable for each mix mode.

また本実施形態では、外部情報の分析結果に応じて、キャラクタの動作を変化させる。例えば図７では端末装置ＴＭ１～ＴＭｎがネットワーク５１０を介して本実施形態の処理システムに通信接続されている。ネットワーク５１０は、例えばインターネットを利用した通信路である。そして端末装置ＴＭ１～ＴＭｎのユーザが、ＤＪのキャラクタのパフォーマンスや再生楽曲についてのインターネット投票を行い、このインターネット投票の結果が、外部情報として分析される。そして処理システムは、インターネット投票の結果である外部情報の分析結果に応じて、キャラクタの動作を変化させる。例えばキャラクタのパフォーマンスを多くのユーザが支持するような分析結果である場合には、キャラクタの動きが盛り上がった動きになったり、ユーザへの特典となる特別な動きを行うようになる。或いはインターネット投票の結果である外部情報の分析結果に応じて、キャラクタがＤＪとして次に演奏する楽曲を選択するようにしてもよい。また外部情報の分析結果は、外部環境の音声や観客の動きの分析結果であってもよい。例えばクラブやライブの会場で図２に示すようなＤＪのキャラクタの映像をモニターに表示した場合に、観客の歓声や、キャラクタのパフォーマンスで盛り上がった観客の動きを分析する。そして、この分析結果を反映した動きでキャラクタを動作させる。例えば歓声が大きかったり、観客が盛り上がった動きをした場合には、それに応じてキャラクタの動きが盛り上がった動きになったり、ユーザへの特典となる特別な動きを行うようになる。このようにすれば、外部情報の分析結果を反映させた動作をキャラクタが行うようになり、あたかも本物のＤＪが、観客の歓声や動きに反応してパフォーマンスを行うようなリアルな仮想空間画像を生成することが可能になる。In this embodiment, the character's behavior is changed according to the analysis results of the external information. For example, in FIG. 7, the terminal devices TM1 to TMn are connected to the processing system of this embodiment via thenetwork 510. Thenetwork 510 is, for example, a communication path using the Internet. The users of the terminal devices TM1 to TMn then vote on the Internet for the performance of the DJ character and the music to be played, and the results of this Internet voting are analyzed as external information. The processing system then changes the character's behavior according to the analysis results of the external information that are the results of the Internet voting. For example, if the analysis results show that many users support the character's performance, the character's movements become more exciting or perform special movements that are a privilege for the user. Alternatively, the character may select the next music to be played as a DJ according to the analysis results of the external information that are the results of the Internet voting. The analysis results of the external information may also be the analysis results of the sounds of the external environment and the movements of the audience. For example, when a video of a DJ character as shown in FIG. 2 is displayed on a monitor at a club or live venue, the cheers of the audience and the movements of the audience excited by the character's performance are analyzed. The character is then made to move in a manner that reflects the analysis results. For example, if the cheers are loud or the audience makes an excited movement, the character's movements will become more excited accordingly, or the character will perform a special movement that will be a bonus for the user. In this way, the character will perform actions that reflect the analysis of external information, making it possible to generate realistic virtual space images in which it is as if a real DJ were performing in response to the cheers and movements of the audience.

また本実施形態では、楽曲の曲構成に応じてキャラクタの動作を変化させる。例えば後述するようにハウスミュージック（テクノハウス）のジャンルの楽曲は、図８に示すようにイントロ、ビルドアップＡ、ドロップＡ、ブレーク、ビルドアップＢ、ドロップＢ、アウトロの曲構成を有する。この場合にこれらの曲構成に対して、キャラクタの動作パターンＭＴＡ、ＭＴＢ、ＭＴＣ、ＭＴＤ、ＭＴＥ、ＭＴＦ、ＭＴＧが対応づけられている。例えば楽曲のイントロの曲構成が再生されているときには、キャラクタは動作パターンＭＴＡで動作する。同様にビルドアップＡ、ドロップＡ、ブレーク、ビルドアップＢ、ドロップＢ、アウトロの曲構成が再生されているときには、各々、キャラクタは動作パターンＭＴＢ、ＭＴＣ、ＭＴＤ、ＭＴＥ、ＭＴＦ、ＭＴＧで動作する。例えば図８の各曲構成が再生されているときに、動作パターンＭＴＡ～ＭＴＧに対応するモーションデータを用いてキャラクタのモーション再生を行う。このようにすれば楽曲の曲構成に応じた動きでキャラクタを動作させることができ、楽曲に連動したキャラクタの動作を実現できるようになる。例えば楽曲のビルドアップが再生されているときには、図９に示すように、キャラクタＣＨが手を振ったり、体を激しく動かすなどの動作パターンで動作するようにする。これによりクラブやライブの会場の観客や、動画配信を端末装置で見ているユーザを盛り上げることが可能になる。なお動作パターンＭＴＡ～ＭＴＧは全てが互いに異なった動作パターンである必要はなく、これらのうちの少なくとも２つが異なった動作パターンであればよい。In this embodiment, the character's movements are changed according to the musical composition of the song. For example, as described later, a song in the genre of house music (techno house) has a musical composition of intro, build-up A, drop A, break, build-up B, drop B, and outro, as shown in FIG. 8. In this case, the character's movement patterns MTA, MTB, MTC, MTD, MTE, MTF, and MTG are associated with these musical compositions. For example, when the intro musical composition of a song is being played, the character moves according to the movement pattern MTA. Similarly, when the build-up A, drop A, break, build-up B, drop B, and outro musical compositions are being played, the character moves according to the movement patterns MTB, MTC, MTD, MTE, MTF, and MTG, respectively. For example, when each musical composition of FIG. 8 is being played, the character's motion is played using the motion data corresponding to the movement patterns MTA to MTG. In this way, the character can be made to move in accordance with the musical composition of the song, and the character's movements linked to the song can be realized. For example, when a song's build-up is being played, the character CH can move in a pattern of waving its hands and vigorously moving its body, as shown in FIG. 9. This can liven up the atmosphere for the audience at a club or live concert, or for users watching a video stream on a terminal device. Note that the movement patterns MTA to MTG do not all need to be different from each other, as long as at least two of them are different.

また本実施形態では、キャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用するマーカー情報の少なくとも１つを変化させる。このようにすればキャラクタの情報に応じたミキシングパターン、ミックスモード又はマーカー情報により、先行楽曲と後続楽曲のミキシング処理などを行えるようになり、様々な態様の楽曲ミキシングを実現できるようになる。図１０は、キャラクタの情報に基づいてミキシングパターン、ミックスモード、使用するマーカー情報を変化させる処理を説明するフローチャートである。In this embodiment, at least one of the mixing pattern of the preceding song and the following song, the mix mode for playing multiple songs, and the marker information used for mixing is changed based on the character information. In this way, mixing processing of the preceding song and the following song can be performed using the mixing pattern, mix mode, or marker information according to the character information, making it possible to realize various types of song mixing. Figure 10 is a flowchart explaining the process of changing the mixing pattern, mix mode, and marker information used based on the character information.

まずキャラクタのレベル等のパラメータ、性格情報、又は制御アルゴリズム情報などのキャラクタの情報を読み出す（ステップＳ２１）。即ち図１のキャラクタ情報記憶部１７６からキャラクタの情報を読み出す。キャラクタの情報は例えばキャラクタに対して予め設定された判断条件の情報である。次にキャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、又はミキシングに使用するマーカー情報を設定する（ステップＳ２２）。そして、このようにして設定されたミキシングパターン、ミックスモード又はマーカー情報に基づいて、先行楽曲と後続楽曲のミキシング処理を実行する（ステップＳ２３）。これによりキャラクタの情報を反映させたミキシングパターン、ミックスモード又はマーカー情報を用いてミキシング処理を実行できるようになる。First, character information such as parameters such as the character's level, personality information, or control algorithm information is read (step S21). That is, character information is read from the characterinformation storage unit 176 in FIG. 1. Character information is, for example, information on judgment conditions previously set for a character. Next, based on the character information, a mixing pattern for the preceding song and the following song, a mix mode for playing multiple songs, or marker information to be used for mixing is set (step S22). Then, based on the mixing pattern, mix mode, or marker information thus set, a mixing process for the preceding song and the following song is executed (step S23). This makes it possible to execute the mixing process using a mixing pattern, mix mode, or marker information that reflects the character information.

例えばキャラクタの情報に基づいて、図５で説明した先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであるミキシングパターンを設定する。キャラクタの情報は、例えばキャラクタのレベル、能力等のパラメータ、キャラクタの性格、或いはキャラクタの制御アルゴリズムなどの情報である。例えばキャラクタのレベル又は能力が高い場合には、より複雑で難易度が高いミキシングパターンを設定する。或いはキャラクタの性格に応じてミキシングパターンを設定する。例えばキャラクタが細かい綿密な性格である場合には、複雑で綿密なミキシングパターンを設定する。或いはキャラクタを制御する制御アルゴリズムに応じて、ミキシングパターンを異ならせる。またキャラクタのレベル、能力等のパラメータ、性格、又は制御アルゴリズムに応じて、ベーシックミックスモード、ショートミックスモード、ロングミックスモードのうちのどのミックスモードを使用するのかを異ならせる。例えばキャラクタのレベル又は能力が低い場合には、ベーシックミックスモードしか使用できないが、レベル又は能力が高くなると、ショートミックスモードやロングミックスモードについても使用できるようになる。また例えばキャラクタがノリの良い性格である場合には、ショートミックスモードが使用され、大人しく落ち着きのある性格である場合には、ロングミックスモードが使用される。またキャラクタのレベル、能力等のパラメータ、性格、又は制御アルゴリズムに応じて、使用されるマーカー情報を異ならせる。例えば後述の図２１のように複数のマーカーセットがある場合に、どのマーカーセットを使用するかをキャラクタの情報に応じて異ならせる。或いは、キャラクタのレベル、能力等のパラメータ、性格又は制御アルゴリズムに応じて、楽曲の複数の曲構成のうちのどの曲構成に設定されたマーカー情報を使用するかを決定する。例えばキャラクタがノリの良い性格である場合には、ノリの良い曲構成のパートに設定されたマーカー情報が使用され、その曲構成になったときにミキシング処理が行われる。またキャラクタが大人しく落ち着きのある性格である場合には、静かなタイプの曲構成のパートに設定されたマーカー情報が使用され、その曲構成になったときにミキシング処理が行われる。For example, based on character information, a mixing pattern is set, which is at least one of the volume adjustment pattern and the equalizer adjustment pattern in mixing the preceding music and the following music as described in FIG. 5. The character information is, for example, information such as the character's level, ability, and other parameters, the character's personality, or the character's control algorithm. For example, when the character's level or ability is high, a more complex and difficult mixing pattern is set. Or a mixing pattern is set according to the character's personality. For example, when the character has a detailed and meticulous personality, a complex and meticulous mixing pattern is set. Or, the mixing pattern is made different according to the control algorithm that controls the character. Also, depending on the character's level, ability, and other parameters, personality, or control algorithm, which mix mode is used among the basic mix mode, short mix mode, and long mix mode is made different. For example, when the character's level or ability is low, only the basic mix mode can be used, but when the character's level or ability is high, the short mix mode and long mix mode can also be used. Also, for example, when the character has a fun-loving personality, the short mix mode is used, and when the character has a quiet and calm personality, the long mix mode is used. Also, the marker information used is made different depending on the character's level, ability parameters, personality, or control algorithm. For example, when there are multiple marker sets as shown in FIG. 21 described below, which marker set is used is made different depending on the character information. Alternatively, the marker information set for which of multiple song configurations of a song is used is determined depending on the character's level, ability parameters, personality, or control algorithm. For example, if the character has a catchy personality, the marker information set for the part of the catchy song configuration is used, and mixing processing is performed when that song configuration is achieved. Also, if the character has a quiet and calm personality, the marker information set for the part of the quiet type song configuration is used, and mixing processing is performed when that song configuration is achieved.

またマーカー情報記憶部１７４は、ミキシング期間の開始タイミングに対応するマーカーの情報と、ミキシング期間の終了タイミングに対応するマーカーの情報を記憶する。このようにすれば、マーカー情報記憶部１７４に記憶されるマーカー情報により、ミキシング期間の開始タイミングや終了タイミングを設定して、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作を制御できるようになる。The markerinformation storage unit 174 also stores marker information corresponding to the start timing of the mixing period and marker information corresponding to the end timing of the mixing period. In this way, the marker information stored in the markerinformation storage unit 174 can be used to set the start timing and end timing of the mixing period, perform mixing processing of the preceding song and the following song, and control the behavior of the character during the mixing period.

例えば図１１では、先行楽曲はＣＸＡ～ＣＸＧの曲構成を有しており、後続楽曲はＣＹＡ～ＣＹＧの曲構成を有している。そして先行楽曲では、曲構成ＣＸＥに対して、ミキシング期間の開始タイミングに対応するマーカーＭＳＸと、ミキシング期間の終了タイミングに対応するマーカーＭＥＸが設定されている。また後続楽曲では、曲構成ＣＹＣに対して、ミキシング期間の開始タイミングに対応するマーカーＭＳＹと、ミキシング期間の終了タイミングに対応するマーカーＭＥＹが設定されている。このようにすれば、例えばマーカーＭＳＸ、ＭＳＹのタイミングをミキシング期間の開始タイミングとし、マーカーＭＥＸ、ＭＥＹのタイミングをミキシング期間の終了タイミングとして、先行楽曲と後続楽曲のミキシング処理を行えるようになる。例えばマーカーＭＳＸのタイミングを開始タイミングとして、先行楽曲のフェードアウトが開始され、マーカーＭＥＸのタイミングを終了タイミングとして、先行楽曲のフェードアウトが終了する。またマーカーＭＳＹのタイミングを開始タイミングとして、後続楽曲のフェードインが開始され、マーカーＭＥＹのタイミングを終了タイミングとして、後続楽曲のフェードインが終了する。この場合に、マーカーＭＳＸ、ＭＳＹが一致するタイミングや、或いはマーカーＭＥＸ、ＭＥＹが一致するタイミングを特定することで、後続楽曲の再生を開始するタイミングを特定できる。例えばマーカーＭＳＸ、ＭＳＹのタイミングが一致するように、後続楽曲の再生を開始したり、或いはマーカーＭＥＸ、ＭＥＹのタイミングが一致するように、後続楽曲の再生を開始する。For example, in FIG. 11, the preceding song has a song structure of CXA-CXG, and the succeeding song has a song structure of CYA-CYG. In the preceding song, a marker MSX corresponding to the start timing of the mixing period and a marker MEX corresponding to the end timing of the mixing period are set for the song structure CXE. In the succeeding song, a marker MSY corresponding to the start timing of the mixing period and a marker MEY corresponding to the end timing of the mixing period are set for the song structure CYC. In this way, for example, the timing of the markers MSX and MSY can be used as the start timing of the mixing period, and the timing of the markers MEX and MEY can be used as the end timing of the mixing period to perform the mixing process of the preceding song and the succeeding song. For example, the fade-out of the preceding song starts with the timing of the marker MSX as the start timing, and the fade-out of the preceding song ends with the timing of the marker MEX as the end timing. The fade-in of the subsequent song starts with the timing of the marker MSY as the start timing, and ends with the timing of the marker MEY as the end timing. In this case, the timing to start playing the subsequent song can be specified by identifying the timing at which the markers MSX and MSY match, or the timing at which the markers MEX and MEY match. For example, playback of the subsequent song is started so that the timing of the markers MSX and MSY match, or playback of the subsequent song is started so that the timing of the markers MEX and MEY match.

また本実施形態では、マーカー情報のマーカーは、楽曲の曲構成に対応づけられている。そして先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、マーカー情報に基づき特定し、当該期間をミキシング期間としてミキシング処理を行う。このようにすれば、先行楽曲が第ｊ曲構成であり、後続楽曲が第ｋ曲構成であるときに、第ｊ曲構成と第ｋ曲構成のミキシング処理を行って、再生楽曲を先行楽曲から後続楽曲に切り替えることが可能になる。In this embodiment, the markers in the marker information correspond to the song structure of the song. Then, the period during which the preceding song is the jth song structure (j is an integer equal to or greater than 1) and the following song is the kth song structure (k is an integer equal to or greater than 1) is identified based on the marker information, and mixing processing is performed for that period as the mixing period. In this way, when the preceding song is the jth song structure and the following song is the kth song structure, mixing processing of the jth song structure and the kth song structure is performed, making it possible to switch the played song from the preceding song to the following song.

例えば図１１では、マーカー情報のマーカーＭＳＸ、ＭＥＸは、先行楽曲の曲構成ＣＸＥに対応づけられ、マーカーＭＳＹ、ＭＥＹは、後続楽曲の曲構成ＣＹＣに対応づけられている。そして先行楽曲が曲構成ＣＸＥ（第ｊ曲構成）であり、後続楽曲が曲構成ＣＹＣ（第ｋ曲構成）である期間が、マーカーＭＳＸ、ＭＥＸ、ＭＳＹ、ＭＥＹに基づき特定され、当該期間をミキシング期間として、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシング処理が行われる。例えば、マーカーＭＳＸ、ＭＳＹのタイミングを開始タイミングとし、マーカーＭＥＸ、ＭＥＹのタイミングを終了タイミングとするミキシング期間において、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシング処理が行われる。例えば当該ミキシング期間において、先行楽曲の曲構成ＣＸＥをフェードアウトしながら、後続楽曲の曲構成ＣＹＣをフェードインするミキシング処理が行われる。この場合、例えば、曲構成ＣＸＥは、先行楽曲の曲構成ＣＸＡ～ＣＸＧのうち、後続楽曲の曲構成ＣＹＣとミキシングが行われても、不自然さや違和感が少ない曲構成である。同様に曲構成ＣＹＥは、後続楽曲の曲構成ＣＹＡ～ＣＹＧのうち、先行楽曲の曲構成ＣＸＥとミキシングが行われても不自然さや違和感が少ない曲構成である。従って、マーカーＭＳＸ、ＭＥＸ、ＭＳＹ、ＭＥＹを利用して、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシングを行えば、先行楽曲から後続楽曲への不自然さや違和感が少ない再生移行が可能になる。For example, in FIG. 11, the markers MSX and MEX in the marker information are associated with the song structure CXE of the preceding song, and the markers MSY and MEY are associated with the song structure CYC of the following song. The period during which the preceding song has the song structure CXE (jth song structure) and the following song has the song structure CYC (kth song structure) is identified based on the markers MSX, MEX, MSY, and MEY, and the mixing process of the song structure CXE of the preceding song and the song structure CYC of the following song is performed during the mixing period, which is started at the timing of the markers MSX and MSY and ended at the timing of the markers MEX and MEY, during which the mixing process of the song structure CXE of the preceding song and the song structure CYC of the following song is performed. For example, during the mixing period, a mixing process is performed in which the song structure CXE of the preceding song is faded out while the song structure CYC of the following song is faded in. In this case, for example, among the preceding song structures CXA to CXG, the song structure CXE is the song structure that will not sound unnatural or strange even if it is mixed with the following song structure CYC. Similarly, among the following song structures CYA to CYG, the song structure CYE is the song structure that will not sound unnatural or strange even if it is mixed with the preceding song structure CXE. Therefore, by using the markers MSX, MEX, MSY, and MEY to mix the preceding song structure CXE with the following song structure CYC, it becomes possible to transition from the preceding song to the following song in a playback that does not sound unnatural or strange.

２．３ ジャンルに応じた設定パターンのマーカー情報
本実施形態では、楽曲のジャンルに応じた設定パターンのマーカー情報を用いる手法を採用する。即ち楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報を用いて、先行楽曲と後続楽曲のミキシング処理を行う。なお、このようなマーカー情報を用いる本実施形態の手法は、上述のような仮想的なＤＪのキャラクタを登場させる適用例には限定されず、例えばキャラクタの動作制御や表示処理を行わないシステムにも適用できる。 2.3 Marker information of a setting pattern according to a genre In this embodiment, a method is adopted that uses marker information of a setting pattern according to a genre of a song. That is, a mixing process of a preceding song and a succeeding song is performed using marker information that is set in the song structure with a different setting pattern according to the genre of the song. Note that the method of this embodiment that uses such marker information is not limited to the application example in which a virtual DJ character appears as described above, and can also be applied to a system that does not control the movement or display processing of a character, for example.

具体的には、このようなマーカー情報を用いる本実施形態の処理システムは、楽曲情報記憶部１７２とマーカー情報記憶部１７４と音処理部１０２を含む。そしてマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には第２設定パターンで曲構成に対してマーカーが設定されるマーカー情報を記憶する。即ち、ジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報を記憶する。そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、このマーカー情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。図１２はこの場合の本実施形態の処理例を説明するフローチャートである。Specifically, the processing system of this embodiment using such marker information includes a musicinformation storage unit 172, a markerinformation storage unit 174, and asound processing unit 102. The markerinformation storage unit 174 stores marker information in which markers are set in the music structure in a first setting pattern when the music is in a first genre, and in which markers are set in the music structure in a second setting pattern when the music is in a second genre. That is, it stores information on markers that are set in the music structure of a music piece in different setting patterns depending on the genre. When switching from the preceding music piece to the following music piece, thesound processing unit 102 performs mixing processing of the preceding music piece and the following music piece during a mixing period that is set according to this marker information. FIG. 12 is a flowchart that explains an example of processing of this embodiment in this case.

まず処理システムは、再生対象となる楽曲の楽曲情報を読み出す（ステップＳ３１）。そして、ジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーのマーカー情報を読み出す（ステップＳ３２）。即ちマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には第２設定パターンで曲構成に対してマーカーが設定されるマーカー情報を記憶しており、このような設定パターンのマーカー情報を読み出す。そして楽曲の再生を開始する（ステップＳ３３）。例えば複数の楽曲を、楽曲同士のミキシング等を行いながら次々に連続再生する楽曲再生を開始する。First, the processing system reads out the music information of the music to be played (step S31). Then, it reads out the marker information of the markers that are set in the music structure of the music in different setting patterns depending on the genre (step S32). That is, the markerinformation storage unit 174 stores marker information in which markers are set in the music structure in a first setting pattern when the music is in a first genre, and in which markers are set in the music structure in a second setting pattern when the music is in a second genre, and reads out the marker information of such setting patterns. Then, it starts playing the music (step S33). For example, it starts playing music in which multiple songs are played back in succession one after the other while mixing the songs together, etc.

次に処理システムは、マーカー情報に基づいて先行楽曲と後続楽曲のミキシング期間になったか否かを判断する（ステップＳ３４）。例えばジャンルに応じて異なる設定パターンで先行楽曲や後続楽曲の曲構成に設定されるマーカー情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する。そしてミキシング期間になった場合には、先行楽曲と後続楽曲のミキシング処理を行う（ステップＳ３５、Ｓ３６）。例えば先行楽曲をフェードアウトさせながら後続楽曲をフェードインさせるミキシング処理を行う。そしてミキシング期間が終了したか否かを判断し（ステップＳ３７）、終了した場合にはステップＳ３４に戻る。これにより、そのときの後続楽曲を先行楽曲とし、次の楽曲を後続楽曲とするミキシング処理が行われるようになる。そして、全楽曲の再生が完了するまで複数の楽曲の連続再生が行われる。The processing system then determines whether or not it is the mixing period for the preceding and subsequent songs based on the marker information (step S34). For example, the processing system determines whether or not it is the mixing period for the preceding and subsequent songs based on marker information that is set in the song configuration of the preceding and subsequent songs in different setting patterns depending on the genre. If it is the mixing period, the processing system performs mixing processing for the preceding and subsequent songs (steps S35 and S36). For example, the processing system performs mixing processing in which the preceding song is faded out while the subsequent song is faded in. The processing system then determines whether or not the mixing period has ended (step S37), and if so, returns to step S34. This causes mixing processing to be performed in which the subsequent song at that time is the preceding song and the next song is the subsequent song. Then, multiple songs are played continuously until playback of all songs is completed.

図１３は、ＤＪ画面の一例を示す図である。このＤＪ画面は、例えばＰＣ、スマートフォン又はゲーム装置などの端末装置のディスプレイに表示される。そしてユーザは、このＤＪ画面を見ながらＤＪの操作を行う。フェーダー５１、５２は、各々、チャンネル１、チャンネル２の音量を調整するものである。クロスフェーダー５４は、チャンネル１とチャンネル２の音量バランスを調整するものである。イコライザー６１、６２は、各々、チャンネル１、チャンネル２の楽曲のイコライジングを行うものであり、高音、中音、低音の調整用のツマミが設けられる。トリム調整ツマミ６３、６４は、各々、チャンネル１、２のゲインを調整するものである。シンクボタン６５、６６は、チャンネル１とチャンネル２の楽曲のテンポを同期させるボタンである。再生ボタン７１、７２、キューボタン７３、７４により、チャンネル１、２の楽曲の再生、停止、キューの操作が可能になる。表示領域８０には、楽曲再生のプレイリストが表示される。表示領域８１には、チャンネル１の先行楽曲の音波形が表示され、表示領域８２には、チャンネル２の後続楽曲の音波形が表示される。そして表示領域８１には、先行楽曲に設定されたマーカーＭＫ１、ＭＫ２が、先行楽曲の音波形に対応づけられて表示される。表示領域８２には、後続楽曲に設定されたマーカーＭＫ３、ＭＫ４が、後続楽曲の音波形に対応づけられて表示される。なお表示領域８３、８４には、各々、先行楽曲、後続楽曲の音波形が拡大表示される。Figure 13 is a diagram showing an example of a DJ screen. This DJ screen is displayed on the display of a terminal device such as a PC, a smartphone, or a game device. The user operates the DJ while watching this DJ screen. Thefaders 51 and 52 adjust the volume ofchannel 1 andchannel 2, respectively. Thecrossfader 54 adjusts the volume balance betweenchannel 1 andchannel 2. Theequalizers 61 and 62 equalize the music ofchannel 1 andchannel 2, respectively, and are provided with knobs for adjusting treble, midrange, and bass. The trim adjustment knobs 63 and 64 adjust the gain ofchannels 1 and 2, respectively. Thesync buttons 65 and 66 are buttons for synchronizing the tempo of the music ofchannel 1 andchannel 2. Theplay buttons 71 and 72 and thecue buttons 73 and 74 allow the music ofchannels 1 and 2 to be played, stopped, and queued. The playlist of music playback is displayed in thedisplay area 80.Display area 81 displays the sound waveform of the preceding song onchannel 1, anddisplay area 82 displays the sound waveform of the subsequent song onchannel 2. Markers MK1 and MK2 set on the preceding song are displayed indisplay area 81 in association with the sound waveform of the preceding song. Markers MK3 and MK4 set on the subsequent song are displayed in association with the sound waveform of the subsequent song.Display areas 83 and 84 display enlarged sound waveforms of the preceding song and subsequent song, respectively.

図１４は本実施形態のマーカー情報のマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の説明図である。マーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４は、各々、第１マーカー、第２マーカー、第３マーカー、第４マーカーである。Figure 14 is an explanatory diagram of markers MK1, MK2, MK3, and MK4 in the marker information of this embodiment. Markers MK1, MK2, MK3, and MK4 are the first marker, second marker, third marker, and fourth marker, respectively.

例えばマーカーＭＫ１は、楽曲が先行楽曲であるときのミキシング開始の許可タイミングを設定するマーカーである。即ちマーカーＭＫ１のタイミング以降のタイミングにおいて、ミキシングの開始が許容される。マーカーＭＫ１は、先行楽曲のミックスアウトのマーカーとも呼ぶことができる。For example, marker MK1 is a marker that sets the permitted timing for starting mixing when a song is a preceding song. In other words, mixing is permitted to start at any timing after the timing of marker MK1. Marker MK1 can also be called a mix-out marker for the preceding song.

マーカーＭＫ２は、楽曲が先行楽曲であるときのミキシング終了タイミングを設定するマーカーである。マーカーＭＫ２は、例えばミキシングの対象となる先行楽曲の曲構成の終了タイミングを示している。マーカーＭＫ２は先行楽曲のカットのマーカーとも呼ぶことができる。Marker MK2 is a marker that sets the mixing end timing when the song is a preceding song. Marker MK2 indicates, for example, the end timing of the song structure of the preceding song that is the subject of mixing. Marker MK2 can also be called a marker for the cut of the preceding song.

マーカーＭＫ３は、楽曲が後続楽曲であるときのミキシング開始の許可タイミングを設定するマーカーである。即ちマーカーＭＫ３のタイミング以降のタイミングにおいて、ミキシングの開始が許容される。マーカーＭＫ３は、後続楽曲のミックスインのマーカーとも呼ぶことができる。Marker MK3 is a marker that sets the permitted timing for starting mixing when the song is a subsequent song. In other words, mixing is permitted to start at any timing after the timing of marker MK3. Marker MK3 can also be called a mix-in marker for the subsequent song.

マーカーＭＫ４は、楽曲が後続楽曲であるときのミキシング終了タイミングを設定するマーカーである。例えばマーカーＭＫ４は、先行楽曲から後続楽曲への完全移行のタイミングを示している。マーカーＭＫ４は、後続楽曲への完全移行を示すトランスのマーカーとも呼ぶことができる。本実施形態では、マーカー情報記憶部１７４が、これらのマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を、例えば複数の楽曲の各楽曲に対応づけて記憶している。Marker MK4 is a marker that sets the timing of mixing end when the song is a subsequent song. For example, marker MK4 indicates the timing of complete transition from the preceding song to the subsequent song. Marker MK4 can also be called a transition marker that indicates complete transition to the subsequent song. In this embodiment, the markerinformation storage unit 174 stores information on these markers MK1, MK2, MK3, and MK4, for example, in association with each song of multiple songs.

このようなマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を用いることで、先行楽曲と後続楽曲のミキシング期間を適切に設定して、先行楽曲と後続楽曲をミキシングしながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。例えばマーカーＭＫ１、ＭＫ３を用いれば、先行楽曲と後続楽曲の各々について、どのタイミング以降であればミキシングの開始が許容されるのかを処理システム（コンピュータ）又はユーザが認識できるようになる。例えば先行楽曲から後続楽曲への切り替えを処理システムが自動的に行う場合は、マーカーＭＫ１、ＭＫ３を用いることで、ミキシングの開始が許容されるタイミングを処理システムが認識できるようになる。一方、先行楽曲から後続楽曲への切り替えをユーザが手動で行う場合は、マーカーＭＫ１、ＭＫ３を用いることで、ミキシングの開始が許容されるタイミングをユーザが認識できるようになる。またマーカーＭＫ２、ＭＫ４を用いれば、先行楽曲と後続楽曲の各々について、どのタイミングでミキシング期間が終了して先行楽曲から後続楽曲に移行するのかを処理システム又はユーザが認識できるようになる。By using such information of markers MK1, MK2, MK3, and MK4, it is possible to appropriately set the mixing period of the preceding song and the following song, and to realize a playback transition in which the preceding song is switched to the following song while mixing the preceding song and the following song. For example, by using markers MK1 and MK3, the processing system (computer) or the user can recognize the timing at which mixing is permitted to start for each of the preceding song and the following song. For example, when the processing system automatically switches from the preceding song to the following song, the processing system can recognize the timing at which mixing is permitted to start by using markers MK1 and MK3. On the other hand, when the user manually switches from the preceding song to the following song, the markers MK1 and MK3 can be used to enable the user to recognize the timing at which mixing is permitted to start. Furthermore, by using markers MK2 and MK4, the processing system or the user can recognize the timing at which the mixing period ends for each of the preceding song and the following song and the transition from the preceding song to the following song occurs.

また本実施形態では、先行楽曲のマーカーＭＫ２と後続楽曲のマーカーＭＫ４とに基づいて、後続楽曲の再生開始タイミングを決定する。そして先行楽曲のマーカーＭＫ１と後続楽曲のマーカーＭＫ３に基づいて、ミキシング処理の開始タイミングを決定する。このようにすればマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を用いて、ミキシング期間の開始タイミングや終了タイミングを決定して、当該ミキシング期間において先行楽曲と後続楽曲のミキシング処理を行いながら、先行楽曲から後続楽曲に自動的に切り替える再生移行を実現できるようになる。図１５はこの場合の本実施形態の処理例を説明するフローチャートである。In this embodiment, the playback start timing of the subsequent song is determined based on marker MK2 of the preceding song and marker MK4 of the subsequent song. Then, the start timing of the mixing process is determined based on marker MK1 of the preceding song and marker MK3 of the subsequent song. In this way, the start and end timings of the mixing period can be determined using the information of markers MK1, MK2, MK3, and MK4, and a playback transition that automatically switches from the preceding song to the subsequent song can be realized while performing mixing processing of the preceding song and the subsequent song during the mixing period. Figure 15 is a flowchart that explains an example of the processing of this embodiment in this case.

まず先行楽曲の再生を開始する（ステップＳ４１）。そして先行楽曲に設定されたマーカーＭＫ２と、後続楽曲に設定されたマーカーＭＫ４とに基づいて、後続楽曲の再生開始タイミングを決定する（ステップＳ４２）。即ち、先行楽曲、後続楽曲のミキシング終了タイミングを設定するマーカーＭＫ２、ＭＫ４を利用して、先行楽曲の次に再生される後続楽曲の再生開始タイミングを決定する。例えば先行楽曲のマーカーＭＫ２のタイミングと、後続楽曲のマーカーＭＫ４のタイミングが同じタイミングになるように、後続楽曲の再生開始タイミングを決定する。そして決定された再生開始タイミングで後続楽曲の再生を開始する（ステップＳ４３）。First, playback of the preceding song is started (step S41). Then, based on marker MK2 set in the preceding song and marker MK4 set in the following song, the playback start timing of the following song is determined (step S42). That is, the playback start timing of the following song to be played after the preceding song is determined using markers MK2 and MK4, which set the mixing end timing of the preceding song and the following song. For example, the playback start timing of the following song is determined so that the timing of marker MK2 of the preceding song and the timing of marker MK4 of the following song are the same. Then, playback of the following song is started at the determined playback start timing (step S43).

次に先行楽曲のマーカーＭＫ１と後続楽曲のマーカーＭＫ３とに基づいて、ミキシング処理の開始タイミングを決定する（ステップＳ４４）。例えばミキシング開始の許可タイミングを設定するマーカーＭＫ１、ＭＫ３の両方が許可状態になったことを条件に、ミキシング処理の開始が許可される。そしてミキシングの開始タイミングになったと判断した場合に、先行楽曲と後続楽曲のミキシング処理を開始する（ステップＳ４５、Ｓ４６）。なお先行楽曲と後続楽曲のテンポ（ＢＰＭ）は自動調整されるものとする。そしてミキシングの終了タイミングになったか否かを判断し、終了タイミングになったらミキシング処理を終了する（ステップＳ４７）。例えば先行楽曲、後続楽曲のマーカーＭＫ２、ＭＫ４のタイミングになったらミキシング処理を終了する。このように図１５の処理によれば、マーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４を用いて、ミキシング処理の開始タイミング及び終了タイミングを自動的に判断して、ミキシング期間でのミキシング処理を自動的に実行できるようになる。Next, the start timing of the mixing process is determined based on the marker MK1 of the preceding song and the marker MK3 of the following song (step S44). For example, the start of the mixing process is permitted on the condition that both markers MK1 and MK3, which set the permitted timing for starting mixing, are in the permitted state. Then, when it is determined that the timing for starting mixing has arrived, the mixing process of the preceding song and the following song is started (steps S45 and S46). Note that the tempos (BPM) of the preceding song and the following song are automatically adjusted. Then, it is determined whether or not the timing for ending mixing has arrived, and when the timing for ending has arrived, the mixing process is ended (step S47). For example, when the timing of the markers MK2 and MK4 of the preceding song and the following song arrives, the mixing process is ended. In this way, according to the process of FIG. 15, the start timing and end timing of the mixing process are automatically determined using the markers MK1, MK2, MK3, and MK4, and the mixing process can be automatically executed during the mixing period.

次に、ジャンルに応じて異なる設定パターンに設定されるマーカーの具体例について詳細に説明する。Next, we will explain in detail specific examples of markers that are set to different setting patterns depending on the genre.

図１６（Ａ）はハウスミュージック（テクノハウス）のジャンルの曲構成の代表例である。ハウスミュージックは、イントロ、ビルドアップＡ（１回目のビルドアップ）、ドロップＡ（１回目のドロップ）、ブレーク、ビルドアップＢ（２回目のビルドアップ）、ドロップＢ（２回目のドロップ）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ａ）に示すように、各々、１６、１６、３２、１６、１６、３２、３２である。なおビルドアップＡはブレークであってもよい。Figure 16 (A) is a typical example of a song structure in the house music (techno house) genre. House music has a song structure of intro, build-up A (first build-up), drop A (first drop), break, build-up B (second build-up), drop B (second drop), and outro. The number of bars in these song structures is 16, 16, 32, 16, 16, 32, and 32, respectively, as shown in Figure 16 (A). Note that build-up A may also be a break.

図１６（Ｂ）はＥＤＭ（フューチャーベース）のジャンルの曲構成の代表例である。ＥＤＭは、イントロ、バースＡ（１回目のバース）、ビルドアップＡ（１回目のビルドアップ）、コーラスＡ（１回目のコーラス）、ブレーク、バースＢ（２回目のバース）、ビルドアップＢ（２回目のビルドアップ）、コーラスＢ（２回目のコーラス）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ｂ）に示すように、各々、８、８、８、１６、８、８、１６、１６、８である。Figure 16(B) is a representative example of a song structure in the EDM (future bass) genre. EDM has a song structure of intro, verse A (first verse), build-up A (first build-up), chorus A (first chorus), break, verse B (second verse), build-up B (second build-up), chorus B (second chorus), and outro. The number of bars in these song structures is 8, 8, 8, 16, 8, 8, 16, 16, and 8, respectively, as shown in Figure 16(B).

図１６（Ｃ）は、アニソンと呼ばれるアニメソングのジャンルの曲構成の代表例である。アニメソングは、イントロコーラス、イントロ、Ａメロ、Ｂメロ、ブレーク、コーラスＡ（１回目のコーラス）、ブレーク、コーラスＢ（２回目のコーラス）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ｃ）に示すように、各々、８、４、８、８、２、１６、２、１６、２である。Figure 16 (C) is a typical example of the song structure of the anime song genre known as anisong. Anime songs have a song structure of intro chorus, intro, A melody, B melody, break, chorus A (first chorus), break, chorus B (second chorus), and outro. The number of bars in these song structures is 8, 4, 8, 8, 2, 16, 2, 16, and 2, respectively, as shown in Figure 16 (C).

図１７は、図１６（Ａ）で説明したハウスミュージックでのマーカーＭＫ１～ＭＫ４の設定パターンとミキシング処理についての説明図である。図１７に示すように、ベーシックミックスモードとショートミックスモードとロングミックスモードとで、マーカーＭＫ１～ＭＫ４の設定パターンが異なっている。Figure 17 is an explanatory diagram of the setting patterns of markers MK1 to MK4 and the mixing process for house music described in Figure 16 (A). As shown in Figure 17, the setting patterns of markers MK1 to MK4 are different in basic mix mode, short mix mode, and long mix mode.

図１７に示すようにハウスミュージックのベーシックミックスモードでは、先行楽曲のビルドアップＢに対して、図１４で説明したマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これによりマーカーＭＫ１、ＭＫ３により設定される先行楽曲のビルドアップＢ及び後続楽曲のビルドアップＡの先頭（小節の先頭）のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。即ち先行楽曲のフェードアウトと後続楽曲のフェードインが開始する。そしてマーカーＭＫ２、ＭＫ４により設定されるビルドアップＢ及びビルドアップＡの最後のタイミングで、ミキシング処理が終了する。即ち先行楽曲から次曲の後続楽曲に完全移行する。例えばビルドアップＡ、ビルドアップＢは、共に盛り上がりのパートであるため、先行楽曲のビルドアップＢと後続楽曲のビルドアップＡをミキシングすることで、先行楽曲から後続楽曲への違和感の少ない再生移行を実現できる。As shown in FIG. 17, in the basic mix mode of house music, the markers MK1 and MK2 described in FIG. 14 are set for the build-up B of the preceding song, and the markers MK3 and MK4 are set for the build-up A of the following song. As a result, the mixing process of the preceding song and the following song starts at the timing of the beginning (the beginning of the bar) of the build-up B of the preceding song and the build-up A of the following song set by the markers MK1 and MK3, and the playback transition starts. That is, the fade-out of the preceding song and the fade-in of the following song start. Then, the mixing process ends at the timing of the end of the build-up B and the build-up A set by the markers MK2 and MK4. That is, the preceding song is completely transitioned to the following song. For example, since the build-ups A and B are both climax parts, by mixing the build-up B of the preceding song and the build-up A of the following song, a playback transition from the preceding song to the following song with less awkwardness can be realized.

ハウスミュージックのショートミックスモードでは、先行楽曲のブレークに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のブレーク及び後続楽曲のビルドアップＡの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のブレーク及び後続楽曲のビルドアップＡの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。即ち、ベーシックミックスモードでは、先行楽曲のブレークの終了後に、先行楽曲から後続楽曲への再生移行が行われているが、ショートミックスモードでは、ノリを持続するために、穏やかなパートである先行楽曲のブレークを聴者に聴かせることなく、後続楽曲への再生移行が行われる。In the short mix mode of house music, markers MK1 and MK2 are set for the break of the preceding song, and markers MK3 and MK4 are set for the build-up A of the following song. As a result, the mixing process starts at the timing of the break of the preceding song and the beginning of the build-up A of the following song, and the playback transition begins. Then, at the timing of the break of the preceding song and the end of the build-up A of the following song, the mixing process ends and a complete transition to the following song occurs. That is, in the basic mix mode, the playback transition from the preceding song to the following song occurs after the break of the preceding song ends, but in the short mix mode, in order to maintain the groove, the playback transition to the following song is made without the listener hearing the break of the preceding song, which is a gentle part.

ハウスミュージックのロングミックスモードでは、先行楽曲のアウトロに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロ、ビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のビルドアップＡの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりロングミックスモードでは、ショートミックスモードやベーシックミックスモードに比べて、長い時間間隔での楽曲の切り替えを実現できるようになる。In long mix mode for house music, markers MK1 and MK2 are set for the outro of the preceding song, and markers MK3 and MK4 are set for the intro and build-up A of the succeeding song. As a result, the mixing process starts at the beginning of the outro of the preceding song and the intro of the succeeding song, and the playback transition begins. Then, at the end of the outro of the preceding song and the build-up A of the succeeding song, the mixing process ends and a complete transition to the succeeding song occurs. As a result, in long mix mode, songs can be switched at longer time intervals than in short mix mode or basic mix mode.

図１８は、図１６（Ｂ）で説明したＥＤＭでのマーカーＭＫ１～ＭＫ４の設定パターンとミキシング処理についての説明図である。Figure 18 is an explanatory diagram of the setting patterns and mixing process of markers MK1 to MK4 in the EDM described in Figure 16 (B).

図１８に示すようにＥＤＭのベーシックミックスモードでは、先行楽曲のアウトロに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの先頭のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のイントロの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。As shown in FIG. 18, in the basic mix mode of EDM, markers MK1 and MK2 are set for the outro of the preceding song, and markers MK3 and MK4 are set for the intro of the following song. As a result, the mixing process of the preceding song and the following song begins at the beginning of the outro of the preceding song and the intro of the following song, and the playback transition begins. Then, at the end of the outro of the preceding song and the intro of the following song, the mixing process ends and a complete transition to the following song occurs.

ＥＤＭのショートミックスモードでは、先行楽曲のブレークに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のブレーク及び後続楽曲のイントロの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のブレーク及び後続楽曲のイントロの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりショートミックスモードでは、ベーシックミックスモードに比べて、短い時間間隔での楽曲の切り替えを実現できるようになる。In EDM short mix mode, markers MK1 and MK2 are set for the break of the preceding song, and markers MK3 and MK4 are set for the intro of the following song. As a result, the mixing process starts at the timing of the break of the preceding song and the beginning of the intro of the following song, and the playback transition begins. Then, at the timing of the end of the break of the preceding song and the intro of the following song, the mixing process ends and there is a complete transition to the following song. As a result, in short mix mode, songs can be switched at shorter time intervals than in basic mix mode.

図１９は、図１６（Ｃ）で説明したアニメソングでのマーカーＭＫ１～ＭＫ４の設定パターンとミキシング処理についての説明図である。Figure 19 is an explanatory diagram of the setting patterns and mixing process of markers MK1 to MK4 in the anime song described in Figure 16 (C).

図１９に示すようにアニメソングのベーシックミックスモードでは、先行楽曲のアウトロの終わりの１小節に対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロの終わりの１小節に対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの終わりの１小節の先頭のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のイントロの終わりの１小節の最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。As shown in Figure 19, in the basic mix mode for anime songs, markers MK1 and MK2 are set to the one bar at the end of the outro of the preceding song, and markers MK3 and MK4 are set to the one bar at the end of the intro of the following song. As a result, the mixing process of the preceding song and the following song begins at the beginning of the one bar at the end of the outro of the preceding song and the intro of the following song, and the playback transition begins. Then, the mixing process ends at the end of the one bar at the end of the outro of the preceding song and the intro of the following song, and a complete transition to the following song occurs.

アニメソングのショートミックスモードでは、先行楽曲のコーラスＡの終わりの１小節に対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロの終わりの１小節に対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のコーラスＡ及び後続楽曲のイントロの終わりの１小節の先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のコーラスＡ及び後続楽曲のイントロの終わりの１小節の最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりショートミックスモードでは、ベーシックミックスモードやロングミックスモードに比べて、短い時間間隔での楽曲の切り替えを実現できるようになる。また、ロングミックスモードでは、先行楽曲のアウトロの小節の終わりから、後続楽曲の先頭が来て、後続楽曲の再生が開始する。In short mix mode for anime songs, markers MK1 and MK2 are set to the last bar of chorus A of the preceding song, and markers MK3 and MK4 are set to the last bar of the intro of the following song. As a result, the mixing process starts at the beginning of the first bar at the end of chorus A of the preceding song and the intro of the following song, and the playback transition begins. Then, at the end of the first bar at the end of chorus A of the preceding song and the intro of the following song, the mixing process ends and a complete transition to the following song occurs. As a result, in short mix mode, songs can be switched at shorter time intervals than in basic mix mode and long mix mode. Also, in long mix mode, the beginning of the following song comes from the end of the bar of the outro of the preceding song, and playback of the following song begins.

なお図２０では、図１７と同様に、ハウスミュージックのベーシックミックスモードでのマーカーの設定パターンとミキシング処理の例を示している。そして図１７では、後続楽曲のビルドアップＡの小節数は１６であったが、図２０では、後続楽曲のビルドアップＡの小節数は３２になっている。従って、この場合にビルドアップＡに設定されたマーカーＭＫ３のタイミングでミキシング処理を開始してしまうと、適切なミキシング処理を実現できなくなる。この点、マーカーＭＫ３、ＭＫ１は、図１４で説明したようにミキシング開始の許可タイミングを設定するマーカーである。従って、マーカーＭＫ３のタイミングでは、先行楽曲のマーカーＭＫ１は許可状態のタイミングになっていないため、ミキシング処理は開始しないようになる。そして図２０に示すように、マーカーＭＫ３、ＭＫ１の両方が許可状態になったタイミングにおいてミキシング処理が開始する。これにより先行楽曲のビルドアップＢの小節数と後続楽曲のビルドアップＡの小節数が異なっている場合にも、適正なミキシング処理を実現できるようになる。In FIG. 20, as in FIG. 17, an example of a marker setting pattern and a mixing process in the basic mix mode of house music is shown. In FIG. 17, the number of bars in the buildup A of the following song is 16, but in FIG. 20, the number of bars in the buildup A of the following song is 32. Therefore, if the mixing process is started at the timing of the marker MK3 set in the buildup A in this case, appropriate mixing process cannot be realized. In this respect, the markers MK3 and MK1 are markers that set the permission timing for starting mixing as explained in FIG. 14. Therefore, at the timing of the marker MK3, the marker MK1 of the preceding song is not in the permission timing, so the mixing process does not start. Then, as shown in FIG. 20, the mixing process starts at the timing when both the markers MK3 and MK1 are in the permission state. This makes it possible to realize appropriate mixing process even when the number of bars in the buildup B of the preceding song and the number of bars in the buildup A of the following song are different.

以上のように本実施形態では、マーカー情報のマーカーは、楽曲の曲構成に対応づけられている。そして図１７～図１９に示すように、楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に対してマーカーが設定される。例えば楽曲が第１ジャンル（例えばハウスミュージック）である場合には、第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンル（例えばＥＤＭ）である場合には、第２設定パターンで曲構成に対してマーカーが設定される。そして、このように楽曲のジャンルに応じて異なった設定パターンで設定されるマーカーの情報を用いて、先行楽曲と後続楽曲のミキシング処理が行われる。従って、先行楽曲と後続楽曲の接続情報であるマーカー情報を利用して、楽曲のジャンルに応じた適切な楽音の再生移行を実現できるようになる。例えばハウスミュージックでは、図１７のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、ハウスミュージックのジャンルに適切な再生移行を実現できる。またＥＤＭでは、図１８のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、ＥＤＭのジャンルに適切な再生移行を実現できる。またアニメソングでは、図１９のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、アニメソングのジャンルに適切な再生移行を実現できる。As described above, in this embodiment, the markers in the marker information are associated with the composition of the music. As shown in FIG. 17 to FIG. 19, the markers are set for the composition of the music in different setting patterns according to the genre of the music. For example, if the music is a first genre (e.g., house music), the markers are set for the composition in the first setting pattern, and if the music is a second genre (e.g., EDM), the markers are set for the composition in the second setting pattern. Then, the mixing process of the preceding music and the following music is performed using the information of the markers set in different setting patterns according to the genre of the music. Therefore, by using the marker information, which is the connection information of the preceding music and the following music, it becomes possible to realize the appropriate musical sound playback transition according to the genre of the music. For example, in house music, by setting the markers MK1 to MK4 in the setting pattern as shown in FIG. 17 and performing the mixing process, it is possible to realize the appropriate playback transition for the house music genre. Also, in EDM, by setting the markers MK1 to MK4 in the setting pattern as shown in FIG. 18 and performing the mixing process, it is possible to realize the appropriate playback transition for the EDM genre. For anime songs, by setting markers MK1 to MK4 in the setting pattern shown in Figure 19 and performing the mixing process, playback transitions appropriate for the anime song genre can be achieved.

また本実施形態では図２１に示すように、マーカー情報記憶部１７４は、ベーシックミックスモードで使用されるマーカーＭＫ１（Ｎ）～ＭＫ４（Ｎ）のマーカーセットであるベーシックミックスモード用のマーカーセットと、ショートミックスモードで使用されるマーカーＭＫ１（Ｓ）～ＭＫ４（Ｓ）のマーカーセットであるショートミックスモード用のマーカーセットの情報を記憶する。またロングミックスモードで使用されるマーカーＭＫ１（Ｌ）～ＭＫ４（Ｌ）のマーカーセットであるロングミックスモード用のマーカーセットの情報を記憶する。例えば、１つの楽曲に対して、ベーシックミックスモード用のマーカーセットと、ショートミックスモード用のマーカーセットと、ロングミックスモード用のマーカーセットが設定される。即ち１つの楽曲に対して、各々が４種類のマーカーＭＫ１～ＭＫ４のセットである複数のマーカーセットが設定される。このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードなどのミックスモードが設定された場合に、楽曲に設定される複数のマーカーセットの中から、設定されたミックスモードに対応するマーカーセットを用いることで、当該ミックスモードに適切なマーカーを用いてミキシング処理を実行できるようになる。なおベーシックミックスモード、ショートミックスモード、ロングミックスモードの１つが、第１ミックスモードであり、他の１つが第２ミックスモードである。またベーシックミックスモード用のマーカーセット、ショートミックスモード用のマーカーセット、ロングミックスモード用のマーカーセットの１つが、第１マーカーセットであり、他の１つが第２マーカーセットである。In this embodiment, as shown in FIG. 21, the markerinformation storage unit 174 stores information on a marker set for the basic mix mode, which is a marker set of markers MK1(N) to MK4(N) used in the basic mix mode, and a marker set for the short mix mode, which is a marker set of markers MK1(S) to MK4(S) used in the short mix mode. It also stores information on a marker set for the long mix mode, which is a marker set of markers MK1(L) to MK4(L) used in the long mix mode. For example, a marker set for the basic mix mode, a marker set for the short mix mode, and a marker set for the long mix mode are set for one song. That is, multiple marker sets, each of which is a set of four types of markers MK1 to MK4, are set for one song. In this way, when a mix mode such as the basic mix mode, short mix mode, or long mix mode is set, the marker set corresponding to the set mix mode from among the multiple marker sets set for the song can be used to perform the mixing process using markers appropriate for the mix mode. One of the basic mix mode, short mix mode, and long mix mode is the first mix mode, and the other is the second mix mode. Also, one of the marker sets for the basic mix mode, the marker set for the short mix mode, and the marker set for the long mix mode is the first marker set, and the other is the second marker set.

また本実施形態では、所定の条件が満たされた場合に、先行楽曲から後続楽曲への切り替えや先行楽曲と後続楽曲のミキシングが行われるが、この楽曲の切り替えやミキシングは、処理システム（コンピュータ）が自動的に行う全自動で実現してもよい、ユーザの操作を必要とする手動又は半自動により実現してもよい。半自動の場合には、例えば先行楽曲と後続楽曲の終了タイミングを合わせる操作や後続楽曲の再生を開始する操作については、処理システムが自動的に行う。そしてフェーダーによる音量調整やイコライザー調整についてはユーザが手動で行う。In addition, in this embodiment, when a certain condition is met, the preceding song is switched to the following song, and the preceding song and the following song are mixed. This switching and mixing of songs may be fully automatic, performed automatically by a processing system (computer), or may be manual or semi-automatic, requiring user operation. In the semi-automatic case, for example, the processing system automatically performs operations such as matching the end timing of the preceding song and the following song and starting playback of the following song. Volume adjustments using faders and equalizer adjustments are performed manually by the user.

例えば本実施形態では図１３のようなＤＪ画面を、ユーザの端末装置のディスプレイに表示し、ユーザがＤＪの操作を行うことで、先行楽曲から後続楽曲への切り替えやミキシングが行われる。この場合には、先行楽曲の音波形と、後続楽曲の音波形と、マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う。例えば図１３では、表示領域８１に、先行楽曲の音波形と、先行楽曲に設定されたマーカーＭＫ１、ＭＫ２の画像が表示される。また表示領域８２に、後続楽曲の音波形と、後続楽曲に設定されたマーカーＭＫ３、ＭＫ４の画像が表示される。このような表示処理を行えば、ユーザは、先行楽曲、後続楽曲の音波形や、マーカーＭＫ１～ＭＫ４の画像を見ることで、先行楽曲から後続楽曲への切り替え操作や、或いは先行楽曲と後続楽曲のミキシングの操作を容易に行えるようになる。従って、例えば楽曲の切り替えやミキシングの操作に関する特別な知識や技術がなくても、聴者が違和感を感じないような楽曲の切り替えやミキシングを実現できるようになる。For example, in this embodiment, a DJ screen as shown in FIG. 13 is displayed on the display of the user's terminal device, and the user operates the DJ to switch from the preceding song to the following song or mix the preceding song. In this case, display processing is performed so that the user can visually recognize the sound waveform of the preceding song, the sound waveform of the following song, and the timing of the markers in the marker information. For example, in FIG. 13, the sound waveform of the preceding song and images of markers MK1 and MK2 set on the preceding song are displayed in adisplay area 81. Also, the sound waveform of the following song and images of markers MK3 and MK4 set on the following song are displayed in adisplay area 82. By performing such display processing, the user can easily switch from the preceding song to the following song or mix the preceding song and the following song by looking at the sound waveforms of the preceding song and the following song and the images of markers MK1 to MK4. Therefore, for example, even if there is no special knowledge or skill regarding the operation of switching or mixing songs, it becomes possible to realize switching or mixing of songs in a way that does not make the listener feel uncomfortable.

また本実施形態では、ユーザのミキシング操作のタイミングとマーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行うようにしてもよい。このようにすれば、ユーザの技量が足りなくて、ユーザの操作が適切なタイミングで行われなかった場合にも、マーカーにより設定されるタイミングで楽曲のミキシングや切り替えを行うことが可能になる。これにより、ユーザにとって利便性が高い操作インターフェースを提供できるようになる。また本実施形態では、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行うようにしてもよい。これにより、マーカーを見ながらユーザがミキシング操作を行った場合に、そのミキシング操作のタイミングが適切なタイミングであったか否かを評価できるようになる。従って、ユーザは、ミキシング操作をタイミング良く行えば、良い評価を得ることができるため、ミキシング操作に熱中するようになる。これにより、ミキシング操作を行うことの面白味をユーザに与えることができ、これまでにないＤＪのゲームの実現が可能になる。図２２はこの場合の本実施形態の処理例を示すフローチャートである。In addition, in this embodiment, if the amount of deviation between the timing of the user's mixing operation and the timing of the marker in the marker information is within a predetermined range, a process may be performed to correct the timing of the mixing operation to match the timing of the marker. In this way, even if the user's skill is insufficient and the user's operation is not performed at the appropriate timing, it is possible to mix or switch songs at the timing set by the marker. This makes it possible to provide an operation interface that is highly convenient for the user. In addition, in this embodiment, an evaluation process of the user's mixing operation may be performed based on the amount of deviation between the timing of the user's mixing operation and the timing of the marker. This makes it possible to evaluate whether the timing of the mixing operation was appropriate when the user performs the mixing operation while looking at the marker. Therefore, if the user performs the mixing operation at a good time, he or she can get a good evaluation, and becomes engrossed in the mixing operation. This makes it possible to provide the user with the fun of performing the mixing operation, and to realize an unprecedented DJ game. FIG. 22 is a flowchart showing an example of the processing of this embodiment in this case.

まず処理システムは、ユーザのミキシング操作のタイミングとマーカーのタイミングのズレ量を求める（ステップＳ５１）。例えばユーザのミキシング操作のタイミングを短い時間間隔でサンプリングする監視処理を行うことで、ミキシング操作のタイミングとマーカーのタイミングのズレ量を測定できる。そして、求められたズレ量に基づいて、ユーザのミキシング操作の評価処理を行う（ステップＳ５２）。例えばズレ量が小さければ、ユーザのミキシング操作に対する評価は良い評価（グッド、エクセレント）になり、ズレ量が大きければ、ユーザのミキシング操作に対する評価は悪い評価（バッド）になる。次に、ズレ量が所定の範囲内か否かを判断する（ステップＳ５３）。例えばユーザのミキシング操作のズレ量が、許容できる範囲内なのかを判断できる。そしてズレ量が所定の範囲内である場合には、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する（ステップＳ５４）。このようにすることで、ユーザのミキシング操作のアシストが可能になり、ユーザは、ミキシング操作に関する特別や技量や知識が無くても、先行楽曲と後続楽曲の適切なミキシングや切り替えを行えるようになる。First, the processing system determines the amount of deviation between the timing of the user's mixing operation and the timing of the marker (step S51). For example, by performing a monitoring process that samples the timing of the user's mixing operation at short time intervals, the amount of deviation between the timing of the mixing operation and the timing of the marker can be measured. Then, based on the obtained amount of deviation, an evaluation process of the user's mixing operation is performed (step S52). For example, if the amount of deviation is small, the evaluation of the user's mixing operation is a good evaluation (good, excellent), and if the amount of deviation is large, the evaluation of the user's mixing operation is a bad evaluation (bad). Next, it is determined whether the amount of deviation is within a predetermined range (step S53). For example, it is possible to determine whether the amount of deviation of the user's mixing operation is within an acceptable range. If the amount of deviation is within the predetermined range, the timing of the mixing operation is corrected to match the timing of the marker (step S54). This makes it possible to assist the user in mixing operations, allowing the user to appropriately mix and switch between previous and following songs even without special skills or knowledge regarding mixing operations.

なお図２２のステップＳ５２に示すような評価処理を行った場合には、ユーザのＤＪタイムの時間で、楽曲の切り替えやミキシングについての評価の集計処理を行って、集計結果をユーザに提示したり、集計結果に応じた特典をユーザに付与するようにしてもよい。また、ユーザのミキシング操作に対する評価結果をユーザに報知する処理を行うことが望ましい。例えば「グッド」、「エクセレント」、「バッド」の文字が書かれた画像を表示する。またユーザのミキシング操作の評価が良い評価であった場合には、演出エフェクトを発生する処理を行ってもよい。例えばキャラクタの周囲に、キラキラと輝くエフェクト表示物などを表示する処理を行う。When the evaluation process shown in step S52 in FIG. 22 is performed, the evaluations of the song switching and mixing may be tallied during the user's DJ time, and the tallied results may be presented to the user, or a special gift may be given to the user according to the tallied results. It is also desirable to perform a process of notifying the user of the evaluation results of the user's mixing operation. For example, an image with the words "good", "excellent", or "bad" written on it may be displayed. Furthermore, if the user's evaluation of the mixing operation is good, a process of generating a dramatic effect may be performed. For example, a process of displaying a sparkling effect display around the character may be performed.

なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また音の再生処理、ミキシング処理、再生処理、キャラクタの動作制御処理、表示処理、マーカーの設定処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。Although the present embodiment has been described in detail above, those skilled in the art will readily understand that many modifications are possible that do not substantially deviate from the novel matters and effects of the present disclosure. Therefore, all such modifications are intended to be included within the scope of the present disclosure. For example, a term described at least once in the specification or drawings together with a different term having a broader or similar meaning may be replaced with that different term anywhere in the specification or drawings. In addition, sound playback processing, mixing processing, playback processing, character movement control processing, display processing, marker setting processing, and the like are not limited to those described in the present embodiment, and equivalent methods, processing, and configurations are also included within the scope of the present disclosure.

１０…ＤＪ機器、１１、１２…フェーダー、１４…クロスフェーダー、
２１、２２…イコライザー、２３、２４…トリム調整ツマミ、３１、３２…再生ボタン、
３３、３４…キューボタン、３５、３６…ターンテーブル、４１、４２…ディスプレイ、
５１、５２…フェーダー、５４…クロスフェーダー、６１、６２…イコライザー、
６３、６４…トリム調整ツマミ、６５、６６…シンクボタン、７１、７２…再生ボタン、
７３、７４…キューボタン、８０、８１、８２、８３、８４…表示領域、
１００…処理部、１０２…音処理部、１０４…音処理部、１１０…キャラクタ処理部、
１２０…表示処理部、１６０…操作部、１７０…記憶部、１７２…楽曲情報記憶部、
１７４…マーカー情報記憶部、１７５…モーションデータ記憶部、
１７６…キャラクタ情報記憶部、１７７…オブジェクト情報記憶部、
１７８…描画バッファ、１８０…情報記憶媒体、１９０…表示部、１９２…音出力部、
１９４…Ｉ／Ｆ部、１９５…携帯型情報記憶媒体、１９６…通信部、
５１０…ネットワーク、ＣＨ…キャラクタ、ＣＸＡ～ＣＸＧ、ＣＹＡ～ＣＹＧ…曲構成、
ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４、ＭＥＸ、ＭＥＹ、ＭＳＸ、ＭＳＹ…マーカー、
ＭＴＡ～ＭＴＧ、ＭＴＸ、ＭＴＹ、ＭＴＺ…動作パターン、
ＰＭＸ、ＰＭＹ、ＰＭＺ…ミキシングパターン、ＴＭ１～ＴＭｎ…端末装置10...DJ equipment, 11, 12...fader, 14...crossfader,
21, 22... equalizer, 23, 24... trim adjustment knob, 31, 32... play button,
33, 34 ... cue button, 35, 36 ... turntable, 41, 42 ... display,
51, 52... fader, 54... cross fader, 61, 62... equalizer,
63, 64 ... trim adjustment knob, 65, 66 ... sync button, 71, 72 ... playback button,
73, 74 ... cue buttons, 80, 81, 82, 83, 84 ... display area,
100... processing unit, 102... sound processing unit, 104... sound processing unit, 110... character processing unit,
120: display processing unit, 160: operation unit, 170: storage unit, 172: music information storage unit,
174: marker information storage unit, 175: motion data storage unit,
176: character information storage unit, 177: object information storage unit,
178: drawing buffer, 180: information storage medium, 190: display unit, 192: sound output unit,
194... I/F unit, 195... portable information storage medium, 196... communication unit,
510...Network, CH...Character, CXA~CXG, CYA~CYG...Song composition,
MK1, MK2, MK3, MK4, MEX, MEY, MSX, MSY... markers,
MTA-MTG, MTX, MTY, MTZ...operation patterns,
PMX, PMY, PMZ: mixing patterns, TM1 to TMn: terminal devices

Claims (7)

Translated fromJapanese

複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、
マーカー情報を記憶するマーカー情報記憶部と、
前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、
キャラクタの動作制御を行うキャラクタ処理部と、
前記キャラクタの画像の表示処理を行う表示処理部と、
を含み、
前記音処理部は、
先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、
前記キャラクタ処理部は、
前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御し、
前記音処理部は、
前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させ、
前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、
前記ミックスモードは、前記先行楽曲に対して前記後続楽曲を早いタイミングでミキシングするマーカーが楽曲に設定されるショートミックスモードと、前記先行楽曲に対して前記後続楽曲を遅いタイミングでミキシングするマーカーが楽曲に設定されるロングミックスモードを含むことを特徴とする処理システム。 a music information storage unit that stores music information for a plurality of music pieces;
a marker information storage unit that stores the marker information;
a sound processing unit that performs a playback process of a song based on the song information;
a character processing unit that controls the movement of a character;
a display processing unit that performs display processing of an image of the character;
Including,
The sound processing unit includes:
When switching from the preceding music piece to the succeeding music piece, a mixing process is performed between the preceding music piece and the succeeding music piece in accordance with the marker information;
The character processing unit:
When switching from the preceding music piece to the succeeding music piece, controlling the movement of the character during a mixing period of the preceding music piece and the succeeding music piece according to the marker information;
The sound processing unit includes:
changing at least one of a mixing pattern of the preceding music piece and the succeeding music piece, a mix mode for playing a plurality of music pieces, and the marker information used for mixing based on the information of the character;
the mixing pattern is at least one of a volume adjustment pattern and an equalizer adjustment pattern in mixing the preceding music piece and the subsequent music piece,
The processing system is characterized in that the mix modes include a short mix mode in which a marker is set in the song to mix the subsequent song at an early timing relative to the preceding song, and a long mix mode in which a marker is set in the song to mix the subsequent song at a late timing relative to the preceding song. 請求項１において、
前記マーカー情報記憶部は、
前記ミキシング期間の開始タイミングに対応するマーカーの情報と、前記ミキシング期間の終了タイミングに対応するマーカーの情報を記憶することを特徴とする処理システム。 In claim1 ,
The marker information storage unit
A processing system comprising: storing information on a marker corresponding to a start timing of the mixing period; and information on a marker corresponding to an end timing of the mixing period. 請求項１又は２において、
前記マーカー情報のマーカーは、楽曲の曲構成に対応づけられており、
前記音処理部は、
前記先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、前記後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、前記マーカー情報に基づき特定し、当該期間を前記ミキシング期間として前記ミキシング処理を行うことを特徴とする処理システム。 In claim1 or 2 ,
The markers in the marker information are associated with a musical composition of a musical piece,
The sound processing unit includes:
A processing system characterized by identifying a period during which the preceding song is a jth song structure (j is an integer equal to or greater than 1) and the succeeding song is a kth song structure (k is an integer equal to or greater than 1) based on the marker information, and performing the mixing process using that period as the mixing period. 請求項１乃至３のいずれかにおいて、
前記マーカー情報記憶部は、
楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶することを特徴とする処理システム。 In any one of claims 1 to3 ,
The marker information storage unit
A processing system characterized by storing the marker information in which, if a song is of a first genre, markers are set for the song's structure in a first setting pattern, and, if the song is of a second genre, markers are set for the song's structure in a second setting pattern different from the first setting pattern. 請求項１乃至４のいずれかにおいて、
前記マーカー情報記憶部は、
楽曲が前記先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が前記先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶することを特徴とする処理システム。 In any one of claims 1 to4 ,
The marker information storage unit
A processing system characterized by storing information of a first marker that sets the permitted timing for starting mixing when a song is the preceding song, information of a second marker that sets the permitted timing for ending mixing when the song is the preceding song, information of a third marker that sets the permitted timing for starting mixing when the song is the following song, and information of a fourth marker that sets the permitted timing for ending mixing when the song is the following song. 請求項５において、
前記音処理部は、
前記先行楽曲の前記第２マーカーと前記後続楽曲の前記第４マーカーとに基づいて、前記後続楽曲の再生開始タイミングを決定し、前記先行楽曲の前記第１マーカーと前記後続楽曲の前記第３マーカーに基づいて、前記ミキシング処理の開始タイミングを決定することを特徴とする処理システム。 In claim5 ,
The sound processing unit includes:
A processing system characterized by determining a timing for starting playback of the subsequent song based on the second marker of the preceding song and the fourth marker of the subsequent song, and determining a timing for starting the mixing process based on the first marker of the preceding song and the third marker of the subsequent song. 複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、
マーカー情報を記憶するマーカー情報記憶部と、
前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、
キャラクタの動作制御を行うキャラクタ処理部と、
前記キャラクタの画像の表示処理を行う表示処理部として、
コンピュータを機能させ、
前記音処理部は、
先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、
前記キャラクタ処理部は、
前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御し、
前記音処理部は、
前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させ、
前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、
前記ミックスモードは、前記先行楽曲に対して前記後続楽曲を早いタイミングでミキシングするマーカーが楽曲に設定されるショートミックスモードと、前記先行楽曲に対して前記後続楽曲を遅いタイミングでミキシングするマーカーが楽曲に設定されるロングミックスモードを含むことを特徴とするプログラム。 a music information storage unit that stores music information for a plurality of music pieces;
a marker information storage unit that stores the marker information;
a sound processing unit that performs a playback process of a song based on the song information;
a character processing unit that controls the movement of a character;
A display processing unit that performs display processing of the image of the character,
Make your computer work
The sound processing unit includes:
When switching from the preceding music piece to the succeeding music piece, a mixing process is performed between the preceding music piece and the succeeding music piece in accordance with the marker information;
The character processing unit:
When switching from the preceding music piece to the succeeding music piece, controlling the movement of the character during a mixing period of the preceding music piece and the succeeding music piece according to the marker information;
The sound processing unit includes:
changing at least one of a mixing pattern of the preceding music piece and the succeeding music piece, a mix mode for playing a plurality of music pieces, and the marker information used for mixing based on the information of the character;
the mixing pattern is at least one of a volume adjustment pattern and an equalizer adjustment pattern in mixing the preceding music piece and the subsequent music piece,
The mix modes include a short mix mode in which a marker is set in the song to mix the subsequent song at an early timing relative to the preceding song, and a long mix mode in which a marker is set in the song to mix the subsequent song at a late timing relative to the preceding song.

Images