Movatterモバイル変換


[0]ホーム

URL:


JP2013174904A - Lyric output program - Google Patents

Lyric output program
Download PDF

Info

Publication number
JP2013174904A
JP2013174904AJP2013089816AJP2013089816AJP2013174904AJP 2013174904 AJP2013174904 AJP 2013174904AJP 2013089816 AJP2013089816 AJP 2013089816AJP 2013089816 AJP2013089816 AJP 2013089816AJP 2013174904 AJP2013174904 AJP 2013174904A
Authority
JP
Japan
Prior art keywords
data
lyrics
music
display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013089816A
Other languages
Japanese (ja)
Inventor
Noriyuki Harada
典幸 原田
Hiroshi Sugano
洋志 菅野
Eiji Miyazaki
英治 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu LtdfiledCriticalFujitsu Ltd
Priority to JP2013089816ApriorityCriticalpatent/JP2013174904A/en
Publication of JP2013174904ApublicationCriticalpatent/JP2013174904A/en
Pendinglegal-statusCriticalCurrent

Links

Images

Landscapes

Abstract

Translated fromJapanese

【課題】コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行すること。
【解決手段】データ取得部21が取得した楽曲データや歌詞データについて、リンク処理部22が対応付けを行なう。対応するデータが存在しない場合、リンク処理部22は、データ取得部21に対応するデータを取得させて記憶部30に記憶させ、楽曲データと歌詞データとを対応付ける。再生処理部23が楽曲データを再生する場合、同期表示部24が対応する歌詞データを読み出し、再生の進行に合わせて歌詞を表示する。
【選択図】図1
Synchronous playback is performed smoothly by acquiring corresponding data before playback in synchronized playback of content data and text data.
A link processing unit 22 associates music data and lyrics data acquired by a data acquisition unit 21. When there is no corresponding data, the link processing unit 22 acquires data corresponding to the data acquisition unit 21 and stores it in the storage unit 30, and associates the music data with the lyrics data. When the reproduction processing unit 23 reproduces the music data, the synchronous display unit 24 reads out the corresponding lyrics data and displays the lyrics as the reproduction progresses.
[Selection] Figure 1

Description

Translated fromJapanese

本発明は、コンテンツデータとテキストデータとを対応付け、テキストデータに含まれるテキストを対応するコンテンツデータの再生の進行に合わせて表示する歌詞出力プログラムに関する。  The present invention relates to a lyrics output program that associates content data with text data and displays text included in the text data in accordance with the progress of reproduction of the corresponding content data.

従来、音楽や動画などのコンテンツデータの再生が利用されてきた。コンテンツデータの再生は、携帯電話装置やコンピュータ装置などの情報処理装置によって行なわれる。さらに、歌などのコンテンツデータでは、歌詞を文字情報(テキスト)として表示することが行なわれてきた。  Conventionally, reproduction of content data such as music and moving images has been used. The reproduction of the content data is performed by an information processing device such as a mobile phone device or a computer device. Further, in content data such as songs, lyrics have been displayed as character information (text).

特に、カラオケなど利用者自身による歌唱を前提としたサービスでは、歌の楽曲部分のデータと歌詞部分のデータとを予め組み合わせて作成したカラオケ用のコンテンツデータを用いることで、音楽の進行に合わせて対応する歌詞を表示することが行なわれてきた。  In particular, in a service such as karaoke that assumes the user's own singing, the content data for karaoke created by combining the data of the song part and the data of the lyrics part in advance can be used in accordance with the progress of the music. The corresponding lyrics have been displayed.

また、楽曲データとテキストデータとを同期して再生することで、カラオケと同様のサービスを提供することも考えられている。視聴用の楽曲データを配布するサービスは既に広まっているので、利用者は、楽曲データに対応する歌詞のテキストデータを別途用意すればよい。  It is also considered to provide a service similar to karaoke by reproducing music data and text data in synchronization. Since services for distributing music data for viewing are already widespread, users need only prepare text data of lyrics corresponding to the music data.

しかし、楽曲データに対応するテキストデータを利用者自身が作成すると、作成にかかる負荷が高い。そこで、テキストデータを提供するサービスも考えられている。  However, if the user himself / herself creates text data corresponding to the music data, the load required for creation is high. Therefore, a service that provides text data is also considered.

特開2006−163085号公報JP 2006-163085 A

情報処理装置がコンテンツデータとテキストデータとを同期して再生する場合、予め双方のデータを取得しておくことが好適である。情報処理装置がコンテンツデータもしくはテキストデータを再生しながら取得することとすると、データの取得が再生に追いつかず、コンテンツの再生やテキストの表示が途切れる可能性があるためである。特にコンテンツデータやテキストデータを通信によって取得する場合、通信が確立できなければコンテンツデータもしくはテキストデータが取得できず、同期再生ができないという問題が発生する。  When the information processing apparatus reproduces the content data and the text data in synchronization, it is preferable to acquire both data in advance. This is because if the information processing apparatus acquires content data or text data while reproducing the content, the data acquisition cannot catch up with the reproduction, and the content reproduction or text display may be interrupted. In particular, when content data and text data are acquired by communication, there is a problem that if communication cannot be established, content data or text data cannot be acquired and synchronized reproduction cannot be performed.

開示の技術は、上記に鑑みてなされたものであって、コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行可能な歌詞出力プログラムを提供することを目的とする。  The disclosed technology has been made in view of the above, and provides a lyrics output program capable of smoothly executing synchronized playback by acquiring corresponding data before playback in synchronized playback of content data and text data The purpose is to do.

本願の開示する歌詞出力プログラムは、コンテンツデータやテキストデータを取得した際に取得したデータに対応する対応データを記憶部から検索し、記憶部に対応データが存在しない場合に当該対応データを取得して対応付けて保存する。  The lyrics output program disclosed in the present application searches the storage unit for corresponding data corresponding to the data acquired when the content data or text data is acquired, and acquires the corresponding data when the corresponding data does not exist in the storage unit. And associate and save.

本願の開示する歌詞出力プログラムによれば、コンテンツデータとテキストデータの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行することができるという効果を奏する。  According to the lyrics output program disclosed in the present application, in the synchronous reproduction of the content data and the text data, there is an effect that the synchronous reproduction can be smoothly executed by acquiring the corresponding data before the reproduction.

図1は、本実施例にかかるテキスト表示機能付情報処理装置である携帯電話装置の構成図である。FIG. 1 is a configuration diagram of a mobile phone device that is an information processing device with a text display function according to the present embodiment.図2は、携帯電話装置1のハードウェア構成図である。FIG. 2 is a hardware configuration diagram of themobile phone device 1.図3は、楽曲データと歌詞データの説明図である。FIG. 3 is an explanatory diagram of music data and lyrics data.図4は、楽曲データの再生と歌詞データの同期表示についての説明図である。FIG. 4 is an explanatory diagram regarding the reproduction of music data and the synchronous display of lyrics data.図5は、歌詞の同期表示中における表示画面の具体例である。FIG. 5 is a specific example of a display screen during synchronous display of lyrics.図6は、リンク処理部22による対応データの取得動作について説明するフローチャートである。FIG. 6 is a flowchart for explaining the operation of acquiring correspondence data by thelink processing unit 22.図7は、図6に示したダウンロードステップS105の詳細なフローチャートである。FIG. 7 is a detailed flowchart of the download step S105 shown in FIG.図8は、ダウンロード可否判断を求める表示画面の一例である。FIG. 8 is an example of a display screen for determining whether download is possible.図9は、リンク可否判断を求める表示画面の一例である。FIG. 9 is an example of a display screen for determining whether a link is possible.図10は、ダウンロードが不可能であることを通知する表示画面の一例である。FIG. 10 is an example of a display screen that notifies that downloading is impossible.図11は、ダウンロードが可能になったことを通知する表示画面の一例である。FIG. 11 is an example of a display screen for notifying that download is possible.図12は、同期表示部24の処理動作を説明するフローチャートである。FIG. 12 is a flowchart for explaining the processing operation of thesynchronous display unit 24.図13は、図12に示した同期表示処理を詳細に説明するフローチャートである。FIG. 13 is a flowchart for explaining in detail the synchronous display processing shown in FIG.

以下に、本願の開示する歌詞出力プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。  Hereinafter, embodiments of the lyrics output program disclosed in the present application will be described in detail with reference to the drawings. Note that this embodiment does not limit the disclosed technology.

図1は、本実施例にかかるテキスト表示機能付情報処理装置である携帯電話装置の構成図である。図1に示した携帯電話装置1は、その内部に通信部10、制御部20、記憶部30および入出力部40を有する。  FIG. 1 is a configuration diagram of a mobile phone device that is an information processing device with a text display function according to the present embodiment. Themobile phone device 1 shown in FIG. 1 includes acommunication unit 10, acontrol unit 20, astorage unit 30, and an input /output unit 40 therein.

通信部10は、外部の装置と通信し、楽曲などのコンテンツデータや歌詞などのテキストデータを取得する。以降、本実施例では、コンテンツデータとして楽曲データを用い、テキストデータとして歌詞データを用いて楽曲の再生に合わせて歌詞を順次表示する構成を例示して説明を行なう。  Thecommunication unit 10 communicates with an external device, and acquires content data such as music and text data such as lyrics. Hereinafter, in the present embodiment, description will be given by exemplifying a configuration in which song data is used as content data and lyrics data is used as text data, and lyrics are sequentially displayed in accordance with the reproduction of the song.

通信部10は、ネットワーク3を介して楽曲提供サーバ4、歌詞提供サーバ5、歌詞付楽曲提供サーバ6と接続されている。ここでネットワーク3は、例えばインターネットなどである。携帯電話装置1とネットワーク3との接続は、例えば無線LAN(Local Area Network)などを介してもよいし、携帯電話の接続業者が提供する携帯網を経由して接続してもよい。また、通信部10は、パーソナルコンピュータ(PC)2と接続されている。携帯電話装置1とパーソナルコンピュータ2とは、例えばUSB(Universal Serial Bus )やBluetoothなど任意の方式で接続することができる。  Thecommunication unit 10 is connected to themusic providing server 4, thelyrics providing server 5, and the lyrics-addedmusic providing server 6 via thenetwork 3. Here, thenetwork 3 is, for example, the Internet. Themobile phone device 1 and thenetwork 3 may be connected via, for example, a wireless local area network (LAN) or a mobile network provided by a mobile phone connection provider. Thecommunication unit 10 is connected to a personal computer (PC) 2. Thecellular phone device 1 and thepersonal computer 2 can be connected by an arbitrary method such as USB (Universal Serial Bus) or Bluetooth.

楽曲提供サーバ4、歌詞提供サーバ5、歌詞付楽曲提供サーバ6は、例えばHTTP(HyperText Transfer Protocol)サーバやFTP(File Transfer Protocol)サーバである。楽曲提供サーバ4は、ネットワーク3を介して携帯電話装置1に楽曲データを提供する。歌詞提供サーバ5は、ネットワーク3を介して携帯電話装置1に歌詞データを提供する。歌詞付楽曲提供サーバ6は、ネットワーク3を介して携帯電話装置1に楽曲データと対応する歌詞データとを提供する。  Themusic providing server 4, thelyrics providing server 5, and the lyrics-addedmusic providing server 6 are, for example, an HTTP (HyperText Transfer Protocol) server or an FTP (File Transfer Protocol) server. Themusic providing server 4 provides music data to themobile phone device 1 via thenetwork 3. Thelyrics providing server 5 provides lyrics data to themobile phone device 1 via thenetwork 3. The lyrics-addedmusic providing server 6 provides themobile phone device 1 with music data and corresponding lyrics data via thenetwork 3.

パーソナルコンピュータ2は、携帯電話装置1に楽曲データや歌詞データを提供する。パーソナルコンピュータ2が提供する楽曲データや歌詞データは、CD(Compact Disc)などの記憶媒体から取得する、ネットワーク経由で取得する、ユーザ自身が作成する、などの方法によって得られたものである。  Thepersonal computer 2 provides music data and lyrics data to themobile phone device 1. The music data and the lyrics data provided by thepersonal computer 2 are obtained by a method such as obtaining from a storage medium such as a CD (Compact Disc), obtaining via a network, or creating by the user himself.

記憶部30は、楽曲データや歌詞データを記憶する。なお、一般に携帯電話装置では画像データや電話番号のデータなど、ユーザが任意のデータを記憶させるために利用可能な記憶媒体が用意されている。図1ではユーザが任意のデータを記憶させることのできる記憶部30に楽曲データや歌詞データを記憶させた状態を示している。記憶部30が記憶する他のデータについては図示および説明を省略する。また、歌い出しの前に歌詞表示させるずらしバッファを格納してもよい。このずらしバッファには、デフォルト値、またはユーザから指定された値が格納される。  Thestorage unit 30 stores music data and lyrics data. In general, a mobile phone device is provided with a storage medium that can be used by a user to store arbitrary data such as image data and telephone number data. FIG. 1 shows a state in which music data and lyrics data are stored in thestorage unit 30 in which the user can store arbitrary data. Illustration and description of other data stored in thestorage unit 30 are omitted. Also, a shift buffer for displaying lyrics before singing may be stored. This shift buffer stores a default value or a value designated by the user.

入出力部40は、ディスプレイ41、スピーカ42、操作キー43などを含むユーザインターフェースである。なお、例示の他にタッチパネルディスプレイなど任意のユーザインターフェースを使用可能である。  The input /output unit 40 is a user interface including adisplay 41, aspeaker 42,operation keys 43, and the like. In addition to the example, an arbitrary user interface such as a touch panel display can be used.

制御部20は、携帯電話装置1の動作を制御する制御部である。制御部20は、一般的な携帯電話装置の機能として、携帯電話の接続業者が提供する携帯網に接続して通話を行なう機能を有する。かかる通話機能についてはここでは説明を省略し、コンテンツデータとテキストデータの取り扱いに関係する処理部について説明を行なう。  Thecontrol unit 20 is a control unit that controls the operation of themobile phone device 1. Thecontrol unit 20 has a function of making a call by connecting to a mobile network provided by a mobile phone connection provider as a function of a general mobile phone device. Description of the call function will be omitted here, and a processing unit related to handling of content data and text data will be described.

制御部20は、その内部にデータ取得部21、リンク処理部22、再生処理部23、同期表示部24、出力制御部25を有する。  Thecontrol unit 20 includes adata acquisition unit 21, alink processing unit 22, areproduction processing unit 23, asynchronous display unit 24, and anoutput control unit 25 therein.

データ取得部21は、通信部10を介して外部から楽曲データや歌詞データを取得し、記憶部30に格納する処理を行なう。リンク処理部22は、楽曲データと歌詞データとを対応付ける処理を行なう。  Thedata acquisition unit 21 performs processing for acquiring music data and lyrics data from the outside via thecommunication unit 10 and storing them in thestorage unit 30. Thelink processing unit 22 performs processing for associating music data and lyrics data.

再生処理部23は、記憶部30から楽曲データを読み出して再生する処理を行なう。具体的には、再生処理部23は、コード化された楽曲データをデコードし、音データを出力制御部に送る。また、楽曲データに画像や動画が含まれている場合、再生処理部23は、画像や動画を再生出力部25に送る。加えて、再生処理部23は、再生する楽曲データを識別する情報と、楽曲再生の進行状態とを同期表示部24に出力する。  Thereproduction processing unit 23 performs a process of reading music data from thestorage unit 30 and reproducing it. Specifically, thereproduction processing unit 23 decodes the encoded music data and sends the sound data to the output control unit. When the music data includes an image or a moving image, thereproduction processing unit 23 sends the image or the moving image to thereproduction output unit 25. In addition, thereproduction processing unit 23 outputs information for identifying the music data to be reproduced and the progress state of the music reproduction to thesynchronous display unit 24.

同期表示部24は、再生処理部23による楽曲データの再生に同期して歌詞データを表示する処理部である。具体的には、同期表示部24は、再生処理部23から出力された楽曲データを識別する情報に基づいて対応する歌詞データを記憶部30から検索する。そして、同期表示部24は、再生処理部23による楽曲データの再生の進行に合わせて歌詞データに含まれる複数の歌詞フレーズを順次表示する。同期表示部24による表示は、具体的には、表示すべき歌詞フレーズを出力制御部25に出力することで行なう。  Thesynchronous display unit 24 is a processing unit that displays lyrics data in synchronization with the reproduction of music data by thereproduction processing unit 23. Specifically, thesynchronous display unit 24 searches thestorage unit 30 for the corresponding lyric data based on the information for identifying the music data output from thereproduction processing unit 23. Then, thesynchronous display unit 24 sequentially displays a plurality of lyrics phrases included in the lyrics data in accordance with the progress of reproduction of the music data by thereproduction processing unit 23. Specifically, the display by thesynchronous display unit 24 is performed by outputting the lyrics phrase to be displayed to theoutput control unit 25.

出力制御部25は、ディスプレイ41の表示出力とスピーカ42の音出力とを制御する制御部である。出力制御部25は、再生処理部23から出力された音をスピーカ42から出力する。また、再生処理部23から出力された画像や動画と同期表示部24から出力された歌詞フレーズとを組み合わせてディスプレイ41に表示する表示画面を作成する。なお、出力制御部25は、携帯電話装置1の他の機能、例えば通話機能などから表示や音の出力要求が発生した場合に各種出力の競合の解決を行なうが、ここでは説明を省略する。  Theoutput control unit 25 is a control unit that controls the display output of thedisplay 41 and the sound output of thespeaker 42. Theoutput control unit 25 outputs the sound output from thereproduction processing unit 23 from thespeaker 42. In addition, a display screen to be displayed on thedisplay 41 is created by combining the image or moving image output from thereproduction processing unit 23 and the lyrics phrase output from thesynchronous display unit 24. Theoutput control unit 25 solves various output conflicts when a display or sound output request is generated from another function of thecellular phone device 1, such as a call function, but the description thereof is omitted here.

図2は、携帯電話装置1のハードウェア構成図である。携帯電話装置1では、USBユニット10a、無線LANユニット10b、携帯網接続ユニット10c、CPU(Central Processing Unit)20a、メモリ20b、フラッシュROM(Read-Only Memory)20c、SDカードドライブ30a、ディスプレイ41、スピーカ42、操作キー43がバス1aに接続されている。  FIG. 2 is a hardware configuration diagram of themobile phone device 1. In themobile phone device 1, aUSB unit 10a, a wireless LAN unit 10b, a mobile network connection unit 10c, a CPU (Central Processing Unit) 20a, a memory 20b, a flash ROM (Read-Only Memory) 20c, anSD card drive 30a, adisplay 41, Aspeaker 42 andoperation keys 43 are connected to the bus 1a.

USBユニット10a、無線LANユニット10b、携帯網接続ユニット10cは、通信部10の機能を実現する。具体的には、USBユニット10aは、パーソナルコンピュータ2とUSB接続を行なうインタフェースである。無線LANユニット10bは、無線LANのアクセスポイントを介してネットワーク3に接続するインタフェースである。携帯網接続ユニット10cは、携帯電話の接続業者が提供する携帯網に無線接続するインタフェースである。  TheUSB unit 10a, the wireless LAN unit 10b, and the mobile network connection unit 10c realize the function of thecommunication unit 10. Specifically, theUSB unit 10 a is an interface for performing USB connection with thepersonal computer 2. The wireless LAN unit 10b is an interface connected to thenetwork 3 via a wireless LAN access point. The mobile network connection unit 10c is an interface for wireless connection to a mobile network provided by a mobile phone connection provider.

CPU20a、メモリ20b、フラッシュROM20cは、制御部20の機能を実現する。具体的には、CPU20aは、フラッシュROM20cに格納された各種プログラムを読み出してメモリ20bに展開し、順次実行することで制御部20の各種機能を実現する。フラッシュROM20cは、その内部にデータ取得プログラム21a、リンク処理プログラム22a、再生処理プログラム23a、同期表示プログラム24a、出力制御プログラム25aを記憶する。  The CPU 20a, the memory 20b, and the flash ROM 20c implement the functions of thecontrol unit 20. Specifically, the CPU 20a reads various programs stored in the flash ROM 20c, develops them in the memory 20b, and executes them sequentially to realize various functions of thecontrol unit 20. The flash ROM 20c stores therein adata acquisition program 21a, alink processing program 22a, areproduction processing program 23a, asynchronous display program 24a, and anoutput control program 25a.

データ取得プログラム21aは、CPU20aによって実行されることでデータ取得部21の機能を実現する。リンク処理プログラム22aは、CPU20aによって実行されることでリンク処理部22の機能を実現する。再生処理プログラム23aは、CPU20aによって実行されることで再生処理部23の機能を実現する。同期表示プログラム24aは、CPU20aによって実行されることで同期表示部24の機能を実現する。出力制御プログラム25aは、CPU20aによって実行されることで出力制御部25の機能を実現する。  Thedata acquisition program 21a implements the function of thedata acquisition unit 21 by being executed by the CPU 20a. Thelink processing program 22a is executed by the CPU 20a to realize the function of thelink processing unit 22. Thereproduction processing program 23a is executed by the CPU 20a to realize the function of thereproduction processing unit 23. Thesynchronous display program 24a implements the function of thesynchronous display unit 24 by being executed by the CPU 20a. Theoutput control program 25a is executed by the CPU 20a to realize the function of theoutput control unit 25.

フラッシュROM20cのうちユーザによって任意に使用可能な領域と、SDカードドライブ30aは、記憶部30として機能する。なお、ここではSDカードを記憶部30として利用する場合を例示したが、記憶部30を実現する記憶媒体は任意のものを用いることができる。  An area that can be arbitrarily used by the user in the flash ROM 20 c and the SD card drive 30 a function as thestorage unit 30. In addition, although the case where an SD card is used as thestorage unit 30 is illustrated here, an arbitrary storage medium for realizing thestorage unit 30 can be used.

図3は、楽曲データと歌詞データの説明図である。記憶部30において、楽曲データと歌詞データとはレコードとして記憶される。各レコードは、カラムC1、C2、C3を有する。カラムC1はレコードを一意に特定する識別情報IDを格納する。カラムC2は、楽曲データや歌詞データを格納する。楽曲データや歌詞データは、楽曲や歌詞自体のデータである本体データと、楽曲データや歌詞データに関する情報であるメタデータとを有する。  FIG. 3 is an explanatory diagram of music data and lyrics data. In thestorage unit 30, the music data and the lyrics data are stored as records. Each record has columns C1, C2, and C3. Column C1 stores identification information ID for uniquely identifying a record. Column C2 stores music data and lyrics data. The music data and the lyric data include main body data that is data of the music and the lyrics themselves, and metadata that is information related to the music data and the lyric data.

図3において、レコードR1は楽曲データである。楽曲データの本体データは、再生順序が定められた複数のフレームからなる。楽曲データのメタデータは、曲名、歌手、作曲者、演奏者、1フレームの時間長などの情報を有する。楽曲データのメタデータには、この他、楽曲のビットレートやコードに使用した規格など任意の情報を含めることができる。  In FIG. 3, a record R1 is music data. The main data of the music data consists of a plurality of frames in which the playback order is determined. The metadata of the music data includes information such as a music title, a singer, a composer, a performer, and a time length of one frame. In addition to the above, the metadata of the music data can include arbitrary information such as the bit rate of the music and the standard used for the chord.

図3においてレコードRnは歌詞データである。歌詞データの本体データは、歌詞のフレーズ群と各フレーズの表示タイミングを示す情報とを有する。歌詞データのメタデータは、曲名、歌手、演奏者などの情報を有する。曲名などが同一であっても、演奏者によって歌詞の各フレーズを表示するタイミングが変わる可能性がある。演奏者の情報をメタデータに含め、演奏者の情報を用いて楽曲データと歌詞データの対応付けを行なうことで、歌詞の表示タイミングを楽曲に合わせることができる。同様に、同一の楽曲であっても演奏によってたとえば演奏の長さなどが異なり、歌詞のフレーズを表示するタイミングが異なる場合には演奏時間や演奏日時などの情報を含める。楽曲データについては、演奏者の違いや演奏日時等の違い毎に個別の楽曲データとすればよい。歌詞のメタデータには、この他、作詞者など任意の情報を含めることができる。  In FIG. 3, record Rn is lyrics data. The main body data of the lyrics data includes a phrase group of lyrics and information indicating the display timing of each phrase. The metadata of the lyric data includes information such as a song title, a singer, and a performer. Even if the song titles are the same, the timing for displaying each phrase of the lyrics may change depending on the performer. By including the player's information in the metadata and associating the song data with the lyrics data using the player's information, the display timing of the lyrics can be matched to the song. Similarly, even if the music is the same, for example, the length of the performance varies depending on the performance, and information such as the performance time and performance date is included when the timing for displaying the lyrics phrase is different. About music data, what is necessary is just to set it as individual music data for every difference in a performer, a performance date, etc. FIG. In addition to the above, the lyrics metadata can include arbitrary information such as a lyricist.

カラムC3は、レコード間を対応付ける情報であるリンクIDを有する。リンクIDは、対応するレコードのIDである。レコードR1の楽曲データとレコードRnの歌詞データとを対応付ける場合、レコードR1のリンクIDとしてレコードRnのIDをカラムC3に格納する。同様に、レコードRnのリンクIDとしてレコードR1のIDをカラムC3に格納する。  The column C3 has a link ID that is information for associating records. The link ID is the ID of the corresponding record. When associating the music data of the record R1 with the lyrics data of the record Rn, the ID of the record Rn is stored in the column C3 as the link ID of the record R1. Similarly, the ID of the record R1 is stored in the column C3 as the link ID of the record Rn.

図4は、楽曲データの再生と歌詞データの同期表示についての説明図である。図4に示した例では、楽曲の本体データは、1フレームの長さが1秒の複数のフレームである。また各フレームは再生順序が定められている。換言すれば、楽曲データの各フレームは、楽曲を1秒ごとに区切り、再生順序を示すフレーム番号を付したものである。楽曲の再生を開始すると、まずフレームM01が出力される。このフレームM01は1秒後に出力が終了する。つづいてフレームM02、フレームM03と連続するフレームが順次出力される。楽曲の再生は、最終フレームの出力終了時に終了する。  FIG. 4 is an explanatory diagram regarding the reproduction of music data and the synchronous display of lyrics data. In the example shown in FIG. 4, the main body data of the music is a plurality of frames whose length of one frame is 1 second. Each frame has a playback order. In other words, each frame of the music data is obtained by dividing the music every second and giving a frame number indicating the reproduction order. When the reproduction of music is started, a frame M01 is output first. The output of this frame M01 ends after 1 second. Subsequently, the frame M02 and the frame continuous with the frame M03 are sequentially output. The reproduction of the music ends when the output of the last frame ends.

また、図4に示した例では、歌詞の本体データは、複数の歌詞フレーズと、各歌詞フレーズの表示開始時間とを有する。表示開始時間は、各歌詞フレーズを表示するタイミングを示す情報として機能する。各歌詞フレーズは、表示開始時間から次の歌詞フレーズの表示開始時間まで表示される。  In the example shown in FIG. 4, the lyrics body data includes a plurality of lyrics phrases and a display start time of each lyrics phrase. The display start time functions as information indicating the timing for displaying each lyric phrase. Each lyric phrase is displayed from the display start time to the display start time of the next lyric phrase.

図4に示した例では、楽曲の再生開始から4秒後に歌詞フレーズtxt01の表示が開始される。その後、楽曲の再生開始から10秒後に歌詞フレーズtxt01から歌詞フレーズtxt02に書き換えられる。そして、楽曲の再生開始から15秒後に歌詞フレーズtxt02から歌詞フレーズtxt03に書き換えられ、楽曲の再生開始から19秒後に歌詞フレーズtxt03から歌詞フレーズtxt04に書き換えられる。歌詞フレーズの表示は、楽曲の再生終了に合わせて終了する。なお、歌詞フレーズの内容を空白とすることで、歌詞が表示されない状態が実現できる。また、楽曲中での歌い出しに先立って歌詞表示をおこなうためのずらしバッファが設定されていれば、ずらしバッファに設定された時間だけ歌詞の表示タイミングを早める。具体的には、歌詞フレーズの表示開始時間からずらしバッファに設定された時間を引いて得られた値に基づいて歌詞フレーズの表示タイミングを決定する。例えば、ずらしバッファに1秒が設定されていれば、図4に示した例では楽曲の再生開始から3秒後、M04を読み出す時に各歌詞フレーズの表示開始時間から1秒差し引いたフレーズで、3秒に一番近いフレーズ、つまり、3.70−1=2.70秒後に歌詞表示となる歌詞フレーズtxt01の表示が開始される。その後、楽曲の再生開始から9秒後、M10を読み出す時、各菓子フレーズの表示開始時間から1秒差し引いたフレーズで、9秒に一番近いフレーズ、つまり9.40−1=8.40秒後に歌詞表示となる歌詞フレーズtxt02に書き換えられる。  In the example shown in FIG. 4, the display of the lyrics phrase txt01 is started 4 seconds after the reproduction of the music is started. Thereafter, the lyric phrase txt01 is rewritten to the lyric phrase txt02 after 10 seconds from the start of reproduction of the music. Then, the lyric phrase txt02 is rewritten to the lyric phrase txt03 15 seconds after the music reproduction starts, and the lyric phrase txt03 is rewritten to the lyric phrase txt04 19 seconds after the music reproduction starts. The display of the lyric phrase ends when the reproduction of the music ends. In addition, the state where a lyrics is not displayed is realizable by making the content of a lyric phrase blank. If a shift buffer for displaying lyrics prior to singing in the music is set, the display timing of the lyrics is advanced by the time set in the shift buffer. Specifically, the display timing of the lyrics phrase is determined based on the value obtained by subtracting the time set in the shift buffer from the display start time of the lyrics phrase. For example, if 1 second is set in the shift buffer, in the example shown in FIG. 4, a phrase obtained by subtracting 1 second from the display start time of each lyric phrase when M04 is read out after 3 seconds from the start of music playback is 3 The display of the phrase closest to the second, that is, the lyric phrase txt01, which becomes the lyric display after 3.70-1 = 2.70 seconds, is started. After that, when reading M10 after 9 seconds from the start of music playback, the phrase closest to 9 seconds, that is 9.40-1 = 8.40 seconds, is a phrase obtained by subtracting 1 second from the display start time of each confectionery phrase. It is rewritten to a lyric phrase txt02 that will be displayed later.

再生処理部23は、楽曲の再生開始時に再生する楽曲の識別情報IDを同期表示部24に通知する。そして再生開始後、再生処理部23は、フレームの出力状況を同期表示部24に通知する。  Thereproduction processing unit 23 notifies thesynchronous display unit 24 of the identification information ID of the music to be reproduced at the start of music reproduction. After the reproduction is started, thereproduction processing unit 23 notifies thesynchronous display unit 24 of the frame output status.

同期表示部24は、再生処理部23から通知された識別情報IDをリンクIDとして持つレコードを検索する。再生処理部23は、検索結果として得られたレコードを再生される楽曲データに対応する歌詞データとして読み出す。その後、同期表示部24は、フレームの出力状況から再生の経過時間を算出し、算出した経過時間に基づいて歌詞フレーズを読み出す。  Thesynchronous display unit 24 searches for a record having the identification information ID notified from thereproduction processing unit 23 as a link ID. Thereproduction processing unit 23 reads a record obtained as a search result as lyrics data corresponding to the music data to be reproduced. Thereafter, thesynchronous display unit 24 calculates an elapsed time of reproduction from the output state of the frame, and reads out the lyrics phrase based on the calculated elapsed time.

例えば、再生処理部23から4番目のフレームであるフレームM05を出力することを通知された場合、同期表示部24は、フレーム番号「5」にフレーム長「1秒」を乗じ、フレームM05が楽曲の4秒目からに相当することを認識する。そこで、同期表示部24は、4秒に最も近い表示開始時間が指定された歌詞フレーズを読み出す。図4の例では、歌詞フレーズtxt01の表示開始時間が3.7秒である。フレームM05の出力開始時間が4秒であるので、同期表示部24は、フレームM05の出力開始時点で歌詞フレーズtxt01を表示開始する。このため、歌詞フレーズtxt01は楽曲の再生開始から4秒後に表示開始されることとなる。  For example, when thereproduction processing unit 23 is notified that the frame M05, which is the fourth frame, is output, thesynchronization display unit 24 multiplies the frame number “5” by the frame length “1 second”, and the frame M05 It is recognized that this corresponds to from the fourth second. Therefore, thesynchronous display unit 24 reads the lyrics phrase in which the display start time closest to 4 seconds is specified. In the example of FIG. 4, the display start time of the lyrics phrase txt01 is 3.7 seconds. Since the output start time of the frame M05 is 4 seconds, thesynchronous display unit 24 starts displaying the lyrics phrase txt01 at the output start time of the frame M05. For this reason, the lyrics phrase txt01 starts to be displayed 4 seconds after the music starts to be played.

図5は、歌詞の同期表示中における表示画面の具体例である。ディスプレイ41の表示画面は、出力制御部25が作成して表示する。表示画面は、装置状態表示エリア51、主表示エリア52、操作用エリア53を有する。  FIG. 5 is a specific example of a display screen during synchronous display of lyrics. The display screen of thedisplay 41 is created and displayed by theoutput control unit 25. The display screen has an apparatusstatus display area 51, amain display area 52, and anoperation area 53.

装置状態表示エリア51は、携帯電話装置1の状態を表示するエリアである。携帯電話装置1の状態は、例えばバッテリの充電状態、電波の受信状態などである。操作用エリア53は、操作キー43を操作した場合に実行される動作を表示することでユーザ操作を支援するエリアである。  The devicestate display area 51 is an area for displaying the state of themobile phone device 1. The state of themobile phone device 1 is, for example, a battery charge state, a radio wave reception state, or the like. Theoperation area 53 is an area that supports a user operation by displaying an operation executed when theoperation key 43 is operated.

出力制御部25は、楽曲データを再生している場合に、主表示エリア52に各種情報を表示する。具体的には、出力表示部25は、機能名表示エリア61、曲名表示エリア62、歌手表示エリア63、画像表示エリア64、歌詞フレーズ表示エリア65を主表示エリア53内に作成する。  Theoutput control unit 25 displays various information in themain display area 52 when the music data is being reproduced. Specifically, theoutput display unit 25 creates a functionname display area 61, a songname display area 62, asinger display area 63, animage display area 64, and a lyricsphrase display area 65 in themain display area 53.

出力制御部25は、音楽再生機能を実行中であることを機能名表示エリア61に表示する。出力制御部25は、楽曲データのメタデータから取得した曲名の情報を曲名表示エリア62に表示する。出力制御部25は、楽曲データのメタデータから取得した歌手の情報を歌手表示エリア62に表示する。出力表示部25は、楽曲データの画像を画像表示エリア64に表示する。この楽曲データの画像とは例えば動画やジャケット写真などである。出力表示部25は、同期表示部23から指定された歌詞フレーズを歌詞フレーズ表示エリア65に表示する。  Theoutput control unit 25 displays in the functionname display area 61 that the music playback function is being executed. Theoutput control unit 25 displays the song name information acquired from the metadata of the song data in the songname display area 62. Theoutput control unit 25 displays singer information acquired from the music data metadata in thesinger display area 62. Theoutput display unit 25 displays the music data image in theimage display area 64. The music data image is, for example, a moving image or a jacket photo. Theoutput display unit 25 displays the lyrics phrase designated from thesynchronization display unit 23 in the lyricsphrase display area 65.

対応する楽曲データと歌詞データとが記憶部30に記憶されている状態であれば、楽曲の再生に合わせて歌詞を同期させて表示する同期再生を行なうことができる。一方、楽曲データや歌詞データを再生しながら取得することとすると、データの取得が再生に追いつかず、楽曲の再生や歌詞の表示が途切れる可能性がある。特に楽曲データや歌詞データを通信によって取得する場合、通信が確立できなければ楽曲データもしくは歌詞データが取得できず、同期再生ができない。  If the corresponding music data and lyric data are stored in thestorage unit 30, synchronized playback in which lyrics are displayed in synchronization with the playback of the music can be performed. On the other hand, if the music data and the lyrics data are acquired while being reproduced, the data acquisition may not catch up with the reproduction, and the reproduction of the music and the display of the lyrics may be interrupted. In particular, when music data and lyric data are acquired by communication, music data or lyric data cannot be acquired unless communication is established, and synchronized playback cannot be performed.

そこで、リンク処理部22は、楽曲データや歌詞データのうち、対応するデータが記憶部30に存在しない、すなわちリンクIDが設定されていない未リンクデータについて、対応するデータの取得を促す。未リンクデータの検索については、ユーザが指定したタイミングで実行してもよいし、新規に楽曲データや歌詞データを取得した場合に検索してもよい。  Therefore, thelink processing unit 22 prompts the acquisition of the corresponding data for the unlinked data in which the corresponding data does not exist in thestorage unit 30 among the music data and the lyrics data, that is, the link ID is not set. The search for unlinked data may be performed at a timing designated by the user, or may be performed when music data or lyrics data is newly acquired.

データ取得部21が新規に楽曲データや歌詞データを取得した場合、データ取得部は取得したデータをレコードのカラムC2に格納する。また、取得したデータにIDを付与してカラムC1に格納する。さらに、データ取得部21は、リンク処理部22にデータの取得を通知する。このように新規のデータ取得時にリンク処理部22に通知を行なうことで、リンク処理部22による未リンクデータの検索を開始させることができる。  When thedata acquisition unit 21 newly acquires music data and lyrics data, the data acquisition unit stores the acquired data in the column C2 of the record. Further, an ID is assigned to the acquired data and stored in the column C1. Further, thedata acquisition unit 21 notifies thelink processing unit 22 of data acquisition. Thus, by notifying thelink processing unit 22 when new data is acquired, the search for unlinked data by thelink processing unit 22 can be started.

具体的には、リンク処理部22はデータ取得部21からの通知を受け、図6に示す処理動作を実行する。図6は、リンク処理部22による対応データの取得動作について説明するフローチャートである。  Specifically, thelink processing unit 22 receives the notification from thedata acquisition unit 21 and executes the processing operation shown in FIG. FIG. 6 is a flowchart for explaining the operation of acquiring correspondence data by thelink processing unit 22.

リンク処理部22は、まず取得データに対応する対応データを記憶部30から検索する(S101)。対応データの検索は、リンクIDの有無による検索やメタデータによる検索などを用いることができる。  Thelink processing unit 22 first searches thestorage unit 30 for corresponding data corresponding to the acquired data (S101). The search for the corresponding data can use a search based on the presence or absence of a link ID or a search based on metadata.

リンクIDの有無による検索では、リンク処理部22は、リンクIDが設定されていないデータを対応データの候補とする。メタデータによる検索を行なう場合、データ取得部21はデータの取得の通知とともに、取得データのメタデータをリンク処理部22に通知する。リンク処理部22は、取得データのメタデータに基づいて記憶部30を検索し、曲名や歌手、演奏者などが一致するデータを対応データの候補とする。リンクIDが設定されておらず、かつ曲名や歌手、演奏者などが一致するデータを対応データ候補としてもよい。さらに、取得データが楽曲データである場合には歌詞データのみを候補とし、取得データが歌詞データである場合には楽曲データのみを候補としてもよい。  In a search based on the presence / absence of a link ID, thelink processing unit 22 sets data for which no link ID is set as candidates for corresponding data. When performing a search using metadata, thedata acquisition unit 21 notifies thelink processing unit 22 of the metadata of the acquired data together with the notification of data acquisition. Thelink processing unit 22 searches thestorage unit 30 based on the metadata of the acquired data, and sets data that matches the song title, singer, performer, and the like as the corresponding data candidate. Data in which the link ID is not set and the music title, singer, performer, etc. match may be used as the corresponding data candidate. Furthermore, if the acquired data is music data, only the lyrics data may be a candidate, and if the acquired data is lyrics data, only the music data may be a candidate.

リンク処理部22は、対応データの候補を表示し、ユーザによる選択入力に基づいて対応データを確定する。なお、リンクIDの有無やメタデータの比較などで楽曲データと歌詞データの対応が確定できる場合には、候補データの表示やユーザによる選択入力を省略するようにしてもよい。  Thelink processing unit 22 displays corresponding data candidates and determines the corresponding data based on a selection input by the user. If the correspondence between the music data and the lyrics data can be determined by the presence or absence of the link ID or the comparison of the metadata, the display of candidate data and the selection input by the user may be omitted.

取得データに対応する対応データが記憶部30に存在する場合(S102)、リンク処理部22は、後述するステップS106に移行する。一方、取得データに対応する対応データが記憶部30に存在しない場合(S102,No)、リンク処理部22は、対応データのダウンロード可否判断を求める(S103)。  When the corresponding data corresponding to the acquired data exists in the storage unit 30 (S102), thelink processing unit 22 proceeds to step S106 described later. On the other hand, when the corresponding data corresponding to the acquired data does not exist in the storage unit 30 (S102, No), thelink processing unit 22 determines whether the corresponding data can be downloaded (S103).

図8は、ダウンロード可否判断を求める表示画面の一例である。図8に示した表示画面は、楽曲データの取得時に対応する歌詞データがない場合の例であり、主表示エリア52にダウンロード可否判断表示71を表示している。ダウンロード可否判断表示71は、「対応する歌詞が見つかりません。歌詞をダウンロードしますか?」とのメッセージと「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。ユーザは操作キー43の操作によって「はい」または「いいえ」を選択することができる。  FIG. 8 is an example of a display screen for determining whether download is possible. The display screen shown in FIG. 8 is an example in the case where there is no lyric data corresponding to the acquisition of music data, and a download permission determination display 71 is displayed in themain display area 52. The download permission determination display 71 has a message “No corresponding lyrics found. Do you want to download lyrics?” And a button image for accepting an operation input of “Yes” or “No”. The user can select “Yes” or “No” by operating theoperation key 43.

ダウンロード可否判断について「いいえ」の操作入力を受けた場合、すなわち図6において対応データのダウンロードが許可されなかった場合(S104,No)、リンク処理部22は処理を終了する。  When an operation input “No” is received for determining whether download is possible, that is, when downloading of the corresponding data is not permitted in FIG. 6 (No in S104), thelink processing unit 22 ends the process.

一方、ダウンロード可否判断について「はい」の操作入力を受けた場合、すなわち図6において対応データのダウンロードが許可された場合(S104,Yes)、リンク処理部22は、データ取得部21に対応データをダウンロードさせる(S105)。  On the other hand, when an operation input of “Yes” is received for determining whether download is possible, that is, when downloading of the corresponding data is permitted in FIG. Download (S105).

対応データのダウンロードの終了後、もしくは記憶部30に既に対応データが存在する場合(S102,Yes)、リンク処理部22は、取得データと対応データのリンク可否判断を求める(S106)。  After the download of the corresponding data, or when the corresponding data already exists in the storage unit 30 (S102, Yes), thelink processing unit 22 determines whether or not the acquired data and the corresponding data can be linked (S106).

図9は、リンク可否判断を求める表示画面の一例である。図9に示した表示画面は、主表示エリア52にリンク可否判断表示72を表示している。ダウンロード可否判断表示72は、「楽曲データ72aと歌詞データ72bをリンクしますか?」とのメッセージ、楽曲データと歌詞データの詳細情報の表示指示を受け付けるボタン画像、「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。72aと72bは、ユーザがレコードを識別するための情報であり、メタデータの一部を使用すればよい。また、ユーザは、操作キー43の操作によって詳細情報の表示指示を入力することで、楽曲データや歌詞データについて詳細な情報を表示させることができる。リンク処理部22は、詳細情報の表示指示を受け付けた場合には、該当レコードのメタデータなどを表示する。また、ユーザは操作キー43の操作によって「はい」または「いいえ」を選択することができる。  FIG. 9 is an example of a display screen for determining whether a link is possible. The display screen shown in FIG. 9 displays a link availability determination display 72 in themain display area 52. The download permission determination display 72 is a button image for accepting a message “Do you want to link thesong data 72a and thelyrics data 72b?”, An instruction to display detailed information of the song data and the lyrics data, “Yes” or “No”. It has a button image that accepts an operation input. 72a and 72b are information for the user to identify the record, and a part of the metadata may be used. Further, the user can display detailed information on the music data and the lyrics data by inputting a detailed information display instruction by operating theoperation key 43. When thelink processing unit 22 receives an instruction to display detailed information, thelink processing unit 22 displays metadata of the corresponding record. The user can select “Yes” or “No” by operating theoperation key 43.

リンク可否判断について「いいえ」の操作入力を受けた場合、すなわち図6において取得データと対応データのリンクが許可されなかった場合(S107,No)、リンク処理部22は処理を終了する。  When a “No” operation input is received for determining whether or not the link is possible, that is, when the link between the acquired data and the corresponding data is not permitted in FIG. 6 (No in S107), thelink processing unit 22 ends the process.

一方、リンク可否判断について「はい」の操作入力を受けた場合、すなわち図6において取得データと対応データのリンクが許可された場合(S107,Yes)、リンク処理部22は、取得データと対応データのリンクIDを更新して(S108)、処理を終了する。リンクIDの更新は、具体的には、取得データのカラムC3に対応データのIDをリンクIDとして書き込み、対応データのカラムC3に取得データのIDをリンクIDとして書き込む処理である。  On the other hand, when an operation input of “Yes” is received for determining whether or not the link is possible, that is, when the link between the acquired data and the corresponding data is permitted in FIG. 6 (S107, Yes), thelink processing unit 22 The link ID is updated (S108), and the process ends. Specifically, the update of the link ID is a process of writing the ID of the corresponding data as the link ID in the column C3 of the acquired data and writing the ID of the acquired data as the link ID in the column C3 of the corresponding data.

図7は、図6に示したダウンロードステップS105の詳細なフローチャートである。データ取得部21は、リンク処理部22から対応データのダウンロードを指示されると、通信部10の通信状態を取得する(S201)。  FIG. 7 is a detailed flowchart of the download step S105 shown in FIG. When thedata acquisition unit 21 is instructed to download the corresponding data from thelink processing unit 22, thedata acquisition unit 21 acquires the communication state of the communication unit 10 (S201).

その結果、対応データのダウンロードが可能な通信状態であれば(S202,Yes)、データ取得部22は対応データのダウンロードを実行する(S203)。その結果、対応データのダウンロードが完了したならば(S204,Yes)、データ取得部21はダウンロードの完了をリンク処理部22に通知して(S205)、処理を終了する。ダウンロードが完了していない場合(S204,No)、データ取得部21は再びステップS201に戻って通信状態を取得する。  As a result, if the communication state is such that the corresponding data can be downloaded (S202, Yes), thedata acquisition unit 22 downloads the corresponding data (S203). As a result, if the download of the corresponding data is completed (S204, Yes), thedata acquisition unit 21 notifies thelink processing unit 22 of the completion of the download (S205), and ends the process. If the download is not completed (S204, No), thedata acquisition unit 21 returns to step S201 again to acquire the communication state.

対応データのダウンロードが可能な通信状態でなければ(S202,No)、データ取得部21は、リンク処理部22にダウンロードが不可能であることを通知する(S206)。リンク処理部22は、ダウンロードが不可能であることの通知を受け、ユーザにダウンロードが不可能であることを通知する。  If it is not in a communication state in which the corresponding data can be downloaded (S202, No), thedata acquisition unit 21 notifies thelink processing unit 22 that the download is not possible (S206). Thelink processing unit 22 receives notification that the download is impossible and notifies the user that the download is impossible.

図10は、ダウンロードが不可能であることを通知する表示画面の一例である。図10に示した表示画面は、主表示エリア52にダウンロード不可能通知表示73を表示している。ダウンロード不可能通知表示73は、「通信環境が悪くダウンロードできません。ダウンロードができるようになればお知らせいたします。」とのメッセージを表示している。  FIG. 10 is an example of a display screen that notifies that downloading is impossible. The display screen shown in FIG. 10 displays a downloadimpossible notification display 73 in themain display area 52. The downloadimpossible notification display 73 displays a message “The communication environment is bad and the download is not possible. We will inform you when the download is possible.”.

ステップS206の後、データ取得部21は、所定時間待機を行ない(S207)、再び通信部10の通信状態を取得する(S208)。その結果、ダウンロードが可能な通信状態でなければ(S209,No)、データ取得部21は、所定時間待機(S207)に戻る。  After step S206, thedata acquisition unit 21 waits for a predetermined time (S207) and acquires the communication state of thecommunication unit 10 again (S208). As a result, if the communication state is not available for download (S209, No), thedata acquisition unit 21 returns to standby for a predetermined time (S207).

ステップS207における通信状態の取得の結果、ダウンロードが可能な状態になれば(S209,Yes)、データ取得部21はダウンロードが可能になったことをリンク処理部22に通知する(S210)。リンク処理部22は、ダウンロードが可能になったことの通知を受け、ユーザにダウンロードが可能であることを通知する。  As a result of the acquisition of the communication state in step S207, if the download is possible (S209, Yes), thedata acquisition unit 21 notifies thelink processing unit 22 that the download is possible (S210). Thelink processing unit 22 receives a notification that the download is possible and notifies the user that the download is possible.

図11は、ダウンロードが可能になったことを通知する表示画面の一例である。図10に示した表示画面は、主表示エリア52にダウンロード可能通知表示74を表示している。ダウンロード可能通知表示74は、「歌詞のダウンロードができるようになりました。ダウンロードしますか?」とのメッセージと、「はい」または「いいえ」の操作入力を受け付けるボタン画像を有する。ユーザは操作キー43の操作によって「はい」または「いいえ」を選択することができる。  FIG. 11 is an example of a display screen for notifying that download is possible. The display screen shown in FIG. 10 displays adownloadable notification display 74 in themain display area 52. Thedownloadable notification display 74 includes a message “License can be downloaded. Do you want to download?” And a button image for accepting an operation input of “Yes” or “No”. The user can select “Yes” or “No” by operating theoperation key 43.

ダウンロード可能通知に対して「いいえ」の操作入力を受けた場合、すなわち図7においてダウンロードが指示されなかった場合(S211,No)、データ取得部22は、所定時間待機し(S207)、その後、通信状態の取得(S208)に戻る。  When an operation input “No” is received in response to the download notification, that is, when download is not instructed in FIG. 7 (S211, No), thedata acquisition unit 22 waits for a predetermined time (S207). The process returns to the communication state acquisition (S208).

一方、ダウンロード可能通知に対して「はい」の操作入力を受けた場合、すなわち図7においてダウンロードが指示された場合(S211,Yes)、データ取得部22は対応データのダウンロードを実行する(S203)。  On the other hand, when an operation input “Yes” is received in response to the download enable notification, that is, when download is instructed in FIG. 7 (S211, Yes), thedata acquisition unit 22 downloads the corresponding data (S203). .

このように、リンク処理部22が未リンクデータについて対応データをデータ取得部21に取得させて対応付けを行なうことで、対応する楽曲データと歌詞データとを記憶部30に記憶させることができる。なお、図6及び図7では、ダウンロード可否判断(S103)、リンク可否判断(S106)、ダウンロード指示(S211)についてユーザの確認入力を求める処理の例を示しているが、かかるユーザによる確認は省略することもできる。  As described above, thelink processing unit 22 causes thedata acquisition unit 21 to acquire correspondence data for unlinked data and perform association so that the corresponding music data and lyrics data can be stored in thestorage unit 30. 6 and 7 show an example of processing for requesting a user's confirmation input for the download permission determination (S103), the link permission determination (S106), and the download instruction (S211), but the confirmation by the user is omitted. You can also

つぎに、同期表示部24の処理動作について説明する。図12は、同期表示部24の処理動作を説明するフローチャートである。同期表示部24は、再生処理部23から再生レコードのIDを取得し(S301)、取得したIDをカラムC3にリンクIDとして有する対応レコードを検索する(S302)。検索の結果、対応レコードが存在しない場合(S303,No)、同期表示部24は、処理を終了する。  Next, the processing operation of thesynchronous display unit 24 will be described. FIG. 12 is a flowchart for explaining the processing operation of thesynchronous display unit 24. Thesynchronous display unit 24 acquires the ID of the playback record from the playback processing unit 23 (S301), and searches for a corresponding record having the acquired ID as a link ID in the column C3 (S302). If the corresponding record does not exist as a result of the search (S303, No), thesynchronous display unit 24 ends the process.

一方、対応レコードが存在する場合(S303,Yes)、同期表示部24は対応レコードのカラムC2から歌詞データを読み出す(S304)。また、同期表示部24は、再生レコードのIDに基づいて記憶部30を検索し、再生レコードのメタデータからフレーム長を読み出す(S305)。同期表示部24は読み出した歌詞データとフレーム長を用いて同期表示処理を実行し(S306)、処理を終了する。  On the other hand, when the corresponding record exists (S303, Yes), thesynchronous display unit 24 reads the lyrics data from the column C2 of the corresponding record (S304). Further, thesynchronous display unit 24 searches thestorage unit 30 based on the ID of the playback record, and reads the frame length from the metadata of the playback record (S305). Thesynchronous display unit 24 executes a synchronous display process using the read lyrics data and the frame length (S306), and ends the process.

図13は、図12に示した同期表示処理を詳細に説明するフローチャートである。同期表示処理部24は、再生処理部23から再生するフレームのフレーム番号を取得する(S401)。  FIG. 13 is a flowchart for explaining in detail the synchronous display processing shown in FIG. The synchronousdisplay processing unit 24 acquires the frame number of the frame to be reproduced from the reproduction processing unit 23 (S401).

表示処理部24は、取得したフレーム番号とフレーム長からフレームの再生時間を算出する(S402)。そして、表示開始時間がフレームの再生時間内に入る歌詞フレーズを検索する(S403)。  Thedisplay processing unit 24 calculates a frame reproduction time from the acquired frame number and frame length (S402). Then, a lyric phrase whose display start time falls within the frame playback time is searched (S403).

表示開始時間がフレームの再生時間内に入る歌詞フレーズが存在する場合(S404,Yes)、該当する歌詞フレーズを表示開始する(S405)。この表示開始時点で前の歌詞フレーズが表示中であれば、前の歌詞フレーズの表示を消去して更新する。  If there is a lyric phrase whose display start time falls within the playback time of the frame (S404, Yes), display of the corresponding lyric phrase is started (S405). If the previous lyrics phrase is being displayed at the start of the display, the previous lyrics phrase is deleted and updated.

ステップS405の終了後、もしくは表示開始時間がフレームの再生時間内に入る歌詞フレーズが存在しない場合(S404,No)、同期表示部24は、再生処理部23による楽曲データの再生が全て終了したか否かを判定する(S406)。  After the end of step S405, or when there is no lyric phrase whose display start time falls within the playback time of the frame (S404, No), thesynchronization display unit 24 has completed the playback of the music data by theplayback processing unit 23. It is determined whether or not (S406).

楽曲データの再生が終了していなければ(S406,No)、同期表示部24は、そのフレームが終了するまで待機して(S408)、再び再生するフレーム数を取得する(S401)。そして、楽曲データの再生が終了した場合(S406,Yes)に、同期表示部24は、歌詞フレーズの表示を終了する(S407)。  If the reproduction of the music data has not ended (S406, No), thesynchronization display unit 24 waits until the frame ends (S408), and acquires the number of frames to be reproduced again (S401). When the reproduction of the music data is completed (S406, Yes), thesynchronous display unit 24 ends the display of the lyrics phrase (S407).

図13に示した処理動作では、同期表示部24は出力されるフレームの番号に合わせて歌詞を表示する。そのため、楽曲の再生を早送りした場合や巻き戻した場合であっても対応する歌詞を正確に表示できる。  In the processing operation shown in FIG. 13, thesynchronous display unit 24 displays the lyrics in accordance with the number of the frame to be output. Therefore, the corresponding lyrics can be displayed accurately even when the music is fast-forwarded or rewinded.

上述してきたように、本実施例では、携帯電話装置1は、楽曲データと歌詞データの同期再生において、対応するデータを再生前に取得することで同期再生を円滑に実行することができる。また、通信状態に基づいて対応データの取得を制御することができる。  As described above, in the present embodiment, themobile phone device 1 can smoothly execute the synchronous reproduction by acquiring the corresponding data before reproduction in the synchronous reproduction of the music data and the lyrics data. Moreover, acquisition of corresponding data can be controlled based on the communication state.

なお、本実施例はあくまで一例であり、開示の技術は適宜変更して実施可能である。例えば、本実施例では、記憶部30に楽曲データと歌詞データの双方を記憶させる構成を例示したが、複数の記憶部に楽曲データと歌詞データを分散して記憶させてもよい。さらに、楽曲データを記憶する記憶部と歌詞データを記憶する記憶部とを分けてもよい。  Note that this embodiment is merely an example, and the disclosed technology can be implemented with appropriate modifications. For example, in the present embodiment, the configuration in which both the music data and the lyrics data are stored in thestorage unit 30 is illustrated, but the music data and the lyrics data may be distributed and stored in a plurality of storage units. Furthermore, a storage unit that stores music data and a storage unit that stores lyrics data may be separated.

また、本実施例では、楽曲データを取得した後に対応する歌詞データを取得する場合を例示したが、歌詞データを取得した後に対応する楽曲データを取得することもできる。また、一方のデータのメタデータを取得した時点で対応するデータを特定して取得することもできる。  Moreover, although the case where the corresponding lyric data was acquired after acquiring music data was illustrated in the present Example, the corresponding music data can also be acquired after acquiring lyric data. Also, the corresponding data can be specified and acquired when the metadata of one data is acquired.

また、歌詞付楽曲提供サーバ6のように対応する楽曲データと歌詞データとを共に提供可能である場合、データの提供側が対応するデータの有無を判定し、対応するデータを合わせて取得するように携帯電話装置1に促してもよい。  In addition, when the corresponding music data and the lyrics data can be provided together as in themusic providing server 6 with lyrics, the data providing side determines the presence or absence of the corresponding data and acquires the corresponding data together. Themobile phone device 1 may be prompted.

なお、対応するデータの取得先は同一である必要は無く、例えば楽曲データをパーソナルコンピュータ2から取得し、歌詞データを歌詞提供サーバ5から取得してもよい。  In addition, the acquisition destination of corresponding data does not need to be the same. For example, music data may be acquired from thepersonal computer 2 and lyrics data may be acquired from thelyrics providing server 5.

また、本実施例では、コンテンツデータの例として楽曲データ、テキストデータの例として歌詞データを示した。これはあくまで一例であり、コンテンツデータとしては時間経過に伴って出力が変化する任意のコンテンツを使用することができる。同様にテキストデータとしては、コンテンツデータの再生に合わせて表示内容が変化する任意のデータを用いることができる。さらに、コンテンツデータには音出力は必須ではなく、表示内容のみが時間変化するものであってもよい。  In this embodiment, music data is shown as an example of content data, and lyrics data is shown as an example of text data. This is merely an example, and any content whose output changes with time can be used as the content data. Similarly, as the text data, any data whose display contents change in accordance with the reproduction of the content data can be used. Furthermore, sound output is not essential for content data, and only display content may change over time.

例えば、映画をコンテンツデータとし、字幕をテキストデータとして開示の技術を適用することができる。また、テロップなど文字情報が付された動画であってもよい。  For example, the disclosed technique can be applied by using a movie as content data and subtitles as text data. Also, it may be a moving image with character information such as a telop.

さらに、本実施例ではコンテンツデータとテキストデータとが1対1に対応する場合を例示して説明を行なったが、コンテンツデータとテキストデータの対応は1対1に限定されるものではない。例えば、コンテンツデータが映画である場合、英語版字幕や日本語版字幕など複数のテキストデータを対応させることが有用である。また、同じ楽曲に異なる歌詞が存在する場合もある。同様に、曲調などのアレンジが異なる複数の楽曲データであっても、歌詞の内容と表示タイミングが同一であれば一つのテキストデータを複数の楽曲データに対応させることができる。  Furthermore, in the present embodiment, the case where the content data and the text data correspond one-to-one has been described, but the correspondence between the content data and the text data is not limited to one-to-one. For example, when the content data is a movie, it is useful to associate a plurality of text data such as English subtitles and Japanese subtitles. Also, there may be different lyrics for the same song. Similarly, even if there are a plurality of pieces of music data having different arrangements such as tunes, one text data can correspond to a plurality of pieces of music data if the contents of the lyrics and the display timing are the same.

さらに、本実施例では、楽曲のフレームの出力タイミングに歌詞フレーズの表示タイミングを合わせる場合を例示したが、歌詞フレーズの表示開始時間と楽曲のフレームの出力タイミングの差を算出し、楽曲のフレームの出力タイミングから算出した時間分ずらして歌詞フレーズを表示することで、指定された表示開始時間に歌詞フレーズの表示を開始することもできる。  Further, in this embodiment, the case where the display timing of the lyrics phrase is matched with the output timing of the music frame is illustrated, but the difference between the display start time of the lyrics phrase and the output timing of the music frame is calculated, By displaying the lyric phrase shifted by the time calculated from the output timing, the display of the lyric phrase can also be started at the designated display start time.

また、本実施例ではテキスト表示機能付情報処理装置の一例として携帯電話装置を示したが、パーソナルコンピュータなど任意の情報処理装置に開示の技術を適用することができる。さらに、開示の技術はデータ取得プログラム21aとリンク処理プログラム22aを含むプログラムとして提供することもできる。  In this embodiment, a mobile phone device is shown as an example of an information processing device with a text display function, but the disclosed technology can be applied to any information processing device such as a personal computer. Furthermore, the disclosed technology can also be provided as a program including thedata acquisition program 21a and thelink processing program 22a.

1 携帯電話装置
2 パーソナルコンピュータ
3 ネットワーク
4 楽曲提供サーバ
5 歌詞提供サーバ
6 歌詞付楽曲提供サーバ
10 通信部
10a USBユニット
10b 無線LANユニット
10c 携帯網接続ユニット
20 制御部
20a CPU
20b メモリ
20c フラッシュROM
21 データ取得部
21a データ取得プログラム
22 リンク処理部
22a リンク処理プログラム
23 再生処理部
23a 再生処理プログラム
24 同期処理部
24a 同期表示プログラム
25 出力制御部
25a 出力表示プログラム
30 記憶部
30a SDカードドライブ
40 入出力部
41 ディスプレイ
42 スピーカ
43 操作キー
51 装置状態表示エリア
52 主表示エリア
53 操作用エリア
61 機能名表示エリア
62 曲名表示エリア
63 歌手表示エリア
64 画像表示エリア
65 歌詞フレーズ表示エリア
71 ダウンロード可否判断表示
72 リンク可否判断表示
73 ダウンロード不可能通知表示
74 ダウンロード可能通知表示
DESCRIPTION OFSYMBOLS 1Mobile telephone apparatus 2Personal computer 3Network 4Music provision server 5Lyrics provision server 6 Lyrics provision server withlyrics 10Communication part 10a USB unit 10b Wireless LAN unit 10c Mobilenetwork connection unit 20 Control part 20a CPU
20b Memory 20c Flash ROM
21data acquisition unit 21adata acquisition program 22link processing unit 22alink processing program 23reproduction processing unit 23areproduction processing program 24synchronization processing unit 24asynchronous display program 25output control unit 25aoutput display program 30storage unit 30aSD card drive 40 input /output Unit 41Display 42Speaker 43Operation key 51 Devicestatus display area 52Main display area 53Operation area 61 Functionname display area 62 Songname display area 63Singer display area 64Image display area 65 Lyric phrase display area 71 Download availability judgment display 72 LinkAvailability judgment display 73 Downloadimpossible notification display 74 Download possible notification display

Claims (1)

Translated fromJapanese
歌詞データを有する歌詞提供装置から伝送される歌詞データを受信する端末により実行される歌詞出力プログラムにおいて、
楽曲の情報が記録された楽曲データに対応する歌詞データを前記端末に送信する指示を前記サーバに送信するステップと、
前記楽曲データの実行指示を受け付けた場合に、受信した前記歌詞データに含まれる複数のテキストのうち、前記楽曲データおける順次実行されるフレームに同期したテキストをディスプレイに出力するステップと、
をコンピュータに実行させることを特徴とする歌詞出力プログラム。
In the lyrics output program executed by the terminal that receives the lyrics data transmitted from the lyrics providing device having the lyrics data,
Transmitting instructions to the terminal to transmit lyrics data corresponding to music data in which music information is recorded, to the server;
Outputting a text synchronized with a sequentially executed frame in the music data out of a plurality of texts included in the received lyric data when an instruction to execute the music data is received;
A lyric output program for causing a computer to execute.
JP2013089816A2013-04-222013-04-22Lyric output programPendingJP2013174904A (en)

Priority Applications (1)

Application NumberPriority DateFiling DateTitle
JP2013089816AJP2013174904A (en)2013-04-222013-04-22Lyric output program

Applications Claiming Priority (1)

Application NumberPriority DateFiling DateTitle
JP2013089816AJP2013174904A (en)2013-04-222013-04-22Lyric output program

Related Parent Applications (1)

Application NumberTitlePriority DateFiling Date
JP2009098461ADivisionJP2010250023A (en)2009-04-142009-04-14 Information processing apparatus with text display function, data acquisition method, and data acquisition program

Publications (1)

Publication NumberPublication Date
JP2013174904Atrue JP2013174904A (en)2013-09-05

Family

ID=49267786

Family Applications (1)

Application NumberTitlePriority DateFiling Date
JP2013089816APendingJP2013174904A (en)2013-04-222013-04-22Lyric output program

Country Status (1)

CountryLink
JP (1)JP2013174904A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JP2024059678A (en)*2014-05-292024-05-01アップル インコーポレイテッドUser Interface for Payment
US12299263B2 (en)2019-06-012025-05-13Apple Inc.User interfaces for location-related communications
US12314527B2 (en)2013-09-092025-05-27Apple Inc.Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
US12363505B2 (en)2019-06-012025-07-15Apple Inc.User interfaces for location-related communications
US12406490B2 (en)2008-01-032025-09-02Apple Inc.Personal computing device control using face detection and recognition

Citations (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JPH08306167A (en)*1995-03-061996-11-22Fujitsu Ltd Method of storing data in storage medium, reproducing device of storage medium, information management device using storage medium, and method of using storage medium
JP2004117618A (en)*2002-09-252004-04-15Toshiba Corp Information processing device, content transfer method, and music playback device
JP2007058103A (en)*2005-08-262007-03-08Nec Saitama LtdMobile terminal device with lyric download function
JP2007199574A (en)*2006-01-302007-08-09Taito CorpMusic reproducing apparatus and music telop retrieval server
JP2007248916A (en)*2006-03-162007-09-27Xing IncDistribution method, distribution system, mobile terminal device, distribution device and computer program
JP2008089755A (en)*2006-09-292008-04-17Akira NishimuraCharacter data reproduction device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
JPH08306167A (en)*1995-03-061996-11-22Fujitsu Ltd Method of storing data in storage medium, reproducing device of storage medium, information management device using storage medium, and method of using storage medium
JP2004117618A (en)*2002-09-252004-04-15Toshiba Corp Information processing device, content transfer method, and music playback device
JP2007058103A (en)*2005-08-262007-03-08Nec Saitama LtdMobile terminal device with lyric download function
JP2007199574A (en)*2006-01-302007-08-09Taito CorpMusic reproducing apparatus and music telop retrieval server
JP2007248916A (en)*2006-03-162007-09-27Xing IncDistribution method, distribution system, mobile terminal device, distribution device and computer program
JP2008089755A (en)*2006-09-292008-04-17Akira NishimuraCharacter data reproduction device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication numberPriority datePublication dateAssigneeTitle
US12406490B2 (en)2008-01-032025-09-02Apple Inc.Personal computing device control using face detection and recognition
US12314527B2 (en)2013-09-092025-05-27Apple Inc.Device, method, and graphical user interface for manipulating user interfaces based on unlock inputs
JP2024059678A (en)*2014-05-292024-05-01アップル インコーポレイテッドUser Interface for Payment
US12299263B2 (en)2019-06-012025-05-13Apple Inc.User interfaces for location-related communications
US12363505B2 (en)2019-06-012025-07-15Apple Inc.User interfaces for location-related communications

Similar Documents

PublicationPublication DateTitle
JP2010250023A (en) Information processing apparatus with text display function, data acquisition method, and data acquisition program
JP5434408B2 (en) Portable information processing apparatus, content playback method, and content playback program
US10468004B2 (en)Information processing method, terminal device and computer storage medium
JP2013174904A (en)Lyric output program
JP2001061019A (en) Music data reproduction system by download program
JP2004266576A (en) Media data storage device and media data storage processing program
JP5986387B2 (en) Information processing program, information processing apparatus, lyrics display method, and communication system
JP3931179B2 (en) Content playback device
JP6153170B2 (en) Server apparatus and program
JP4963261B2 (en) Image-compatible music recommendation presentation system
JP4845683B2 (en) Content reproduction method and communication terminal device
JP2012220510A (en)Reproduction-method switching device, reproduction-method switching method, and program
JP2009180952A (en) Karaoke system with electronic contents book function
JP2005285285A (en)Content read system and musical piece reproduction apparatus
JP2007225740A (en)Personal digital assistant and song selection device
JP2007058103A (en)Mobile terminal device with lyric download function
JP6185416B2 (en) Karaoke device, program and karaoke system
JP5009650B2 (en) Synthesizer, synthesis system, synthesis method and program
JP2004266577A (en) Media synchronized playback device, server device, media synchronized playback processing program, server processing program
JP3997763B2 (en) Electronic device and electronic device control program
JP2010161446A (en)Content reproducing unit and method of controlling the same
JP2004198959A (en) Instruction code creation device and instruction code creation processing program
KR100625212B1 (en) Text information service system and method of multimedia contents
JP4263151B2 (en) Content reproduction pattern generation apparatus, content reproduction system, and content reproduction pattern generation method
JP4546431B2 (en) Song data providing device, song data providing method, song data extraction program

Legal Events

DateCodeTitleDescription
A977Report on retrieval

Free format text:JAPANESE INTERMEDIATE CODE: A971007

Effective date:20140417

A131Notification of reasons for refusal

Free format text:JAPANESE INTERMEDIATE CODE: A131

Effective date:20140430

A521Written amendment

Free format text:JAPANESE INTERMEDIATE CODE: A523

Effective date:20140630

A131Notification of reasons for refusal

Free format text:JAPANESE INTERMEDIATE CODE: A131

Effective date:20140812

A02Decision of refusal

Free format text:JAPANESE INTERMEDIATE CODE: A02

Effective date:20150203


[8]ページ先頭

©2009-2025 Movatter.jp