JP6782007B2 - On-board video relay system - Google Patents
On-board video relay systemDownload PDFInfo
- Publication number
- JP6782007B2 JP6782007B2JP2016178479AJP2016178479AJP6782007B2JP 6782007 B2JP6782007 B2JP 6782007B2JP 2016178479 AJP2016178479 AJP 2016178479AJP 2016178479 AJP2016178479 AJP 2016178479AJP 6782007 B2JP6782007 B2JP 6782007B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- data communication
- communication terminals
- race
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
Translated fromJapanese本発明は、オンボード映像中継システムに関するものである。 The present invention relates to an on-board video relay system.
あるレース中継システムでは、レース車両に搭載したカメラで得られた映像がインターネットサーバへ中継可能となっている（例えば特許文献１参照）。 In a certain race relay system, an image obtained by a camera mounted on a race vehicle can be relayed to an Internet server (see, for example, Patent Document 1).
他方、ある管理システムでは、無線ＬＡＮ（Local Area Network）を使用して、バスの車内映像を、停留所に設置した無線基地局を経由して取得している（例えば特許文献２参照）。 On the other hand, in a certain management system, a wireless LAN (Local Area Network) is used to acquire an in-vehicle image of a bus via a wireless base station installed at a bus stop (see, for example, Patent Document 2).
しかしながら、上述の特許文献１では、上述のレース中継システムにおいて、走行中のレース車両から映像を取得する方法について開示されていない。一般的に、フォーミュラ１などのレースでは、専用の無線システムが構築されており、専用の無線システムを使用して得られたオンボードカメラの映像が、ＴＶ中継などで放映されている。 However,
しかしながら、このような専用の無線システムを構築するにはコストが非常に高いため、予算が限定されている場合には導入できない。また、日本国内では、無線電波の特別使用許可を当局へ申請し当局から許可を受けた後でないと、そのような無線システムの実施ができないため、実施へのハードルが高く、現実的ではない。 However, the cost of constructing such a dedicated wireless system is very high, and it cannot be introduced when the budget is limited. Moreover, in Japan, such a wireless system cannot be implemented until after applying to the authorities for a special permission to use radio waves and obtaining the permission from the authorities, so the hurdles for implementation are high and it is not realistic.
他方、上述の管理システムのように、無線ＬＡＮを使用する場合、車載装置自体は比較的安価で設置できるが、無線ＬＡＮの通信エリアは比較的狭いため、多くの無線基地局を野外に設置する必要がある。その結果、システム導入の費用が高くなるため、このようなシステムをカーレースの中継に導入することは難しい。 On the other hand, when a wireless LAN is used as in the management system described above, the in-vehicle device itself can be installed at a relatively low cost, but since the communication area of the wireless LAN is relatively small, many wireless base stations are installed outdoors. There is a need. As a result, the cost of introducing the system is high, and it is difficult to introduce such a system in the relay of a car race.
また、レース車両のオンボードカメラの映像を無線通信で取得しようとした場合、上述のようなバスや一般的な自動車の車載カメラ映像を無線ＬＡＮで取得する技術をそのまま使用しても、サーキットでのレース車両の高速な移動・旋回に起因する劣悪な無線通信環境では、良好な映像を継続的に得られない可能性が高い。 In addition, when trying to acquire the image of the onboard camera of a race vehicle by wireless communication, even if the above-mentioned technology of acquiring the image of the in-vehicle camera of a bus or a general automobile by wireless LAN is used as it is, it is on the circuit. In a poor wireless communication environment caused by the high-speed movement and turning of the race vehicle, there is a high possibility that good images cannot be continuously obtained.
本発明は、上記の問題に鑑みてなされたものであり、比較的低コストでレース車両のオンボードカメラで得られた映像を良好に中継するオンボード映像中継システムを得ることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to obtain an on-board video relay system that satisfactorily relays a video obtained by an on-board camera of a race vehicle at a relatively low cost.
本発明に係るオンボード映像中継システムは、レース車両に搭載されたオンボードカメラと、そのレース車両に搭載された映像送信装置と、そのレース車両に搭載された複数のデータ通信端末と、広域ＩＰネットワークに接続された映像受信サーバとを備える。その複数のデータ通信端末は、それぞれ、所定の携帯電話キャリアの携帯電話通信網に接続する。その映像送信装置は、オンボードカメラで得られた映像信号を、同一の映像データとして重複的に、複数のデータ通信端末でそれぞれ、携帯電話通信網および広域ＩＰネットワークを介して映像受信サーバへ送信する。そして、映像受信サーバは、その複数のデータ通信端末から送信されてきた複数系統の映像データをそれぞれ受信し、受信した複数系統の映像データに基づいて元の映像データを復元する。映像受信サーバは、前記複数系統のうちのある系統において欠損している映像データを別の系統の映像データによって補完する。The on-board video relay system according to the present invention includes an on-board camera mounted on a race vehicle, a video transmission device mounted on the race vehicle, a plurality of data communication terminals mounted on the race vehicle, and a wide area IP. It is equipped with a video receiving server connected to the network. Each of the plurality of data communication terminals is connected to the mobile phone communication network of a predetermined mobile phone carrier. The video transmission deviceduplicates the video signal obtained by the onboard camera as the same video data and transmits it to the video reception server via the mobile phone communication network and the wide area IP network, respectively,by a plurality of data communication terminals. To do. Then, the video receiving server receivesthe video data of theplurality of systems transmitted from the plurality of data communication terminals, and restores the original video data based on the received video data of the plurality ofsystems .The video receiving server supplements the video data missing in one of the plurality of systems with the video data of another system.
本発明によれば、比較的低コストでレース車両のオンボードカメラで得られた映像を良好に中継するオンボード映像中継システムが得られる。 According to the present invention, it is possible to obtain an on-board video relay system that satisfactorily relays a video obtained by an on-board camera of a race vehicle at a relatively low cost.
本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。 The above or other object, feature and superiority of the present invention will be further clarified from the following detailed description with the accompanying drawings.
以下、図に基づいて本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
実施の形態１．
図１は、本発明の実施の形態に係るオンボード映像中継システムの構成を示すブロック図である。図１に示すオンボード映像中継システムでは、レース車両１のオンボードカメラ１１の映像がリモートセンタ４へ中継される。レース車両１は、例えばフォーミュラカー、ＧＴカー、ラリーカーなどであって、レース場、一般道、特設ステージなどといった様々な形式の会場で競技を行うモータースポーツで使用される競技車両（オープンキャビンまたはクローズドキャビン）などである。 FIG. 1 is a block diagram showing a configuration of an onboard video relay system according to an embodiment of the present invention. In the on-board video relay system shown in FIG. 1, the video of the on-board camera 11 of the
図１に示すオンボード映像中継システムでは、レース車両１に、オンボードカメラ１１と、映像送信装置１２と、複数のデータ通信端末１３−１〜１３−Ｎとが搭載されている。 In the on-board video relay system shown in FIG. 1, the
オンボードカメラ１１は、レース車両１の前方などを撮影し、撮影によって得られた映像信号（動画像信号）を出力する。例えば、オンボードカメラ１１は、車内に設置され、ドライバーの視線と略同一の高さに設置される。 The on-board camera 11 photographs the front of the
複数のデータ通信端末１３−１〜１３−Ｎは、それぞれ、所定の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続する無線通信端末である。複数のデータ通信端末１３−１〜１３−Ｎは、レース車両１のウィンドウの車内側に設置される。 Each of the plurality of data communication terminals 13-1 to 13-N is a wireless communication terminal connected to the mobile phone communication network 2-1 to 2-M of a predetermined mobile phone carrier. The plurality of data communication terminals 13-1 to 13-N are installed inside the window of the
なお、レース場（サーキット）周辺には、互いに異なるキャリアの携帯電話通信網２−１〜２−Ｍの基地局２ａ，・・・，２ｂが設置されており、レース場（サーキット）は、各携帯電話通信網２−ｉ（ｉ＝１，・・・，Ｍ）の通信エリアに含まれている。 In addition, around the race track (circuit),
映像送信装置１２は、オンボードカメラ１１で得られた映像信号を、同一の映像データとして、複数のデータ通信端末１３−１〜１３−Ｎでそれぞれ、携帯電話通信網２−１〜２Ｍおよびインターネット３を介して、後述の映像受信サーバ４１へ送信する。ここでは、インターネット３は、広域ＩＰ（Internet Protocol ）ネットワークの一例である。 The
つまり、複数のデータ通信端末１３−１〜１３−Ｎのうちの１つのデータ通信端末１３−ｉと別のデータ通信端末１３−ｊとは、同一の映像データを送信する。 That is, one data communication terminal 13-i among the plurality of data communication terminals 13-1 to 13-N and another data communication terminal 13-j transmit the same video data.
図２は、図１に示すオンボード映像中継システムにおける、レース車両１内でのオンボードカメラ１１、映像送信装置１２、および複数のデータ通信端末１３−１〜１３−Ｎの設置箇所を説明する図である。 FIG. 2 describes the installation locations of the onboard camera 11, the
この実施の形態１では、複数のデータ通信端末１３−１〜１３−Ｎは、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能なデータ通信端末である。例えば、データ通信端末１３−１〜１３−６が使用される場合、データ通信端末１３−１，１３−３，１３−５は、携帯電話通信網２−１に接続可能なデータ通信端末とされ、データ通信端末１３−２，１３−４，１３−６は、携帯電話通信網２−２に接続可能なデータ通信端末とされる。 In the first embodiment, the plurality of data communication terminals 13-1 to 13-N are data communication terminals that can be connected to the mobile phone communication networks 2-1 to 2-M of a plurality of different mobile phone carriers. For example, when the data communication terminals 13-1 to 13-6 are used, the data communication terminals 13-1, 13-3, 13-5 are regarded as data communication terminals that can be connected to the mobile phone communication network 2-1. , Data communication terminals 13-2, 13-4, 13-6 are data communication terminals that can be connected to the mobile phone communication network 2-2.
また、この実施の形態１では、複数のデータ通信端末１３−１〜１３−Ｎは、レース車両１のフロントウインドウガラス１ａ、およびレース車両の左右の少なくとも一方（ここでは両方）のクォーターガラス１ｂ（ここでは、リアクォーターガラス）の車内側に分散して（図２では３箇所に）設置される。 Further, in the first embodiment, the plurality of data communication terminals 13-1 to 13-N are the
さらに、この実施の形態１では、レース車両１のフロントウインドウガラス１ａ、およびレース車両の左右の少なくとも一方のクォーターガラス１ｂの車内側の設置箇所のそれぞれにおいて、複数のデータ通信端末１３−１〜１３−Ｎのうち、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能な少なくとも２つのデータ通信端末１３−ｉ，１３−ｊが設置される。例えば図２に示すように、フロントウインドウガラス１ａの上側の隅部（ここでは、図２に示すように運転席とは反対側の隅部）に、データ通信端末１３−１，１３−２が設置され、右側のクォーターガラス（図示せず）に、データ通信端末１３−３，１３−４が設置され、左側のクォーターガラス１ｂに、データ通信端末１３−５，１３−６が設置される。 Further, in the first embodiment, a plurality of data communication terminals 13-1 to 13 are installed at the
さらに、この実施の形態１では、映像送信装置１２は、略直方体の筐体を有し、レース車両１のリアバルクヘッド（隔壁）１ｃの傾斜部分上に設置される。なお、リアバルクヘッド１ｃの傾斜部分上の映像送信装置１２と各データ通信端末１３−ｉまとはケーブルで接続される。 Further, in the first embodiment, the
図３は、図１に示すオンボード映像中継システムにおける映像送信装置１２の構成を説明するブロック図である。 FIG. 3 is a block diagram illustrating the configuration of the
映像送信装置１２は、映像コンバータ部２１、ストリーム送信部２２、およびインターフェイス部２３を備える。 The
映像コンバータ部２１は、オンボードカメラ１１により得られる所定の形式（ＨＤ−ＳＤＩ、ＨＤＭＩ（登録商標）など）の映像信号を、所定の形式（Ｈ．２６４など）の映像データへ変換する。 The
ストリーム送信部２２は、映像コンバータ部２１により生成された映像データを、所定のストリーミングプロトコル（ＭＰＥＧ（Moving Picture Experts Group）トランスポートストリーム、ＲＴＭＰ（Real Time Messaging Protocol）など）に従って、複数のデータ通信端末１３−１〜１３−Ｎ（ここでは、Ｎ＝６）へインターフェイス部２３を介して出力する。なお、データ通信端末１３−１〜１３−Ｎは６台に限定されない。 The
インターフェイス部２３は、所定の周辺機器インターフェイス（ここでは、ＵＳＢ（Universal Serial Bus）で、データ通信端末１３−１〜１３−Ｎとのデータ通信を行う。ここでは、ＵＳＢカードタイプのデータ通信端末がデータ通信端末１３−１〜１３−Ｎとして使用される。なお、インターフェイス部２３は、ＵＳＢ以外の周辺機器インターフェイスで、データ通信端末１３−１〜１３−Ｎとのデータ通信を行うようにしてもよい。 The
さらに、この実施の形態では、レース車両１には、映像送信装置１２に固定され映像送信装置１２を冷却する冷却装置１４と、レース車両１の電装系のバッテリとは別のバッテリ１５とが設けられる。 Further, in this embodiment, the
この実施の形態では、レース車両１のリアバルクヘッド１ｃは、リアエンジンとキャビン（ドライバーシートが設置されている車内空間）との隔壁であり、映像送信装置１２の筐体は、金属製筐体であり、冷却装置１４は、ヒートシンクと、そのヒートシンクと金属製筐体との間に配置されそのヒートシンクと金属製筐体とにそれぞれ接触するペルチェ素子と、そのヒートシンクを冷却する冷却ファンとを備える。 In this embodiment, the rear bulkhead 1c of the
そして、バッテリ１５は、オンボードカメラ１１、映像送信装置１２、冷却装置１４（つまり、ペルチェ素子および冷却ファン）に電源電力を供給する。なお、ここでは、データ通信端末１３−１〜１３−Ｎの電源電力は、映像送信装置１２から供給される。ただし、バッテリ１５からデータ通信端末１３−１〜１３−Ｎへ電源電力を直接供給するようにしてもよい。 Then, the
さらに、図１に示すオンボード映像中継システムでは、リモートセンタ４に、広域ＩＰネットワーク（ここでは、インターネット３）に接続された映像受信サーバ４１、映像コンバータ４２、ＡＶ編集部４３、ＡＶコンバータ４４、および配信サーバ４５が設けられている。 Further, in the onboard video relay system shown in FIG. 1, a
映像受信サーバ４１は、複数のデータ通信端末１３−１〜１３−Ｎから送信されてきた映像データをそれぞれ受信し、受信した複数の映像データに基づいて元の映像データを復元する。つまり、複数のデータ通信端末１３−１〜１３−Ｎから送信されてきた映像データは、それぞれ異なる無線通信環境（つまり、キャリア（つまり基地局の違い）、基地局に対するデータ通信端末１３−ｉの距離や向きなど）で伝送されるため、例えば、ある映像データが一時的に欠落しても、他の映像データで補完され、元の映像データが復元される。 The
図４は、図１に示すオンボード映像中継システムにおける映像受信サーバ４１の構成を説明するブロック図である。なお、図１には示していないが、例えば、映像受信サーバ４１とインターネット３との間には、ルーター４６が設けられており、映像受信サーバ４１と映像コンバータ４２とは、ＬＡＮ４７で接続される。 FIG. 4 is a block diagram illustrating the configuration of the
図４に示すように、映像受信サーバ４１は、ネットワークインターフェイス５１、演算処理装置５２、および通信装置５３を備える。 As shown in FIG. 4, the
ネットワークインターフェイス５１は、ルーター４６を介してインターネット３に接続され、ルーター４６およびインターネット３を介して、他の装置（ここでは、データ通信端末１３−１〜１３−Ｎ）との間でデータ通信を行う。 The
演算処理装置５２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ストレージなどを備え、ＣＰＵで、ＲＯＭやストレージに格納されているプログラムをＲＡＭにロードし実行することで、各種処理部として動作する。ここでは、演算処理装置５２は、ストリーム受信部６１、映像再生部６２、および映像出力部６３として動作する。 The
ストリーム受信部６１は、上述のストリーム送信部２２により使用されるストリーミングプロトコルに従って、複数のデータ通信端末１３−１〜１３−Ｎからそれぞれ送信されてくる映像データを受信する。 The stream receiving unit 61 receives video data transmitted from each of the plurality of data communication terminals 13-1 to 13-N according to the streaming protocol used by the
映像再生部６２は、ストリーム受信部６１により受信されたＮ系統の映像データから元の映像データを復元する。このとき、ある系統において、無線通信状態の不良に起因してある期間に欠損している映像データが別の系統の映像データによって補完され、欠損のない元の映像データが復元される。 The
映像出力部６３は、映像再生部６２により復元された映像データを、要求に応じて出力する。この実施の形態では、映像出力部６３は、ＬＡＮ４７を介して映像コンバータ４２からの要求を受け付けると、ＬＡＮ４７を介して映像コンバータ４２へ映像データを出力する。 The
また、通信装置５３は、ＬＡＮ４７に接続されるネットワークインターフェイスであって、ＬＡＮ４７を介して映像コンバータ４２との間でデータ通信を行う。なお、通信装置５３としては、ＵＳＢなどの周辺機器インターフェイスを代わりに使用してもよい。 Further, the
図１に戻り、映像コンバータ４２は、上述の所定の形式（Ｈ．２６４など）の映像データを所定の形式（ＨＤ−ＳＤＩ、ＨＤＭＩ（登録商標）など）の映像信号へ変換する。 Returning to FIG. 1, the
ＡＶ編集部４３は、スイッチャやミキサを含み、映像コンバータ４２からの映像信号を受け付けるとともに、別のビデオ入力（つまり、別の映像信号）を受け付け可能であって、それらの映像信号のうちの１つを選択し、出力するとともに、１または複数のオーディオ入力（音響信号）を受け付けて、それらの音響信号のうちの１つを選択し、出力する。 The
なお、この実施の形態において、レース車両１内にマイクロフォンを設け、映像信号と同様にして、マイクロフォンで得られた音響信号を音響データに変換し、その音響データを、映像通信装置１２およびデータ通信端末１３−１〜１３−Ｎから映像受信サーバ４１へ送信し、映像受信サーバ４１において元の音響データを復元し、映像コンバータ４２において、音響データから音響信号へ変換して、その音響信号を、ＡＶ編集部４３へ、オーディオ入力の１つとして入力するようにしてもよい。同様に、テレメトリデータを併せて中継するようにしてもよい。 In this embodiment, a microphone is provided in the
ＡＶコンバータ４４は、ＡＶ編集部４３により出力される映像信号および音響信号を、インターネット３上で配信可能な形式の映像データおよび音響データへ変換し、配信サーバ４５へ出力する。 The
配信サーバ４５は、インターネット３を介して要求を受け付けると、その映像データおよび音響データを、その要求元へストリーミング送信する。 When the
なお、ＡＶ編集部４３により出力される映像信号および音響信号を放送設備（図示せず）に提供し、放送設備によって、その映像信号に基づく映像およびその音響信号に基づく音響を（地上波放送、衛星放送、ＣＡＴＶなどで）テレビジョン放送するようにしてもよい。 The video signal and audio signal output by the
次に、上記オンボード映像中継システムの動作について説明する。 Next, the operation of the onboard video relay system will be described.
レースにおいて、レース車両１のオンボードカメラ１１により撮影された映像が映像信号として映像送信装置１２へ出力される。 In the race, the image taken by the onboard camera 11 of the
映像送信装置１２は、映像コンバータ部２１でその映像信号を映像データに変換し、ストリーム送信部２２で、インターフェイス部２３を介して、データ通信端末１３−１〜１３−Ｎへその映像データを出力する。 The
各データ通信端末１３−ｉは、データ通信端末１３−ｉのキャリアの携帯電話通信網２−ｉおよびインターネット３を介して、映像受信サーバ４１へ映像データを送信する。なお、映像受信サーバ４１には特定のＩＰアドレスが割り当てられており、各データ通信端末１３−ｉは、そのＩＰアドレスの特定のポート番号へ映像データを送信する。そして、映像受信サーバ４１は、そのポート番号で、複数のデータ通信端末１３−１〜１３−Ｎから映像データを重複して受信する。 Each data communication terminal 13-i transmits video data to the
このとき、レース車両１の位置や向きによっては、データ通信端末１３−ｉと、対応する携帯電話通信網２−ｊの基地局との間の無線通信状態が不良になって、一時的に、映像データが映像受信サーバ４１へ良好に伝送されない場合がある。 At this time, depending on the position and orientation of the
しかし、例えば図２に示すように、複数のデータ通信端末１３−１〜１３−Ｎが分散して配置されているため、あるデータ通信端末１３−ｉから映像受信サーバ４１へ映像データが良好に伝送されない場合でも、別のデータ通信端末１３−ｊから映像受信サーバ４１へ映像データが良好に伝送される。そのため、映像受信サーバ４１において、元の映像データ（つまり、欠損などのない良好な映像データ）が復元される。 However, as shown in FIG. 2, for example, since a plurality of data communication terminals 13-1 to 13-N are distributed and arranged, the video data is satisfactorily transferred from a certain data communication terminal 13-i to the
映像受信サーバ４１は、ネットワークインターフェイス５１およびストリーム受信部６１で、複数のデータ通信端末１３−１〜１３−Ｎからそれぞれ送信されてくる映像データを受信し、映像再生部６２で、受信したＮ系統の映像データから元の映像データを復元し、映像出力部６３で、その映像データを要求に応じて出力する。 The
例えば、１つの番組内で、オンボードカメラ１の映像が使用される場合、映像コンバータ４２により映像データが映像信号へ変換され、その映像信号が、ビデオ入力の１つとして、ＡＶ編集部４３に入力される。ＡＶ編集部４３には、別のビデオ入力やオーディオ入力として、映像信号や音響信号が入力され、オペレータの操作に従って、映像信号や音響信号が選択され、その番組の映像信号および音響信号が生成され出力される。 For example, when the video of the
その番組の映像信号および音響信号は、放送に使用される場合には、放送設備へ供給され、ネット配信に使用される場合には、ＡＶコンバータ４４を介して映像データおよび音響データとして配信サーバ４５へ供給され、配信サーバ４５でネット配信される。 The video signal and audio signal of the program are supplied to the broadcasting equipment when used for broadcasting, and when used for online distribution, the
以上のように、上記実施の形態１によれば、レース車両１に、オンボードカメラ１１と、映像送信装置１２と、複数のデータ通信端末１３−１〜１３−Ｎが搭載されており、映像受信サーバ４１が、インターネット３に接続されている。複数のデータ通信端末１３−１〜１３−Ｎは、それぞれ、所定の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続する。映像送信装置１２は、オンボードカメラ１１で得られた映像信号を、同一の映像データとして、複数のデータ通信端末１３−１〜１３−Ｎでそれぞれ、携帯電話通信網２−１〜２−Ｍおよびインターネット３を介して映像受信サーバ４１へ送信する。そして、映像受信サーバ４１は、複数のデータ通信端末１３−１〜１３−Ｎから送信されてきた映像データをそれぞれ受信し、受信した複数の映像データに基づいて元の映像データを復元する。 As described above, according to the first embodiment, the
これにより、レース場（サーキット）周辺に既設の基地局２ａ，・・・，２ｂを有する携帯電話通信網２−１〜２−Ｍを使用できるため、新たに基地局を設置する必要がなく、無線通信で、オンボードカメラ１の映像を中継することができる。また、複数のデータ通信端末１３−１〜１３−Ｎが重複的に映像信号を送信しているため、映像受信サーバ４１側で、良好な元の映像信号を復元できる。 As a result, the mobile phone communication network 2-1 to 2-M having the existing
このように、上記実施の形態１によれば、比較的低コストでレース車両のオンボードカメラで得られた映像を良好に中継するオンボード映像中継システムが得られる。 As described above, according to the first embodiment, it is possible to obtain an on-board video relay system that satisfactorily relays the video obtained by the on-board camera of the race vehicle at a relatively low cost.
また、上記実施の形態１によれば、複数のデータ通信端末１３−１〜１３−Ｎは、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能なデータ通信端末である。これにより、異なる位置に配置されている基地局２ａ，・・・，２ｂが使用されるため、データ通信端末１３−１〜１３−Ｎにより送信される映像信号のすべてが不良になる可能性が低くなる。 Further, according to the first embodiment, the plurality of data communication terminals 13-1 to 13-N can connect to the mobile phone communication networks 2-1 to 2-M of a plurality of different mobile phone carriers. It is a terminal. As a result,
また、上記実施の形態１によれば、複数のデータ通信端末１３−１〜１３−Ｎは、レース車両１のフロントウインドウガラス１ａ、およびレース車両１の左右の少なくとも一方のクォーターガラス１ｂの車内側に分散して設置される。これにより、複数のデータ通信端末１３−１〜１３−Ｎが異なる向きに配置されるため、データ通信端末１３−１〜１３−Ｎにより送信される映像信号のすべてが一時的に不良になる可能性が低くなる。 Further, according to the first embodiment, the plurality of data communication terminals 13-1 to 13-N are inside the
また、上記実施の形態１によれば、フロントウインドウガラス１ａおよびクォーターガラス１ｂの車内側の設置箇所のそれぞれにおいて、複数のデータ通信端末１３−１〜１３−Ｎのうち、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能な少なくとも２つのデータ通信端末１３−ｉ，１３−ｊが設置される。これにより、さらに、データ通信端末１３−１〜１３−Ｎにより送信される映像信号のすべてが一時的に不良になる可能性が低くなる。 Further, according to the first embodiment, among the plurality of data communication terminals 13-1 to 13-N, a plurality of mobile phones different from each other at the installation locations inside the vehicle of the
また、上記実施の形態１によれば、映像送信装置１２は、略直方体の筐体を有し、レース車両１のリアバルクヘッド１ｃの傾斜部分上に設置される。これにより、レース車両１の上下方向の振動に起因する映像送信装置１２の故障の可能性を減らすことができる。映像送信装置１２内の電子回路の基板などは、略直方体の筐体の面に対して平行または垂直に配置されるため、映像送信装置１２が斜めに配置されることで、基板に搭載される電子素子や端子の接触不良などが軽減される。 Further, according to the first embodiment, the
また、上記実施の形態１によれば、リアエンジンとキャビンとの隔壁としてのリアバルクヘッド１ｃ上に映像送信装置１２が設置される場合、高温環境下に映像送信装置１２が置かれるが、冷却装置１４により映像送信装置１２が冷却されるため、映像送信装置１２は良好に動作する。 Further, according to the first embodiment, when the
実施の形態２．
実施の形態１では、１台のレース車両１のオンボードカメラ１１の映像を中継しているが、実施の形態２では、複数台のレース車両１のオンボードカメラ１１の映像を中継することが可能である。 In the first embodiment, the image of the onboard camera 11 of one
実施の形態２では、映像受信サーバ４１は、複数のカメラの映像を含む複数系統の映像データを受信し、複数系統の映像データをそれぞれ復元する。そして、映像コンバータ４２により、複数系統の映像データのうちの全部または一部が映像信号へ変換される。 In the second embodiment, the
実施の形態２では、１つのレースを走行する複数のレース車両１のそれぞれに対して、オンボードカメラ１１、映像送信装置１２、および複数のデータ通信端末１３−１〜１３−Ｎが設置され、映像受信サーバ４１は、レース車両１ごとに、複数のデータ通信端末１３−１〜１３−Ｎから送信されてきた映像データをそれぞれ受信し、受信した複数の映像データに基づいて映像データを復元するようにしてもよい。また、上述のオンボードカメラ１１の映像信号に加え、レース車両以外の定位置のカメラ（例えば、各レース車両１のピッチを撮影するカメラ、レースコースに沿って設置されたカメラなど）により得られた映像信号を、上述のオンボードカメラ１１の映像信号と同様に、１系統の映像データとして、映像受信サーバ４１へ送信し、映像受信サーバ４１において、映像データを復元し、映像コンバータ４２が、それらの映像データを映像信号へそれぞれ変換するようにしてもよい。 In the second embodiment, the onboard camera 11, the
例えば、各レース車両１の映像送信装置１２は、複数のデータ通信端末１３−１〜１３−Ｎを使用して、１台の映像受信サーバ４１（つまり１つのＩＰアドレス）へ映像データを送信する際に、その映像データを、他のレース車両１の映像送信装置１２の映像データの宛先のポート番号とは異なるポート番号へ送信する。 For example, the
映像受信サーバ４１は、複数のレース車両１（つまり、複数のレース車両１の映像送信装置１２）に割り当てられているポート番号で、複数のレース車両１の映像送信装置１２から送信されてくる映像データを、それぞれ独立に受信する。ストリーム受信部６１は、各レース車両１の映像送信装置１２から送信されてくるＮ系統の映像データを所定のプロトコルに従って受信し、映像再生部６２は、各レース車両１の映像データを復元し、映像出力部６２は、各レース車両１の映像データを要求に応じて出力する。 The
なお、レース車両１ごとにデータ通信端末１３−１〜１３−Ｎの数Ｎは異なっていてもよい。 The number N of the data communication terminals 13-1 to 13-N may be different for each
さらに、例えば、映像コンバータ４２は、各レース車両１の映像データを映像信号へ変換し、ＡＶ編集部４３へ出力する。例えば、ＡＶ編集部４３は、全レース車両１の映像信号のいずれかを選択したり、全レース車両１の映像信号に基づく映像をリストとして含む映像を生成したり、全レース車両１の映像信号からオペレータにより指定された１または複数の映像信号に基づく映像をリストとして含む映像の映像信号を生成したりして出力する。 Further, for example, the
例えば、１つのレースで複数のカテゴリ（例えばＧＴ３００とＧＴ５００）のレース車両１が走行する場合、ＡＶ編集部４３は、映像コンバータ４２から供給される映像信号をレース車両１にそれぞれ関連付けておき、オペレータなどにより指定されたカテゴリに属するレース車両１の映像信号に基づく映像をリストとして含む映像の映像信号を生成して出力するようにしてもよい。 For example, when
また、映像受信サーバ４１は、映像データの宛先のポート番号とレース車両１の属性情報（チーム名、車種、ドライバー名、レースカテゴリなど）とを関連付けてレース車両データとして予め記憶装置（図示せぬ）に記憶しておき、映像出力部６３は、映像データの要求において、レース車両１の属性情報で指定された１または複数のレース車両１の映像データを出力するようにしてもよい。 Further, the
なお、実施の形態２に係るオンボード映像中継システムのその他の構成および動作については実施の形態１と同様であるので、その説明を省略する。 Since other configurations and operations of the onboard video relay system according to the second embodiment are the same as those of the first embodiment, the description thereof will be omitted.
以上のように、上記実施の形態２によれば、実施の形態１と同様のオンボードカメラ１１、映像送信装置１２、データ通信端末１３−１〜１３−Ｎを、１つのレースで走行する複数のレース車両１にそれぞれ設置することで、１つのレースで走行する複数のレース車両１のオンボードカメラ１１で得られた複数の映像をデータセンタ４へ比較的低コストで良好に中継することができる。 As described above, according to the second embodiment, a plurality of onboard cameras 11, a
なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。 It should be noted that various changes and modifications to the above-described embodiments will be apparent to those skilled in the art. Such changes and modifications may be made without departing from the intent and scope of the subject and without diminishing the intended benefits. That is, it is intended that such changes and amendments are included in the claims.
例えば、上記実施の形態では、複数のデータ通信端末１３−１〜１３−Ｎは、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能なデータ通信端末であるが、無線通信環境によっては、複数のデータ通信端末１３−１〜１３−Ｎは、１つの携帯電話キャリアの携帯電話通信網２−ｉに接続可能なデータ通信端末としてもよい。 For example, in the above embodiment, the plurality of data communication terminals 13-1 to 13-N are data communication terminals that can be connected to the mobile phone communication networks 2-1 to 2-M of a plurality of different mobile phone carriers. However, depending on the wireless communication environment, the plurality of data communication terminals 13-1 to 13-N may be data communication terminals that can be connected to the mobile phone communication network 2-i of one mobile phone carrier.
また、上記実施の形態では、複数のデータ通信端末１３−１〜１３−Ｎは、レース車両１のフロントウインドウガラス１ａ、およびレース車両の左右の少なくとも一方のクォーターガラス１ｂの車内側に分散して設置されるが、無線通信環境によっては、１箇所に複数のデータ通信端末１３−１〜１３−Ｎを設置してもよい。 Further, in the above embodiment, the plurality of data communication terminals 13-1 to 13-N are dispersed inside the
さらに、この実施の形態では、レース車両１のフロントウインドウガラス１ａ、およびレース車両の左右の少なくとも一方のクォーターガラス１ｂの車内側の設置箇所のそれぞれにおいて、複数のデータ通信端末１３−１〜１３−Ｎのうち、互いに異なる複数の携帯電話キャリアの携帯電話通信網２−１〜２−Ｍに接続可能な少なくとも２つのデータ通信端末１３−ｉ，１３−ｊが設置されるが、無線通信環境によっては、１箇所に１つのデータ通信端末１３−ｉを設置してもよいし、１箇所に同一キャリアの複数のデータ通信端末１３−ｉを設置してもよい。 Further, in this embodiment, a plurality of data communication terminals 13-1 to 13- are installed at the
さらに、上記実施の形態では、映像受信サーバ４１は、要求に応じて、ＡＶ編集部４３により編集されていない映像データを、インターネット３（およびルーター４６）を介して直接ストリーミング送信するようにしてもよい。 Further, in the above embodiment, the
その場合、上記実施の形態において、レース場（サーキット）周辺の放送設備（例えば、中継車）へ映像信号を中継するときには、映像受信サーバ４１は、要求に応じて、ＡＶ編集部４３により編集されていない映像データを、インターネット３（およびルーター４６）を介して、レース場（サーキット）周辺の端末（つまり、映像コンバータ４２と同様の映像コンバータ）へ直接ストリーミング送信し、その端末で映像データを映像信号へ変換し、その映像信号を放送設備へ供給するようにしてもよい。 In that case, in the above embodiment, when the video signal is relayed to the broadcasting equipment (for example, a relay vehicle) around the race track (circuit), the
なお、上記実施の形態では、レース車両１として、図２に示すようなクローズドキャビンのレース車両を例示しているが、オープンキャビンのレース車両を、上述のレース車両１としてもよい。 In the above embodiment, the
また、上記実施の形態では、レース車両１として、図２に示すような４輪のレース車両を例示しているが、オートバイレースの２輪のレース車両を、上述のレース車両１としてもよい。 Further, in the above-described embodiment, the four-wheeled race vehicle as shown in FIG. 2 is illustrated as the
また、上記実施の形態では、オンボードカメラ１１は、１台のみ示しているが、レース車両１の前方を撮影するオンボードカメラ１１の他、レース車両１の別の方向（側方、後方など）を撮影するオンボードカメラ１１、ドライバーの顔、ステアリング、アクセルワークなどキャビン内を撮影するオンボードカメラ１１などといった複数台のオンボードカメラ１１をレース車両１に搭載するようにしてもよい。その場合、例えば、１台のオンボードカメラ１１につき、１セットの映像送信装置１２およびデータ通信端末１３−１〜１３−Ｎがレース車両１に搭載される。あるいは、自動スイッチング装置をレース車両１に搭載し、リモートセンタ４などの外部から自動スイッチング装置へ無線通信で制御信号を供給し、その制御信号によって自動スイッチング装置を制御し、その制御信号に従って、自動スイッチング装置に、搭載されている複数のオンボードカメラ１１から、映像を中継すべき１または複数のオンボードカメラ１１を選択させるようにしてもよい。このように自動スイッチング装置を使用する場合には、搭載されるオンボードカメラ１１の数より、映像送信装置１２およびデータ通信端末１３−１〜１３−Ｎのセット数が少なくてもよい（つまり、少なくとも１セットあれば足りる）。 Further, in the above embodiment, only one on-board camera 11 is shown, but in addition to the on-board camera 11 that captures the front of the
また、上記実施の形態において、レース車両１がフォーミュラカーである場合には、映像送信装置１２などの搭載に使用できる空きスペースが狭く排熱が難しいため、レース車両１に専用の空冷ダクトを設け、走行時に空冷ダクトで得られる気流を使用して、映像送信装置１２の冷却（空冷）を行うようにしてもよい。また、その場合、オープンキャビンおよび空冷ダクトに起因して映像送信装置１２が雨などに晒されるため、映像送信装置１２を、防水しつつ排熱が可能な専用ボックス（例えば容器部分と蓋部分との間の気密性や配線口の気密性を高くした金属製のボックスなど）内に収納した上で専用ボックスをレース車両１に設置するようにしてもよい。 Further, in the above embodiment, when the
本発明は、例えば、フォーミュラカーレース、ＧＴカーレースなどのカーレースのオンボードカメラの映像の中継に適用可能である。 The present invention can be applied to, for example, relaying an image of an on-board camera of a car race such as a formula car race or a GT car race.
１ レース車両
２−１〜２−Ｍ 携帯電話通信網
３ インターネット（広域ＩＰネットワークの一例）
１１ オンボードカメラ
１２ 映像送信装置
１３−１〜１３−Ｎ データ通信端末
４１ 映像受信サーバ1 Race vehicle 2-1-2-M mobile
11 On-
Claims (7)
Translated fromJapanese前記レース車両に搭載された映像送信装置と、
前記レース車両に搭載された複数のデータ通信端末と、
広域ＩＰネットワークに接続された映像受信サーバとを備え、
前記複数のデータ通信端末は、それぞれ、所定の携帯電話キャリアの携帯電話通信網に接続し、
前記映像送信装置は、前記オンボードカメラで得られた映像信号を、同一の映像データとして重複的に、前記複数のデータ通信端末でそれぞれ、前記携帯電話通信網および前記広域ＩＰネットワークを介して、前記映像受信サーバへ送信し、
前記映像受信サーバは、前記複数のデータ通信端末から送信されてきた複数系統の前記映像データをそれぞれ受信し、受信した複数系統の前記映像データに基づいて元の前記映像データを復元し、
前記映像受信サーバは、前記複数系統のうちのある系統において欠損している映像データを別の系統の映像データによって補完すること、
を特徴とするオンボード映像中継システム。With the onboard camera mounted on the race car,
The video transmission device mounted on the race car and
With a plurality of data communication terminals mounted on the race car,
Equipped with a video reception server connected to a wide area IP network
Each of the plurality of data communication terminals is connected to the mobile phone communication network of a predetermined mobile phone carrier.
The video transmission deviceduplicates the video signal obtained by the onboard camera as the same video data, via the mobile phone communication network and the wide area IP network, respectively, at the plurality of data communication terminals. Send to the video reception server
The video receiving server receives the video data of theplurality of systems transmitted from the plurality of data communication terminals, and restores the original video data based on the received video data of the plurality ofsystems.
The video receiving server complements the video data missing in one of the plurality of systems with the video data of another system.
An on-board video relay system featuring.
前記設置箇所において、前記複数のデータ通信端末のうち、互いに異なる複数の携帯電話キャリアの携帯電話通信網に接続可能な少なくとも２つのデータ通信端末が設置されること、
を特徴とする請求項１記載のオンボード映像中継システム。The plurality of data communication terminals are data communication terminals that can be connected to mobile phone communication networks of a plurality of different mobile phone carriers, and are the front window glass of the race vehicle and at least one of the left and right quarter glasses of the race vehicle. It is installed in the installation locations inside the car,
At the installation location, at least two data communication terminals that can be connected to the mobile phone communication networks of a plurality of different mobile phone carriers among the plurality of data communication terminals are installed.
The on-board video relay system according to claim 1.
前記レース車両のリアバルクヘッドは、リアエンジンとキャビンとの隔壁であって、
前記筐体は、金属製筐体であって、
前記冷却装置は、ヒートシンクと、前記ヒートシンクと前記金属製筐体とに接触するペルチェ素子と、前記ヒートシンクを冷却する冷却ファンとを備え、
前記バッテリは、前記映像送信装置、前記ペルチェ素子、および前記冷却ファンに電源電力を供給すること、
を特徴とする請求項５記載のオンボード映像中継システム。A cooling device installed for the video transmission device and a battery different from the battery of the electrical system of the race vehicle are further provided.
The rear bulkhead of the race vehicle is a partition wall between the rear engine and the cabin.
The housing is a metal housing and
The cooling device includes a heat sink, a Peltier element that contacts the heat sink and the metal housing, and a cooling fan that cools the heat sink.
The battery supplies power to the video transmitter, the Peltier element, and the cooling fan.
5. The on-board video relay system according to claim 5.
前記映像受信サーバは、前記レース車両ごとに、前記複数のデータ通信端末から送信されてきた前記映像データをそれぞれ受信し、受信した複数の前記映像データに基づいて前記映像データを復元すること、
を特徴とする請求項１から請求項６のうちのいずれか１項記載のオンボード映像中継システム。The onboard camera, the video transmission device, and the plurality of data communication terminals are installed on each of the plurality of race vehicles traveling in one race.
The video receiving server receives the video data transmitted from the plurality of data communication terminals for each race vehicle, and restores the video data based on the received plurality of the video data.
The on-board video relay system according to any one of claims 1 to 6, wherein the on-board video relay system is characterized.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016178479AJP6782007B2 (en) | 2016-09-13 | 2016-09-13 | On-board video relay system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016178479AJP6782007B2 (en) | 2016-09-13 | 2016-09-13 | On-board video relay system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018046354A JP2018046354A (en) | 2018-03-22 |
| JP6782007B2true JP6782007B2 (en) | 2020-11-11 |
Family
ID=61695269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016178479AActiveJP6782007B2 (en) | 2016-09-13 | 2016-09-13 | On-board video relay system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6782007B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002084215A (en)* | 2000-09-08 | 2002-03-22 | Nippon Hoso Kyokai <Nhk> | Route diversity receiver |
| JP2005019437A (en)* | 2003-06-23 | 2005-01-20 | Matsushita Electric Ind Co Ltd | Electronic equipment cooling device |
| JP2005117621A (en)* | 2003-09-16 | 2005-04-28 | Honda Motor Co Ltd | Image distribution system |
| CN101584157B (en)* | 2006-09-26 | 2013-12-11 | 利弗有限公司 | Remote transmission system |
| JP5729204B2 (en)* | 2011-08-04 | 2015-06-03 | 株式会社デンソー | Vehicle communication system |
| JP2015012063A (en)* | 2013-06-27 | 2015-01-19 | 株式会社日立メディアエレクトロニクス | Video output device |
| JP2015035666A (en)* | 2013-08-07 | 2015-02-19 | 株式会社東芝 | Radio communication device |
- 2016
- 2016-09-13JPJP2016178479Apatent/JP6782007B2/enactiveActive
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018046354A (en) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3580929B1 (en) | Device, system, and method of wireless multiple-link vehicular communication | |
| CN101517554B (en) | Multi-representation media event handoff | |
| US20140307046A1 (en) | Live Panoramic Image Capture and Distribution | |
| US20060277589A1 (en) | System And Method For Presenting High-Quality Video | |
| JP6088537B2 (en) | Entertainment network for passengers in transport | |
| US20160191572A1 (en) | Ethernet avb for time-sensitive networks | |
| CN104394472B (en) | A kind of 3G onboard wireless video-on-demand system and method | |
| RU2468522C1 (en) | Complex of video surveillance and communication facilities of mobile control station | |
| JPWO2008047475A1 (en) | COMMUNICATION METHOD, TERMINAL DEVICE USING THE SAME, COMMUNICATION SYSTEM | |
| WO2016054835A1 (en) | Multimedia cloud intelligent system for transportation vehicle | |
| WO2020155037A1 (en) | Multi-load multi-path image transmission method, control system and terminal, and unmanned aerial vehicle and server | |
| CN213094332U (en) | OB Van and Cloud OB Van | |
| US20200285230A1 (en) | Unmanned aerial vehicle system and communication method | |
| CN105306693A (en) | Information interaction method and system for mobile terminal and driving video recording equipment | |
| CN110770795A (en) | Generation device and generation method, and playback device and playback method | |
| CN104038843A (en) | Train comprehensive service platform on basis of gigabit Ethernet and WIFI (wireless fidelity) technology | |
| KR20160067507A (en) | vehicle | |
| US20140064740A1 (en) | Vehicle communication system for visible light communication and optical networking and communication method thereof | |
| JP6782007B2 (en) | On-board video relay system | |
| US20180194465A1 (en) | System and method for video broadcasting | |
| CN103177745A (en) | Universal Plug-n-Play (UPNP) vehicle-mounted multi-media system and interactive method thereof | |
| US9529739B2 (en) | Communications interface between two non-complimentary communication devices | |
| US20240303999A1 (en) | Dynamic mec-assisted technology agnostic communication | |
| CN113055736B (en) | A video receiving and sending method, terminal equipment and roadside equipment | |
| CN213693842U (en) | Video rebroadcasting system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20190719 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20190719 | |
| A975 | Report on accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A971005 Effective date:20190726 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20191111 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20191219 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20200120 | |
| A02 | Decision of refusal | Free format text:JAPANESE INTERMEDIATE CODE: A02 Effective date:20200409 | |
| C60 | Trial request (containing other claim documents, opposition documents) | Free format text:JAPANESE INTERMEDIATE CODE: C60 Effective date:20200702 | |
| C876 | Explanation why request for accelerated appeal examination is justified | Free format text:JAPANESE INTERMEDIATE CODE: C876 Effective date:20200702 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A821 Effective date:20200702 | |
| C305 | Report on accelerated appeal examination | Free format text:JAPANESE INTERMEDIATE CODE: C305 Effective date:20200811 | |
| C22 | Notice of designation (change) of administrative judge | Free format text:JAPANESE INTERMEDIATE CODE: C22 Effective date:20200820 | |
| C23 | Notice of termination of proceedings | Free format text:JAPANESE INTERMEDIATE CODE: C23 Effective date:20200903 | |
| C03 | Trial/appeal decision taken | Free format text:JAPANESE INTERMEDIATE CODE: C03 Effective date:20201001 | |
| C30A | Notification sent | Free format text:JAPANESE INTERMEDIATE CODE: C3012 Effective date:20201001 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20201012 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:6782007 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 | |
| R250 | Receipt of annual fees | Free format text:JAPANESE INTERMEDIATE CODE: R250 |