JP2023095046A - Information processing system - Google Patents

Abstract

Translated fromJapanese

【課題】車両においてドライブレコーダの利便性を向上する。【解決手段】情報処理システムは、車両の乗員が車両に取り付けられたドライブレコーダで撮影された映像情報の保存を意図していることを乗員に接触することなく検知可能な検知手段と、映像情報の保存の意図が検知されたときに、所定の期間のドライブレコーダで撮影された映像情報を保存先の装置に保存する制御部と、を備える。【選択図】図５An object of the present invention is to improve the convenience of a drive recorder in a vehicle. An information processing system includes a detection means capable of detecting that an occupant of a vehicle intends to store video information captured by a drive recorder attached to the vehicle without contacting the occupant, and a control unit that stores video information captured by the drive recorder for a predetermined period in a storage destination device when an intention to store the video information is detected. [Selection drawing] Fig. 5

Description

Translated fromJapanese

本開示は、車両に搭載される情報処理システムに関する。 The present disclosure relates to an information processing system mounted on a vehicle.

特許文献１には、事故を検知した場合に、事故検知時刻からさらに少なくとも所定時間は撮影部による撮影を継続し、事故検知時刻の前後に撮影されたデータを端末記憶部に記憶すると共に、当該端末記憶部に記憶されたデータをサーバに送信するドライブレコーダシステムが開示されている。 In Patent Document 1, when an accident is detected, a photographing unit continues photographing for at least a predetermined time after the accident detection time, and data photographed before and after the accident detection time is stored in a terminal storage unit. A drive recorder system is disclosed that transmits data stored in a terminal storage unit to a server.

特開２００８－２４４６７４号公報JP 2008-244674 A

本開示は、車両においてドライブレコーダの利便性を向上することを目的とする。 An object of the present disclosure is to improve the convenience of a drive recorder in a vehicle.

本開示の第１の態様に係る情報処理システムは、
車両の乗員が前記車両に取り付けられたドライブレコーダで撮影された映像情報の保存を意図していることを前記乗員に接触することなく検知可能な検知手段と、
前記映像情報の保存の意図が検知されたときに、所定の期間の前記ドライブレコーダで撮影された映像情報を保存先の装置に保存する制御部と、
を備える、情報処理システム。An information processing system according to a first aspect of the present disclosure includes:
a detection means capable of detecting, without contacting the occupant, that the occupant of the vehicle intends to store video information captured by a drive recorder attached to the vehicle;
a control unit that stores video information captured by the drive recorder for a predetermined period in a storage destination device when an intention to store the video information is detected;
An information processing system comprising:

本開示により、車両においてドライブレコーダの利便性が向上する。 The present disclosure improves the convenience of drive recorders in vehicles.

実施形態に係る動画保存システムを説明する図である。1 is a diagram illustrating a moving image saving system according to an embodiment; FIG.ドライブレコーダ、車載装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of a drive recorder and an in-vehicle device.車載装置の機能構成を説明する図である。It is a figure explaining the functional composition of an in-vehicle device.映像情報ＤＢに格納されるデータの一例を示す図である。It is a figure which shows an example of the data stored in video information DB.車載装置の処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing of an in-vehicle device;車載装置の処理の流れを示すフローチャートである。4 is a flow chart showing the flow of processing of an in-vehicle device;

本開示の態様の一つである情報処理システムは、車両内に構築され、ドライブレコーダ等で撮像された映像情報を、車両に搭乗する搭乗員の所望のタイミングまたは好みのタイミングで即時の保存を可能とする車載装置を含むシステムである。車載装置が備える制御部は、車両に搭乗する搭乗員がドライブレコーダで撮影された映像情報の記録・保存を意図していることを搭乗員に接触することなく検知する。ここで、映像情報には、例えば、ドライブレコーダで撮影された動画像の他に、車両内の音声データ等が含まれる。 An information processing system, which is one aspect of the present disclosure, is built in a vehicle, and immediately saves video information captured by a drive recorder or the like at a timing desired or preferred by a crew member boarding the vehicle. It is a system that includes an in-vehicle device that enables The control unit provided in the in-vehicle device detects without contacting the crew that the crew boarding the vehicle intends to record/save the video information captured by the drive recorder. Here, the video information includes, for example, in-vehicle audio data and the like in addition to moving images captured by a drive recorder.

例えば、車載装置の制御部は、ドライブレコーダから車載カメラで撮影された映像情報を取得する。そして制御部は、例えば、取得した映像情報中の画像から、映像情報の記録・保存の意図を示す搭乗者の身振りや手振りといったジェスチャ、表情の変化を公知の画
像認識技術によって検知してもよい。また、例えば、車載装置の制御部は、ドライブレコーダから車内マイクで集音された車室内の音声データを取得してもよい。そして制御部は、例えば、音声データから、映像情報の記録・保存の意図を示す搭乗者の「撮って！」、「今、今！」、「データを記録」といった発声（音声）を公知の音声認識技術により検知してもよい。For example, the control unit of the in-vehicle device acquires video information captured by the in-vehicle camera from the drive recorder. Then, for example, the control unit may detect, from images in the acquired video information, gestures such as gestures and gestures of the passenger indicating the intention of recording/storing the video information, and changes in facial expressions by a known image recognition technology. . Further, for example, the control unit of the in-vehicle device may acquire voice data in the vehicle interior collected by the in-vehicle microphone from the drive recorder. Then, the control unit, for example, from the voice data, utters (sound) the passenger's utterance (sound) such as "Take a picture!", "Now, now!" It may be detected by voice recognition technology.

そして、車載装置の制御部は、映像情報の記録・保存の意図が検知されたことを契機として、所定の期間の映像情報を所定の保存先に記録・保存する。映像情報には、例えば、映像情報が撮影された日時、記録期間を示す時刻情報（開始時刻、終了時刻等）、撮影時の位置情報（記録開始位置、記録終了位置）等が付与されてもよい。また、撮影時における道路リンク番号や地域情報が関連付けされてもよい。本情報処理システムによれば、搭乗員の所定の表情や動作、発声を検知し、搭乗員の所望のタイミングで即時に映像情報を保存できるため、ドライブレコーダの利便性が向上する。 Then, the control unit of the in-vehicle device records/stores the video information for a predetermined period in a predetermined storage destination, triggered by the detection of the intention to record/save the video information. For example, the video information may be given the date and time when the video information was shot, time information indicating the recording period (start time, end time, etc.), position information at the time of shooting (recording start position, recording end position), etc. good. Moreover, the road link number and area information at the time of shooting may be associated. According to this information processing system, it is possible to detect predetermined facial expressions, actions, and vocalizations of the crew member, and immediately save video information at the timing desired by the crew member, thereby improving the convenience of the drive recorder.

以下、図面を参照して、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。また、以下の実施形態は可能な限り組み合わせることができる。 Embodiments of the present disclosure will be described below with reference to the drawings. The configurations of the following embodiments are examples, and the present disclosure is not limited to the configurations of the embodiments. Moreover, the following embodiments can be combined as much as possible.

＜第１実施形態＞
図１は、本実施形態に係る動画保存システム１の一例を説明する図である。本実施形態に係る動画保存システム１は、ドライブレコーダ等を有し、このドライブレコーダ等で撮像された映像情報を、車両２に搭乗する乗員の所望のタイミングで即時の保存を可能とする情報処理システムである。<First embodiment>
FIG. 1 is a diagram illustrating an example of a moving image saving system 1 according to this embodiment. The video storage system 1 according to the present embodiment has a drive recorder or the like, and information processing that enables immediate storage of video information captured by the drive recorder or the like at a timing desired by a passenger on board the vehicle 2. System.

図１に例示の動画保存システム１は、車両２に搭載されたドライブレコーダ２０と、車載装置１０とを含む。ドライブレコーダ２０は、搭載された車両２の内外の状況を示す映像情報（動画、動画像、音を含む情報等）を記録する装置である。ドライブレコーダ２０で記録された映像情報は、例えば、事故等が生じた際に、車両２の内外の状況を客観的に示す情報として利用される。車載装置１０は、例えば、ＣＡＮ（Controller Area Network）等の車内ネットワークを介してドライブレコーダ２０と接続され、後述する機能を実
行可能な制御装置である。A video storage system 1 illustrated in FIG. 1 includes adrive recorder 20 mounted on a vehicle 2 and an in-vehicle device 10 . Thedrive recorder 20 is a device that records video information (such as moving images, moving images, and information including sound) indicating the conditions inside and outside the vehicle 2 in which it is mounted. The video information recorded by thedrive recorder 20 is used as information that objectively shows the situation inside and outside the vehicle 2, for example, when an accident or the like occurs. The in-vehicle device 10 is connected to thedrive recorder 20 via an in-vehicle network such as CAN (Controller Area Network), for example, and is a control device capable of executing functions described later.

車載装置１０は、ネットワークＮ１に接続される。ネットワークＮ１には、ＳＮＳサーバ４０、ユーザ端末５０が接続される。ＳＮＳサーバ４０は、ＳＮＳサービスを提供する運営者が管理するコンピュータである。ユーザ端末５０は、ＳＮＳサーバ４０が提供するサービスを享受するＳＮＳユーザのスマートフォン、ＰＣ等の情報処理端末である。ＳＮＳサーバ４０は、例えば、予め登録されたユーザからネットワークＮ１を通じて投稿された映像情報やコメント等のコンテンツを自装置が管理する記憶領域に保存する。記憶領域に保存されたコンテンツは、例えば、ＳＮＳユーザの閲覧要求に応じて、ネットワークＮ１に接続されたユーザ端末５０に配信される。 The in-vehicle device 10 is connected to the network N1. An SNS server 40 and auser terminal 50 are connected to the network N1. The SNS server 40 is a computer managed by an operator who provides SNS services. Theuser terminal 50 is an information processing terminal such as a smartphone or a PC of an SNS user who enjoys services provided by the SNS server 40 . The SNS server 40 stores, for example, content such as video information and comments posted via the network N1 by pre-registered users in a storage area managed by its own device. The content saved in the storage area is distributed to theuser terminal 50 connected to the network N1, for example, in response to a viewing request from the SNS user.

ネットワークＮ１は、例えば、インターネット等の世界規模の公衆通信網でありＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やその他の通信網が採用されてもよい。また、ネットワークＮ１は、携帯電話等の電話通信網、Ｗｉ－Ｆｉ（登録商標）等の無線通信網、ＶＰＮ（Virtual Private Network）等の専用通信網を含んでもよい。なお、図１では
、１台のＳＮＳサーバ４０を例示するが、異なる運営者が管理する複数のＳＮＳサーバ４０がネットワークＮ１に接続され得る。同様にして、単一のユーザ端末５０が例示されているが、ＳＮＳサーバ４０が提供するＳＮＳサービスを享受する複数のユーザ端末５０がネットワークＮ１に接続され得る。The network N1 is, for example, a worldwide public communication network such as the Internet, and may employ a WAN (Wide Area Network) or other communication networks. The network N1 may also include a telephone communication network such as a mobile phone, a wireless communication network such as Wi-Fi (registered trademark), and a dedicated communication network such as a VPN (Virtual Private Network). Although one SNS server 40 is illustrated in FIG. 1, a plurality of SNS servers 40 managed by different operators can be connected to the network N1. Similarly, although asingle user terminal 50 is illustrated,multiple user terminals 50 that enjoy the SNS services provided by the SNS server 40 can be connected to the network N1.

また、車載装置１０は、ネットワークＮ３を通じて、車両２内に乗車する搭乗員のユーザ端末３０に接続される。ユーザ端末３０は、ネットワークＮ３を介して車載装置１０と通信可能な情報処理端末である。ネットワークＮ３は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）といった無線接続、ＵＳＢケーブルを介した有線接続を含むネットワークである。ネットワークＮ３においても、複数のユーザ端末３０が接続され得る。 In addition, the in-vehicle device 10 is connected to theuser terminal 30 of a crew member riding in the vehicle 2 through the network N3. Theuser terminal 30 is an information processing terminal that can communicate with the in-vehicle device 10 via the network N3. The network N3 is, for example, a network including wireless connections such as Bluetooth (registered trademark) and WiFi (registered trademark), and wired connections via USB cables. A plurality ofuser terminals 30 may be connected to the network N3 as well.

図２は、本実施形態に係る動画保存システム１を構成する車載装置１０およびドライブレコーダ２０のハードウェア構成の一例を示す図である。図２に示すように、車載装置１０は、接続バスによって相互に接続されたプロセッサ１０１、主記憶部１０２、補助記憶部１０３、入出力Ｉ／Ｆ１０４、通信部１０５ａ、１０５ｂ、１０５ｃを含むコンピュータである。主記憶部１０２および補助記憶部１０３は、車載装置１０が読み取り可能な記録媒体である。主記憶部１０２および補助記憶部１０３は、車載装置１０のメモリを構成する。上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。なお、ＳＮＳサーバ４０、ユーザ端末３０およびＳＮＳユーザのユーザ端末５０のハードウェア構成は、車載装置１０と同等の構成要素で実現されるため、説明が省略される。 FIG. 2 is a diagram showing an example of the hardware configuration of the in-vehicle device 10 and thedrive recorder 20 that constitute the moving image saving system 1 according to this embodiment. As shown in FIG. 2, the in-vehicle device 10 is a computer including a processor 101, a main storage unit 102, an auxiliary storage unit 103, an input/output I/F 104, and communication units 105a, 105b, and 105c, which are interconnected by a connection bus. be. The main storage unit 102 and the auxiliary storage unit 103 are recording media readable by the in-vehicle device 10 . The main storage unit 102 and the auxiliary storage unit 103 constitute the memory of the in-vehicle device 10 . A plurality of the above components may be provided, or some of the components may be omitted. Note that the hardware configurations of the SNS server 40, theuser terminal 30, and theuser terminal 50 of the SNS user are implemented by the same components as those of the in-vehicle device 10, and therefore description thereof is omitted.

プロセッサ１０１は、車載装置１０全体の制御を行う中央処理演算装置である。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等である。プロセッサ１０１は、制
御部の一例である。プロセッサ１０１は、例えば、補助記憶部１０３に記憶されたプログラムを主記憶部１０２の作業領域に実行可能に展開し、当該プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。The processor 101 is a central processing unit that controls the entire in-vehicle device 10 . The processor 101 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or the like. Processor 101 is an example of a control unit. For example, the processor 101 expands a program stored in the auxiliary storage unit 103 in a work area of the main storage unit 102 so that it can be executed, and controls peripheral devices through execution of the program to perform a function that meets a predetermined purpose. I will provide a.

主記憶部１０２は、プロセッサ１０１が実行するプログラム、当該プロセッサが処理するデータ等を記憶する。主記憶部１０２は、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶部１０３は、可搬記録媒体、不揮発性半導体メモリ（フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM））
を含むシリコンディスク、ソリッドステートドライブ装置、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）装置等である。可搬記録媒体は、例えば、ＵＳＢメモリ、ＳＤ
カード等の記録媒体である。補助記憶部１０３は、各種のプログラムおよび各種のデータを読み書き自在に記録媒体に格納する。補助記憶部１０３は、外部記憶装置とも呼ばれる。補助記憶部１０３は、主記憶部１０２を補助する記憶領域として使用され、プロセッサ１０１が実行するプログラム、プロセッサ１０１が処理するデータ等を記憶する。補助記憶部１０３には、例えば、オペレーティングシステム（ＯＳ：Operating System）、各種プログラム、各種テーブル等が格納される。ＯＳは、通信部１０５ａ～１０５ｃを介して接続された機器との間でデータの受け渡しを行う通信インターフェースプログラムを含む。なお、車載装置１０は、単一のコンピュータであってもよいし、複数台のコンピュータが連携したものであってもよい。補助記憶部１０３に格納される情報は主記憶部１０２に格納されてもよく、主記憶部１０２に格納される情報が補助記憶部１０３に格納されてもよい。なお、車載装置１０で実行される一連の処理については、上述のように、プロセッサ１０１がプログラムにより実行する。ただし、一連の処理の少なくとも一部はデジタル回路等のハードウェアにより実行させることもできる。The main storage unit 102 stores programs executed by the processor 101, data processed by the processor, and the like. The main storage unit 102 includes flash memory, RAM (Random Access Memory), and ROM (Read Only Memory). The auxiliary storage unit 103 includes a portable recording medium, nonvolatile semiconductor memory (flash memory, EPROM (Erasable Programmable ROM))
silicon disks, solid state drives, hard disk drives (HDD, Hard Disk Drive), etc. Portable recording media include, for example, USB memory, SD
A recording medium such as a card. The auxiliary storage unit 103 stores various programs and various data in a recording medium in a readable and writable manner. The auxiliary storage unit 103 is also called an external storage device. The auxiliary storage unit 103 is used as a storage area that assists the main storage unit 102, and stores programs executed by the processor 101, data processed by the processor 101, and the like. The auxiliary storage unit 103 stores, for example, an operating system (OS), various programs, various tables, and the like. The OS includes a communication interface program that exchanges data with devices connected via the communication units 105a to 105c. Note that the in-vehicle device 10 may be a single computer, or may be a combination of a plurality of computers. Information stored in the auxiliary storage unit 103 may be stored in the main storage unit 102 , and information stored in the main storage unit 102 may be stored in the auxiliary storage unit 103 . A series of processes executed by the in-vehicle device 10 are executed by the processor 101 according to a program as described above. However, at least part of the series of processes can also be executed by hardware such as a digital circuit.

入出力ＩＦ１０４は、車載装置１０に接続される機器との間でデータの入出力を行うインターフェースである。入出力ＩＦ１０５には、例えば、タッチパネル、操作ボタン等の入力デバイスが接続される。入出力ＩＦ１０５を介し、入力デバイスを操作する操作者からの操作指示等を受け付ける。また、入出力ＩＦ１０５には、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）パネル等の表示デバイス、スピーカ等
の出力デバイスが接続される。The input/output IF 104 is an interface for inputting/outputting data with devices connected to the in-vehicle device 10 . Input devices such as a touch panel and operation buttons are connected to the input/output IF 105 . Through the input/output IF 105, an operation instruction or the like from an operator who operates an input device is received. Further, the input/output IF 105 is connected to, for example, display devices such as LCD (Liquid Crystal Display) and EL (Electroluminescence) panels, and output devices such as speakers.

通信部１０５ａは、車両２内に設けられた車内ネットワーク（例えば、ＣＡＮ等）Ｎ２とのインターフェースである。通信部１０５ａを介して車載装置１０は、ドライブレコーダ２０と接続される。通信部１０５ｂは、ネットワークＮ１とのインターフェースである。通信部１０５ｂを介して車載装置１０は、ＳＮＳサーバ４０と接続される。通信部１０５ｃは、ネットワークＮ３（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等）とのインターフェースである。通信部１０５ａを介して車載装置１０は、車両２内に乗車する搭乗員のユーザ端末３０に接続される。通信部１０５ａ、１０５ｂ、１０５ｃは、それぞれが接続されるネットワークとの接続方式に応じて適宜の構成を採用できる。 The communication unit 105a is an interface with an in-vehicle network (for example, CAN, etc.) N2 provided in the vehicle 2 . The in-vehicle device 10 is connected to thedrive recorder 20 via the communication unit 105a. The communication unit 105b is an interface with the network N1. The in-vehicle device 10 is connected to the SNS server 40 via the communication unit 105b. The communication unit 105c is an interface with the network N3 (Bluetooth (registered trademark), WiFi (registered trademark), etc.). The in-vehicle device 10 is connected to theuser terminal 30 of the crew member on board the vehicle 2 via the communication unit 105a. The communication units 105a, 105b, and 105c can adopt an appropriate configuration according to the connection method with the network to which they are connected.

ドライブレコーダ２０は、搭載された車両２の内外の状況を示す動画像を撮影し、映像情報（動画、動画像、音を含む情報等）を記録する装置である。図２に示されるように、ドライブレコーダ２０は、接続バスによって相互に接続された制御部２１、記憶部２２、入出力Ｉ／Ｆ２３、通信部２４を有する。制御部２１、記憶部２２、入出力Ｉ／Ｆ２３、通信部２４は、それぞれ、車載装置１０のプロセッサ１０１、主記憶部１０２および補助記憶部１０３、入出力ＩＦ１０４、通信部１０５ａと同等であるため説明が省略される。また、ドライブレコーダ２０には、車載カメラ２ａ、加速度センサ２ｂ、位置情報センサ２ｃ、車内マイク２ｄが接続される。上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。 Thedrive recorder 20 is a device that captures moving images showing the conditions inside and outside the vehicle 2 in which it is mounted, and records video information (moving images, moving images, information including sound, etc.). As shown in FIG. 2, thedrive recorder 20 has a control section 21, a storage section 22, an input/output I/F 23, and a communication section 24 which are interconnected by a connection bus. The control unit 21, the storage unit 22, the input/output I/F 23, and the communication unit 24 are equivalent to the processor 101, the main storage unit 102, the auxiliary storage unit 103, the input/output IF 104, and the communication unit 105a of the in-vehicle device 10, respectively. Description is omitted. In addition, thedrive recorder 20 is connected with an in-vehicle camera 2a, an acceleration sensor 2b, a position information sensor 2c, and an in-vehicle microphone 2d. A plurality of the above components may be provided, or some of the components may be omitted.

車載カメラ２ａは、例えばレンズとＣＣＤ（Charge Coupled Device）イメージセンサ
やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子
を用いて撮影を行う。車載カメラ２ａは、フロントカメラ、バックカメラ、サイドカメラ等であってもよいが、超広角レンズを備え車両２の車室内および車両２の周囲を撮影可能な３６０度カメラであってもよい。車載カメラ２ａでは、例えば、所定のフレームレート（例えば３０ｆｐｓ）の動画像で撮影が行われる。加速度センサ２ｂは、車両２の加速度を検出し、車両２に加わる衝撃を感知する。加速度センサ２ｂは、少なくとも車両２の前後方向および左右方向の、２軸の加速度を検出可能であることが望ましい。位置情報センサ２ｃは、ドライブレコーダ２０が搭載された車両２の位置情報（例えば緯度、経度）を取得する。位置情報センサ２ｃは、例えばＧＰＳ（Global Positioning System）受信部
、無線ＬＡＮ通信部等である。車内マイク２ｄは、車室内の音声を集音する。車内マイク２ｄは、車室内全体の音声を集音するために１箇所に設けられてもよいし、車室内の複数の座席のそれぞれに着座する乗員の音声を個別に集音可能となるよう複数箇所に設けられてもよい。車載カメラ２ａ、加速度センサ２ｂ、位置情報センサ２ｃ、車内マイク２ｄは、ドライブレコーダ２０とは別体であってもよいし、ドライブレコーダ２０に内蔵されていてもよい。The in-vehicle camera 2a takes images using, for example, a lens and an imaging device such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. The vehicle-mounted camera 2a may be a front camera, a back camera, a side camera, or the like, or may be a 360-degree camera that has a super-wide-angle lens and is capable of photographing the interior of the vehicle 2 and its surroundings. The in-vehicle camera 2a captures moving images at a predetermined frame rate (eg, 30 fps), for example. The acceleration sensor 2b detects the acceleration of the vehicle 2 and senses the impact applied to the vehicle 2. As shown in FIG. It is desirable that the acceleration sensor 2b be capable of detecting at least biaxial acceleration of the vehicle 2 in the front-rear direction and the left-right direction. The position information sensor 2c acquires position information (for example, latitude and longitude) of the vehicle 2 on which thedrive recorder 20 is mounted. The position information sensor 2c is, for example, a GPS (Global Positioning System) receiver, a wireless LAN communication section, or the like. The in-vehicle microphone 2d collects sounds in the vehicle interior. The in-vehicle microphone 2d may be provided at one location to collect the sound of the entire vehicle interior, or may be provided at a plurality of locations so as to be able to individually collect the sounds of the occupants seated on each of a plurality of seats in the vehicle interior. It may be provided in place. The in-vehicle camera 2a, the acceleration sensor 2b, the position information sensor 2c, and the in-vehicle microphone 2d may be separate from thedrive recorder 20, or may be built in thedrive recorder 20. FIG.

制御部２１は、車載カメラ２ａで撮影された動画像（以下、動画データともいう）と、車内マイク２ｄで集音された車内の音声データとを映像情報として記憶部２２の所定の領域に記録する。映像情報は、例えば、開始時刻および終了時刻と関連付けされた一定の時間間隔の映像ファイルとして記憶部２２に記録される。なお、映像ファイルには、位置情報センサ２ｃから取得された位置情報が関連付けされてもよい。記憶部２２に記録される映像ファイルは、例えば、所定の記憶領域の空き容量が不足すると、最も古いファイルが記録された記憶領域に最も新しいファイルが順次上書きして記録される。 The control unit 21 records moving images (hereinafter also referred to as moving image data) captured by the vehicle-mounted camera 2a and in-vehicle audio data collected by the in-vehicle microphone 2d as video information in a predetermined area of the storage unit 22. do. The video information is recorded in the storage unit 22 as video files at regular time intervals associated with, for example, start time and end time. Note that the video file may be associated with position information acquired from the position information sensor 2c. The video files recorded in the storage unit 22 are recorded by sequentially overwriting the storage area in which the oldest file was recorded with the newest file, for example, when the free space of the predetermined storage area is insufficient.

また、制御部２１は、加速度センサ２ｂで検出された加速度が所定の閾値を超えた場合には、例えば、所定の閾値を超える前後の数十秒前から数十秒後までの期間の映像ファイルを、記憶部２２の上記所定の領域とは異なる記憶領域に記録する。加速度が所定の閾値を超えた場合に記録される映像ファイルにおいても、記憶領域の空き容量が不足すると、
最も古いファイルが記録された記憶領域に最も新しいファイルが順次上書きして記録される。なお、加速度が所定の閾値を超えた場合に記録される映像ファイルが、それ以外に記録される映像ファイルによって上書きされることはない。Further, when the acceleration detected by the acceleration sensor 2b exceeds a predetermined threshold value, the control unit 21, for example, selects a video file for a period from several tens of seconds before to several tens of seconds after exceeding the predetermined threshold value. is recorded in a storage area different from the predetermined area of the storage unit 22 . Even in the video file recorded when the acceleration exceeds a predetermined threshold, if the free space in the storage area is insufficient,
The newest file is sequentially overwritten and recorded in the storage area where the oldest file was recorded. A video file recorded when the acceleration exceeds a predetermined threshold is not overwritten by a video file recorded otherwise.

図１に戻り、本実施形態に係る動画保存システム１は、車両２に搭乗する搭乗者（運転者も含む）がドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを、当該搭乗者に接触することなく検知する。具体的には、本実施形態に係る車載装置１０は、通信部１０５ａを介して接続されたドライブレコーダ２０から、映像情報を取得する。映像情報には、車載カメラ２ａで撮影された動画データと、車内マイク２ｄで集音された車内の音声データが含まれる。 Returning to FIG. 1, the moving image storage system 1 according to the present embodiment is intended to record and store image information captured by adrive recorder 20 by a passenger (including a driver) boarding a vehicle 2. , without contacting the occupant. Specifically, the in-vehicle device 10 according to this embodiment acquires video information from thedrive recorder 20 connected via the communication unit 105a. The video information includes video data captured by the vehicle-mounted camera 2a and audio data in the vehicle collected by the vehicle microphone 2d.

そして、車載カメラ２ａが３６０度カメラ、あるいは、車両２内の搭乗者の様子を撮影可能な車内カメラを含む場合には、車載装置１０は、取得された動画データから車両２内に存在する搭乗者の、映像情報の記録・保存の意図を検知する。例えば、図１の吹き出しＺ２に示されるように、搭乗者Ａ１の身体の前で上下に腕を振るといった身振り、手振りのジェスチャを画像認識により検知する。ジェスチャの画像認識には、公知の技術が採用できる。映像情報の記録・保存の意図を示す身振りや手振りは予め定めることができ、搭乗者Ａ１の頭上で三角形や丸形、×形を作るといったジャスチャであってもよく、口を大きく開けて丸型を作るといった表情の変化であってもよい。 When the in-vehicle camera 2a includes a 360-degree camera or an in-vehicle camera capable of photographing the state of the passenger in the vehicle 2, the in-vehicle device 10 detects the boarding position existing in the vehicle 2 from the acquired video data. Detects the intention of a person to record/save video information. For example, as indicated by a balloon Z2 in FIG. 1, a gesture such as waving the arm up and down in front of the body of the passenger A1 and a hand gesture are detected by image recognition. A known technique can be used for image recognition of gestures. Gestures and gestures that indicate the intention of recording/storing video information can be determined in advance, and may be gestures such as making a triangle, a circle, or an X above the head of passenger A1. It may be a change in facial expression such as making

そして、車載装置１０は、車載カメラ２ａで撮像された動画データから、映像情報の記録・保存の意図を示す搭乗者のジェスチャや表情の変化を検知すると、ドライブレコーダ２０で撮影された所定期間の映像情報を保存先に記録・保存する。例えば、吹き出しＺ１に示されるように、車載カメラ２ａで撮像された、走行中の車両２の周囲の風景や車両２内の搭乗員が盛り上がる様子が映像情報として記録・保存される。ここで、所定期間は、例えば、分単位、１０分単位等の単位期間である。 Then, when the in-vehicle device 10 detects a change in facial expression or a gesture of the passenger indicating the intention of recording/storing the video information from the moving image data captured by the in-vehicle camera 2a, the vehicle-mounteddevice 10 detects the change in facial expression for a predetermined period of time captured by thedrive recorder 20. Record and save the video information to the save destination. For example, as indicated by a balloon Z1, the scenery around the running vehicle 2 captured by the in-vehicle camera 2a and the excitement of the passengers inside the vehicle 2 are recorded and stored as video information. Here, the predetermined period is, for example, a unit period such as minutes or 10 minutes.

車載装置１０は、搭乗者による映像情報の記録・保存の意図の検知を契機として所定期間の映像情報をメモリ、例えば、補助記憶部１０３の所定領域（図３、図４の映像情報ＤＢ１４）に記録する。この映像情報ＤＢ１４は、映像情報を不揮発的に記憶できる。所定領域の容量は、車載装置１０の出荷時、または、販売時等に、適宜設定可能である。また、映像情報ＤＢ１４の容量は、車載装置１０のユーザが設定できるものであってもよい。したがって、車載装置１０は、映像情報を映像情報ＤＢ１４に上記容量の限界まで保存できる。さらに、メモリに記録された映像情報は、例えば、通信部１０５ｃを介してネットワークＮ３に接続された搭乗員のユーザ端末３０に適宜に送信されてもよい（例えば、プッシュ配信）。また、車載装置１０は、通信部１０５ｂを介し、搭乗員のアカウントが登録されているＳＮＳサーバ４０に映像情報を送信してもよい。ＳＮＳサーバ４０は、ネットワークＮ１を通じて送信された映像情報を、ユーザから投稿された映像コンテンツとして記憶領域に保存する。記憶領域に保存された映像コンテンツは、例えば、ＳＮＳユーザの閲覧要求に応じて、ネットワークＮ１に接続されたユーザ端末５０に配信され、閲覧者（ＳＮＳユーザ）による評価（いいね、そうでもない等）やコメントを得ることができる。ただし、本実施形態において、上記車載装置１０のメモリに記録された映像情報の送信先がＳＮＳサーバ４０に限定される訳ではない。映像情報の送信先は、ネットワークＮ１に接続される他のサーバ装置、例えば、車載装置１０にデータの記録・保存サービスを提供するデータベースサーバを例示できる。 The in-vehicle device 10 stores video information for a predetermined period in a memory, for example, in a predetermined area (video information DB 14 in FIGS. 3 and 4) of the auxiliary storage unit 103, triggered by the detection of the passenger's intention to record/save the video information. Record. This image information DB 14 can store image information in a non-volatile manner. The capacity of the predetermined area can be appropriately set at the time of shipment or sale of the in-vehicle device 10 . Also, the capacity of the video information DB 14 may be set by the user of the in-vehicle device 10 . Therefore, the in-vehicle device 10 can store video information in the video information DB 14 up to the capacity limit. Further, the video information recorded in the memory may be transmitted as appropriate to the crew member'suser terminal 30 connected to the network N3 via the communication unit 105c (for example, push distribution). In addition, the in-vehicle device 10 may transmit the image information to the SNS server 40 in which the crew member's account is registered via the communication unit 105b. The SNS server 40 stores the video information transmitted through the network N1 in the storage area as video content posted by the user. The video content stored in the storage area is, for example, distributed to theuser terminal 50 connected to the network N1 in response to a viewing request from the SNS user, and is evaluated (like, dislike, etc.) by the viewer (SNS user). ) and comments. However, in this embodiment, the transmission destination of the video information recorded in the memory of the in-vehicle device 10 is not limited to the SNS server 40 . The destination of the image information can be exemplified by another server device connected to the network N1, for example, a database server that provides data recording/storage services to the in-vehicle device 10 .

また、車載装置１０は、取得された音声データから車両２内に存在する搭乗者の、映像情報の記録・保存の意図を検知する。例えば、「撮って！」、「今、今！」、「データを記録」といった搭乗者の映像情報の記録・保存の意図を示す発声（音声）を音声認識により検知する。また、搭乗者の映像情報の記録・保存の意図を示す楽器等が奏でる音を音声
認識により検知する。音、発声の音声認識には、公知の技術が採用できる。このような映像情報の記録・保存の意図を示す音、発声は予め適宜に定めることができる。そして、車載装置１０は、車内マイク２ｄで集音された音声データから、搭乗者の映像情報の記録・保存の意図を示す発声を検知すると、ドライブレコーダ２０で撮影された所定期間の映像情報を保存先に記録・保存する。映像情報の記録・保存は、動画データに基づく映像情報の記録・保存の意図の検知と同様にして行われる。Also, the in-vehicle device 10 detects the intention of the passenger present in the vehicle 2 to record/save the video information from the acquired audio data. For example, utterances (speech) indicating the intention of recording/storing the video information of the passenger, such as "Take a picture!", "Now, now!", and "Record data", are detected by voice recognition. It also uses voice recognition to detect sounds played by musical instruments that indicate the passenger's intention to record/save video information. A known technique can be used for speech recognition of sound and utterance. The sound or utterance indicating the intention of recording/storing such video information can be appropriately determined in advance. Then, when the in-vehicle device 10 detects the utterance indicating the intention of recording/storing the video information of the passenger from the sound data collected by the in-vehicle microphone 2d, the in-vehicle device 10 reproduces the video information for a predetermined period captured by thedrive recorder 20. Record and save to the save destination. Recording/storage of video information is performed in the same manner as detection of intention to record/save video information based on moving image data.

このように、本実施形態に係る動画保存システム１では、車両２に搭乗する搭乗員がドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを搭乗員に接触することなく検知できる。そして、動画保存システム１は、映像情報の記録・保存の意図が検知されたことを契機として、所定期間の映像情報を所定の保存先に記録・保存できる。本実施形態に係る動画保存システム１によれば、搭乗員の所定の表情や動作、発声を検知し、搭乗員の所望のタイミングで即時に映像情報を保存できるため、映像情報を保存する際のドライブレコーダ２０の利便性が向上する。 As described above, in the moving image storage system 1 according to the present embodiment, the crew member boarding the vehicle 2 can be notified of the intention of recording/storing the video information captured by thedrive recorder 20 without contacting the crew member. detectable. When the intention to record/save the video information is detected, the moving image storage system 1 can record/save the video information for a predetermined period in a predetermined storage destination. According to the video storage system 1 according to the present embodiment, it is possible to detect the crew member's predetermined facial expressions, actions, and vocalizations, and immediately store the video information at the timing desired by the crew member. The convenience of thedrive recorder 20 is improved.

（機能構成）
次に、図３から図４を参照して、本実施形態に係る動画保存システム１の車載装置１０の機能構成を説明する。図３は、車載装置１０の機能構成の一例を概略的に示す図である。車載装置１０は、機能構成要素に、画像・音声取得部１１、映像情報処理部１２、映像情報通知部１３、映像情報ＤＢ１４、ユーザ情報ＤＢ１５、地図情報ＤＢ１６を備える。車載装置１０のプロセッサ１０１は、主記憶部１０２に展開されたコンピュータプログラムにより、画像・音声取得部１１、映像情報処理部１２、映像情報通知部１３の処理を実行する。ただし、各機能構成素のいずれか、またはその処理の一部がデジタル回路等のハードウェアにより実行されてもよい。(Functional configuration)
Next, the functional configuration of the in-vehicle device 10 of the moving image storage system 1 according to the present embodiment will be described with reference to FIGS. 3 and 4. FIG. FIG. 3 is a diagram schematically showing an example of the functional configuration of the in-vehicle device 10. As shown in FIG. The in-vehicle device 10 includes an image/sound acquisition unit 11, a video information processing unit 12, a video information notification unit 13, a video information DB 14, a user information DB 15, and a map information DB 16 as functional components. The processor 101 of the in-vehicle device 10 executes the processing of the image/sound acquisition unit 11 , the video information processing unit 12 , and the video information notification unit 13 according to the computer program developed in the main storage unit 102 . However, any one of the functional constituents or part of the processing thereof may be executed by hardware such as a digital circuit.

映像情報ＤＢ１４、ユーザ情報ＤＢ１５、地図情報ＤＢ１６は、プロセッサ１０１によって実行されるデータベース管理システム（Database Management System：ＤＢＭＳ）のプログラムが、補助記憶部１０３に記憶されるデータを管理することで構築される。映像情報ＤＢ１４、ユーザ情報ＤＢ１５は、例えば、リレーショナルデータベースである。地図情報ＤＢ１６には、道路リンク番号や交差点等のノード番号等の地物位置を含む地図データ、当該地図データ上の各地点の特性を示す文字や写真等のＰＯＩ情報を含む地図情報が格納される。地図情報ＤＢ１６は、ネットワークＮ１に接続される他のシステム、例えば、ＧＩＳ（Geographic Information System）から提供されてもよい。また、車載装置
１０の各機能構成要素のいずれか、またはその処理の一部は、ネットワークＮ１に接続される他のコンピュータにより実行されてもよい。The video information DB 14, the user information DB 15, and the map information DB 16 are constructed by managing data stored in the auxiliary storage unit 103 by a database management system (DBMS) program executed by the processor 101. . The video information DB 14 and the user information DB 15 are, for example, relational databases. The map information DB 16 stores map data including feature positions such as road link numbers and node numbers such as intersections, and map information including POI information such as characters and photographs indicating the characteristics of each point on the map data. be. The map information DB 16 may be provided from another system connected to the network N1, such as a GIS (Geographic Information System). Also, any one of the functional components of the in-vehicle device 10 or part of its processing may be executed by another computer connected to the network N1.

画像・音声取得部１１は、通信部１０５ａを介してネットワークＮ２に接続されたドライブレコーダ２０から映像情報を取得する。映像情報には、車載カメラ２ａで撮影された動画データと、車内マイク２ｄで集音された車内の音声データが含まれる。画像・音声取得部１１は、取得された映像情報を、主記憶部１０２の所定の領域に一時的に記憶し、当該映像情報を映像情報処理部１２に引き渡す。 The image/sound acquisition unit 11 acquires video information from thedrive recorder 20 connected to the network N2 via the communication unit 105a. The video information includes video data captured by the vehicle-mounted camera 2a and audio data in the vehicle collected by the vehicle microphone 2d. The image/sound acquisition unit 11 temporarily stores the acquired video information in a predetermined area of the main storage unit 102 and transfers the video information to the video information processing unit 12 .

映像情報処理部１２は、車両２に搭乗する搭乗者が、ドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを、当該搭乗者に接触することなく検知する。映像情報処理部１２は、例えば、車載カメラ２ａで撮影された動画データから、車両２内に存在する搭乗者の、映像情報の記録・保存の意図を示す身振りや手振り等のジェスチャ、表情の変化を画像認識により検知する。ジェスチャや表情の変化の画像認識には、公知の技術が採用できる。 The image information processing unit 12 detects that the passenger boarding the vehicle 2 intends to record/save the image information captured by thedrive recorder 20 without contacting the passenger. The video information processing unit 12 detects, for example, gestures such as gestures and hand gestures indicating the intention of recording/storing video information, and changes in facial expressions of passengers present in the vehicle 2 from video data captured by the in-vehicle camera 2a. is detected by image recognition. Known techniques can be used for image recognition of gestures and changes in facial expressions.

また、映像情報処理部１２は、例えば、車内マイク２ｄで集音された音声データから、
「撮って！」、「今、今！」、「データを記録」といった搭乗者の映像情報の記録・保存の意図を示す発声（音声）を音声認識により検知する。発声の音声認識には、公知の技術が採用できる。動画データまたは音声データに含まれる、映像情報の記録・保存の意図を示す搭乗者のジェスチャや表情の変化、発声は予め適宜に定めることができる。In addition, the video information processing unit 12, for example, from the audio data collected by the in-vehicle microphone 2d,
Voice recognition is used to detect utterances (speech) that indicate the intention of recording/storing the video information of the passenger, such as "Take a picture!", "Now, now!", and "Record data". A well-known technique can be adopted for voice recognition of utterance. The passenger's gesture, expression change, and utterance indicating the intention of recording/storing the video information, which are included in the moving image data or the audio data, can be appropriately determined in advance.

そして、映像情報処理部１２は、ドライブレコーダ２０で撮影された映像情報の記録・保存の意図が検知されたことを契機として、所定期間の映像情報を映像情報ＤＢ１４に記録・保存する。映像情報処理部１２は、例えば、所定期間の映像情報を映像ファイルとして映像情報ＤＢ１４に記録する。映像ファイルには、例えば、当該映像ファイルを識別する識別情報（映像ＩＤ）、当該映像ファイルが撮影された日時、記録期間を示す時刻情報（開始時刻、終了時刻等）、車両２が位置する位置情報（記録開始位置、記録終了位置）等が付与される。なお、映像情報処理部１２は、地図情報ＤＢ１６を参照し、映像情報が撮影された走行時の道路を識別する道路リンク番号等を取得し、映像ファイルに関連付けて記録してもよい。また、走行中の道路が存在する地域の地域情報が関連付けされてもよい。地域情報は、例えば、標準地域メッシュコード、分割地域メッシュコードといった地域メッシュ情報である。但し、地域情報は、市区町村等を示す情報でもよく、地域を特定する緯度・経度で区切られた情報であってもよい。 Then, the image information processing unit 12 records/stores the image information for a predetermined period in the image information DB 14 when the intention of recording/storing the image information shot by thedrive recorder 20 is detected. The video information processing unit 12 records, for example, video information for a predetermined period in the video information DB 14 as a video file. The video file includes, for example, identification information (video ID) for identifying the video file, the date and time when the video file was shot, time information indicating the recording period (start time, end time, etc.), the position where the vehicle 2 is located, Information (recording start position, recording end position) and the like are given. Note that the image information processing unit 12 may refer to the map information DB 16 to obtain a road link number or the like for identifying the road on which the image information was captured, and record the acquired information in association with the image file. Also, the regional information of the region on which the road on which the vehicle is traveling may be associated. The area information is, for example, area mesh information such as a standard area mesh code and a divided area mesh code. However, the regional information may be information indicating a municipality or the like, or may be information separated by latitude and longitude that specify a region.

映像情報通知部１３は、ドライブレコーダ２０で撮影された映像情報の配信先の登録を受け付ける。映像情報通知部１３は、例えば、通信部１０５ｃを介してネットワークＮ３に接続されたユーザ端末３０への配信登録を受け付ける。また、映像情報通知部１３は、ユーザ端末３０を介して搭乗者がアカウント（例えば、登録ＩＤおよびパスワード等）を有するＳＮＳサーバ４０への配信登録を受け付ける。なお、映像情報通知部１３は、配信登録を受け付ける際に、動画データへの配信限定の指示や映像情報の記録期間等の指示を受け付けるようにしてもよい。また、映像情報通知部１３は、入出力Ｉ／Ｆ１０４を介して、搭乗者が操作するタッチパネルや操作ボタンの操作入力を受け付け、配信登録を行うようにしてもよい。映像情報通知部１３は、配信登録を受け付けたユーザ端末３０の識別情報（端末ＩＤ）、ＳＮＳサーバ４０へのアカウントを映像情報の配信先として、配信時の条件とともにユーザ情報ＤＢ１５に格納する。 The image information notifying unit 13 receives registration of distribution destinations of image information shot by thedrive recorder 20 . The image information notification unit 13 receives, for example, distribution registration to theuser terminal 30 connected to the network N3 via the communication unit 105c. In addition, the video information notification unit 13 accepts distribution registration to the SNS server 40 in which the passenger has an account (for example, registration ID and password) via theuser terminal 30 . Note that the video information notification unit 13 may receive an instruction to limit distribution to moving image data, an instruction such as a recording period of video information, etc., when receiving distribution registration. In addition, the image information notification unit 13 may receive an operation input of a touch panel or an operation button operated by the passenger via the input/output I/F 104 and perform distribution registration. The video information notification unit 13 stores the identification information (terminal ID) of theuser terminal 30 that has accepted the distribution registration and the account to the SNS server 40 as the distribution destination of the video information together with the distribution conditions in the user information DB 15 .

そして、映像情報通知部１３は、ユーザ情報ＤＢ１５に登録された配信先情報にしたがって、ドライブレコーダ２０で撮影された映像情報を適宜に配信（例えば、プッシュ配信）する。車両２内のユーザ端末３０には、通信部１０５ｃを通じて接続されたネットワークＮ３を介して映像情報が配信される。また、ＳＮＳサーバ４０には、通信部１０５ｂを通じて接続されたネットワークＮ１を介して映像情報が配信される。 Then, the image information notification unit 13 appropriately distributes (for example, push distribution) the image information captured by thedrive recorder 20 according to the distribution destination information registered in the user information DB 15 . Video information is delivered to theuser terminal 30 in the vehicle 2 via the network N3 connected through the communication unit 105c. Video information is distributed to the SNS server 40 via the network N1 connected through the communication unit 105b.

図４は、映像情報ＤＢ１４に格納される映像情報の一例を示す図である。図４に示されるように、映像情報は映像情報テーブルとして管理される。図４において、映像情報テーブルは、Ｎｏ、取得日時、映像ＩＤ、記録期間、位置情報、リンクＮｏの各フィールドを有する。なお、映像情報テーブルに格納される情報は、適宜にフィールドの追加、変更、削除が可能である。 FIG. 4 is a diagram showing an example of video information stored in the video information DB 14. As shown in FIG. As shown in FIG. 4, video information is managed as a video information table. In FIG. 4, the video information table has fields of No, date and time of acquisition, video ID, recording period, position information, and link No. It should be noted that the information stored in the video information table can be appropriately added, changed, or deleted.

Ｎｏには、搭乗者による記録・保存の意図の検知を契機として保存された映像ファイルの管理番号が格納される。取得日時には、映像ファイルが撮影された日付を示す情報が格納される。映像ＩＤには、映像ファイルを識別する識別番号が格納される。記録期間には、映像ファイルが記録された開始時刻および終了時刻を示す情報が格納される。なお、映像情報が予め設定された単位期間で取得される場合には、映像情報の記録開始時刻と記録時間を示す情報が格納されてもよい。位置情報には、映像情報が撮影された車両２の位置を示す位置情報（緯度、経度等）が格納される。リンクＮｏには、映像情報が撮影された車両２が存在する道路リンク番号を示す情報が格納される。なお、リンクＮｏには、交差
点等のノード番号や住所等が含まれてもよい。位置情報およびリンクＮｏには、複数の位置情報およびリンク番号が格納され得る。In No, the management number of the video file saved when the passenger's intention to record/save is detected is stored. Acquisition date and time stores information indicating the date when the video file was shot. The video ID stores an identification number that identifies the video file. Information indicating the start time and end time when the video file was recorded is stored in the recording period. Note that when video information is acquired in a preset unit period, information indicating the recording start time and recording time of the video information may be stored. The position information stores position information (latitude, longitude, etc.) indicating the position of the vehicle 2 where the video information was captured. The link No stores information indicating the road link number on which the vehicle 2 on which the image information is captured exists. Note that the link No. may include a node number such as an intersection, an address, and the like. A plurality of position information and link numbers can be stored in the position information and link number.

（処理の流れ）
図５から図６を参照して、本実施形態に係る動画保存システム１の処理を説明する。図５は、車載カメラ２ａで撮影された動画データに基づいて車載装置１０が実行する処理の流れの一例を示すフローチャートである。図６は、車内マイク２ｄで集音された車両２内の音声データに基づいて車載装置１０が実行する処理の流れの一例を示すフローチャートである。車載装置１０を搭載する車両２の使用者は、車載カメラ２ａの構成に応じて処理の実行を適宜に選択できる。(Processing flow)
Processing of the moving image saving system 1 according to the present embodiment will be described with reference to FIGS. 5 and 6. FIG. FIG. 5 is a flowchart showing an example of the flow of processing executed by the in-vehicle device 10 based on video data captured by the in-vehicle camera 2a. FIG. 6 is a flow chart showing an example of the flow of processing executed by the in-vehicle device 10 based on audio data in the vehicle 2 collected by the in-vehicle microphone 2d. A user of the vehicle 2 in which the in-vehicle device 10 is mounted can appropriately select execution of the process according to the configuration of the in-vehicle camera 2a.

図５において、車載装置１０は、処理の開始後、ネットワークＮ２を介してドライブレコーダ２０から映像情報を取得する（ステップＳ１）と、処理はステップＳ２に進む。映像情報には、少なくとも車載カメラ２ａで撮影された動画データと、車内マイク２ｄで集音された車内の音声データが含まれる。また、映像情報には、時刻情報、位置情報センサ２ｃによって取得された車両２の位置情報が含まれてもよい。 In FIG. 5, after starting the process, the in-vehicle device 10 acquires video information from thedrive recorder 20 via the network N2 (step S1), and the process proceeds to step S2. The video information includes at least video data captured by the vehicle-mounted camera 2a and voice data inside the vehicle collected by the vehicle microphone 2d. The video information may also include time information and position information of the vehicle 2 acquired by the position information sensor 2c.

ステップＳ２において、車載装置１０は、取得された映像情報から、車両２に搭乗する搭乗者が、ドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを、当該搭乗者に接触することなく検知する。車載装置１０は、例えば、車載カメラ２ａで撮影された動画データから、車両２内に存在する搭乗者の、映像情報の記録・保存の意図を示す身振りや手振り等のジェスチャ、表情の変化を公知の画像認識技術により検知する。車載装置１０は、映像情報の記録・保存の意図を示す身振りや手振り等のジェスチャ、表情の変化等が検知されない場合には（ステップＳ２、“Ｎｏ”）、画像認識処理を継続する。一方、映像情報の記録・保存の意図を示す身振りや手振り等のジェスチャ、表情の変化等が検知された場合には（ステップＳ２、“Ｙｅｓ”）、処理はステップＳ３に進む。 In step S2, the in-vehicle device 10 informs the passenger that the passenger boarding the vehicle 2 intends to record/save the video information captured by thedrive recorder 20 from the acquired video information. Detect without contact. The in-vehicle device 10, for example, from the video data captured by the in-vehicle camera 2a, the gesture such as gestures and hand gestures indicating the intention of recording/storing the video information of the passenger present in the vehicle 2, and changes in facial expressions are known. image recognition technology. The in-vehicle device 10 continues the image recognition processing when a gesture such as a gesture indicating the intention of recording/storing the video information, a change in facial expression, or the like is not detected (step S2, "No"). On the other hand, when a gesture such as a gesture indicating the intention of recording/storing video information, a change in facial expression, or the like is detected (step S2, "Yes"), the process proceeds to step S3.

ステップＳ３では、車載装置１０は、ドライブレコーダ２０で撮影された所定期間の映像情報を映像ファイルとして映像情報ＤＢ１４に記録・保存すると、処理はステップＳ４に進む。映像ファイルには、例えば、当該映像ファイルを識別する識別情報（映像ＩＤ）、当該映像ファイルが撮影された日時、記録期間を示す時刻情報（開始時刻、終了時刻等）、車両２が位置する位置情報（記録開始位置、記録終了位置）等が付与される。また、映像ファイルには、映像情報が撮影された走行中の道路を識別する道路リンク番号、走行中の地域についての地域情報（地域メッシュ情報、市区町村名、緯度・経度等）が関連付けされてもよい。 In step S3, the in-vehicle device 10 records and saves the video information of the predetermined period captured by thedrive recorder 20 in the video information DB 14 as a video file, and the process proceeds to step S4. The video file includes, for example, identification information (video ID) for identifying the video file, the date and time when the video file was shot, time information indicating the recording period (start time, end time, etc.), the position where the vehicle 2 is located, Information (recording start position, recording end position) and the like are given. In addition, the video file is associated with a road link number that identifies the road on which the video information was shot, and regional information (regional mesh information, municipality name, latitude/longitude, etc.) about the area on which the video is being driven. may

ステップＳ４では、車載装置１０は、予め登録された配信先（搭乗者のユーザ端末３０、ＳＮＳサーバ４０等）にドライブレコーダ２０で撮影された映像情報を配信する。例えば、車両２内のユーザ端末３０には、通信部１０５ｃを通じて接続されたネットワークＮ３を介して映像情報が配信される。また、ＳＮＳサーバ４０等のサーバ装置には、通信部１０５ｂを通じて接続されたネットワークＮ１を介して映像情報が配信される。ステップＳ４の処理の終了後、本ルーチンを一旦終了する。 In step S4, the in-vehicle device 10 distributes the image information captured by thedrive recorder 20 to pre-registered distribution destinations (passenger'suser terminal 30, SNS server 40, etc.). For example, video information is distributed to theuser terminal 30 in the vehicle 2 via the network N3 connected through the communication unit 105c. Video information is distributed to the server device such as the SNS server 40 through the network N1 connected through the communication unit 105b. After completing the process of step S4, this routine is temporarily terminated.

次に、図６を用いて、車内マイク２ｄで集音された車両２内の音声データに基づく処理の流れを説明する。図６において、車載装置１０は、処理の開始後、ネットワークＮ２を介してドライブレコーダ２０から映像情報に含まれる音声データを取得する（ステップＳ１１）と、処理はステップＳ１２に進む。なお、ステップＳ１１の処理においては、車載装置１０は、映像情報とは区別して、車内マイク２ｄで集音された音声データのみをドライブレコーダ１０から取得してもよい。音声データに限定することにより、車載装置１０
の処理負担が軽減する。Next, with reference to FIG. 6, the flow of processing based on voice data inside the vehicle 2 picked up by the in-vehicle microphone 2d will be described. In FIG. 6, after starting the process, the in-vehicle device 10 acquires the audio data included in the video information from thedrive recorder 20 via the network N2 (step S11), and the process proceeds to step S12. In addition, in the process of step S11, the in-vehicle device 10 may acquire only the audio data collected by the in-vehicle microphone 2d from thedrive recorder 10 separately from the video information. By limiting to voice data, the in-vehicle device 10
processing load is reduced.

ステップＳ１２において、車載装置１０は、取得された音声情報（音声データ）から、車両２に搭乗する搭乗者が、ドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを、当該搭乗者に接触することなく検知する。車載装置１０は、例えば、車内マイク２ｄで集音された音声データから、車両２内に存在する搭乗者の、映像情報の記録・保存の意図を示す「撮って！」、「今、今！」、「データを記録」といった発声（音声）を公知の音声認識技術により検知する。 In step S12, the in-vehicle device 10 detects from the acquired audio information (audio data) that the passenger boarding the vehicle 2 intends to record/save the video information captured by thedrive recorder 20. Detect without contacting the passenger. The in-vehicle device 10, for example, from audio data collected by the in-vehicle microphone 2d, indicates the intention of the passenger present in the vehicle 2 to record/save the video information "Take a picture!", "Now, now! ” and “record data” are detected by a known speech recognition technology.

車載装置１０は、映像情報の記録・保存の意図を示す発声（音声）が検知されない場合には（ステップＳ１２、“Ｎｏ”）、画像認識処理を継続する。一方、映像情報の記録・保存の意図を示す発声（音声）が検知された場合には（ステップＳ１２、“Ｙｅｓ”）、処理はステップＳ１３に進む。 The in-vehicle device 10 continues the image recognition processing when the utterance (sound) indicating the intention of recording/storing the video information is not detected (step S12, "No"). On the other hand, if the utterance (voice) indicating the intention of recording/storing the video information is detected (step S12, "Yes"), the process proceeds to step S13.

ステップＳ１３では、車載装置１０は、ネットワークＮ２を介してドライブレコーダ２０から映像情報を取得する。そして、処理はステップＳ１４、ステップＳ１５に進む。ステップＳ１４では図４に示すステップＳ３と同様の処理が行われ、ステップＳ１５では図４に示すステップＳ４と同様の処理が行われる。車内マイク２ｄで集音された音声データに基づく処理が行われる場合でも、搭乗者による映像情報の記録・保存の意図の検知を契機として、ドライブレコーダ２０で撮影された所定期間の映像情報が映像ファイルとして映像情報ＤＢ１４に記録・保存される。また、予め登録された配信先（搭乗者のユーザ端末３０、ＳＮＳサーバ４０等のネットワークＮ１に接続されるサーバ装置等）にドライブレコーダ２０で撮影された映像情報が、関連するネットワーク（Ｎ３、Ｎ１）を通じて配信される。ステップＳ１５の処理の終了後、本ルーチンを一旦終了する。 In step S13, the in-vehicle device 10 acquires video information from thedrive recorder 20 via the network N2. Then, the process proceeds to steps S14 and S15. In step S14, the same processing as step S3 shown in FIG. 4 is performed, and in step S15, the same processing as step S4 shown in FIG. 4 is performed. Even when processing is performed based on audio data collected by the in-vehicle microphone 2d, when the passenger's intention to record/save video information is detected, the video information captured by thedrive recorder 20 for a predetermined period is recorded as video. It is recorded and saved in the video information DB 14 as a file. In addition, video information captured by thedrive recorder 20 is transmitted to pre-registered distribution destinations (passenger'suser terminal 30, server device connected to the network N1 such as the SNS server 40, etc.) to related networks (N3, N1 ). After completing the process of step S15, this routine is temporarily terminated.

以上の処理により、本実施形態に係る動画保存システム１では、車両２に搭乗する搭乗員がドライブレコーダ２０で撮影された映像情報の記録・保存を意図していることを搭乗員に接触することなく検知できる。本実施形態に係る車載装置１０は、例えば、車載カメラ２ａで撮影された動画データから、映像情報の記録・保存の意図を示す搭乗者のジェスチャや表情の変化を検知可能とする。また、車載装置１０は、車内マイク２ｄで集音された車両２内の音声データから、映像情報の記録・保存の意図を示す搭乗者の発声（音声）を検知可能とする。そして、本実施形態に係る車載装置１０は、ドライブレコーダ２０で撮影された映像情報の記録・保存の意図が検知されたことを契機として、所定の期間の映像情報を映像情報ＤＢ１４に記録・保存できる。 With the above processing, the video storage system 1 according to the present embodiment can contact the crew member boarding the vehicle 2 to inform them that they intend to record/save the video information captured by thedrive recorder 20. can be detected without The in-vehicle device 10 according to the present embodiment can detect, for example, a change in the passenger's gesture indicating the intention of recording/storing video information or facial expression from video data captured by the in-vehicle camera 2a. Further, the in-vehicle device 10 can detect the utterance (voice) of the passenger indicating the intention of recording/storing the video information from the audio data in the vehicle 2 collected by the in-vehicle microphone 2d. Then, the in-vehicle device 10 according to the present embodiment records/stores video information for a predetermined period in the video information DB 14 when an intention to record/save the video information captured by thedrive recorder 20 is detected. can.

本実施形態に係る動画保存システム１によれば、搭乗員の所定の表情や動作、発声を接触することなく検知し、搭乗員の所望のタイミングで即時に映像情報を保存できるため、映像情報を保存する際のドライブレコーダ２０における利便性が向上する。 According to the video storage system 1 according to the present embodiment, it is possible to detect the crew member's predetermined expressions, actions, and vocalizations without contact, and to store the video information immediately at the timing desired by the crew member. The convenience of thedrive recorder 20 when saving is improved.

＜その他の実施形態＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。<Other embodiments>
The above-described embodiment is merely an example, and the present disclosure can be modified as appropriate without departing from the scope of the present disclosure. The processes and means described in the present disclosure can be freely combined and implemented as long as there is no technical contradiction.

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。例えば、ドライブレコーダ２０が車載装置１０の機能を備え、一体的に構成されてもよく、車載装置１０がドライブレコーダ１０の機能を備え、一体的に構成されてもよい。また、車載装置１０
が備える映像情報ＤＢ１４に映像ファイルが記録・保存されるものとして説明したが、当該映像ファイルの保存先は、例えば、ネットワークＮ１に接続された外部記憶装置であってもよく、ネットワークＮ１に接続されたユーザ端末でもよい。Also, the processing described as being performed by one device may be shared and performed by a plurality of devices. Alternatively, processes described as being performed by different devices may be performed by one device. In a computer system, it is possible to flexibly change the hardware configuration (server configuration) to implement each function. For example, thedrive recorder 20 may have the functions of the in-vehicle device 10 and be configured integrally, or the in-vehicle device 10 may have the functions of thedrive recorder 10 and be configured integrally. Also, the in-vehicle device 10
Although it has been described that the video file is recorded and saved in the video information DB 14 provided by , the storage destination of the video file may be, for example, an external storage device connected to the network N1. A user terminal may also be used.

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、または光学式カードのような、電子的命令を格納するために適した任意のタイプの媒体を含む。 The present disclosure can also be implemented by supplying a computer program implementing the functions described in the above embodiments to a computer, and reading and executing the program by one or more processors of the computer. Such a computer program may be provided to the computer by a non-transitory computer-readable storage medium connectable to the system bus of the computer, or may be provided to the computer via a network. A non-transitory computer readable storage medium is any type of disk such as, for example, a magnetic disk (floppy disk, hard disk drive (HDD), etc.), an optical disk (CD-ROM, DVD disk, Blu-ray disk, etc.), It includes any type of medium suitable for storing electronic instructions, such as read only memory (ROM), random access memory (RAM), EPROM, EEPROM, magnetic card, flash memory, or optical card.

１ 動画保存システム
２ 車両
１０ 車載装置
１１ 画像・音声取得部
１２ 映像情報処理部
１３ 映像情報通知部
１４ 映像情報データベース
１５ ユーザ情報データベース
１６ 地図情報データベース
２０ ドライブレコーダREFERENCE SIGNS LIST 1 moving picture storage system 2vehicle 10 in-vehicle device 11 image/sound acquisition unit 12 video information processing unit 13 video information notification unit 14 video information database 15 user information database 16map information database 20 drive recorder

Claims (1)

Translated fromJapanese

車両の乗員が前記車両に取り付けられたドライブレコーダで撮影された映像情報の保存を意図していることを前記乗員に接触することなく検知可能な検知手段と、
前記映像情報の保存の意図が検知されたときに、所定の期間の前記ドライブレコーダで撮影された映像情報を保存先の装置に保存する制御部と、
を備える、情報処理システム。a detection means capable of detecting, without contacting the occupant, that the occupant of the vehicle intends to store video information captured by a drive recorder attached to the vehicle;
a control unit that stores video information captured by the drive recorder for a predetermined period in a storage destination device when an intention to store the video information is detected;
An information processing system comprising:

Images