JP7233787B1

Movatterモバイル変換

Info

Publication number: JP7233787B1
Application number: JP2022192629A
Authority: JP
Inventors: 貴紀臼井
Original assignee: Hubbit
Current assignee: Hubbit
Priority date: 2022-12-01
Filing date: 2022-12-01
Publication date: 2023-03-07
Anticipated expiration: 2042-12-01
Also published as: JP2024079930A; WO2024116429A1

Abstract

Translated fromJapanese

【課題】高齢や障害等で聴覚が低下した対象者が好適に参加可能なビデオ通話技術を提供すること。
【解決手段】コンピュータ装置が実行するビデオ通話方法であって、前記コンピュータ装置は、記憶部に格納されたコンピュータ読取可能な命令を実行するように構成された少なくとも１つの処理部を含み、前記ビデオ通話方法は、前記少なくとも１つの処理部が、前記ビデオ通話中に、対象者と共にビデオ通話に参加する１又は複数の参加者の画像を、前記対象者の１つのビデオ通話画面に表示させる対象者画面表示工程と、前記少なくとも１つの処理部が、前記参加者から送信された投稿を受け付ける投稿受付工程と、前記少なくとも１つの処理部が、前記対象者の１つのビデオ通話画面において、さらに、送信された前記投稿を表示させる投稿表示工程と、を有する。
【選択図】図６

An object of the present invention is to provide video call technology in which a target person whose hearing is impaired due to age, disability, or the like can preferably participate.
A video calling method performed by a computing device, the computing device including at least one processing unit configured to execute computer readable instructions stored in a storage unit, the video In the call method, the at least one processing unit displays images of one or more participants participating in the video call with the target person on one video call screen of the target person during the video call. a screen display step; a post reception step in which the at least one processing unit receives a post sent from the participant; and a post display step of displaying the posted post.
[Selection drawing] Fig. 6

Description

Translated fromJapanese

本発明は、ビデオ通話方法、コンピュータプログラム及びビデオ通話システムに関する。 The present invention relates to a video call method, a computer program and a video call system.

近年、スマートフォンやタブレット端末等、カメラを備えたデバイスの常用化によって、相手の顔を見ながら通話を楽しむことのできるビデオ通話サービスが提供されるようになった。 2. Description of the Related Art In recent years, with the widespread use of devices equipped with cameras, such as smartphones and tablet terminals, video call services have been provided that allow users to enjoy talking while looking at the other party's face.

特許文献１には、ビデオ通話ボットを利用してコミュニケーションが可能なビデオ通話サービスに関する技術が開示されている。 Patent Literature 1 discloses a technology related to a video call service that enables communication using a video call bot.

また、例えば、高齢者等の見守りや、遠隔地にいる家族間でのコミュニケーションの手段としても、ビデオ通話サービスが利用されている。 Video call services are also used, for example, as a means of watching over the elderly and communicating with family members in remote locations.

特許文献２には、定型メッセージの発信や音声会話を実行することができる見守り装置及び見守りシステムに関する技術が開示されている。Patent Literature 2 discloses a technology related to a watching device and a watching system capable of transmitting fixed messages and performing voice conversations.

特開２０２１－１２９２９６号公報Japanese Patent Application Laid-Open No. 2021-129296特開２０１７－２０８６５７号公報JP 2017-208657 A

ところで、高齢や障害等で聴覚が低下した参加者（対象者と呼称する）がビデオ通話に参加する場合、他の参加者の音声を十分に聞き取れない場合がある。例えば、難聴で全参加者の音声が聞き取れない対象者もいれば、参加者の声量や声質、ネットワークの状況、参加者のマイク性質・状態等の様々な要因から、特定の参加者の音声のみ聞き取れない対象者の場合もある。 By the way, when a participant (referred to as a target participant) whose hearing has deteriorated due to age, disability, or the like participates in a video call, it may be difficult to hear the voices of other participants sufficiently. For example, some participants may not be able to hear the voices of all participants due to hearing loss. In some cases, the target audience cannot be heard.

本発明は、高齢や障害等で聴覚が低下した対象者が好適に参加可能なビデオ通話技術を提供することを、解決すべき課題とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a video call technology that allows a target person whose hearing is impaired due to age, disability, or the like to preferably participate.

上記課題を解決するために、本発明は、コンピュータ装置が実行するビデオ通話方法であって、
前記コンピュータ装置は、記憶部に格納されたコンピュータ読取可能な命令を実行するように構成された少なくとも１つの処理部を含み、
前記ビデオ通話方法は、
前記少なくとも１つの処理部が、ビデオ通話中に、対象者と共にビデオ通話に参加する１又は複数の参加者の画像を、前記対象者の１つのビデオ通話画面に表示させる対象者画面表示工程と、
前記少なくとも１つの処理部が、前記参加者から送信された投稿を受け付ける投稿受付工程と、
前記少なくとも１つの処理部が、前記対象者の１つのビデオ通話画面において、さらに、前記投稿を表示させる投稿表示工程と、を有する。In order to solve the above problems, the present invention provides a video call method executed by a computer device,
said computing device comprising at least one processing unit configured to execute computer readable instructions stored in a memory unit;
The video call method is
a target person screen display step in which the at least one processing unit causes an image of one or more participants participating in the video call with the target person to be displayed on one video call screen of the target person during the video call;
a post acceptance step in which the at least one processing unit accepts a post transmitted from the participant;
The at least one processing unit further includes a post display step of displaying the post on one video call screen of the target person.

このような構成とすることで、ビデオ通話に参加した対象者に対して、参加者の画像と共に投稿を表示させることが可能となり、対象者が参加したビデオ通話におけるコミュニケーションをより円滑化できる。 With such a configuration, it is possible to display the post together with the image of the participant to the target person who has participated in the video call, and the communication in the video call in which the target person has participated can be made smoother.

本発明の好ましい形態では、前記投稿表示工程は、
前記対象者の１つのビデオ通話画面において、前記投稿を送信した前記参加者の画像を識別表示させる識別表示工程を有する。In a preferred embodiment of the present invention, the post display step includes:
An identification display step of identifying and displaying an image of the participant who sent the post on one video call screen of the target person.

本発明の好ましい形態では、前記識別表示工程は、
前記対象者の１つのビデオ通話画面において、前記投稿を送信した前記参加者の画像縁部を強調表示させる。In a preferred embodiment of the present invention, the identifying step includes:
In the video call screen of one of the subjects, the image edge of the participant who sent the post is highlighted.

このような構成とすることで、投稿を送信した参加者の判別が用意となり、対象者が参加したビデオ通話におけるコミュニケーションをより円滑化できる。 By adopting such a configuration, it becomes easy to determine the participant who sent the post, and the communication in the video call in which the target person participates can be made smoother.

本発明の好ましい形態では、前記対象者の１つのビデオ通話画面は、
前記対象者と共にビデオ通話に参加する全ての参加者の画像を含む一方で、前記対象者の画像を含まない。In a preferred form of the invention, one video call screen of said subject comprises:
Contains images of all participants participating in a video call with the subject, but does not include the subject's image.

本発明の好ましい形態では、さらに、前記少なくとも１つの処理部が、前記ビデオ通話中に、前記対象者及び参加者の画像を、前記参加者の１つのビデオ通話画面に表示させる参加者画面表示工程を有する。 In a preferred embodiment of the present invention, the at least one processing unit further displays the images of the target person and the participant on one video call screen of the participant during the video call. have

このような構成とすることで、対象者用のビデオ通話画面における参加者の画像の表示領域を確保し、特に高齢者等の対象者が参加したビデオ通話におけるコミュニケーションを円滑化できる。 By adopting such a configuration, it is possible to secure a display area for the image of the participant on the video call screen for the target person, and facilitate smooth communication in the video call in which the target person such as an elderly person participates.

本発明の好ましい形態では、前記参加者の１つのビデオ通話画面は、
前記対象者の画像並びに、自己の画像及び他の参加者の画像の全てを含み、
前記対象者の画像が、その他の画像より大きく配置される。In a preferred form of the invention, the video call screen of one of said participants comprises:
Including all images of the subject and images of himself and other participants,
The image of the subject is positioned larger than the other images.

このような構成とすることで、参加者用のビデオ通話画面における対象者の画像の表示領域を確保し、特定対象が参加したビデオ通話におけるコミュニケーションを円滑化できる。 By adopting such a configuration, it is possible to secure a display area for the target person's image on the video call screen for participants, and facilitate communication in the video call in which the specific target participates.

本発明の好ましい形態では、さらに、前記少なくとも１つの処理部が、前記参加者の１つのビデオ通話画面を介して投稿を入力する投稿入力工程と、
前記少なくとも１つの処理部が、前記投稿を送信する投稿送信工程と、を有し、
前記投稿入力工程は、所定文字数を超えるメッセージの入力を受け付けない、若しくは、
前記投稿送信工程は、前記投稿入力工程において所定文字数を超えるメッセージが入力された場合、投稿を抑止する。In a preferred embodiment of the present invention, the at least one processing unit further includes a post input step of inputting a post via one video call screen of the participant;
a post transmission step in which the at least one processing unit transmits the post;
The post input step does not accept input of a message exceeding a predetermined number of characters, or
The post sending step inhibits posting when a message exceeding a predetermined number of characters is input in the post inputting step.

このような構成とすることで、対象者用のビデオ通話画面におけるメッセージ投稿の表示範囲や表示サイズ、情報量等を調整でき、特に高齢者等の対象者が参加したビデオ通話におけるコミュニケーションを円滑化できる。 By adopting such a configuration, it is possible to adjust the display range, display size, amount of information, etc. of message posting on the video call screen for the target person, and facilitate communication especially in the video call in which the target person such as the elderly participates. can.

また、本発明は、前記ビデオ通話方法を前記コンピュータ装置に実行させる、コンピュータプログラムである。 Further, the present invention is a computer program that causes the computer device to execute the video call method.

また、本発明は、ビデオ通話システムであって、
ビデオ通話中に、対象者と共にビデオ通話に参加する１又は複数の参加者の画像を、前記対象者の１つのビデオ通話画面に表示させるビデオ通話処理部と、
前記参加者から送信された投稿を受け付ける投稿受付部と、
前記対象者の１つのビデオ通話画面において、さらに、前記投稿を表示させる投稿表示部と、を備える。Further, the present invention is a video call system,
a video call processing unit for displaying, during a video call, images of one or more participants participating in a video call with a subject on one video call screen of the subject;
a post reception unit that receives posts sent from the participants;
A post display unit for displaying the post on the one video call screen of the target person.

本発明は、高齢や障害等で聴覚が弱い対象者が好適に参加可能なビデオ通話技術を提供することができる。 INDUSTRIAL APPLICABILITY The present invention can provide a video call technology that allows a target person who has poor hearing due to age or disability to participate preferably.

一実施の形態のシステムの構成を示すブロック図。1 is a block diagram showing the configuration of a system according to one embodiment; FIG.一実施の形態のシステムのハードウェア構成図。1 is a hardware configuration diagram of a system according to an embodiment; FIG.一実施の形態のシステムの機能ブロック図。1 is a functional block diagram of a system according to one embodiment; FIG.一実施の形態のシステムにおける投稿送信時の処理フローチャート。4 is a processing flowchart when sending a post in the system according to one embodiment;一実施の形態のシステムにおける参加者端末装置の画面表示例。A screen display example of a participant terminal device in the system of one embodiment.一実施の形態のシステムにおける対象者端末装置の画面表示例。A screen display example of the target person terminal device in the system of one embodiment.

以下、添付図面を参照して、更に詳細に説明する。図面には好ましい実施形態が示されている。しかし、多くの異なる形態で実施されることが可能であり、本明細書に記載される実施形態に限定されない。 A more detailed description is given below with reference to the accompanying drawings. Preferred embodiments are shown in the drawings. It may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.

例えば、本実施形態ではビデオ通話システムの構成、動作等について説明するが、実行される方法、装置、コンピュータプログラム等によっても、同様の作用効果を奏することができる。プログラムは、コンピュータが読み取り可能な非一過性の記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよい。 For example, although the configuration, operation, etc. of the video call system will be described in the present embodiment, similar effects can be achieved by methods, devices, computer programs, etc. that are executed. The program may be provided as a computer-readable non-transitory recording medium, or may be provided downloadably from an external server.

本実施形態では、特に、高齢者である対象者と、その家族やその他見守りを行う１又は複数名の参加者がビデオ通話を行う場合について説明を行う。対象者は高齢者に限られず、音声が聞こえない又は聞き取り辛い者が対象者となり得る。 In this embodiment, a case will be described in which a target person who is an elderly person and one or a plurality of participants who are watching over his or her family members make a video call. The target person is not limited to the elderly, and the target person can be a person who cannot hear or has difficulty hearing.

＜１．システム構成＞
図１は、一実施の形態のシステムの構成を示すブロック図である。図１に示すように、ビデオ通話システム０は、対象者端末装置１、参加者端末装置２及び、コミュニケーションシステム３を備え、これらがネットワーク４を介して通信可能に構成される。<1. System configuration>
FIG. 1 is a block diagram showing the configuration of a system according to one embodiment. As shown in FIG. 1, avideo call system 0 includes a target person terminal device 1, aparticipant terminal device 2, and acommunication system 3, which are configured to be communicable via anetwork 4. FIG.

対象者端末装置１及び参加者端末装置２として、パーソナルコンピュータやスマートフォン、タブレット端末等の端末装置９を利用することができる。対象者端末装置１は対象者用ビデオ通話プログラムを、参加者端末装置２は参加者用ビデオ通話プログラムを実行することで、コミュニケーションシステム３を介してビデオ通話を行うことができる。本実施形態では、これらビデオ通話プログラムは図示しないプログラム提供装置よりダウンロードされたビデオ通話機能を有するクライアントアプリケーションであるが、例えば、端末装置９に、プリインストール又は事前にダウンロードされたウェブブラウザアプリケーション等を介して、ビデオ通話を行うこととしてもよい。 As the target person terminal device 1 and theparticipant terminal device 2, aterminal device 9 such as a personal computer, a smart phone, or a tablet terminal can be used. The target person terminal device 1 executes the target person video call program, and theparticipant terminal device 2 executes the participant video call program, whereby a video call can be made via thecommunication system 3 . In this embodiment, these video call programs are client applications having a video call function downloaded from a program providing device (not shown). It is also possible to make a video call via

コミュニケーションシステム３は、汎用のサーバやパーソナルコンピュータ等のサーバ装置１０を１又は複数利用することができる。対象者端末装置１及び参加者端末装置２によるビデオ通話は、例えば、ＷｅｂＲＴＣ（Web Real-Time Communication）規格に準拠したセッションを介して実現されるが、例えばＨＴＴＰ、ＷｅｂＳｏｃｋｅｔなどの規格に準拠したセッションを確立することで行われてもよい。コミュニケーションシステム３は、ビデオ通話を実現するための資源として、画面表示の為のウェブサーバやＳＴＵＮサーバ、ＴＵＲＮサーバ、シグナリングサーバ等を適宜備える。以降、コミュニケーションシステム３の介在については、不明にならない範囲で説明を省略する。 Thecommunication system 3 can use one or a plurality of server devices 10 such as general-purpose servers and personal computers. A video call between the target person terminal device 1 and theparticipant terminal device 2 is realized, for example, through a session conforming to the WebRTC (Web Real-Time Communication) standard. This may be done by establishing Thecommunication system 3 appropriately includes a web server for screen display, a STUN server, a TURN server, a signaling server, etc., as resources for realizing a video call. Henceforth, explanation about the intervention of thecommunication system 3 is omitted as long as it does not become unclear.

ネットワーク４は、本実施形態では、ＩＰ（Internet Protocol）ネットワークであるが、通信プロトコルの種類、ネットワークの種類等にも制限はない。 Although thenetwork 4 is an IP (Internet Protocol) network in this embodiment, there are no restrictions on the type of communication protocol, the type of network, and the like.

＜１．１．ハードウェア構成＞
図２は、端末装置９のハードウェア構成図である。図２に示すように、端末装置９（対象者端末装置１及び参加者端末装置２）は、処理部９０１、記憶部９０２、通信部９０３、入力部９０４及び出力部９０５を有し、各部及び各工程の作用発揮に用いられる。<1.1. Hardware configuration>
FIG. 2 is a hardware configuration diagram of theterminal device 9. As shown in FIG. As shown in FIG. 2, the terminal device 9 (subject terminal device 1 and participant terminal device 2) has aprocessing unit 901, astorage unit 902, acommunication unit 903, aninput unit 904 and anoutput unit 905. It is used for exerting the action of each process.

処理部９０１は、命令セットを実行可能なＣＰＵなどのプロセッサを有し、ＯＳやビデオ通話プログラム、ウェブブラウザアプリケーション等を実行する。
記憶部９０２は、命令セットを記憶可能なＲＡＭなどの揮発性メモリ、ＯＳ、ビデオ通話プログラム等を記録可能な、ＨＤＤやＳＳＤなどの不揮発性の記録媒体を有する。
通信部９０３は、ネットワークに物理的に接続するためのインタフェースを有し、ネットワーク４との通信制御を実行して、情報の入出力を行う。
入力部９０４は、タッチパネルやキーボードなどの入力処理が可能な操作入力デバイス、マイクなどの音声入力が可能な音声入力デバイス、カメラなどの画像入力が可能な画像入力デバイスを有する。
出力部９０５は、ディスプレイなどの表示処理が可能な表示デバイス、スピーカなどの音声出力デバイスを有する。Aprocessing unit 901 has a processor such as a CPU capable of executing an instruction set, and executes an OS, a video call program, a web browser application, and the like.
Thestorage unit 902 has a volatile memory such as a RAM capable of storing instruction sets, and a non-volatile recording medium such as an HDD or SSD capable of recording an OS, a video call program, and the like.
Thecommunication unit 903 has an interface for physically connecting to the network, executes communication control with thenetwork 4, and inputs/outputs information.
Theinput unit 904 has an operation input device capable of input processing such as a touch panel or a keyboard, a voice input device such as a microphone capable of voice input, and an image input device such as a camera capable of image input.
Theoutput unit 905 has a display device capable of display processing such as a display, and an audio output device such as a speaker.

＜１．２．ビデオ通話システム０の機能構成＞
図３は、ビデオ通話システム０の機能ブロック図である。図３に示すように、対象者端末装置１は、ビデオ通話処理部１１と、投稿受付部１２と、投稿表示部１３と、識別表示部１４を有する。これは、ソフトウェア（記憶部９０２等に一過的又は非一過的に記憶された対象者用ビデオ通話プログラム）による情報処理が、ハードウェア（処理部９０１等）によって具体的に実現されたものである。また、参加者端末装置２は、ビデオ通話処理部２１と、投稿入力部２２と、投稿送信部２３と、ビデオ通話制御部２４と、を有する。これは、ソフトウェア（記憶部９０２等に一過的又は非一過的に記憶された対象者用ビデオ通話プログラム）による情報処理が、ハードウェア（処理部９０１等）によって具体的に実現されたものである。<1.2. Functional Configuration ofVideo Call System 0>
FIG. 3 is a functional block diagram of thevideo call system 0. As shown in FIG. As shown in FIG. 3 , the subject terminal device 1 has a video call processing section 11 , a post reception section 12 , a post display section 13 and an identification display section 14 . This is a specific implementation of information processing by software (a video call program for a subject temporarily or non-temporarily stored in thestorage unit 902 or the like) by hardware (theprocessing unit 901 or the like). is. Theparticipant terminal device 2 also has a video call processing unit 21 , a post input unit 22 , a post transmission unit 23 and a video call control unit 24 . This is a specific implementation of information processing by software (a video call program for a subject temporarily or non-temporarily stored in thestorage unit 902 or the like) by hardware (theprocessing unit 901 or the like). is.

＜１．３．ビデオ通話処理部１１＞
対象者端末装置１のビデオ通話処理部１１は、対象者用ビデオ通話画面を表示させ、ビデオ通話処理を実行する。ビデオ通話処理部１１は、ビデオ通話処理として、対象者端末装置１の音声入力デバイス及び画像入力デバイスを介して取得した音声、画像（映像を含む）を、直接又はコミュニケーションシステム３を介して、参加者端末装置２のビデオ通話処理部２１に送信する。<1.3. video call processing unit 11>
The video call processing unit 11 of the target person terminal device 1 displays a video call screen for the target person and executes video call processing. As video call processing, the video call processing unit 11 directly or via thecommunication system 3 receives voice and images (including video) acquired via the voice input device and image input device of the target person terminal device 1, and participates in thecommunication system 3. It is transmitted to the video call processing section 21 of theuser terminal device 2 .

＜１．４．ビデオ通話処理部２１＞
また、参加者端末装置２のビデオ通話処理部２１は、参加者用ビデオ通話画面を表示させ、ビデオ通話処理を実行する。ビデオ通話処理として、ビデオ通話処理部２１は、参加者端末装置２の音声入力デバイス及び画像入力デバイスを介して取得した音声、画像（映像を含む）を、直接又はコミュニケーションシステム３を介して、対象者端末装置１のビデオ通話処理部１１に送信する。<1.4. video call processing unit 21>
Also, the video call processing unit 21 of theparticipant terminal device 2 displays a video call screen for the participant and executes video call processing. As a video call process, the video call processing unit 21 directly or via thecommunication system 3, the video call processing unit 21 receives voice and images (including video) acquired via the voice input device and the image input device of theparticipant terminal device 2, and sends them to the target It is transmitted to the video call processing unit 11 of the user terminal device 1.

＜１．５．投稿入力部２２＞
参加者端末装置２の投稿入力部２２は、参加者用ビデオ通話画面において、投稿の入力を受け付ける。投稿入力部２２は、参加者端末装置２の操作入力デバイスを介して、メッセージテキストの入力を受け付ける。なお、投稿入力部２２は、参加者端末装置２の音声入力デバイスを介して音声の入力を受け付け、テキスト変換処理を実行することで、メッセージテキストの入力を受け付けてもよい。テキスト変換処理は、参加者用ビデオ通話プログラムが参加者端末装置２をテキスト変換部として機能させることでテキスト変換を行ってもよいし、端末装置９に備わったテキスト変換部に対して音声を受け渡し、テキスト変換処理結果を受け取ることであってもよい。なお、投稿入力部２２は、メッセージだけでなく、画像や動画、スタンプ等も投稿可能であってもよい。<1.5. Post input unit 22>
The post input unit 22 of theparticipant terminal device 2 accepts input of posts on the participant video call screen. The post input unit 22 receives input of message text via the operation input device of theparticipant terminal device 2 . Note that the post input unit 22 may receive input of message text by receiving voice input via the voice input device of theparticipant terminal device 2 and executing text conversion processing. The text conversion process may be performed by the participant video call program causing theparticipant terminal device 2 to function as a text conversion unit, or the voice may be transferred to the text conversion unit provided in theterminal device 9 , to receive the text conversion processing result. Note that the posting input unit 22 may be capable of posting not only messages but also images, videos, stamps, and the like.

＜１．６．投稿送信部２３＞
投稿送信部２３は、入力された投稿を、参加者を識別可能に、直接又はコミュニケーションシステム３を介して、対象者端末装置１の投稿受付部１２に送信する。<1.6. Post transmission unit 23>
The post transmission unit 23 transmits the input post to the post reception unit 12 of the target person terminal device 1 directly or via thecommunication system 3 so that the participant can be identified.

＜１．７．投稿受付部１２、投稿表示部１３、識別表示部１４＞
対象者端末装置１の投稿表示部１３は、投稿受付部１２が受け取った投稿を対象者用ビデオ通話画面に表示させる。また、識別表示部１４は、投稿表示部１３が表示させた投稿を送信した参加者を対象者用ビデオ通話画面に識別可能に表示させる。<1.7. Post Receiving Unit 12, Post Display Unit 13, Identification Display Unit 14>
The post display unit 13 of the target person terminal device 1 displays the post received by the post reception unit 12 on the target person's video call screen. In addition, the identification display unit 14 identifiably displays the participant who sent the post displayed by the post display unit 13 on the video call screen for the target person.

＜１．８．ビデオ通話制御部２４＞
ビデオ通話制御部２４は、対象者端末装置１において入力される音声オン／ミュート及び、ビデオのオン／オフの一方又は双方のコントロールを参加者端末装置２側からハンドリング可能とする。なお、典型的には、対象者による誤操作の解消を行う為にビデオ通話制御部２４は利用され得る。そのため、例えば、ビデオ通話制御部２４によるコントロールは、対象者端末装置１における音声ミュートの解除及び／又はビデオのオンに限られてもよく、音声ミュートやビデオのオフについてはコントロールできなくてもよい。<1.8. video call control unit 24>
The video call control unit 24 enables control of one or both of audio on/mute and video on/off input in the target person terminal device 1 from theparticipant terminal device 2 side. Note that, typically, the video call control unit 24 can be used to eliminate erroneous operations by the subject. Therefore, for example, the control by the video call control unit 24 may be limited to canceling the audio mute and/or turning on the video in the target person terminal device 1, and the audio mute and turning off of the video may not be controlled. .

＜２．ビデオ通話方法＞
図４は、参加者端末装置２から対象者端末装置１へ投稿を送信する際の処理フローチャートである。<2. Video call method>
FIG. 4 is a processing flowchart for transmitting a post from theparticipant terminal device 2 to the target person terminal device 1. As shown in FIG.

＜２．１．ビデオ通話画面の画面表示工程＞
ステップＳ１０１において、対象者端末装置１及び参加者端末装置２は、ビデオ通話を開始する。ビデオ通話処理部２１は、対象者及び参加者の画像（映像）を、参加者の１つのビデオ通話画面に表示させる。<2.1. Screen display process of the video call screen>
In step S101, the target person terminal device 1 and theparticipant terminal device 2 start a video call. The video call processing unit 21 displays images (videos) of the target person and the participants on one video call screen of the participant.

＜２．２．参加者用ビデオ通話画面＞
図５は、参加者用ビデオ通話画面Ｗ２の画面表示例である。参加者用ビデオ通話画面Ｗ２（ａ）は参加者が１人の場合の画面表示例である。また、参加者用ビデオ通話画面Ｗ２（ｂ）は参加者が２人の場合、参加者用ビデオ通話画面Ｗ２（ｃ）は参加者が３人の場合、参加者用ビデオ通話画面Ｗ２（ｄ）は参加者が４人の場合の画面表示例である。<2.2. Video call screen for participants>
FIG. 5 is a screen display example of the participant video call screen W2. The participant video call screen W2(a) is an example of a screen display when there is only one participant. In addition, the participant video call screen W2(b) is displayed when there are two participants, and the participant video call screen W2(c) is displayed when there are three participants, and the participant video call screen W2(d) is displayed. is an example of screen display when there are four participants.

ビデオ通話処理部２１は、参加者が２人以上の場合、参加者用ビデオ通話画面Ｗ２に、対象者の画像Ｗ１１並びに、自己の画像Ｗ２１及び他の参加者の画像Ｗ２２等の全てを並べて配置し、この時、対象者の画像Ｗ１１が、その他の画像（Ｗ２（ｄ）ではＷ２１～Ｗ２５）より大きく配置される。なお、ビデオ通話には任意の人数が参加可能であり、５人以上の参加者が参加可能であってもよい。なお、自身を含めて参加者がＮ人（ｎ＝１，２，・・・，Ｎ）の場合、参加者用ビデオ通話画面Ｗ２には、自己の画像が表示されてもよいし、表示されなくてもよい。また、他の参加者の画像がｍ個（ｍ＋１≦Ｎ）表示されてもよい。即ち、参加者用ビデオ通話画面Ｗ２には、他の参加者の画像として、自身を除くすべての参加者の画像が表示されてもよいし（ｍ＝Ｎ－１）、一部の参加者の画像が表示されてもよい（ｍ＜Ｎ－１）。例えば、Ｗ２（ｄ）の画面（ｍ＝３，Ｎ＞４）において、ビデオ通話の開始直後は、ビデオ通話に入室した順に、Ｗ２２～２４に他の参加者が表示され、それ以降は、発話した順にＷ２２～２４に並べて表示するようにしてもよい。 When there are two or more participants, the video call processing unit 21 arranges the target person's image W11, the own image W21, the other participant's image W22, etc. side by side on the participant's video call screen W2. At this time, the image W11 of the subject is arranged larger than the other images (W21 to W25 in W2(d)). Any number of participants can participate in the video call, and five or more participants may participate. If there are N participants (n=1, 2, . It doesn't have to be. Also, m (m+1≦N) images of other participants may be displayed. That is, on the video call screen W2 for participants, images of all the participants other than the participant may be displayed as images of other participants (m=N−1), or images of some of the participants may be displayed. Images may be displayed (m<N−1). For example, on the screen of W2(d) (m=3, N>4), immediately after the start of the video call, the other participants are displayed in W22 to W24 in the order in which they entered the video call. They may be arranged and displayed on W22 to W24 in the order they were made.

参加者用ビデオ通話画面Ｗ２は、当該参加者端末装置２からの音声入力のオン／オフを切り替え可能な音声切替ボタンＷ２５、当該参加者端末装置２からの画像入力のオン／オフを切り替え可能なカメラ切替ボタンＷ２６、終話ボタンＷ２７、投稿入力ボタンＷ２８を備える。ステップＳ１０２において、終話ボタンＷ２７が押下された場合（ステップＳ１０２でＹＥＳ）、ビデオ通話を終了する。 The video call screen W2 for participants includes an audio switching button W25 capable of switching on/off the voice input from theparticipant terminal device 2, and a voice switching button W25 capable of switching on/off the image input from theparticipant terminal device 2. A camera switching button W26, a call end button W27, and a post input button W28 are provided. In step S102, if the call end button W27 is pressed (YES in step S102), the video call ends.

＜２．３．投稿入力工程＞
ステップＳ１０３において、投稿入力ボタンＷ２８が押下された場合（ステップＳ１０３でＹＥＳ）、投稿入力部２２は、参加者用ビデオ通話画面Ｗ２を介して投稿入力を受け付ける。参加者用ビデオ通話画面Ｗ２（ｅ）は、参加者用ビデオ通話画面Ｗ２（ｄ）において投稿入力ボタンＷ２８が押下された際の画面表示例であり、投稿入力ボタンＷ２８が押下されると、投稿入力領域Ｗ２９及び入力キーが参加者用ビデオ通話画面に表示される。<2.3. Post input process>
In step S103, if the post input button W28 is pressed (YES in step S103), the post input unit 22 accepts post input via the participant video call screen W2. The participant video call screen W2(e) is a screen display example when the post input button W28 is pressed on the participant video call screen W2(d). An input area W29 and input keys are displayed on the participant video call screen.

投稿入力領域Ｗ２９は、テキストボックスＷ２９Ａ及び、投稿送信ボタンＷ２９Ｂを有する。テキストボックスＷ２９Ａには、操作入力デバイスを介して入力キーを操作することで、テキストが入力される。本実施形態では、メッセージ投稿として送信可能な文字数上限が設定されている。ステップＳ１０３において投稿がメッセージの場合であって、所定文字数を超えるメッセージが入力された場合（ステップＳ１０４でＹＥＳ）、参加者端末装置２はメッセージ投稿を送信しない。本実施形態では、所定文字数を超えるメッセージが入力された場合には、投稿送信ボタンＷ２９Ｂが無効化される（Ｗ２９Ｂ’）。この時、投稿入力部２２は、参加者用ビデオ通話画面Ｗ２に警告やエラーを表示させたり、音声出力デバイスに警告音を出力させてもよい。なお、テキストボックスＷ２９Ａに入力可能な文字数が、制限されてもよい。また、投稿入力領域Ｗ２９を介して、画像や動画、スタンプ等が入力可能であってもよい。ステップＳ１０３において投稿が画像や動画、スタンプ等の場合、ステップＳ１０５に進む。 The post input area W29 has a text box W29A and a post send button W29B. A text is input into the text box W29A by operating an input key via an operation input device. In this embodiment, the maximum number of characters that can be sent as a message is set. If the post is a message in step S103 and a message exceeding the predetermined number of characters is input (YES in step S104), theparticipant terminal device 2 does not send the message post. In this embodiment, when a message exceeding a predetermined number of characters is input, the post transmission button W29B is disabled (W29B'). At this time, the post input unit 22 may display a warning or error on the participant video call screen W2, or output a warning sound from the audio output device. Note that the number of characters that can be entered in the text box W29A may be restricted. Also, images, videos, stamps, and the like may be input via the post input area W29. If the post is an image, video, stamp, or the like in step S103, the process proceeds to step S105.

なお、メッセージ入力に際して、ビデオ通話処理部２１は、音声入力をオフとしてもよい。本実施形態では、ビデオ通話処理部２１は、投稿入力ボタンＷ２８が押下されると、当該参加者端末装置２からの音声入力をオフとする。また、本実施形態では、ビデオ通話処理部２１は、投稿送信ボタンＷ２９Ｂが押下されたり、入力が中止されると、音声入力をオンとする。 When inputting a message, the video call processing unit 21 may turn off voice input. In this embodiment, the video call processing unit 21 turns off voice input from theparticipant terminal device 2 when the post input button W28 is pressed. Further, in the present embodiment, the video call processing unit 21 turns on voice input when the post transmission button W29B is pressed or input is stopped.

＜２．４．投稿送信工程＞
ステップＳ１０５において、投稿入力ボタンＷ２８が押下された場合（ステップＳ１０５でＹＥＳ）、投稿送信部２３は、ステップＳ１０３において入力された投稿を送信する（ステップＳ１０６）。<2.4. Submission transmission process>
In step S105, if the post input button W28 is pressed (YES in step S105), post transmission unit 23 transmits the post input in step S103 (step S106).

＜２．５．対象者用ビデオ通話画面＞
図６は、対象者用ビデオ通話画面Ｗ１の画面表示例である。対象者用ビデオ通話画面Ｗ１（ａ）は参加者が１人の場合の画面表示例である。また、対象者用ビデオ通話画面Ｗ１（ｂ）は参加者が２人の場合、対象者用ビデオ通話画面Ｗ１（ｃ）は参加者が３人の場合、対象者用ビデオ通話画面Ｗ１（ｄ）は参加者が４人の場合の画面表示例である。<2.5. Video call screen for target person＞
FIG. 6 is a screen display example of the target person video call screen W1. The target person video call screen W1(a) is an example of a screen display when there is only one participant. In addition, the target person video call screen W1(b) is displayed when there are two participants, and the target person video call screen W1(c) is displayed when there are three participants. is an example of screen display when there are four participants.

ビデオ通話処理部１１は、対象者と共にビデオ通話に参加する１又は複数の参加者の画像（映像）Ｗ２１等を、対象者用ビデオ通話画面Ｗ１に表示させる。 The video call processing unit 11 displays an image (video) W21 or the like of one or more participants participating in the video call with the target person on the target person video call screen W1.

＜２．６．投稿受付工程＞
投稿受付部１２は、参加者端末装置２から送信された投稿を受け付ける。<2.6. Submission acceptance process>
The post accepting unit 12 accepts posts transmitted from theparticipant terminal devices 2 .

＜２．７．投稿表示工程＞
投稿表示部１３は、受け取った投稿を参加者の画像Ｗ２１等と並べて、投稿表示領域Ｗ１３に表示させる。なお、図示例ではメッセージが１行で表示されるが、メッセージの文字数が増えた場合には、行を追加して複数行にわたってメッセージが表示されてもよいし、固定行の領域等に、メッセージを流れるように表示させてもよい。<2.7. Post display process>
The post display unit 13 displays the received post in the post display area W13 side by side with the participant's image W21 and the like. In the illustrated example, the message is displayed in one line, but if the number of characters in the message increases, additional lines may be added to display the message over multiple lines. may be displayed in a flowing manner.

複数名の参加者から投稿を送信された場合、最初に送られた投稿だけを表示させてもよいし、最後に送られた投稿だけを表示させてもよいし、複数の投稿を並べて表示させてもよい。また、投稿表示部１３は、送信された投稿に対応した所定の領域に対して操作入力デバイスを介した操作入力を受け付けることで、投稿を削除したり、（次の投稿がある場合には、）次の投稿等に切り替えるようにしてもよい。投稿表示部１３は、送信された投稿に対応した所定の領域に対して操作入力デバイスを介した操作入力を受け付け可能とし、この操作がなされない場合には、参加者端末装置２から新たな投稿が抑止されてもよい。所定の領域には、対象者が投稿を確認したことを操作入力する為のボタン等のオブジェクトが表示されてよい（例えば、「見た」と記載されたボタン）。 When posts are sent from multiple participants, you can display only the posts sent first, display only the posts sent last, or display multiple posts side by side. may In addition, the post display unit 13 receives an operation input via an operation input device to a predetermined area corresponding to the transmitted post, thereby deleting the post or (if there is a next post, ) may be switched to the next post or the like. The post display unit 13 can accept an operation input via the operation input device to a predetermined area corresponding to the transmitted post. may be suppressed. In the predetermined area, an object such as a button for inputting that the target person has confirmed the posting may be displayed (for example, a button that says "seen").

また、投稿送信部２３は、投稿表示部１３に対して、投稿を指定して削除操作を入力可能であってもよい。投稿表示部１３は、指定された投稿について削除操作を受け付けることで、投稿を削除する。なお、投稿送信部２３は、自身の投稿に対してのみ、投稿表示部１３に対して、投稿を指定して削除操作を入力可能であってもよい。 Further, the post transmission unit 23 may be able to specify a post and input a deletion operation to the post display unit 13 . The post display unit 13 accepts a deletion operation for the designated post, thereby deleting the post. Note that the post transmission unit 23 may be able to specify a post and input a deletion operation to the post display unit 13 only for its own post.

＜２．８．識別表示工程＞
投稿送信部２３は、投稿の送信者を示す情報と共に投稿を送信してよい。例えば、投稿は、参加者の表示名と、参加者用ビデオ通話プログラムのユニークＩＤ等、システムレベルで参加者を識別可能となる識別情報や、ビデオ通話内における参加者番号等、当該ビデオ通話内において参加者を区別可能となる識別情報と共に送信されてよい。<2.8. Identification display process>
The post transmission unit 23 may transmit the post together with information indicating the sender of the post. For example, a post may contain identification information that can identify a participant at the system level, such as the display name of the participant and the unique ID of the video call program for the participant, and the participant number in the video call, etc. may be sent with identification information that allows the participants to be distinguished in the .

識別表示部１４は、参加者用ビデオ通話プログラムのユニークＩＤや参加者番号、送信を行った参加者端末装置２のＩＰアドレス等に基づいて、投稿表示部１３が表示させた投稿を送信した参加者を対象者用ビデオ通話画面Ｗ１において識別可能に表示させる。図示例では、識別表示部１４は、投稿を送信した参加者の画像Ｗ２１縁部を強調表示Ｗ１２することで、参加者を識別可能に表示させる。 The identification display unit 14 identifies the participant who sent the post displayed by the post display unit 13 based on the unique ID of the video call program for the participant, the participant number, the IP address of theparticipant terminal device 2 that sent the post, and the like. The person is identifiably displayed on the target person video call screen W1. In the illustrated example, the identification display unit 14 highlights W12 the edge of the image W21 of the participant who sent the post, thereby displaying the participant in an identifiable manner.

なお、識別可能な表示方法は任意であり、例えば参加者の画像配置の変更、参加者の画像サイズの変更、投稿表示領域Ｗ１３の配置の変更、投稿表示部１３の形状の変更等の１又は複数を行い、送信を行った参加者を識別可能に表示させて良い。例えば、識別表示部１４は、吹き出し型の投稿表示領域Ｗ１３を表示させ、吹き出しの始端を、投稿を送信した参加者の画像と重ねる等して、参加者を識別可能に表示させてよい。 In addition, the identifiable display method is arbitrary. A participant who has performed multiple transmissions may be displayed in an identifiable manner. For example, the identification display unit 14 may display a balloon-type post display area W13, and display the participant in an identifiable manner by overlapping the beginning of the balloon with the image of the participant who sent the post.

また、投稿送信部２３は、参加者の表示名を、投稿と共に表示させてもよい。参加者の表示名は、参加者用ビデオ通話プログラムに予め設定されたものであってもよいし、ビデオ通話の開始時に入力されたものであってもよい。図示例では、入力された投稿の前に、参加者の表示名が表示されている。なお、参加者が１名の場合は参加者名を表示しなくてもよい。 Further, the post transmitting unit 23 may display the display name of the participant together with the post. The participant's display name may be preset in the participant's video call program, or may be entered at the start of the video call. In the illustrated example, the participant's display name is displayed before the input post. If there is only one participant, the name of the participant may not be displayed.

ビデオ通話プログラムは、コンピュータを、ビデオ通話処理部１１と、投稿受付部１２と、投稿表示部１３と、識別表示部１４と、ビデオ通話処理部２１と、投稿入力部２２と、投稿送信部２３として機能させるコンピュータプログラムであってもよく、ビデオ通話に参加する際やコンピュータプログラムのインストール時等に、自身が対象者・参加者の何れであるかを指定することで、必要な機能にアクセスできるように構成されてもよい。 The video call program comprises a computer including a video call processing unit 11, a post reception unit 12, a post display unit 13, an identification display unit 14, a video call processing unit 21, a post input unit 22, and a post transmission unit 23. You can access the necessary functions by specifying whether you are a target person or a participant when participating in a video call or installing a computer program. It may be configured as

なお、対象者端末装置１及び参加者端末装置２が備える各機能構成要素（部）の一部又は全部が、コミュニケーションシステム３等の別の装置に配置されてもよい。 Some or all of the functional components (units) included in the target person terminal device 1 and theparticipant terminal device 2 may be arranged in another device such as thecommunication system 3 or the like.

また、本実施形態では、１人の対象者がビデオ通話に参加する場合について説明したが、複数の対象者がビデオ通話に参加可能であってもよい。また、参加者の人数若しくは、対象者及び参加者の合計人数に対して、所定の参加可能上限人数が設定されてもよく、この時、上限人数内であればビデオ通話への参加が許容される。 Also, in this embodiment, the case where one target person participates in the video call has been described, but a plurality of target persons may be able to participate in the video call. In addition, a predetermined upper limit number of participants may be set for the number of participants or the total number of participants and participants, and at this time, participation in the video call is permitted if the number is within the upper limit. be.

０：ビデオ通話システム
１：対象者端末装置
２：参加者端末装置
３：コミュニケーションシステム
４：ネットワーク
９：端末装置
１０：サーバ装置
１１：ビデオ通話処理部
１２：投稿受付部
１３：投稿表示部
１４：識別表示部
２１：ビデオ通話処理部
２２：投稿入力部
２３：投稿送信部
９０１：処理部
９０２：記憶部
９０３：通信部
９０４：入力部
９０５：出力部0: video call system 1: target person terminal device 2: participant terminal device 3: communication system 4: network 9: terminal device 10: server device 11: video call processing unit 12: post reception unit 13: post display unit 14: Identification display unit 21: video call processing unit 22: post input unit 23: post transmission unit 901: processing unit 902: storage unit 903: communication unit 904: input unit 905: output unit

Claims

Translated fromJapanese

コンピュータ装置が実行するビデオ通話方法であって、
前記コンピュータ装置は、記憶部に格納されたコンピュータ読取可能な命令を実行するように構成された少なくとも１つの処理部を含み、
前記ビデオ通話方法は、
前記少なくとも１つの処理部が、ビデオ通話中に、対象者と共にビデオ通話に参加する１又は複数の参加者の画像を、前記対象者の１つのビデオ通話画面に表示させる対象者画面表示工程と、
前記少なくとも１つの処理部が、前記参加者から送信された投稿を受け付ける投稿受付工程と、
前記少なくとも１つの処理部が、前記対象者の１つのビデオ通話画面において、さらに、前記投稿を表示させる投稿表示工程と、
前記少なくとも１つの処理部が、前記投稿表示工程にて前記対象者のビデオ通話画面に表示させた前記投稿に対して、確認した旨を操作入力可能とし、前記操作入力がなされることで、前記投稿を前記対象者のビデオ通話画面から削除する削除工程と、を有するビデオ通話方法。A video call method performed by a computer device, comprising:
said computing device comprising at least one processing unit configured to execute computer readable instructions stored in a memory unit;
The video call method is
a target person screen display step in which the at least one processing unit causes an image of one or more participants participating in the video call with the target person to be displayed on one video call screen of the target person during the video call;
a post acceptance step in which the at least one processing unit accepts a post transmitted from the participant;
a post display step in which the at least one processing unit further displays the post on one video call screen of the target person;
The at least one processing unit allows an operation input to confirm the post displayed on the video call screen of the target person in the post display step, and the operation input is performed, whereby the and a deleting step of deleting the post from the target person's video call screen .

前記投稿表示工程は、
前記対象者の１つのビデオ通話画面において、前記投稿を送信した前記参加者の画像を識別表示させる識別表示工程を有する、
請求項１に記載のビデオ通話方法。The post display step includes:
An identification display step of identifying and displaying an image of the participant who sent the post on one video call screen of the target person,
The video call method according to claim 1.

前記識別表示工程は、
前記対象者の１つのビデオ通話画面において、前記投稿を送信した前記参加者の画像縁部を強調表示させる、
請求項２に記載のビデオ通話方法。The identification display step includes:
highlighting an image edge of the participant who sent the post in the video call screen of one of the subjects;
The video call method according to claim 2.

前記投稿表示工程にて、対象者及び参加者が１対１の場合、前記少なくとも１つの処理部は前記対象者のビデオ通話画面において投稿のみを表示させ、対象者及び参加者が１対多の場合、前記少なくとも１つの処理部は前記対象者のビデオ通話画面において投稿と共に投稿者名を表示させる、
請求項１に記載のビデオ通話方法。In the post display step, when the target person and the participant are one-to-one, the at least one processing unit displays only the post on the target person's video call screen, and the target person and the participant are one-to-many. In the case, the at least one processing unit displays the poster name along with the post on the target person's video call screen,
The video call method according to claim 1.

さらに、前記少なくとも１つの処理部が、前記ビデオ通話中に、前記参加者のビデオ通話画面を表示させる参加者画面表示工程を有し、
前記対象者の１つのビデオ通話画面は、前記対象者と共にビデオ通話に参加する全ての参加者の画像を含む一方で、前記対象者の画像を含まず、尚且つ、
前記参加者の１つのビデオ通話画面は、前記対象者及び参加者の双方の画像を含む、
請求項１に記載のビデオ通話方法。Further, the at least one processing unit has a participant screen display step ofdisplaying a video call screen of the participant during the video call,
one video call screen of the subject includes images of all participants participating in a video call with the subject, but does not include images of the subject; and
one video call screen of the participant includes images of both the subject and the participant;
The video call method according to claim1 .

前記参加者の１つのビデオ通話画面は、
前記対象者の画像並びに、自己の画像及び他の参加者の画像の全てを含み、
前記対象者の画像が、その他の画像より大きく配置される、
請求項５に記載のビデオ通話方法。A video call screen of one of said participants comprising:
Including all images of the subject and images of himself and other participants,
wherein the image of the subject is positioned larger than the other images;
The video call method according to claim 5.

さらに、前記少なくとも１つの処理部が、前記参加者の１つのビデオ通話画面を介して投稿を入力する投稿入力工程と、
前記少なくとも１つの処理部が、前記投稿を送信する投稿送信工程と、を有し、
前記投稿入力工程は、所定文字数を超えるメッセージの入力を受け付けない、若しくは、
前記投稿送信工程は、前記投稿入力工程において所定文字数を超えるメッセージが入力された場合、投稿を抑止する、
請求項１に記載のビデオ通話方法。Further, a post input step in which the at least one processing unit inputs a post via a video call screen of one of the participants;
a post transmission step in which the at least one processing unit transmits the post;
The post input step does not accept input of a message exceeding a predetermined number of characters, or
In the post sending step, when a message exceeding a predetermined number of characters is input in the post input step, posting is suppressed.
The video call method according to claim 1.

請求項１～７のうちのいずれか一項に記載のビデオ通話方法を前記コンピュータ装置に実行させる、コンピュータプログラム。 A computer program that causes the computer device to execute the video call method according to any one of claims 1 to 7.

ビデオ通話システムであって、
ビデオ通話中に、対象者と共にビデオ通話に参加する１又は複数の参加者の画像を、前記対象者の１つのビデオ通話画面に表示させるビデオ通話処理部と、
前記参加者から送信された投稿を受け付ける投稿受付部と、
前記対象者の１つのビデオ通話画面において、さらに、前記投稿を表示させる投稿表示部と、を備え、
前記投稿表示部が、前記対象者のビデオ通話画面に表示させた前記投稿に対して、確認した旨を操作入力可能とし、前記操作入力がなされることで、前記投稿を前記対象者のビデオ通話画面から削除するビデオ通話システム。a video call system,
a video call processing unit for displaying, during a video call, images of one or more participants participating in a video call with a subject on one video call screen of the subject;
a post reception unit that receives posts sent from the participants;
a post display unit for displaying the post on one video call screen of the target person,
The post display unit enables an operation input to confirm the post displayed on the video call screen of the target person, and the operation input allows the post to be transmitted to the target person via the video call. Video calling systemto remove from screen .