本発明は、会議支援システムに関する。The present invention relates to a conference support system.
住宅等の建物のデザインをクライアントへ説明する場合や、作成されたデザインを用いてクライアントと協議し、壁やフローリングといった様々な建材をクライアントからの要求に応じて変更しながらデザインを修正する場合に、従来は、クライアントが設計事務所やハウスメーカーへ出向き、あるいは設計事務所等の設計担当者等（設計担当者や営業担当者を含み、以下、「設計担当者」とする）がクライアント宅へ出向く等した上で、パソコンを用いて協議を行うことが一般的である。When explaining the design of a house or other building to a client, or when discussing the created design with the client and revising the design by changing various building materials such as walls or flooring according to the client's requests, it has traditionally been the case that the client would visit a design office or home builder, or that a designer from the design office (including designers and sales staff, hereafter referred to as "designers") would visit the client's home and then hold discussions using a computer.
建築設計においては、敷地の条件や周辺環境を勘案しながら建物（建築物）の配置を決定し、内外観や間取り構成、装飾等を設計する意匠設計がまず行われる。この意匠設計では、一般に普及しているＣＡＤ（Computer-aided design）を用いることにより、二次元図面は勿論のこと、パースを含む三次元図面が作成される。昨今、上記する建物の設計において、ＢＩＭ（Building Information Modeling）モデルを用いて、デザイナーを含む複数の設計担当者の間で建物に関する情報を共有化することが行われている。ＢＩＭモデルとは、建物を構成する構成要素（オブジェクトとも言い、梁や柱、壁等を含む）に関する、仮想の三次元空間における形状に関する情報や、材質、寸法、配置位置等に関する情報を有する三次元モデルである。このＢＩＭモデルを用いて、三次元モデルを様々な角度から見た三次元図面が作成できる他、三次元図面を様々に切断したり、様々な角度から見た平面図（伏図を含む）や立面図（軸組図を含む）といった二次元図面を作成できる。すなわち、三次元モデルを構成する各構成要素は、種々の仕様情報を内包しており、この仕様情報は、変更や修正、追加が可能であり、変更や追加等の履歴を残すこともできる。Architectural design begins with the architectural design phase, which involves determining the layout of a building (architecture) while taking into account the site conditions and surrounding environment, and then designing the interior and exterior, floor plan, and decoration. This architectural design phase uses commonly available computer-aided design (CAD) software to create not only two-dimensional (2D) drawings but also three-dimensional (3D) drawings, including perspective drawings. Recently, in the design of these buildings, building information modeling (BIM) models have been used to share information about buildings among multiple design professionals, including designers. A BIM model is a three-dimensional model that contains information about the shape, materials, dimensions, and location of building components (also known as objects, including beams, columns, and walls) in a virtual three-dimensional space. Using this BIM model, it is possible to create three-dimensional drawings of the three-dimensional model viewed from various angles, as well as cut the three-dimensional drawings in various ways and create two-dimensional drawings such as floor plans (including floor plans) and elevations (including frame drawings) viewed from various angles. In other words, each component that makes up a three-dimensional model contains various specification information, and this specification information can be changed, modified, or added to, and a history of changes, additions, etc. can also be kept.
従って、設計担当者がパソコンにダウンロードされているＢＩＭモデルを用いて説明することにより、明りょうかつ現実的なイメージを想起し易いデザインを、クライアントに提供することができる。Therefore, by explaining using the BIM model downloaded to a computer, designers can provide clients with a design that is clear and easy to evoke a realistic image.
ここで、特許文献１には、Ｗｅｂカタログを格納するＷｅｂカタログサーバと通信を行い、建築物のＢＩＭモデルを設計する、設計ユーザ端末が提案されている。この設計ユーザ端末は、ネットワークを介してＷｅｂカタログサーバに接続し、Ｗｅｂカタログサーバに対して、ＢＩＭモデルを構成するオブジェクトに関する、一以上のメーカーのオブジェクトデータをまとめたオブジェクトデータリストを要求するための第一中間ファイルを送信する、第一通信部と、第一中間ファイルに対して、オブジェクトデータリストが入力されることにより形成される、第二中間ファイルが第一通信部を介して受信され、受信された第二中間ファイルを格納する、第一格納部と、建築物のＢＩＭモデルを設計し、その際に、第一格納部に格納されている第二中間ファイルにおけるオブジェクトデータリストを読み込み、オブジェクトデータリストから選定されたオブジェクトデータをＢＩＭモデルに取り込む、設計部とを有する。Patent Document 1 proposes a design user terminal that communicates with a web catalog server that stores a web catalog and designs a BIM model of a building. This design user terminal has a first communication unit that connects to the web catalog server via a network and transmits to the web catalog server a first intermediate file requesting an object data list from one or more manufacturers for objects that make up the BIM model; a first storage unit that receives via the first communication unit a second intermediate file formed by inputting the object data list into the first intermediate file and stores the received second intermediate file; and a design unit that designs a BIM model of the building, reads the object data list in the second intermediate file stored in the first storage unit, and imports object data selected from the object data list into the BIM model.
特許文献１に記載の設計ユーザ端末によれば、設計ユーザは、第二中間ファイルにおけるオブジェクトデータリストを用いて、ＢＩＭモデルの設計を行うことができる。すなわち、ＢＩＭモデルを構成する各オブジェクトに関する製品がデータリスト化されていることから、データリストから実際のＢＩＭモデルに適用する製品を選択した際に、自動的に設計図書のデータベースへの入力が実行されるため、メーカーによる製品データをＢＩＭモデルにおけるデータベースに効率的に取り込むことができ、対象オブジェクトの仕様情報として、選択された製品データを自動的に入力することができる。The design user terminal described in Patent Document 1 allows a design user to design a BIM model using the object data list in the second intermediate file. In other words, because the products related to each object that makes up the BIM model are stored in a data list, when a product to be applied to the actual BIM model is selected from the data list, the data is automatically entered into the design document database. This allows product data from manufacturers to be efficiently imported into the BIM model database, and the selected product data can be automatically entered as specification information for the target object.
しかしながら、対象オブジェクトの仕様情報として、選択された製品データに関するテキストデータ（文字情報）が取り込まれるだけであることから、文字情報が付加されるものの、対象オブジェクトのイメージを想起させることには寄与しない。そこで、イメージを想起させ易くするために、ＢＩＭモデルの各オブジェクトに対して、手動にて製品に関するテクスチャ設定を行うことが考えられるが、各オブジェクトに対するテクスチャ設定には多大な手間と時間を要する。However, since only text data (character information) related to the selected product data is imported as specification information for the target object, although character information is added, it does not contribute to evoking an image of the target object. Therefore, to make it easier to evoke an image, it is possible to manually set product-related textures for each object in the BIM model, but setting textures for each object requires a great deal of effort and time.
さらに、上記するクライアントと設計担当者との協議に際して、一方が他方へ出向く際や、双方がある場所に出向く際にも時間がかかり、通常は複数の設計変更等を経て最終的なデザインが決定されることに鑑みると、協議（会議）のたびに移動に時間を要するといった課題は一層顕著になる。Furthermore, when the above-mentioned consultations between the client and the designer take place, it takes time for one party to travel to the other, or for both parties to travel to a specific location, and considering that the final design is usually decided after multiple design changes, the issue of time required for travel at each consultation (meeting) becomes even more pronounced.
本発明は上記する課題に鑑みてなされたものであり、建物のデザインに関するクライアントと設計担当者との会議に際して、一方もしくは双方が会議のために出向くことを不要にでき、ＢＩＭモデルを構成する各オブジェクトに関して具体的なイメージを想起できる会議用ＢＩＭモデルを生成する、会議支援システムを提供することを目的としている。The present invention was made in consideration of the above-mentioned problems, and aims to provide a meeting support system that generates a BIM model for meetings between a client and a designer regarding building design, eliminating the need for one or both parties to physically attend the meeting, and that allows for concrete images of each object that makes up the BIM model to be conjured up.
前記目的を達成すべく、本発明による会議支援システムの一態様は、
複数のユーザ端末がネットワークを介して接続し、各ユーザ端末の前方の現実空間に対して、各ユーザ端末が表示部を通して表示可能な仮想会議空間を提供する、第１サーバと、
建物のＢＩＭモデルデータを前記第１サーバに送信して、該ＢＩＭモデルデータに基づくＢＩＭモデルを前記仮想会議空間に提供する、第２サーバと、
前記ＢＩＭモデルを構成する各オブジェクトに関する素材情報データを前記第１サーバに送信して、該素材情報データに基づく素材モデルを前記仮想会議空間に提供する、第３サーバとを有し、
前記複数のユーザ端末には、前記ＢＩＭモデルを設計する設計者端末と、クライアント端末が含まれ、
前記第１サーバに接続している前記設計者端末が、前記仮想会議空間に表示されている前記ＢＩＭモデルに対して前記素材モデルを統合して、会議用ＢＩＭモデルを作成することを特徴とする。 In order to achieve the above object, one aspect of the conference support system according to the present invention is to
a first server to which a plurality of user terminals are connected via a network, the first server providing a virtual conference space that can be displayed by each user terminal through a display unit in relation to the real space in front of each user terminal;
a second server that transmits BIM model data of a building to the first server and provides a BIM model based on the BIM model data to the virtual conference space;
a third server that transmits material information data regarding each object constituting the BIM model to the first server and provides a material model based on the material information data to the virtual conference space;
The plurality of user terminals include a designer terminal that designs the BIM model and a client terminal,
The designer terminal connected to the first server integrates the material model with the BIM model displayed in the virtual conference space to create a conference BIM model.
本態様によれば、ユーザ端末の前方の現実空間に対して、ユーザ端末である設計者端末とクライアント端末の双方がそれぞれの表示部を通して表示可能な仮想会議空間が第１サーバにて提供され、仮想会議空間に表示されている会議用ＢＩＭモデルを用いて設計担当者が説明し、クライアントが説明を受け、クライアントから設計担当者に対して様々な要求や要望が提案される会議を行うことにより、クライアントと設計担当者の一方もしくは双方が会議のために会議場所へ出向くことを不要にできる。さらに、第１サーバに接続している設計者端末が、仮想会議空間に表示されているＢＩＭモデルに対して、素材情報データに基づく素材モデルを統合して会議用ＢＩＭモデルを作成すること、言い換えると、ＢＩＭモデルを構成する各オブジェクトを具体的な素材モデルとすることにより、壁やフローリング、天井といった様々なオブジェクトが素材モデルにて構成される会議用ＢＩＭモデルによって、クライアントは各オブジェクトに関する具体的なイメージを想起することが可能になる。According to this aspect, the first server provides a virtual conference space in the real space in front of the user terminal, which can be displayed by both the user terminal (designer terminal) and the client terminal through their respective displays. A conference is held in which the designer gives an explanation using a conference BIM model displayed in the virtual conference space, the client receives the explanation, and the client proposes various requests and demands to the designer. This eliminates the need for one or both of the client and the designer to travel to the conference location. Furthermore, the designer terminal connected to the first server creates a conference BIM model by integrating a material model based on material information data with the BIM model displayed in the virtual conference space. In other words, by making each object that makes up the BIM model a specific material model, the client can evoke a specific image of each object through the conference BIM model, in which various objects such as walls, flooring, and ceilings are composed of material models.
各ユーザ端末の備える撮影部により、前方の現実空間を例えば動画撮影した際に、前方の現実空間には、第１サーバにて、仮想会議空間がユーザ端末の表示部を介して表示可能に提供される。When the camera unit of each user terminal captures, for example, a video of the real space ahead, the first server provides a virtual conference space in the real space ahead that can be displayed via the display unit of the user terminal.
設計担当者は、例えば自身の設計者端末にてＢＩＭモデルを作成し、作成されたＢＩＭモデルのＢＩＭモデルデータを第２サーバに送信し、格納しておく。また、設計者端末は、第２サーバからＢＩＭモデルデータを第１サーバに送信し、第１サーバにて提供されている仮想会議空間に対して、ＢＩＭモデルがユーザ端末の表示部を介して表示可能に生成される。また、設計者端末は、第３サーバから素材情報データを第１サーバに送信し、仮想会議空間に対して、素材情報データに基づく素材モデルがユーザ端末の表示部を介して表示可能に生成される。このように、第１サーバは、各ユーザ端末の表示部を介して仮想会議空間を視認可能に提供するとともに、ＢＩＭモデルや素材モデルを仮想会議空間の中で視認可能に提供し、設計者端末の操作に基づき、仮想会議空間においてＢＩＭモデルと素材モデルの統合が実行されることにより、会議用ＢＩＭモデルが生成される。For example, a designer creates a BIM model on their own designer terminal, and sends the BIM model data of the created BIM model to the second server, where it is stored. The designer terminal then sends the BIM model data from the second server to the first server, and the BIM model is generated for the virtual conference space provided by the first server so that it can be displayed on the display unit of the user terminal. The designer terminal also sends material information data from the third server to the first server, and a material model based on the material information data is generated for the virtual conference space so that it can be displayed on the display unit of the user terminal. In this way, the first server provides the virtual conference space so that it can be viewed on the display unit of each user terminal, and also provides the BIM model and material model so that they can be viewed within the virtual conference space. The BIM model and material model are integrated in the virtual conference space based on the operation of the designer terminal, thereby generating a conference BIM model.
第１サーバは、設計担当者とクライアントとの間の会議場所である仮想会議空間の生成に際して、設計者端末とクライアント端末に対してアクセス権限を付与し、アクセス権限の付与されたユーザ端末のみが、当該ユーザ端末の表示部を介して仮想会議空間を表示できる（仮想会議に参加できる）ようになっている。When generating a virtual conference space, which is a meeting place between the designer and the client, the first server grants access rights to the designer terminal and the client terminal, and only user terminals that have been granted access rights can display the virtual conference space (participate in the virtual conference) via the display unit of that user terminal.
また、本発明による会議支援システムの他の態様において、
前記第３サーバには、１つの前記オブジェクトに対して複数の前記素材情報データが記憶されており、
前記クライアント端末からの要求に応じて、前記設計者端末が前記素材モデルを変更して前記会議用ＢＩＭモデルを更新することを特徴とする。 In another aspect of the conference support system according to the present invention,
the third server stores a plurality of pieces of material information data for one of the objects,
In response to a request from the client terminal, the designer terminal changes the material model and updates the BIM model for the meeting.
本態様によれば、第３サーバにおいて１つのオブジェクトに対して複数の素材情報データが記憶され、クライアント端末からの要求に応じて、設計者端末が素材モデルを変更して会議用ＢＩＭモデルを更新することにより、１回の会議にて、クライアントからの要求に応じて、各オブジェクトに対して様々な素材モデルが適用された複数種の会議用ＢＩＭモデルを生成することができ、決められた時間の中で濃密なデザイン会議を行うことができ、結果として会議の回数低減にも繋がる。According to this aspect, multiple material information data for one object are stored in the third server, and in response to a request from a client terminal, the designer terminal changes the material model and updates the conference BIM model. This makes it possible to generate multiple conference BIM models in which various material models are applied to each object in response to a client request in a single meeting, allowing for intensive design meetings to be held within a set time frame, which ultimately leads to a reduction in the number of meetings.
また、クライアントの要望する素材モデルが、第３サーバから提供される素材情報データの中に存在しない場合には、設計担当者から第３サーバに対して要望に応じた素材情報データの追加を要求し、第３サーバでは、要望に応じた素材情報データをデータベースに追加し、素材情報データが追加された旨を設計者端末に送信することもできる。In addition, if the material model desired by the client does not exist in the material information data provided by the third server, the designer can request the third server to add the requested material information data. The third server then adds the requested material information data to the database and sends a message to the designer's terminal indicating that the material information data has been added.
また、本発明による会議支援システムの他の態様は、
前記素材モデルが変更されて前記会議用ＢＩＭモデルが更新された後、該素材モデルの変更情報データが前記第３サーバに送信され、
前記第３サーバにて前記素材モデルの変更が承認された際に、前記会議用ＢＩＭモデルの更新が正式に決定されることを特徴とする。 Another aspect of the conference support system according to the present invention is
After the material model is changed and the meeting BIM model is updated, change information data of the material model is sent to the third server;
When the change to the material model is approved by the third server, the update of the BIM model for the meeting is officially decided.
本態様によれば、素材モデルの変更による会議用ＢＩＭモデルの更新が、素材情報データを仮想会議空間に提供する第３サーバの承認によって正式に決定されることにより、クライアントからの要望等によって様々に変化し得る素材モデルに基づく会議用ＢＩＭモデルを、変更の変遷に応じた時系列の中で確定することができ、会議中であれば現時点で決定されている会議用ＢＩＭモデルを確定することができ、最後の会議の終了時点においては最終的に決定されたデザインを確定することができる。In this embodiment, updates to the conference BIM model due to changes to the material model are officially decided with the approval of the third server that provides material information data to the virtual conference space. This allows the conference BIM model, which is based on a material model that can change in various ways depending on client requests, etc., to be confirmed in a chronological order according to the changes that have occurred. If a conference is in progress, the conference BIM model that is currently decided can be confirmed, and at the end of the last conference, the final design can be confirmed.
ここで、設計者端末や第２サーバ等によっても、会議に応じて変化し得る会議用ＢＩＭモデルを都度データとして記憶しておくことは可能であるが、本態様は、例えば１回の会議にて決定したオブジェクトに対する素材モデルを、素材情報データを提供する第３サーバによる承認を経て決定することで、会議ごとに決定されたオブジェクトに対する素材モデルを確定し、クライアントと設計担当者との間で認識にずれのない態様で会議を進め、最終的なデザインの確定に導くことを実現するものである。Here, while it is possible for the designer's terminal or second server, etc., to store a BIM model for a meeting as data each time it is changed depending on the meeting, this embodiment allows the material model for an object decided in a single meeting, for example, to be determined after approval by a third server that provides material information data, thereby finalizing the material model for the object decided on for each meeting, allowing meetings to proceed in a manner that ensures there is no misunderstanding between the client and the designer, leading to the finalization of the design.
また、本発明による会議支援システムの他の態様において、
前記第１サーバは、前記ユーザ端末を利用するユーザのアバターを作成する、アバター作成機能を提供し、
前記設計者端末と前記クライアント端末の双方の表示部では、前記仮想会議空間にある前記会議用ＢＩＭモデルを用いて、設計者アバターがモデル説明をする状況が表示されることを特徴とする。 In another aspect of the conference support system according to the present invention,
the first server provides an avatar creation function for creating an avatar of a user who uses the user terminal;
The display units of both the designer terminal and the client terminal display a situation in which a designer avatar explains a model using the conference BIM model in the virtual conference space.
本態様によれば、第１サーバのアバター作成機能にて作成された設計者アバターが、仮想会議空間にある会議用ＢＩＭモデルのモデル説明をする状況が表示部に表示されることによって、設計担当者とクライアントの双方が同じ会議に参加しているといった臨場感を感受することができる。ここで、設計者アバターには、様々な人物や動物、アニメーションのキャラクター等の画像の他に、自身の画像等が含まれる。自身の画像は、設計者端末に装備されている、もしくは、設計者端末に接続されている外付けのカメラ等の撮影手段（撮影部）にて撮影できる。According to this aspect, the display unit shows a designer avatar created by the avatar creation function of the first server explaining a BIM model for a conference in a virtual conference space, giving both the designer and the client a sense of realism as if they were participating in the same conference. Here, the designer avatar includes images of various people, animals, animated characters, etc., as well as an image of the designer themselves. The designer's own image can be captured using a capturing device (capturing unit) such as an external camera that is equipped on or connected to the designer terminal.
また、本発明による会議支援システムの他の態様において、
前記設計者端末と前記クライアント端末の双方の表示部では、前記仮想会議空間における会議に参加しているクライアントアバターがさらに表示されることを特徴とする。 In another aspect of the conference support system according to the present invention,
The display units of both the designer terminal and the client terminal further display client avatars participating in the conference in the virtual conference space.
本態様によれば、設計者アバターに加えてクライアントアバターがさらに表示されることにより、会議の参加者が仮想会議空間に集って会議を行う映像によって、設計担当者とクライアントの双方が、同じ会議に参加しているといったより一層高い臨場感を感受することができる。ここで、設計者アバターと同様に、クライアントアバターも、様々な人物や動物、アニメーションのキャラクター等の画像の他に、クライアント端末に装備されている、もしくはクライアント端末に接続されているカメラ等の撮影手段（撮影部）にて撮影された自身の画像等が含まれる。In this embodiment, by displaying a client avatar in addition to the designer avatar, the video of the meeting participants gathered in the virtual conference space can create an even more realistic feeling, as if both the designer and the client are participating in the same meeting. Like the designer avatar, the client avatar can also include images of various people, animals, animated characters, etc., as well as images of the client avatar taken with a camera or other imaging device (image capture unit) installed on or connected to the client terminal.
また、本発明による会議支援システムの他の態様は、
前記ユーザ端末にヘッドマウントディスプレイが含まれ、
前記ヘッドマウントディスプレイを装着しているユーザのアバターは、ヘッドマウントディスプレイを装着していない状態で前記表示部に表示されることを特徴とする。 Another aspect of the conference support system according to the present invention is
the user terminal includes a head-mounted display;
The avatar of the user wearing the head-mounted display is displayed on the display unit in a state where the user is not wearing the head-mounted display.
本態様によれば、設計担当者とクライアントのいずれか一方もしくは双方がヘッドマウントディスプレイを装着して会議に参加することにより、例えば、自身の顔の動きや目の動きを自身を模擬したアバターに対してより忠実に再現させることができ、会議に参加している臨場感をより一層高めることができる。さらに、仮想会議空間を提供する第１サーバが、実際に装着されているヘッドマウントディスプレイの表示をアバターから削除する、非表示機能を有することにより、ユーザ端末の表示部に表示される設計担当者やクライアントのアバターがヘッドマウントディスプレイを装着していないことによって、実際の会議に参加しているといった臨場感を感受することができる。In this aspect, by having either or both the designer and the client wear head-mounted displays while participating in a conference, for example, the designer's facial and eye movements can be more faithfully reproduced in the avatar that simulates the designer, further enhancing the sense of realism of participating in the conference. Furthermore, the first server that provides the virtual conference space has a hide function that removes the display of the head-mounted display that is actually being worn from the avatar. This means that the avatars of the designer and the client displayed on the display unit of the user's terminal are not wearing head-mounted displays, creating the sense of realism of participating in an actual conference.
また、本発明による会議支援システムの他の態様は、
前記第１サーバにより、前記仮想会議空間に対して３次元描画を実行する３Ｄペンが提供され、
前記仮想会議空間にいる前記設計者アバターと前記クライアントアバターの少なくとも一方が、前記３Ｄペンを使用して該仮想会議空間に３次元描画することを特徴とする。 Another aspect of the conference support system according to the present invention is
the first server provides a 3D pen that performs three-dimensional drawing on the virtual meeting space;
At least one of the designer avatar and the client avatar in the virtual conference space uses the 3D pen to draw three-dimensionally in the virtual conference space.
本態様によれば、仮想会議空間にいる設計者アバターとクライアントアバターの少なくとも一方が、３Ｄペンを使用して仮想会議空間に３次元描画することにより、会議用ＢＩＭモデルのうちのどのオブジェクトの素材モデルの変更を要望しているのか等を、３Ｄペンにて具体的かつ明確に指示することができる。また、その他、設計者アバターとクライアントアバターの双方が、３Ｄペンにて様々なコメントや手書き図面等を仮想会議空間に３次元描画することができる。According to this aspect, at least one of the designer avatar and client avatar in the virtual conference space can use a 3D pen to draw in three dimensions in the virtual conference space, allowing them to specifically and clearly indicate, for example, which object in the conference BIM model they would like to change the material model of. Furthermore, both the designer avatar and the client avatar can use the 3D pen to draw various comments, hand-drawn drawings, and the like in three dimensions in the virtual conference space.
また、本発明による会議支援システムの他の態様は、
前記第１サーバにより、前記仮想会議空間に対して会議における音声の文字起こしを実行する、自動文字起こし機能が提供され、
前記仮想会議空間に、自動文字起こしされた文字を描画することを特徴とする。 Another aspect of the conference support system according to the present invention is
The first server provides an automatic transcription function for transcribing speech in a conference for the virtual conference space;
The method is characterized in that automatically transcribed text is drawn in the virtual conference space.
本態様によれば、会議における音声が自動文字起こしされた文字が仮想会議空間に描画されることにより、相手方の発言の聞き忘れを防止でき、さらには、相手方と自身の発言を文字を通して再考することができ、設計担当者とクライアントが共通認識の下で会議を進めることができる。In this manner, by automatically transcribing the audio from the meeting and displaying it in the virtual meeting space, participants can prevent forgetting what the other person said. Furthermore, participants can reconsider what the other person and themselves said through the text, allowing the designer and client to proceed with the meeting on a common understanding.
また、本発明による会議支援システムの他の態様において、
前記自動文字起こし機能には翻訳機能が含まれ、
前記仮想会議空間に、翻訳後の自動文字起こしされた文字を描画することを特徴とする。 In another aspect of the conference support system according to the present invention,
The automatic transcription function includes a translation function;
The method is characterized in that the translated and automatically transcribed text is drawn in the virtual conference space.
本態様によれば、翻訳後の自動文字起こしされた文字が仮想会議空間に描画されることにより、例えば日本語の理解できない外国のクライアントとの間の会議においても、双方の理解の下で会議を円滑に進めることができ、例えば外国にいるクライアントとの間で時差なく会議を行うことができる。In this manner, automatically transcribed text after translation is displayed in the virtual conference space, allowing the conference to proceed smoothly with mutual understanding, even in a conference with a foreign client who does not understand Japanese, and allowing conferences to be held without time lag, for example, with a client located overseas.
また、本発明による会議支援システムの他の態様は、
前記第１サーバにより、前記仮想会議空間における会議内容のデータ保存を実行する、履歴保存機能と、保存されたデータを再生する履歴再生機能が提供されることを特徴とする。 Another aspect of the conference support system according to the present invention is
The first server provides a history storage function for storing data on the contents of the conference held in the virtual conference space, and a history playback function for playing back the stored data.
本態様によれば、会議内容のデータ保存と、保存されたデータの再生が実行されることにより、会議後に会議内容を確認して、素材モデル等の変更に関する決定事項を設計担当者とクライアントの双方が共有することができる。また、例えばクライアントが複数の会議の履歴を参照することにより、未だ確認していない素材モデルを適用した会議用ＢＩＭモデルの要求を行うこともできる。According to this aspect, by saving the meeting content data and playing back the saved data, the meeting content can be reviewed after the meeting, and decisions regarding changes to material models, etc., can be shared between the designer and the client. Furthermore, for example, a client can refer to the history of multiple meetings and request a meeting BIM model that applies a material model that has not yet been reviewed.
また、本発明による会議支援システムの他の態様は、
前記第１サーバにより、前記仮想会議空間に対して、付箋を貼付する付箋貼付機能が提供されることを特徴とする。 Another aspect of the conference support system according to the present invention is
The first server provides a sticky note pasting function for pasting sticky notes in the virtual conference space.
本態様によれば、会議にて決定した事項や、設計担当者やクライアントが会議にて他方に確認・伝達したい事項等を付箋に記載して仮想会議空間に貼付することにより、決定事項や要確認・伝達事項等の備忘録として奏功する。According to this aspect, matters decided in a meeting, or matters that the designer or client want to confirm or communicate with the other party in the meeting, can be written on sticky notes and attached to the virtual meeting space, effectively serving as a memo of decisions and matters that need to be confirmed or communicated.
また、本発明による会議支援システムの他の態様は、
前記第１サーバにより、前記仮想会議空間に対して、会議の静止画を取得するキャプチャ機能が提供されることを特徴とする。 Another aspect of the conference support system according to the present invention is
The first server provides the virtual conference space with a capture function for acquiring still images of the conference.
本態様によれば、会議の静止画を取得するキャプチャ機能により、会議における重要な場面や静止画として残しておきたい場面を取得することができる。According to this aspect, the capture function for capturing still images of a meeting allows you to capture important scenes from the meeting or scenes that you would like to keep as still images.
以上の説明から理解できるように、本発明による会議支援システムによれば、建物のデザインに関するクライアントと設計担当者との会議に際して、一方もしくは双方が会議のために出向くことを不要にでき、ＢＩＭモデルを構成する各オブジェクトに関して具体的なイメージを想起することができる。As can be understood from the above explanation, the conference support system of the present invention eliminates the need for one or both parties to physically attend a meeting between a client and a designer regarding the design of a building, and allows them to conjure up concrete images of each object that makes up the BIM model.
以下、実施形態に係る会議支援システムの一例について、添付の図面を参照しながら説明する。尚、本明細書及び図面において、実質的に同一の構成要素については、同一の符号を付することにより重複した説明を省く場合がある。An example of a conference support system according to an embodiment will be described below with reference to the accompanying drawings. Note that in this specification and drawings, substantially identical components may be designated by the same reference numerals to avoid redundant description.
［実施形態に係る会議支援システム］
図１乃至図６を参照して、実施形態に係る会議支援システムの一例について説明する。ここで、図１は、実施形態に係る会議支援システムの全体構成を示す図であり、図２は、実施形態に係る会議支援システムを形成するコンピュータのハードウェア構成の一例を示す図である。また、図３Ａ乃至図３Ｅはそれぞれ、第１サーバ、第２サーバ、第３サーバ、設計者端末、及びクライアント端末の機能構成の一例を示す図であり、図４は、ユーザ端末の表示部に表示されている、仮想会議空間における会議の状況を示す図である。さらに、図５は、素材情報データに基づく素材モデルの例として、フローリングモデルリストの一例を示す図であり、図６は、ユーザ端末の表示部に表示されている仮想会議空間において、音声の文字起こしが表示され、貼付された付箋が表示されている状態を示す図である。 [Meeting support system according to an embodiment]
An example of a conference support system according to an embodiment will be described with reference to FIGS. 1 to 6. Here, FIG. 1 illustrates the overall configuration of the conference support system according to an embodiment, and FIG. 2 illustrates an example of the hardware configuration of a computer that forms the conference support system according to an embodiment. Also, FIGS. 3A to 3E illustrate examples of functional configurations of a first server, a second server, a third server, a designer terminal, and a client terminal, respectively. FIG. 4 illustrates a conference situation in a virtual conference space displayed on a display unit of a user terminal. Furthermore, FIG. 5 illustrates an example of a flooring model list as an example of a material model based on material information data. FIG. 6 illustrates a state in which a speech transcript and attached sticky notes are displayed in a virtual conference space displayed on a display unit of a user terminal.
会議支援システム１００は、第１サーバ１０と、第２サーバ２０と、第３サーバ３０と、複数のユーザ端末４０とがネットワーク５０を介して接続されることにより形成される。第１サーバ１０は、例えば、アクセス権限を付与されたユーザのユーザ端末に対して、その表示部にて表示可能な仮想会議空間ＶＳを提供する。The conference support system 100 is formed by connecting a first server 10, a second server 20, a third server 30, and multiple user terminals 40 via a network 50. The first server 10 provides, for example, a virtual conference space VS that can be displayed on the display unit of the user terminal of a user who has been granted access privileges.
第１サーバ１０は、第２サーバ２０と第３サーバ３０と各ユーザ端末４０に対してシステムへのアクセス権限を付与し、アクセス権限を付与された各ユーザ端末４０等は、第１サーバ１０にて提供される各種サービスを享受可能にする。The first server 10 grants the second server 20, the third server 30, and each user terminal 40 access rights to the system, allowing each user terminal 40 that has been granted access rights to enjoy the various services provided by the first server 10.
第１サーバ１０は、図４に示すように、ユーザ端末４０がその撮影部４０２，４１１を介して前方の現実空間を動画撮影等した際に、この現実空間に対して、各ユーザ端末４０が表示部４０６，４１２を通して表示可能な仮想会議空間ＶＳを提供する。また、第１サーバ１０はその他、様々なオプションを仮想会議空間ＶＳに提供するが、提供される各種のオプションについては以下で詳説する。As shown in FIG. 4, when a user terminal 40 captures video of the real space in front of it using its imaging unit 402, 411, the first server 10 provides a virtual conference space VS that can be displayed by each user terminal 40 on its display unit 406, 412 in relation to this real space. The first server 10 also provides various other options for the virtual conference space VS, which are described in detail below.
第１サーバ１０は、仮想会議空間ＶＳを利用した会議を提供する、ソフトウェア会社等の有するクラウドサーバである。The first server 10 is a cloud server owned by a software company or the like that provides conferences using the virtual conference space VS.
第２サーバ２０には、設計担当者（ユーザの一例）が設計者端末４０にて作成したＢＩＭモデル（ＢＩＭ意匠モデルやＢＩＭ構造モデル等）に関するＢＩＭモデルデータが格納されている。設計者端末の操作により、第２サーバ２０からＢＩＭモデルデータが第１サーバ１０に送信され、第１サーバ１０にて提供されている仮想会議空間ＶＳに対して、ＢＩＭモデルデータに基づくＢＩＭモデルが、ユーザ端末４０の表示部４０６，４１２を介して表示可能に生成される。The second server 20 stores BIM model data related to BIM models (such as BIM design models and BIM structural models) created by a designer (an example of a user) on the designer terminal 40. By operating the designer terminal, the BIM model data is sent from the second server 20 to the first server 10, and a BIM model based on the BIM model data is generated for the virtual conference space VS provided by the first server 10 so that it can be displayed via the display units 406, 412 of the user terminal 40.
第２サーバ２０は、建物のＢＩＭモデルを作成し、クライアントに対してＢＩＭモデルを提供し、ＢＩＭモデルに基づいて建物を建設し、クライアントに建物を販売する、ハウスメーカー等の有するクラウドサーバである。The second server 20 is a cloud server owned by a house builder or the like that creates a BIM model of a building, provides the BIM model to a client, constructs a building based on the BIM model, and sells the building to the client.
第３サーバ３０には、ＢＩＭモデルデータに基づくＢＩＭモデルを構成する各オブジェクトに関する素材情報データが格納される。設計者端末の操作により、第３サーバ３０から素材情報データが第１サーバ１０に送信され、第１サーバ１０にて提供されている仮想会議空間ＶＳに対して、素材情報データに基づく素材モデルが、ユーザ端末４０の表示部を介して表示可能に生成される。ここで、建物のＢＩＭモデルを構成するオブジェクトには、柱や梁、壁、床、天井等が含まれる。The third server 30 stores material information data for each object that constitutes a BIM model based on the BIM model data. By operating the designer terminal, the material information data is sent from the third server 30 to the first server 10, and a material model based on the material information data is generated for the virtual conference space VS provided by the first server 10 so that it can be displayed on the display unit of the user terminal 40. Here, the objects that constitute the BIM model of a building include columns, beams, walls, floors, ceilings, etc.
第３サーバ３０は、建物を構成する各種建材（ＢＩＭモデルにおけるオブジェクト）に関して、様々な建材メーカーによる製品をデータベース化し、ハウスメーカー等にデータベースを提供する会社の有するクラウドサーバである。The third server 30 is a cloud server owned by a company that creates a database of products from various building material manufacturers for the various building materials (objects in a BIM model) that make up a building, and provides the database to home builders and the like.
ユーザ端末４０には、仮想会議空間ＶＳにおいて、会議用ＢＩＭモデルＶＭを用いて建物のデザインを説明する設計担当者が所有する設計者端末と、建物の施主もしくは購入検討者であるクライアントが所有するクライアント端末が含まれる。User terminals 40 include a designer terminal owned by a designer who explains the building design using the conference BIM model VM in the virtual conference space VS, and a client terminal owned by the building's owner or a client considering purchasing it.
尚、図示を省略するが、ＢＩＭソフトウェアである、Ａｕｔｏｄｅｓｋ Ｒｅｖｉｔ（登録商標）を提供するＡｕｔｏｄｅｓｋ社のクラウドサーバに対して設計者端末４０がアクセスし、設計者端末４０にてＢＩＭモデルを作成したり、様々な修正・変更を加える場合もあり、従って、不図示のＡｕｔｏｄｅｓｋ社のクラウドサーバも、第１サーバ１０や設計者端末４０等に対してネットワーク５０を介して接続されてよい。Although not shown, the designer terminal 40 may access a cloud server provided by Autodesk, which provides the BIM software Autodesk Revit (registered trademark), and create a BIM model or make various modifications and changes on the designer terminal 40. Therefore, the cloud server provided by Autodesk, not shown, may also be connected to the first server 10, the designer terminal 40, etc. via the network 50.
ユーザ端末４０には、タブレット４０Ａやスマートフォン４０Ｂ、パーソナルコンピュータ４０Ｃの他、ヘッドマウントディスプレイ４０Ｄ（ＨＭＤ：Head Mounted Display）が含まれる。User terminals 40 include tablets 40A, smartphones 40B, personal computers 40C, and head-mounted displays 40D (HMDs).
ネットワーク５０には、インターネット等の公衆ネットワーク、携帯電話網等の無線ネットワーク、ＶＰＮ（Virtual Private Network）等の専用ネットワーク、ＬＡＮ（Local Area Network）等が含まれる。Network 50 includes public networks such as the Internet, wireless networks such as mobile phone networks, dedicated networks such as VPNs (Virtual Private Networks), LANs (Local Area Networks), etc.
図２に示すように、第１サーバ１０、第２サーバ２０、第３サーバ３０、及びユーザ端末４０はいずれも、パーソナルコンピュータ（ＰＣ：Personal Computer）やワークステーション（ＷＳ：Work Station）、タブレット等の情報処理装置からなり、いずれもコンピュータにより構成される。尚、コンピュータとして第１サーバ１０を取り上げて以下説明するが、他の第２サーバ２０等も基本的には同様のハードウェア構成を有する。As shown in FIG. 2, the first server 10, second server 20, third server 30, and user terminal 40 are all information processing devices such as personal computers (PCs), workstations (WSs), tablets, etc., and are all configured as computers. Note that the following description focuses on the first server 10 as a computer, but the other servers, such as the second server 20, basically have similar hardware configurations.
図２に示すように、第１サーバ１０を構成するコンピュータは、接続バス１６により相互に接続されているＣＰＵ（Central Processing Unit）１１、主記憶装置１２、補助記憶装置１３、通信ＩＦ（interface）１４、及び入出力ＩＦ１５を備えている。主記憶装置１２と補助記憶装置１３は、コンピュータが読み取り可能な記録媒体である。尚、上記の構成要素はそれぞれ個別に設けられてもよいし、一部の構成要素を設けないようにしてもよい。As shown in FIG. 2, the computer constituting the first server 10 includes a CPU (Central Processing Unit) 11, a main memory device 12, an auxiliary memory device 13, a communication IF (interface) 14, and an input/output IF 15, all of which are interconnected by a connection bus 16. The main memory device 12 and the auxiliary memory device 13 are computer-readable recording media. Note that the above components may be provided separately, or some components may not be provided.
ＣＰＵ１１は、ＭＰＵ（Microprocessor）やプロセッサとも呼ばれ、ＣＰＵ１１は、単一のプロセッサであってもよいし、マルチプロセッサであってもよい。ＣＰＵ１１は、コンピュータからなる第１サーバ１０の全体の制御を行う中央演算処理装置である。ＣＰＵ１１は、例えば、補助記憶装置１３に記憶されたプログラムを主記憶装置１２の作業領域にて実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことにより、所定の目的に合致した機能を提供する。CPU 11 is also called an MPU (Microprocessor) or processor, and may be a single processor or a multiprocessor. CPU 11 is a central processing unit that controls the entire first server 10, which is made up of a computer. For example, CPU 11 deploys programs stored in auxiliary storage device 13 in an executable form in the working area of main storage device 12, and controls peripheral devices through the execution of the programs, thereby providing functions that meet specific purposes.
主記憶装置１２は、ＣＰＵ１１が実行するコンピュータプログラムや、ＣＰＵ１１が処理するデータ等を記憶する。主記憶装置１２は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶装置１３は、各種のプログラム及び各種のデータを読み書き自在に記録媒体に格納し、外部記憶装置とも呼ばれる。補助記憶装置１３には、例えば、ＯＳ（Operating System）、各種プログラム、各種テーブル等が格納される。ＯＳは、例えば、通信ＩＦ１４を介して接続される外部装置等とのデータの受け渡しを行う通信インターフェースプログラムを含む。第１サーバ１０に対する外部装置等には、例えば、ネットワークに接続する第２サーバ２０や第３サーバ３０、ユーザ端末４０といったパーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）、サーバ、携帯端末等の情報処理装置や外部記憶装置等が含まれる。The main memory device 12 stores computer programs executed by the CPU 11 and data processed by the CPU 11. Examples of the main memory device 12 include flash memory, RAM (Random Access Memory), and ROM (Read Only Memory). The auxiliary memory device 13 stores various programs and data on a readable and writable recording medium and is also referred to as an external memory device. The auxiliary memory device 13 stores, for example, an OS (Operating System), various programs, various tables, and the like. The OS includes, for example, a communication interface program that exchanges data with external devices connected via the communication IF 14. Examples of external devices for the first server 10 include information processing devices and external memory devices such as personal computers (PCs), workstations (WS), servers, and mobile devices, such as the second server 20, third server 30, and user terminal 40 connected to the network.
補助記憶装置１３は、例えば、主記憶装置１２を補助する記憶領域として使用され、ＣＰＵ１１が実行するコンピュータプログラムや、ＣＰＵ１１が処理するデータ等を記憶する。補助記憶装置１３は、不揮発性半導体メモリ（フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM））を含むシリコンディスク、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）装置、ソリッドステートドライブ装置等である。また、補助記憶装置１３として、ＣＤドライブ装置、ＤＶＤドライブ装置、ＢＤドライブ装置といった着脱可能な記録媒体の駆動装置が例示される。着脱可能な記録媒体として、ＣＤ、ＤＶＤ、ＢＤ、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）メモリカード等が例示される。The auxiliary storage device 13 is used, for example, as a storage area that supports the main storage device 12, and stores computer programs executed by the CPU 11, data processed by the CPU 11, etc. The auxiliary storage device 13 may be a silicon disk including non-volatile semiconductor memory (flash memory, EPROM (Erasable Programmable ROM)), a hard disk drive (HDD), a solid state drive, etc. Examples of the auxiliary storage device 13 include drives for removable recording media such as CD drives, DVD drives, and BD drives. Examples of removable recording media include CDs, DVDs, BDs, USB (Universal Serial Bus) memory, and SD (Secure Digital) memory cards.
通信ＩＦ１４は、第１サーバ１０が接続するネットワークとのインターフェイスである。通信ＩＦ１４は、ネットワークを介して、第２サーバ２０や第３サーバ３０，各ユーザ端末４０に接続され、ユーザ端末４０の前方の現実空間に対して、各ユーザ端末４０が表示部４０６，４１２を通して表示可能な仮想会議空間ＶＳを提供する。The communication IF 14 is an interface with the network to which the first server 10 is connected. The communication IF 14 is connected to the second server 20, the third server 30, and each user terminal 40 via the network, and provides a virtual conference space VS that can be displayed by each user terminal 40 through the display units 406, 412 in the real space in front of the user terminal 40.
入出力ＩＦ１５は、第１サーバ１０に接続する機器との間でデータの入出力を行うインターフェイスである。入出力ＩＦ１５には、例えば、キーボード、タッチパネルやマウス等のポインティングデバイス、マイクロフォン等の入力デバイス等が接続する。第１サーバ１０は、入出力ＩＦ１５を介して、入力デバイスを操作する操作者からの操作指示等を受け付ける。The input/output IF 15 is an interface that inputs and outputs data between devices connected to the first server 10. Input devices such as a keyboard, a touch panel, a mouse, or other pointing device, and a microphone are connected to the input/output IF 15. The first server 10 receives operational instructions from an operator who operates the input device via the input/output IF 15.
また、入出力ＩＦ１５には、例えば、液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬパネル（ＥＬ：Electroluminescence）等の表示デバイス、プリンタ、スピーカ等の出力デバイスが接続する。第１サーバ１０は、入出力ＩＦ１５を介し、ＣＰＵ１１により処理されるデータや情報、主記憶装置１２、補助記憶装置１３に記憶されるデータや情報を出力する。In addition, the input/output IF 15 is connected to display devices such as liquid crystal panels (LCD: Liquid Crystal Display) and organic electroluminescence (EL: Electroluminescence) panels, as well as output devices such as printers and speakers. The first server 10 outputs data and information processed by the CPU 11, and data and information stored in the main memory device 12 and auxiliary memory device 13, via the input/output IF 15.
次に、図３Ａ乃至図３Ｅと図４乃至図６を参照して、各種サーバとユーザ端末の機能構成の一例について説明する。Next, we will explain an example of the functional configuration of various servers and user terminals with reference to Figures 3A to 3E and Figures 4 to 6.
図３Ａに示すように、第１サーバ１０は、ＣＰＵ１１によるプログラムの実行により、少なくとも、第１通信部１０１、仮想会議空間生成部１０２、ＢＩＭモデル設定部１０３、アバター生成部１０４、付箋貼付部１０５、３次元描画部１０６、音声文字起こし部１０７、翻訳部１０８、静止画キャプチャ部１０９、履歴保存・再生部１１０、第１表示部１１１、及び第１記憶部１１２の各種機能を提供する。尚、上記処理機能の少なくとも一部が、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等によって提供されてもよく、同様に、上記処理機能の少なくとも一部が、ＦＰＧＡ（Field-Programmable Gate Array）、数値演算プロセッサ、画像処理プロセッサ等の専用ＬＳＩ（large scale integration）やその他のデジタル回路等であってもよい。As shown in FIG. 3A, the first server 10, through execution of a program by the CPU 11, provides various functions, including at least a first communication unit 101, a virtual conference space generation unit 102, a BIM model setting unit 103, an avatar generation unit 104, a sticky note attachment unit 105, a 3D drawing unit 106, a voice transcription unit 107, a translation unit 108, a still image capture unit 109, a history storage and playback unit 110, a first display unit 111, and a first memory unit 112. Note that at least some of the above processing functions may be provided by a DSP (Digital Signal Processor), a GPU (Graphics Processing Unit), or the like. Similarly, at least some of the above processing functions may be provided by dedicated LSIs (large scale integration) such as FPGAs (Field-Programmable Gate Arrays), numerical calculation processors, image processing processors, or other digital circuits.
第１通信部１０１は、ユーザ端末４０の有する撮影部４０２，４１１を介して前方の現実空間を撮影した際に、表示部４０６、４１２を通して表示可能な仮想会議空間ＶＳを提供する。さらに、第１通信部１０１は、３Ｄペンによる３次元描画をはじめとする、様々なオプションを仮想会議空間ＶＳに提供する。The first communication unit 101 provides a virtual conference space VS that can be displayed on the display units 406, 412 when the real space ahead is photographed via the photographing units 402, 411 of the user terminal 40. Furthermore, the first communication unit 101 provides various options for the virtual conference space VS, including three-dimensional drawing using a 3D pen.
仮想会議空間生成部１０２は、様々な仮想会議室の中から、設計者端末４０等にて選択された仮想会議室をユーザ端末４０の前方の現実空間に提供する。この仮想会議室には、大会議室や小会議室、セミナールーム、アウトドア等が用意されている他、利用者の好みに応じた仮想会議空室を任意に設定することができる。The virtual conference space generation unit 102 provides a virtual conference room selected from various virtual conference rooms on the designer terminal 40 or the like in the real space in front of the user terminal 40. These virtual conference rooms include large conference rooms, small conference rooms, seminar rooms, and outdoor spaces, and users can freely set virtual conference rooms according to their preferences.
図４に示す例は、仮想会議空間ＶＳとして小会議室が設定され、表示部４０６、４１２に表示されている例である。The example shown in Figure 4 is an example in which a small conference room is set as the virtual conference space VS and is displayed on display units 406 and 412.
ＢＩＭモデル設定部１０３は、仮想会議空間ＶＳに対して、会議対象となるＢＩＭモデルの配置位置を設定し、設計者端末４０からの操作により、第２サーバ２０に格納されているＢＩＭモデルデータを受信して、仮想会議空間ＶＳにおける設定位置に対してＢＩＭモデルデータに基づくＢＩＭモデルを配置する。The BIM model setting unit 103 sets the placement position of the BIM model that will be the subject of the meeting in the virtual conference space VS, receives BIM model data stored in the second server 20 through operation from the designer terminal 40, and places the BIM model based on the BIM model data at the set position in the virtual conference space VS.
図４に示す例では、仮想会議空間ＶＳにおける設定位置に対して、第２サーバ２０から送信されたＢＩＭモデルデータに基づくＢＩＭモデルが配置され、このＢＩＭモデルを構成する様々なオブジェクトに対して、第３サーバ３０から送信された素材情報データに基づく素材モデルが適用されて形成された、会議用ＢＩＭモデルＶＭが生成されている状態を示している。尚、以下の説明では、オブジェクトのうち、フローリングの変更をクライアントから要求され、この要求に応じて設計担当者がフローリングに関する素材モデルを他の素材モデルに変更する場合を取り上げて説明する。The example shown in Figure 4 shows a state in which a BIM model based on BIM model data transmitted from the second server 20 is placed at a set position in the virtual conference space VS, and a conference BIM model VM is generated by applying material models based on material information data transmitted from the third server 30 to the various objects that make up this BIM model. Note that the following explanation focuses on a case in which a client requests a change to the flooring of one of the objects, and the designer changes the material model related to the flooring to another material model in response to this request.
アバター生成部１０４は、設計者端末４０を所有する設計担当者のアバターや、クライアント端末４０を所有するクライアントのアバター等を生成する。ここで、アバターには、様々な人物や動物、アニメーションのキャラクター等の画像が適用され、さらには、設計担当者やクライアントの自身の画像が適用される。The avatar generation unit 104 generates avatars for the designer who owns the designer terminal 40, avatars for the client who owns the client terminal 40, etc. Here, images of various people, animals, animated characters, etc. are applied to the avatars, and even images of the designer or client themselves are applied.
図４に示す例では、設計担当者自身の画像に基づく設計者アバターＡ１と、クライアント自身の画像に基づくクライアントアバターＡ２が、会議用ＢＩＭモデルＶＭを挟んで会議に参加している状態を示している。The example shown in Figure 4 shows a designer avatar A1 based on an image of the designer himself and a client avatar A2 based on an image of the client himself participating in a conference via a conference BIM model VM.
設計担当者等が自身の画像を用いたアバターを生成する際は、設計者端末４０やクライアント端末４０等に装備されている撮像部４０２，４１１、もしくは設計者端末４０等に接続されているカメラ等の外付けの撮影手段にて撮影された自身の画像が第１サーバ１０に送信され、第１サーバ１０のアバター生成部１０４にて画像が加工されて設計者アバター等が生成される。When a designer or other person creates an avatar using their own image, the image of themselves is taken using the imaging unit 402, 411 equipped on the designer terminal 40 or client terminal 40, or an external imaging device such as a camera connected to the designer terminal 40, and sent to the first server 10. The image is then processed by the avatar generation unit 104 of the first server 10 to create a designer avatar or other image.
また、設計担当者等がヘッドマウントディスプレイを装着している場合は、ヘッドマウントディスプレイの備えるカメラにて自身の画像が撮影され、顔や目の動きに関する動画データがアバター生成部１０４に取り込まれることにより、会議に参加する設計担当者やクライアントの細かな動作が表示されることによって、同じ会議に参加しているといったより一層高い臨場感を感受することができる。In addition, if a designer or other person is wearing a head-mounted display, their image is captured by the camera in the head-mounted display, and video data relating to facial and eye movements is imported into the avatar generation unit 104. This allows the detailed movements of the designers and clients participating in the meeting to be displayed, creating an even more realistic feeling as if they are actually participating in the same meeting.
さらに、設計担当者等がヘッドマウントディスプレイを装着している場合に、アバター生成部１０４は、設計者アバターＡ１やクライアントアバターＡ２が、ヘッドマウントディスプレイを装着していない状態（アバターからヘッドマウントディスプレイを削除した状態）で、ユーザ端末４０の表示部４０６，４１２に各アバターＡ１、Ａ２を表示させる、非表示機能を有している。Furthermore, when a designer or other person is wearing a head-mounted display, the avatar generation unit 104 has a non-display function that causes the designer avatar A1 and client avatar A2 to be displayed on the display units 406 and 412 of the user terminal 40 when they are not wearing a head-mounted display (when the head-mounted display has been removed from the avatar).
このように、設計者アバターＡ１やクライアントアバターＡ２が、ヘッドマウントディスプレイを装着していない状態で表示部４０６，４１２に表示されることにより、実際の会議に参加しているといった臨場感を感受することができる。In this way, by displaying the designer avatar A1 and client avatar A2 on the display units 406 and 412 without wearing a head-mounted display, participants can feel as if they are actually participating in a real meeting.
尚、図示例は、第１サーバ１０がアバター生成部１０４を有する形態であるが、ユーザ端末４０も同様にアバター生成部を備え、各ユーザ端末４０が独自にアバターを生成し、仮想会議空間ＶＳにアバターを提供する形態であってもよい。In the illustrated example, the first server 10 has an avatar generation unit 104, but the user terminals 40 may also have an avatar generation unit, and each user terminal 40 may independently generate an avatar and provide the avatar to the virtual conference space VS.
付箋貼付部１０５は、図６に示すように、会議にて決定した事項や、設計担当者やクライアントが会議にて他方に確認・伝達したい事項等を付箋Ｎに記載し、仮想会議空間ＶＳに付箋Ｎを貼付する。貼付された付箋Ｎは、決定事項や要確認・伝達事項等の備忘録として機能する。ここで、図６に示す例は、○月△日の会議にて、フローリングを素材情報データの中のＤ４に変更したことが付箋Ｎに記載されている。As shown in Figure 6, the sticky note attachment unit 105 writes down on sticky notes N the matters decided in the meeting, and matters that the designer or client want to confirm or communicate to the other party during the meeting, and attaches the sticky notes N to the virtual meeting space VS. The attached sticky notes N function as memoranda of decisions and matters that need to be confirmed or communicated. In the example shown in Figure 6, the sticky note N states that at the meeting on XX/△, the flooring was changed to D4 in the material information data.
ここで、図５に示すように、設計者端末４０の操作により、第３サーバ３０にて格納されている、オブジェクトの一例であるフローリングに関する素材情報データが第１サーバ１０に送信され、素材情報データに基づくフローリングモデルリスト（複数のフローリングモデルＦ（素材モデルの一例）のリスト）が、仮想会議空間ＶＳに対して表示部４０６，４１２を介して表示可能に提供される。ここで、図５に示す例では、縦にＡ乃至Ｄの４行、横に１乃至４の４列の計１６のフローリングモデルＦが例示されている。Here, as shown in FIG. 5, material information data related to flooring, an example of an object, stored in the third server 30 is sent to the first server 10 by operating the designer terminal 40, and a flooring model list (a list of multiple flooring models F (examples of material models)) based on the material information data is provided to the virtual conference space VS so that it can be displayed via the display units 406, 412. Here, in the example shown in FIG. 5, a total of 16 flooring models F are illustrated, arranged in four vertical rows, A to D, and four horizontal columns, 1 to 4.
図６に示す例では、会議用ＢＩＭモデルＶＭに対して、素材情報データ：Ａ１のフローリングモデルＦが統合されており、これを視認したクライアントアバターＡ２は、フローリングモデルＦを素材情報データ：Ａ１から他の素材情報データ：Ｄ４に変更する要求をしている。In the example shown in Figure 6, a flooring model F with material information data: A1 has been integrated into the meeting BIM model VM, and client avatar A2, upon viewing this, requests that flooring model F be changed from material information data: A1 to other material information data: D4.
３次元描画部１０６は、仮想会議空間ＶＳに対して３次元描画を実行する不図示の３Ｄペンを提供し、仮想会議空間ＶＳにいる設計者アバターＡ１とクライアントアバターＡ２は、必要に応じて３Ｄペンを使用して、仮想会議空間ＶＳに対して３次元描画を実行する。The three-dimensional drawing unit 106 provides a 3D pen (not shown) that performs three-dimensional drawing in the virtual conference space VS, and the designer avatar A1 and client avatar A2 in the virtual conference space VS use the 3D pen to perform three-dimensional drawing in the virtual conference space VS as needed.
３次元描画部１０６により、会議用ＢＩＭモデルＶＭのうちのどのオブジェクトの素材モデルの変更をクライアントが要望しているのか等を、３Ｄペンにて具体的かつ明確に指示することができる。また、その他、様々なコメントや手書き図面等を、仮想会議空間ＶＳに対して３次元描画することができる。The 3D drawing unit 106 allows the client to use a 3D pen to specifically and clearly indicate which object in the meeting BIM model VM the client wants to change the material model for. In addition, various other comments, hand-drawn drawings, etc. can be drawn in 3D in the virtual meeting space VS.
音声文字起こし部１０７は、図６に示すように、仮想会議空間ＶＳに対して、自動文字起こしされた文字を描画する。図６に示す例は、クライアントアバターＡ２が、現在の会議用ＢＩＭモデルＶＭに設定されている、素材情報データ：Ａ１に基づくフローリングモデルＦを、他の素材情報データ：Ｄ４に基づくフローリングモデルＦに変更することを要求し、この音声が文字起こしＬ１として表示されている。これに対して、設計者アバターＡ１は、フローリングモデルＦを素材情報データ：Ａ１から素材情報データ：Ｄ４に変更して会議用ＢＩＭモデルＶＭを更新する旨の回答をしており、この音声が文字起こしＬ２として表示されている。The speech transcription unit 107 renders automatically transcribed text in the virtual conference space VS, as shown in FIG. 6. In the example shown in FIG. 6, client avatar A2 requests that the flooring model F based on material information data: A1, which is currently set in the conference BIM model VM, be changed to a flooring model F based on other material information data: D4, and this voice is displayed as transcription L1. In response, designer avatar A1 replies that the flooring model F will be changed from material information data: A1 to material information data: D4 and the conference BIM model VM will be updated, and this voice is displayed as transcription L2.
音声文字起こし部１０７により、会議における音声が自動文字起こしされた文字が仮想会議空間ＶＳに描画されることによって、相手方の発言の聞き忘れを防止できる。さらに、相手方と自身の発言を文字を通して再考することができ、設計担当者とクライアントが共通認識の下で会議を進めることができる。The speech transcription unit 107 automatically transcribes speech during a meeting and displays it in the virtual meeting space VS, preventing participants from forgetting what the other party said. Furthermore, participants can reconsider what the other party and themselves said through the text, allowing the designer and client to proceed with the meeting on a common understanding.
翻訳部１０８は、仮想会議空間ＶＳに対して、翻訳後の自動文字起こしされた文字を描画する（翻訳の例は図示せず）。例えば、クライアントが日本語の理解できない外国人である場合に、係るクライアントとの間の会議においても、双方の理解の下で会議を円滑に進めることができる。また、このクライアントが外国にいる場合でも、時差なく会議を行うことができる。The translation unit 108 displays the automatically transcribed text after translation in the virtual conference space VS (an example of the translation is not shown). For example, if the client is a foreigner who does not understand Japanese, the conference can proceed smoothly with mutual understanding even in a conference with the client. Furthermore, even if the client is in a foreign country, the conference can be held without time lag.
静止画キャプチャ部１０９は、仮想会議空間ＶＳに対して、様々なシーンの会議の静止画を取得する。例えば、会議における重要な場面や静止画として残しておきたい場面を取得することができ、一例として、フローリングを様々な素材モデルに変更した際の会議用ＢＩＭモデルＶＭに関する静止画を都度取得することにより、クライアントは各静止画を連続的に、もしくは並べて比較することができる。The still image capture unit 109 acquires still images of various scenes from a meeting for the virtual conference space VS. For example, it can acquire important scenes from a meeting or scenes that the client wants to keep as still images. As an example, by acquiring still images of a conference BIM model VM each time the flooring is changed to various material models, the client can compare each still image consecutively or side by side.
履歴保存・再生部１１０は、仮想会議空間ＶＳにおける会議内容のデータ保存を実行し、さらに、保存されたデータを再生する。このように、会議内容のデータ保存と、保存されたデータの再生が実行されることにより、会議後に会議内容を確認して、フローリングに関する素材モデルの変更に関する決定事項を設計担当者とクライアントの双方が共有することができる。また、クライアントが複数の会議の履歴を参照することにより、未だ確認していないフローリングに関する素材モデル（例えば、図５における素材情報データ：Ｂ１や素材情報データ：Ｃ３の素材モデル等）が適用された、新規の会議用ＢＩＭモデルＶＭの作成を要求することもできる。The history saving and playback unit 110 saves data on the contents of the meeting held in the virtual conference space VS and also plays back the saved data. By saving the data on the meeting contents and playing back the saved data in this way, the meeting contents can be reviewed after the meeting, and decisions regarding changes to the flooring material model can be shared between the designer and the client. Furthermore, by referencing the history of multiple meetings, the client can request the creation of a new conference BIM model VM to which a flooring material model that has not yet been reviewed (for example, the material model of material information data: B1 or material information data: C3 in Figure 5) has been applied.
第１表示部１１１は、各ユーザ端末４０の前方の現実空間に提供する仮想会議空間ＶＳや、仮想会議空間ＶＳを形成する仮想会議室、仮想会議空間ＶＳの所定位置に配置されるＢＩＭモデルや会議用ＢＩＭモデルＶＭ、設計者アバターＡ１やクライアントアバターＡ２の配置や双方の視線方向等を表示し、臨場感のある会議が各ユーザ端末４０の表示部４０６、４１２に表示されているか否かを確認する。The first display unit 111 displays the virtual conference space VS provided in the real space in front of each user terminal 40, the virtual conference room that forms the virtual conference space VS, the BIM model and conference BIM model VM placed at a predetermined position in the virtual conference space VS, the placement of the designer avatar A1 and client avatar A2, and the line of sight of both, and checks whether a realistic conference is being displayed on the display units 406, 412 of each user terminal 40.
第１記憶部１１２は、会議における動画データを音声データとともに保存し、静止画キャプチャ部１０９にて取得された静止画データを保存し、その他、各種オプションが適用された際の記録をデータとして保存する。さらに、第１記憶部１１２には、アクセス権限のあるユーザ端末４０や第１サーバ１０、第２サーバ２０、及び第３サーバ３０のそれぞれのアドレスを記憶する。The first storage unit 112 stores video data from the conference along with audio data, still image data acquired by the still image capture unit 109, and other data recorded when various options are applied. Furthermore, the first storage unit 112 stores the addresses of user terminals 40 with access rights, the first server 10, the second server 20, and the third server 30.
一方、図３Ｂに示すように、第２サーバ２０は、ＣＰＵ１１によるプログラムの実行により、少なくとも、第２通信部２０１と第２記憶部２０２の各種機能を提供する。On the other hand, as shown in FIG. 3B, the second server 20 provides at least the various functions of the second communication unit 201 and the second memory unit 202 through program execution by the CPU 11.
第２通信部２０１は、第２記憶部２０２に格納されているＢＩＭモデルデータを、第１通信部１０１に送信する。第１サーバ１０にて受信されたＢＩＭモデルデータに基づくＢＩＭモデルは、各ユーザ端末４０の前方の現実空間に対して、表示部４０６、４１２を介して表示されている仮想会議空間ＶＳに提供される。ここで、２回目以降の会議では、既に、いつくかのオブジェクトに対して具体的な素材モデルが統合された会議用ＢＩＭモデルＶＭが作成されていることから、作成済みの会議用ＢＩＭモデルＶＭも第２記憶部２０２に記憶される。The second communication unit 201 transmits the BIM model data stored in the second memory unit 202 to the first communication unit 101. A BIM model based on the BIM model data received by the first server 10 is provided to the virtual conference space VS displayed via the display units 406, 412 in the real space in front of each user terminal 40. Here, for the second and subsequent conferences, since a conference BIM model VM has already been created in which specific material models have been integrated for several objects, the created conference BIM model VM is also stored in the second memory unit 202.
次回の会議では、作成済みの会議用ＢＩＭモデルＶＭが仮想会議空間ＶＳに提供され、既に設定済みのオブジェクトの素材モデルを変更したり、未だ未設定のオブジェクトに対する素材モデルの統合が行われて、デザイン会議がさらに進められる。At the next meeting, the created meeting BIM model VM will be provided to the virtual meeting space VS, and the material models of already set objects can be changed and material models for objects that have not yet been set can be integrated, allowing the design meeting to progress further.
第２記憶部２０２はさらに、１回の会議で決定された会議用ＢＩＭモデルＶＭを記憶し、さらには、最終的に決定された建物の会議用ＢＩＭモデルＶＭを記憶する。The second memory unit 202 further stores the meeting BIM model VM determined in one meeting, and further stores the meeting BIM model VM of the building that was finally determined.
一方、図３Ｃに示すように、第３サーバ３０は、ＣＰＵ１１によるプログラムの実行により、少なくとも、第３通信部３０１、素材モデル変更承認部３０２、及び第３記憶部３０３の各種機能を提供する。On the other hand, as shown in FIG. 3C, the third server 30 provides various functions, including at least a third communication unit 301, a material model change approval unit 302, and a third storage unit 303, through program execution by the CPU 11.
第３通信部３０１は、第３記憶部３０３に格納されている各オブジェクトに関する素材情報データを、仮想会議空間ＶＳに提供する。各オブジェクトにはそれぞれ、各社の製品がデータリスト化され、具体的なイメージを想起可能な素材モデルが設定されている。そのため、仮想会議空間ＶＳに提供された各オブジェクトに関する素材情報データに基づき、各オブジェクトに対してクライアントの要求に応じた素材モデルを統合させて会議用ＢＩＭモデルを生成することにより、会議の参加者は各オブジェクトの具体的なイメージを想起でき、したがって、各居室や建物全体の具体的なイメージを想起することができる。The third communication unit 301 provides the virtual conference space VS with material information data for each object stored in the third storage unit 303. Each object has a data list of each company's products and a material model that can evoke a specific image. Therefore, by generating a conference BIM model by integrating material models for each object in accordance with the client's requests based on the material information data for each object provided to the virtual conference space VS, conference participants can evoke a specific image of each object, and therefore a specific image of each room or the entire building.
さらに、ＢＩＭモデルの各オブジェクトに対して、製品のテクスチャ設定を自動かつ短時間で行うことができるため、決められた時間の会議の中で、様々な素材モデルの変更を都度具体的なイメージを持って確認することが可能になる。In addition, product texture settings can be applied automatically and quickly to each object in the BIM model, making it possible to review various material model changes with a concrete image each time during a scheduled meeting.
素材モデル変更承認部３０２は、素材モデルが変更されて会議用ＢＩＭモデルＶＭが更新され、素材モデルの変更情報データを第３通信部３０１が受信した後、素材モデルの変更を承認し、この承認によって、会議用ＢＩＭモデルＶＭの更新を正式に決定する。After the material model is changed, the conference BIM model VM is updated, and the third communication unit 301 receives the material model change information data, the material model change approval unit 302 approves the material model change and, with this approval, officially decides to update the conference BIM model VM.
このように、素材モデルの変更による会議用ＢＩＭモデルＶＭの更新が、素材モデル変更承認部３０２の承認によって正式に決定されることにより、クライアントからの要望等によって様々に変化し得る素材モデルに基づく会議用ＢＩＭモデルＶＭを、変更の変遷に応じた時系列の中で都度確定することができ、会議中であれば現時点で決定されている会議用ＢＩＭモデルＶＭを確定することができ、最後の会議の終了時点においては最終的に決定されたデザインを確定することができる。In this way, by officially deciding to update the conference BIM model VM due to changes to the material model with the approval of the material model change approval unit 302, the conference BIM model VM based on the material model, which can change in various ways depending on requests from the client, etc., can be confirmed each time in a chronological order according to the changes. If a meeting is in progress, the currently decided conference BIM model VM can be confirmed, and at the end of the last meeting, the final decided design can be confirmed.
第３記憶部３０３は、１回の会議で決定された会議用ＢＩＭモデルＶＭを構成する各オブジェクトの素材モデルを記憶し、さらには、最終的に決定された建物の会議用ＢＩＭモデルＶＭを構成する各オブジェクトの素材モデルを記憶する。The third storage unit 303 stores the material models of each object that constitutes the conference BIM model VM determined in one meeting, and also stores the material models of each object that constitutes the final determined conference BIM model VM of the building.
一方、図３Ｄに示すように、設計者端末４０は、ＣＰＵ１１によるプログラムの実行により、少なくとも、第４通信部４０１、第４撮影部４０２、ＢＩＭモデル操作部４０３、素材モデル統合・変更部４０４、各種オプション選択・操作部４０５、第４表示部４０６、及び第４記憶部４０７の各種機能を提供する。On the other hand, as shown in FIG. 3D, the designer terminal 40, through the execution of a program by the CPU 11, provides various functions, including at least a fourth communication unit 401, a fourth photography unit 402, a BIM model operation unit 403, a material model integration and modification unit 404, a variety of option selection and operation unit 405, a fourth display unit 406, and a fourth memory unit 407.
第４通信部４０１は、第１サーバ１０の第１通信部１０１に接続し、第４撮影部４０２を通して前方の現実空間の動画を撮影した際に、第４表示部４０６を介して第１サーバ１０から提供される仮想会議空間ＶＳを表示可能とする。The fourth communication unit 401 connects to the first communication unit 101 of the first server 10, and when video of the real space ahead is captured via the fourth imaging unit 402, the virtual conference space VS provided by the first server 10 can be displayed via the fourth display unit 406.
また、第４通信部４０１は、第２サーバ２０の第２通信部２０１に接続し、第２記憶部２０２に格納されているＢＩＭモデルデータを第１サーバ１０に送信するとともに、第３サーバ３０の第３通信部３０１に接続し、第３記憶部３０３に格納されている素材情報データを第１サーバ１０に送信する。In addition, the fourth communication unit 401 connects to the second communication unit 201 of the second server 20 and transmits the BIM model data stored in the second memory unit 202 to the first server 10, and also connects to the third communication unit 301 of the third server 30 and transmits the material information data stored in the third memory unit 303 to the first server 10.
第４撮影部４０２は、設計者端末４０の前方の現実空間を動画撮影するとともに、設計担当者を動画撮影する。動画撮影された前方の現実空間には、第１サーバ１０から提供される仮想会議空間ＶＳが第４表示部４０６を介して表示可能とされ、動画撮影された設計担当者自身の動画は、第１サーバ１０に送信され、アバター生成部１０４にて自身の設計者アバターＡ１の作成に供される。The fourth image capture unit 402 captures video of the real space in front of the designer terminal 40, as well as video of the designer. The virtual conference space VS provided by the first server 10 can be displayed in the video-captured real space in front of the designer terminal 40 via the fourth display unit 406, and the video of the designer himself is sent to the first server 10 and used by the avatar generation unit 104 to create his or her own designer avatar A1.
ＢＩＭモデル操作部４０３は、第２サーバ２０からＢＩＭモデルデータを第１サーバ１０に送信して、仮想会議空間ＶＳにＢＩＭモデルデータに基づくＢＩＭモデルを取り込むとともに、会議においては、設計者アバターＡ１がクライアントアバターＡ２にＢＩＭモデルや会議用ＢＩＭモデルＶＭを用いて説明するに当たり、会議用ＢＩＭモデルＶＭ等の大きさやクライアントアバターＡ２から見る角度等を様々に変更したり、会議用ＢＩＭモデルＶＭの位置を変更する。The BIM model operation unit 403 transmits BIM model data from the second server 20 to the first server 10 and imports a BIM model based on the BIM model data into the virtual conference space VS. During the conference, when the designer avatar A1 explains to the client avatar A2 using the BIM model and the conference BIM model VM, the size of the conference BIM model VM, the viewing angle from the client avatar A2, etc. are changed in various ways, and the position of the conference BIM model VM is changed.
素材モデル統合・変更部４０４は、仮想会議空間ＶＳにおいて、設計担当者がＢＩＭモデルの各オブジェクトに対して、素材情報データに基づく素材モデルを統合する操作を実行し、クライアントからの要望に応じて、統合されている素材モデルを他の素材モデルに変更する操作を実行する。The material model integration and modification unit 404 allows the designer to integrate material models based on material information data for each object in the BIM model in the virtual conference space VS, and to change the integrated material model to another material model in response to a client request.
各オプション選択・操作部４０５は、第１サーバ１０が仮想会議空間ＶＳに提供する様々なオプション、具体的には、付箋貼付機能、３次元描画機能、音声文字起こし機能、翻訳機能、静止画キャプチャ機能、履歴保存機能と履歴再生機能のいずれか一種もしくは複数種を選択し、仮想会議空間ＶＳに適用する操作を実行する。Each option selection/operation unit 405 selects one or more of the various options provided by the first server 10 to the virtual conference space VS, specifically, the sticky note function, 3D drawing function, voice transcription function, translation function, still image capture function, history saving function, and history playback function, and performs the operation to be applied to the virtual conference space VS.
第４記憶部４０７には、設計担当者が設計したＢＩＭモデルデータが格納されており、第２サーバ２０から第１サーバ１０へＢＩＭモデルデータを送信して仮想会議空間ＶＳに提供することとは別に、第４記憶部４０７にあるＢＩＭモデルデータを第１サーバ１０に送信することもできる。また、第４記憶部４０７では、第１記憶部１１２と同様に、会議における動画データを音声データとともに保存し、静止画キャプチャ部１０９にて取得された静止画データを保存し、その他、各種オプションが適用された際の記録をデータとして保存する。The fourth storage unit 407 stores BIM model data designed by the designer, and in addition to sending the BIM model data from the second server 20 to the first server 10 and providing it to the virtual conference space VS, the BIM model data in the fourth storage unit 407 can also be sent to the first server 10. Similar to the first storage unit 112, the fourth storage unit 407 also stores video data from conferences along with audio data, stores still image data acquired by the still image capture unit 109, and also stores data records when various options are applied.
一方、図３Ｅに示すように、クライアント端末４０は、ＣＰＵ１１によるプログラムの実行により、少なくとも、第５通信部４１０、第５撮影部４１１、及び第５表示部４１２の各種機能を提供する。On the other hand, as shown in FIG. 3E, the client terminal 40 provides various functions of at least a fifth communication unit 410, a fifth image capture unit 411, and a fifth display unit 412 through program execution by the CPU 11.
第５通信部４１０は、第１サーバ１０の第１通信部１０１に接続し、第５撮影部４１１を通して前方の現実空間の動画を撮影した際に、第５表示部４１２を介して第１サーバ１０から提供される仮想会議空間ＶＳを表示可能とする。The fifth communication unit 410 connects to the first communication unit 101 of the first server 10, and when video of the real space ahead is captured via the fifth imaging unit 411, it is possible to display the virtual conference space VS provided by the first server 10 via the fifth display unit 412.
第５撮影部４１１は、クライアント端末４０の前方の現実空間を動画撮影するとともに、クライアントを動画撮影する。動画撮影された前方の現実空間には、第１サーバ１０から提供される仮想会議空間ＶＳが第５表示部４１２を介して表示可能とされ、動画撮影されたクライアント自身の動画は、第１サーバ１０に送信され、アバター生成部１０４にて自身のクライアントアバターＡ２の作成に供される。The fifth image capture unit 411 captures video of the real space in front of the client terminal 40, and also captures video of the client. In the captured video of the real space in front, a virtual conference space VS provided by the first server 10 can be displayed via the fifth display unit 412, and the captured video of the client himself is sent to the first server 10 and used by the avatar generation unit 104 to create his own client avatar A2.
図示する会議支援システム１００によれば、ユーザ端末４０の前方の現実空間に対して、ユーザ端末４０に含まれる設計者端末４０とクライアント端末４０の双方がそれぞれの表示部４０６，４１２を通して表示可能な仮想会議空間ＶＳが第１サーバ１０にて提供され、仮想会議空間ＶＳに提供されている会議用ＢＩＭモデルＶＭを用いて設計担当者が説明し、クライアントが説明を受け、クライアントから設計担当者に対して様々な要求や要望が提案される会議を行うことにより、クライアントと設計担当者の一方もしくは双方が会議のために会議場所へ出向くことを不要にできる。According to the illustrated conference support system 100, a virtual conference space VS is provided by the first server 10 in the real space in front of the user terminal 40, which can be displayed by both the designer terminal 40 and the client terminal 40 included in the user terminal 40 through their respective displays 406, 412. A conference is held in which the designer gives an explanation using the conference BIM model VM provided in the virtual conference space VS, the client receives the explanation, and the client proposes various requests and demands to the designer, eliminating the need for either or both the client and the designer to travel to the conference location for the conference.
さらに、第１サーバ１０に接続している設計者端末４０が、仮想会議空間ＶＳに表示されているＢＩＭモデルに対して、素材情報データに基づく素材モデルを統合して会議用ＢＩＭモデルＶＭを作成すること、言い換えると、ＢＩＭモデルを構成する各オブジェクトを具体的な素材モデルとすることにより、壁やフローリング、天井といった様々なオブジェクトが素材モデルにて構成される会議用ＢＩＭモデルによって、クライアントはデザインに関する具体的なイメージを想起することが可能になる。Furthermore, the designer terminal 40 connected to the first server 10 creates a conference BIM model VM by integrating a material model based on material information data with the BIM model displayed in the virtual conference space VS. In other words, by making each object that makes up the BIM model a specific material model, the conference BIM model, in which various objects such as walls, flooring, and ceilings are composed of material models, allows the client to evoke a specific image of the design.
尚、上記実施形態に挙げた構成等に対し、その他の構成要素が組み合わされるなどした他の実施形態であってもよく、ここで示した構成に本発明が何等限定されるものではない。この点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。Note that other embodiments may be possible in which other components are combined with the configurations described in the above embodiments, and the present invention is in no way limited to the configurations shown here. In this regard, changes can be made without departing from the spirit of the present invention, and can be determined appropriately depending on the application form.
１０：第１サーバ
２０：第２サーバ
３０：第３サーバ
４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ：ユーザ端末（設計者端末、クライアント端末）
５０：ネットワーク
１００：会議支援システム
４０２：第４撮影部（撮影部）
４０６：第４表示部（表示部）
４１１：第５撮影部（撮影部）
４１２：第５表示部（表示部）
ＶＳ：仮想会議空間
ＶＭ：会議用ＢＩＭモデル（ＢＩＭモデル）
Ｆ：フローリングモデル（素材モデル）
Ａ１：設計者アバター（アバター）
Ａ２：クライアントアバター（アバター）
Ｌ１，Ｌ２：音声の文字起こし（文字起こし）
Ｎ：付箋 10: First server 20: Second server 30: Third server 40, 40A, 40B, 40C, 40D: User terminals (designer terminals, client terminals)
50: Network 100: Conference support system 402: Fourth image capture unit (image capture unit)
406: Fourth display section (display section)
411: 5th imaging unit (imaging unit)
412: Fifth display section (display section)
VS: Virtual meeting space VM: BIM model for meeting (BIM model)
F: Flooring model (material model)
A1: Designer Avatar (Avatar)
A2: Client avatar (avatar)
L1, L2: Audio transcription (transcription)
N: Sticky notes
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023029347AJP7744558B2 (en) | 2023-02-28 | 2023-02-28 | Meeting Support System |
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023029347AJP7744558B2 (en) | 2023-02-28 | 2023-02-28 | Meeting Support System |
| Publication Number | Publication Date |
|---|---|
| JP2024122038A JP2024122038A (en) | 2024-09-09 |
| JP7744558B2true JP7744558B2 (en) | 2025-09-26 |
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023029347AActiveJP7744558B2 (en) | 2023-02-28 | 2023-02-28 | Meeting Support System |
| Country | Link |
|---|---|
| JP (1) | JP7744558B2 (en) |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014010662A (en) | 2012-06-29 | 2014-01-20 | Toshiba Elevator Co Ltd | Bim system, server device, terminal device, method, and program |
| JP2018106716A (en) | 2016-12-23 | 2018-07-05 | ダッソー システムズ ３ディーエキサイト コーポレイション | Highly automated application of digital finish material to 3d data |
| JP2019536131A (en) | 2016-10-04 | 2019-12-12 | フェイスブック，インク． | Controls and interfaces for user interaction in virtual space |
| US20230019607A1 (en) | 2021-02-08 | 2023-01-19 | Multinarity Ltd | Systems and methods for moving content between virtual and physical displays |
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014010662A (en) | 2012-06-29 | 2014-01-20 | Toshiba Elevator Co Ltd | Bim system, server device, terminal device, method, and program |
| JP2019536131A (en) | 2016-10-04 | 2019-12-12 | フェイスブック，インク． | Controls and interfaces for user interaction in virtual space |
| JP2018106716A (en) | 2016-12-23 | 2018-07-05 | ダッソー システムズ ３ディーエキサイト コーポレイション | Highly automated application of digital finish material to 3d data |
| US20230019607A1 (en) | 2021-02-08 | 2023-01-19 | Multinarity Ltd | Systems and methods for moving content between virtual and physical displays |
| Publication number | Publication date |
|---|---|
| JP2024122038A (en) | 2024-09-09 |
| Publication | Publication Date | Title |
|---|---|---|
| Carvajal et al. | Virtual museums. Captured reality and 3D modeling | |
| JP6838129B1 (en) | Information providing device, information providing system, information providing method and information providing program | |
| DE112021001301T5 (en) | DIALOGUE-BASED AI PLATFORM WITH RENDERED GRAPHIC OUTPUT | |
| Bordegoni et al. | Designing interaction with consumer products in a multisensory virtual reality environment: this paper shows how virtual reality technology can be used instead of physical artifacts or mock-ups for the new product and evaluation of its usage | |
| US12125163B1 (en) | Real-time build out of a virtual world | |
| CA2801512A1 (en) | System and method for virtual touring of model homes | |
| JP5005574B2 (en) | Virtual space providing server, virtual space providing method, and computer program | |
| US20210065457A1 (en) | Systems and Methods for Dynamically Creating a Custom Virtual World | |
| US20100231590A1 (en) | Creating and modifying 3d object textures | |
| JP2021103527A (en) | Information providing device, information providing system, information providing method, and information providing program | |
| KR20220143457A (en) | Virtual exhibition system based on on-line | |
| JP7744558B2 (en) | Meeting Support System | |
| JP7138375B1 (en) | TERMINAL DEVICE, VIRTUAL REALITY SPACE EDITING SYSTEM, PROGRAM AND VIRTUAL REALITY SPACE EDITING METHOD | |
| JP7632519B2 (en) | VIRTUAL SPACE GENERATION DEVICE, VIRTUAL SPACE GENERATION PROGRAM, AND VIRTUAL SPACE GENERATION METHOD | |
| JP2007233906A (en) | Advertisement providing device, advertisement providing method and advertisement providing program | |
| CN115373570B (en) | Image processing method, device, electronic equipment and storage medium | |
| KR20240050621A (en) | Metaverse based family remembrance/event space platform system | |
| WO2023190344A1 (en) | Information processing device, information processing method, and program | |
| CN115756153A (en) | A VR interaction system and method based on metaverse virtual reality | |
| CN117044217A (en) | Information processing apparatus, information processing method, and recording medium | |
| TWI799195B (en) | Method and system for implementing third-person perspective with a virtual object | |
| CN105984146A (en) | Manufacturing method of 3D object and 3D printing device | |
| JP7088400B1 (en) | Content management system, content management method, and program | |
| US20240371059A1 (en) | Collaborative Workspace for an Artificial Reality Environment | |
| US20250310481A1 (en) | Virtual reality-based legal services platform |
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20250213 | |
| A871 | Explanation of circumstances concerning accelerated examination | Free format text:JAPANESE INTERMEDIATE CODE: A871 Effective date:20250213 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20250430 | |
| A521 | Request for written amendment filed | Free format text:JAPANESE INTERMEDIATE CODE: A523 Effective date:20250620 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20250805 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20250813 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7744558 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |