2025年05月12日 15時00分ソフトウェア

テキストから物理的に安定したレゴブロックの構造物を生成するモデル「LegoGPT」とデータセット「StableText2Lego」が公開中

ユーザーが入力したテキストプロンプトからレゴで組み立てた構造物を生成できる「LegoGPT」を、カーネギーメロン大学の研究チームが発表しました。また、研究チームは4万7000件を超えるレゴ構造物と2万8000件以上のユニークな3Dオブジェクトを含むデータセット「StableText2Lego」もリリースしています。

Generating Physically Stable and Buildable レゴ Designs from Text
https://avalovelace1.github.io/LegoGPT/

AvaLovelace1/LegoGPT: Official repository for LegoGPT, the first approach for generating physically stable レゴ brick models from text prompts.
https://github.com/AvaLovelace1/LegoGPT/

発表された研究の基盤となるのが、大規模レゴデータセットであるStableText2Legoです。StableText2Legoには4万7000件以上のレゴ構造物と2万8000件以上の3Dオブジェクトを含んだデータセットで、各構造物は物理的安定性を示す「安定性スコア」やテキストによる説明とペアになっています。

研究チームは、まず3DモデルのデータベースであるShapeNetCoreから3Dメッシュを20×20×20のグリッドにボクセル化し、「legolization」と呼ばれる過程を適用してレゴブロックのレイアウトに変換しています。

その後、各形状に対して複数の構造的バリエーションを作成するために、全体的な形状を保ちながらブロックのレイアウトをランダム化しました。この際に物理的に安定しているかどうかのチェックが行われ、不安定なデザインはフィルタリングされるとのこと。

こうして得られたレゴ構造物のデータで構築されたStableText2Legoを基に、研究チームはLlama-3.2-1B-Instructをベースモデルとしてファインチューニングを行いました。

研究チームは、レゴ作品をモデリングするための3Dグラフィックファイル形式であるLDrawについて、「ブロックの寸法が明示的に記されていなかったり、ブロックの向きやスケールといった今回のタスクに不要な情報が含まれていたりという欠点がある」と指摘。そこで、各レゴブロックを「{高さ}×{幅}({x座標},{y座標},{z座標})」という独自形式で表現しています。これによりデザインを表現するために必要なトークン数を大幅に削減しながら、3D推論に不可欠なブロックの寸法情報を含めることに成功しました。

そして、物理的に安定したデータでトレーニングしても、モデルは物理法則や組み立て制約に違反するデザインを生成することがあります。そこで、研究チームはモデルの自己回帰推論中に物理的安定性の検証を組み込むことで、生成されたレゴ構造物の安定性を確保しています。さらに生成された形状に詳細なテクスチャを適用したり、個々のブロックに均一な色を割り当てたりすることも可能にしました。

実際にテキストプロンプトに対して出力されたレゴ構造物がどんなものなのかは以下のムービーを見るとよくわかります。

「A classical guitar(クラシックギター)」

「A basic sofa(ベーシックなソファ)」

このベーシックなソファに、「Vintage floral tapestry with deep reds and golds(深紅と金色のヴィンテージ風な花柄タペストリー)」というプロンプトでテクスチャを追加指定すると、こんな仕上がりに。

「A streamlined vessel with a long, narrow hull(細長い船体を持つ流線形の船)」

そして、この「細長い船体を持つ流線形の船」で出力したレゴ構造体をロボットで実際に組み立てる様子が以下のムービー。

StableText2LegoデータセットとLegoGPTのコードおよびモデルは、GitHubで公開されています。ただし、LegoGPTのベースになっているLlama-3.2-1B-Instructはゲート制限付きモデルのため、アクセスにはHugging Faceのユーザーアクセストークンが必要。また、安定性の解析を行うには、Gurobiのライセンスも必要となっています。

なお、LegoGPTのデモはHugging Faceで公開されており、以下からアクセスできます。

LegoGPT-Demo - a Hugging Face Space by cmu-gil
https://huggingface.co/spaces/cmu-gil/LegoGPT-Demo