TRELLISは、単一の画像またはテキストプロンプトを入力として受け取り、豊富な3D幾何構造とテクスチャを持つ、複数のフォーマットの3Dアセットを生成する、深層学習ベースの3D生成モデルです。自然言語処理モデルであるGPTが文脈を理解して多様な形式のテキストを出力するように、このツールは入力ソースを統合された構造化された潜在表現（Structured Latents、SLAT）に精密に変換した後、多様な下流の3D表現形式に同時にデコードします。従来の3D生成モデルは、NeRF、3D Gaussian Splatting、ポリゴンメッシュのいずれか特定のフォーマットに限定されるか、フォーマット変換時に著しい品質低下を経験するという限界がありました。TRELLISは、このような「フォーマットの断片化」の問題を根本的に克服するために、複数のフォーマットを網羅するRectified Flow Transformerアーキテクチャを導入しました。 Rectified Flow Transformerバックボーンは、12億から最大20億のパラメータに基づいて設計されており、わずか10秒以内に歪みのない幾何学的形状と詳細なPBRテクスチャを抽出します。従来のメッシングモデルで発生していた幾何学的歪みやぼかし現象を大幅に軽減し、複雑なトポロジー構造を持つオブジェクトも高い精度で復元します。生成されたアセットは、ゲーム開発エンジンや仮想現実レンダラーなどの商用パイプラインで変換損失なしに即座にインポートして活用できる、優れた汎用性を提供します。 医療およびバイオテクノロジーの可視化分野の研究者は、単一のグラフィック例または断面画像資料に基づいて、高精細な3D構造データを迅速にプロトタイプ化できます。AlphaFoldを使用して予測されたタンパク質の2Dスクリーンショット画像や解剖学的断面構造を入力として、リアルタイムレンダリングが可能なWebベースの3Dビューア用の資産や、手術シミュレーション用のポリゴンメッシュを生成することで、研究ワークフローを大幅に短縮できます。

TRELLISは、単一の画像またはテキストプロンプトを入力として受け取り、豊富な3D形状とテクスチャを持つ、複数のフォーマットの3Dアセットを生成する、深層学習ベースの3D生成モデルです。自然言語処理モデルであるGPTが文脈を理解して多様な形式のテキストを出力するように、このツールは入力ソースを統合された構造化された潜在表現（Structured Latents、SLAT）に精密に変換した後、多様な下流の3D表現形式に同時にデコードします。従来の3D生成モデルは、NeRF、3D Gaussian Splatting、ポリゴンメッシュのいずれかを選択して使用していました。