Pixal3Dは、テンセントARCラボが開発し、2026年5月に公開された最先端の画像ベース3Dアセット生成ソリューションです。単一の2D画像から、高解像度の幾何学的メッシュとリアルなテクスチャを同時に復元できます。このシステムは、Microsoftの次世代O-Voxelベースの40億パラメータフレームワークであるTRELLIS.2 Flow-matching Transformerアーキテクチャをバックボーンとして採用し、従来のモデルでは表現が難しかった複雑な物理ベースレンダリング（PBR）マテリアルと立体的なトポロジー構造を高速に生成します。特に、学習用の完全なコード、データ前処理パイプライン、およびローカル推論およびWebデモ用のすべての重みを完全なMITライセンスで公開することで、研究者や開発者がライセンス制限なしに最新の3Dビジョンインフラを活用し、カスタムパイプラインを自由に構築できるようにサポートします。 従来の画像から3Dへの生成方法は、ほとんどがカノニカル空間で3D形状を生成し、クロスアテンションを通じて2D画像情報を間接的に注入する方法を採用しており、2D入力画像と3D形状間の正確なピクセルマッピング（Pixel-to-3D correspondence）が一致しないという深刻な限界がありました。たとえれば、従来の3Dジェネレーターは、対象の2D写真に一瞥して、頭の中の記憶に頼って粘土を捏ねる仮想の彫刻家であるのに対し、Pixal3Dは、透明なガラス板の裏に元の写真を密着させて固定し、ピクセルの輪郭と質感を投影（Tracing）するように立体面に跡を刻む精密な修復師のようなものです。Pixal3Dは、ピクセル逆投影コンディショニング（Pixel Back-projection Conditioning）技術を設計し、入力ビューと完全に一致するように3D空間を直接定義するため、生成結果が入力2D画像と完全に一致する高精度のピクセル整合（Pixel alignment）を実現し、実質的な復元（Reconstruction）レベルの精度を保証します。 生物工学およびバイオイメージング分析の分野では、Pixal3Dは、2D立体撮影および投影画像を研究用の3D立体形状に即座に変換するデジタル化ツールとして活用されます。無菌実験動物や微細分析装置環境で撮影された単一の透過電子顕微鏡（TEM）画像、または複雑な生体組織断面スライスの画像をこのエンジンに入力すると、幾何学的立体曲率と表面テクスチャを持つ3Dメッシュファイルが迅速に自動生成されます。これらの出力は、マルチビューデータと組み合わせて、細胞レベルの高解像度ボリュームデータ（Volumetric data）として処理されるか、BlenderやPyMOLなどの生物学可視化ソフトウェアに直接転送され、細胞膜小器官の構造的相互作用分析、教育用の立体プリントアセットの出力、または薬物複合体結合インターフェース研究のための構造的モデル設計の主要なソースとして使用できます。

Pixal3Dは、テンセントARCラボが開発し、2026年5月に公開された最先端の画像ベースの3Dアセット生成ソリューションです。1枚の2D画像から、高解像度の幾何学的メッシュとリアルなテクスチャを同時に復元できます。このシステムは、Microsoftの次世代O-Voxelベースの40億パラメータフレームワークであるTRELLIS.2フローマッチングトランスフォーマーアーキテクチャをバックボーンとし、従来のモデルでは表現が難しかった複雑な物理ベースレンダリング（PBR）マテリアルと立体を再現します。

単一の顕微鏡画像に基づく細胞小器官の3D立体再構成: 1024x1024解像度の2D透過電子顕微鏡（TEM）ミトコンドリア画像を1枚入力し、Pixal3Dの逆投影アルゴリズムとTRELLIS.2バックボーンを通じて、GPU上で3〜5秒以内に3Dメッシュを生成。生成されたOBJメッシュは、BlenderやPyMOLと組み合わせて、細胞膜の曲率測定や体積分析を支援し、3Dプリント教材の作成に活用。