Pixal3D는 텐센트 ARC 랩(Tencent ARC Lab)에서 개발하여 2026년 5월에 공개한 최첨단 이미지 기반 3D 에셋 생성 솔루션으로, 단 한 장의 2D 이미지로부터 고해상도 기하학적 메쉬와 실제와 같은 텍스처를 동시에 복원할 수 있습니다. 본 시스템은 Microsoft의 차세대 O-Voxel 기반 4B 매개변수 프레임워크인 TRELLIS.2 흐름 매칭 트랜스포머(Flow-matching Transformer) 아키텍처를 백본으로 삼아, 기존 모델들이 표현하기 어려웠던 복잡한 물리 기반 렌더링(PBR) 재질과 입체적인 위상(Topology) 구조를 고속으로 생성합니다. 특히 학습용 전체 코드와 데이터 전처리 파이프라인, 그리고 로컬 추론 및 웹 데모용 가중치 전반을 완전한 MIT 라이선스로 전면 개방함으로써, 연구진과 개발자들이 라이선스 제한 없이 최신 3D 비전 인프라를 활용하고 커스텀 파이프라인을 자유롭게 구축할 수 있도록 지원합니다. 기존의 이미지-to-3D 생성 방식들은 대부분 캐노니컬 공간(Canonical space)에서 3D 형태를 생성하고 크로스 어텐션(Cross-attention)을 통해 2D 이미지 정보를 간접적으로 주입하는 방식을 취하여, 2D 입력 이미지와 3D 형상 간의 정확한 픽셀 매핑(Pixel-to-3D correspondence)이 불일치하는 심각한 한계를 가졌습니다. 비유하자면, 기존의 3D 생성기들이 대상의 2D 사진만 힐끗 보고 머릿속 기억에 의존해 흙을 빚는 가상의 조각가라면, Pixal3D는 투명한 유리판 뒤에 원본 사진을 밀착 고정해 두고 픽셀의 윤곽과 질감을 투사(Tracing)하듯 입체 면 위에 자국을 새기는 정밀한 복원가와 같습니다. Pixal3D는 픽셀 역투영 컨디셔닝(Pixel Back-projection Conditioning) 기법을 설계하여 입력 뷰어와 완전히 일치하는 방식으로 3D 공간을 직접 정의하므로, 생성 결과물이 입력 2D 이미지와 완벽히 겹치는 고정밀 픽셀 정합(Pixel alignment)을 구현하여 실질적인 복원(Reconstruction) 수준의 정밀도를 보장합니다. 생명공학 및 바이오 영상 분석 분야에서 Pixal3D는 2D 입체 촬영 및 투사 이미지를 연구용 3D 입체 형상으로 즉각 전환하는 디지털화 도구로 활용됩니다. 무균 실험동이나 미세 분석 기기 환경에서 촬영한 단일 투과전자현미경(TEM) 영상 또는 복잡한 생체 조직 단면 슬라이스 이미지를 본 엔진에 입력하면, 기하학적 입체 곡률과 표면 질감을 지닌 3D 메쉬 파일이 신속하게 자동 생성됩니다. 이러한 출력물은 다중 뷰 데이터와 결합되어 세포 수준의 고해상도 체적 데이터(Volumetric data)로 가공되거나 Blender 및 PyMOL 등 생물학 시각화 소프트웨어로 직접 전달되어 세포막 소기관의 구조적 상호작용 분석, 교육용 입체 프린팅 에셋 출력, 혹은 약물 복합체 결합 인터페이스 연구를 위한 구조적 모형 설계의 핵심 소스로 사용될 수 있습니다.