Z-Image

- S3-DiT 아키텍처: Scalable Single-Stream Diffusion Transformer — 텍스트, 시각 시맨틱 토큰, 이미지 VAE 잠재 변수를 단일 시퀀스로 통합하여 Dual-Stream 대비 파라미터 효율 극대화. 6B 파라미터로 20B+ 상용 모델 수준 품질 달성 - 다해상도 생성: 512×512부터 2048×2048까지 임의 종횡비 지원, 네이티브 1024×1024 기본 - 8스텝 고속 생성 (Turbo): Decoupled-DMD 증류 알고리즘(CFG Augmentation + Distribution Matching)으로 8 NFE만에 생성 완료. 엔터프라이즈 GPU에서 1초 미만 추론, 컨슈머 16GB VRAM 디바이스 호환 - 이중 언어 텍스트 렌더링: 중국어·영어 텍스트를 이미지 내에 정확하게 렌더링 — 폐쇄형 상용 모델 수준의 텍스트 정합성 - Image-to-LoRA (i2L): 참조 이미지로부터 LoRA 가중치를 자동 추출하여 스타일 전이 지원 - CFG 정밀 제어: Base 모델은 네거티브 프롬프트 완전 지원, guidance scale 3.0–5.0 범위에서 사실주의~양식화 스펙트럼 세밀 조정 - 이미지 편집 (Z-Image-Edit): Omni 사전학습 기반 instruction-following 편집, 이중 언어 편집 명령어 지원

💻 필요한 컴퓨터 사양

🧠RAM

최소 16GB (bf16 추론 기준). stable-diffusion.cpp 양자화 시 4GB까지 경량화 가능. 엔터프라이즈 GPU (H800/A100급) 사용 시 1초 미만 추론. CPU offloading 옵션으로 저사양 대응 가능

💾저장공간

모델 체크포인트 약 12GB (bf16 기준), 텍스트 인코더(Qwen-3 4B) + VAE 포함 시 약 20GB

⚡ 설치법

### 4-1. Quick Start

```bash
# diffusers 최신 소스 설치 (Z-Image 파이프라인 지원 필수)
pip install git+https://github.com/huggingface/diffusers

# 모델 다운로드 (고속 xet 전송)
HF_XET_HIGH_PERFORMANCE=1 huggingface-cli download Tongyi-MAI/Z-Image
```

### 4-2. 상세 설치 (PyTorch 네이티브)

```bash
git clone https://github.com/Tongyi-MAI/Z-Image.git
cd Z-Image
pip install -e .
python inference.py
```

### 4-3. Turbo 모델 추론 (8스텝 고속)

```python
import torch
from diffusers import ZImagePipeline

pipe = ZImagePipeline.from_pretrained(
    "Tongyi-MAI/Z-Image-Turbo",
    torch_dtype=torch.bfloat16
).to("cuda")

image = pipe(
    prompt="A photorealistic portrait of a scientist in a lab",
    height=1024, width=1024,
    num_inference_steps=9,
    guidance_scale=0.0
).images[0]
image.save("output.png")
```

### 4-4. Base 모델 추론 (CFG 지원)

```python
import torch
from diffusers import ZImagePipeline

pipe = ZImagePipeline.from_pretrained(
    "Tongyi-MAI/Z-Image",
    torch_dtype=torch.bfloat16
).to("cuda")

image = pipe(
    prompt="Fluorescence microscopy image of neural cells",
    height=1024, width=1024,
    num_inference_steps=30,
    guidance_scale=4.0
).images[0]
```

🧬 바이오 활용

🔬

합성 학습 데이터 대량 생성**

희소 세포 유형(예: 순환종양세포)의 현미경 이미지를 프롬프트 기반으로 대량 합성하여, 세포 분류 딥러닝 모델의 학습 데이터 불균형 문제를 해소. Base 모델의 CFG 제어(guidance scale 3.0–5.0)로 형태 다양성과 사실성 사이의 균형 조절 가능. LoRA 파인튜닝으로 특정 염색 패턴(H&E, DAPI 등)에 특화된 이미지 대량 생산

🧬

이중 언어 과학 포스터·인포그래픽 자동 생성**

중국어·영어 텍스트 렌더링 능력을 활용하여 학회 발표 포스터, 논문 그래피컬 어브스트랙트를 프롬프트 한 줄로 초안 생성. 2048×2048 고해상도에서 텍스트 깨짐 없이 렌더링되어 후처리 부담 최소화. 국제 학회 양어 포스터 제작에 특히 유용

💊

ControlNet 기반 실험 환경 시뮬레이션**

ControlNet Union 2.1의 Depth/Canny/Pose 모드와 결합하여, 기존 실험실 사진의 구도를 유지하면서 조명·배경·장비 배치를 변형한 시뮬레이션 이미지 생성. 실험실 설계 검토, 안전 교육 자료 제작, 장비 카탈로그 비주얼에 활용. Apache-2.0 라이선스로 상업적 제약 없음

BioPlayground