상하이교통대학교와 홍콩과학기술대학교 연구진이 2024년 10월 발표한 F5-TTS는 흐름 정합(Flow Matching) 기술과 확산 트랜스포머(Diffusion Transformer, DiT) 아키텍처를 결합한 차세대 비자동회귀(Non-autoregressive) 텍스트-음성 합성(Text-to-Speech) 모델입니다. 이 모델은 단 3초에서 5초 수준의 짧은 참조 음성 샘플만으로도 대상의 음색, 억양, 감정선 및 주변 음향 환경을 정밀하게 복제하는 제로샷 음성 복제(Zero-Shot Voice Cloning) 기능을 제공합니다. 기존 자동회귀 방식 모델들이 단어 및 토큰 단위로 순차적 생성을 진행하여 처리 속도에 한계가 있었던 반면, F5-TTS는 텍스트 입력과 음성 파형 생성 과정 전체를 단순화된 단일 아키텍처로 처리하여 생성 효율성과 자연스러움을 동시에 대폭 개선했습니다. 기존의 음성 합성 시스템들은 텍스트 정렬을 위한 복잡한 음소 변환기(Phoneme Aligner), 복잡한 지속 시간 예측기(Duration Model), 별도의 텍스트 인코더 모듈을 다단계 파이프라인으로 연결해야 했기 때문에 시스템 구축 및 연산 복잡도가 높았고 발음 오류나 중간 단계 정보 손실이 빈번하게 발생했습니다. 마치 화가가 캔버스 위 가이드라인을 따라 물감을 자연스럽게 흘려보내듯, F5-TTS는 텍스트 길이에 맞춰 패딩 토큰(Filler Tokens)을 채운 뒤 연속 시간 정규화 흐름(Continuous Normalizing Flow) 기술을 적용하여 노이즈 상태에서 목표 음성 특징으로 매끄럽게 전환시킵니다. 여기에 ConvNeXt 텍스트 정제 블록 및 추론 시 연산량을 최적화하는 스웨이 샘플링(Sway Sampling) 기법을 도입함으로써, 음소 사전이나 복잡한 전처리 파이프라인 없이도 자연스러운 다국어 교차 합성(Multilingual Code-Switching)과 정밀한 발화 속도 제어를 구현했습니다. 생명공학 연구 및 임상 의학 현장이나 다국어 학술 발표 환경에서 F5-TTS는 원저자의 음색을 유지한 채 학술 강연을 다국어로 변환하거나 음성 장애 환자의 보조 공학 도구 개발에 유용하게 적용될 수 있습니다. 연구자가 수집한 5초 분량의 참조 음성 데이터(.wav)와 변환 대상 학술 텍스트를 입력하면, 0.15 수준의 실시간 생성 비율(Real-Time Factor, RTF)로 빠르게 음성을 합성해 내며 보급형 GPU 환경에서도 실시간에 가까운 인퍼런스가 가능합니다. 예를 들어 1024 토큰 상당의 서술문을 처리할 때 30단계의 정교한 스웨이 샘플링 파라미터를 설정하여 배경 소음이 제거된 깨끗한 환경에서 억양 왜곡 없이 고품질 오디오 파일을 즉각 생성할 수 있습니다. 또한 F5-TTS는 수백 시간 분량의 대규모 학습 데이터를 기반으로 구축되어 한국어, 영어, 중국어 등 다양한 언어 간의 혼용 발화나 급격한 감정 변화 상황에서도 안정적인 주파수 스펙트로그램을 생성해 냅니다. 이러한 경량화 단일 아키텍처 중심의 설계는 오프라인 서버 환경이나 에지 컴퓨팅 연구 환경에 손쉽게 이식될 수 있어, 민감한 개인 음성 데이터나 보건 의료 텍스트를 외부 클라우드 API 전송 없이 로컬 단독 환경에서 안전하게 처리할 수 있는 강력한 인프라적 이점을 제공합니다.