프랑스의 AI 연구 기관인 큐타이(Kyutai)가 2024년 9월 17일에 발표한 Moshi는 인간의 실시간 음성 상호작용을 정밀하게 모사하도록 설계된 오픈소스 양방향 음성 대화 파운데이션 모델입니다. 인간이 대화할 때 청각 피질에서 소리를 감지하고 전두엽에서 답변을 구성하는 과정이 거의 동시에 일어나듯, Moshi는 입력된 음성을 텍스트로 매개하지 않고 다중 스트림(Multi-Stream) 방식을 도입하여 듣기와 말하기를 독립적이면서도 긴밀하게 결합합니다. 내부 백본으로는 70억 매개변수(7B) 규모의 헬륨(Helium) 거대 언어 모델이 핵심 추론 장치 역할을 하며, 오디오 정보의 효율적인 압축과 복원을 위해 24kHz 오디오를 12.5Hz의 초저주파수 대역으로 인코딩하는 자체 개발 신경 오디오 코덱 미미(Mimi)가 탑재되었습니다. 이 두 가지 핵심 모듈의 유기적인 결합을 통해 입력과 출력을 병렬 토큰 스트림으로 연결하여 대화 중 발생하는 정교한 소리의 흐름을 한 차례의 중단 없이 부드럽게 표현합니다. 기존의 인공지능 기반 음성 비서들이 주로 채택해 온 방식은 음성인식(ASR), 거대 언어 모델(LLM), 그리고 음성합성(TTS)을 순차적으로 거치는 계단식 파이프라인(Cascade Pipeline) 구조였습니다. 이러한 기존 방식은 각 단계마다 발생하는 데이터 처리 지연 시간이 누적되어 실시간 상호작용에 한계가 있었으며, 대화 도중 사용자가 말을 가로채거나 끼어드는 개입(Interruption) 상황을 부드럽게 감지하고 반응하기가 대단히 까다로웠습니다. Moshi는 이러한 직렬 구조를 완전히 극복하고, 텍스트가 아닌 오디오 토큰 자체를 직접 학습 및 추론하는 완전한 엔드투엔드(End-to-End) 다중 모달 아키텍처를 제안하여 실시간 반응 지연 시간을 약 160ms에서 200ms 내외로 비약적으로 단축시켰습니다. 이러한 극저지연(Ultra-low latency) 설계 덕분에 사용자가 말을 하는 도중에도 적절한 맞장구를 치거나, 사용자가 중간에 질문을 수정할 경우 즉시 이전 발화를 취소하고 새로운 답변으로 전환하는 유연성을 제공합니다. 이러한 혁신적인 특징은 생명공학 및 보건의료 현장에서 정교한 작업 워크플로우를 보조하는 데 매우 효과적으로 활용될 수 있습니다. 생물학적 유해 물질을 다루는 무균 실험실 환경에서 연구원은 양손에 마이크로피펫을 쥐거나 고글을 착용한 채로 복잡한 DNA 추출 프로토콜을 수행하게 되는데, 이때 Moshi를 탑재한 음성 비서에게 질문을 던져 시약 농도 계산식이나 다음 실험 절차를 실시간 음성 피드백으로 즉각 안내받을 수 있습니다. 의료 교육 현장에서는 다양한 증상을 호소하는 가상 환자 페르소나를 Moshi에 적용하여 의대생들이 실제 진료 환경과 유사한 긴장감 속에서 문진(Medical interview) 및 초기 스크리닝 실습을 반복할 수 있게 돕습니다. 음성의 떨림, 속도, 톤의 변화까지 처리 가능한 아키텍처의 강점을 살려, 환자의 심리적 상태나 통증 수준에 따른 어조 변화를 시뮬레이션함으로써 의료 서비스 품질 향상과 소통 훈련에 크게 기여합니다.