Isaac 0.5는 Perceptron AI가 2026년 8월 26일 공개한 36B 규모의 sparse 멀티모달 모델로, 이미지·영상·자연어 명령뿐 아니라 로봇의 현재 상태와 과거 행동 이력까지 함께 받아 환경을 이해하고 다음 행동을 생성한다. 일반적인 시각 모델이 화면에 무엇이 있는지를 설명하는 데 머문다면, Isaac 0.5는 장면 속 대상의 위치를 파악하는 공간 grounding, 작업이 어느 단계까지 진행됐는지를 추정하는 progress estimation, 그리고 실제 제어 명령을 만드는 action generation을 하나의 모델 안에서 연결한다. GPT가 서로 다른 형식의 텍스트를 공통 언어로 처리하듯, Isaac 0.5는 카메라 영상과 로봇 상태, 행동 기록을 하나의 연속된 작업 문맥으로 해석하는 모델에 가깝다. 기존 로봇 자동화 파이프라인은 객체 탐지기, 영상 추적기, 작업 상태 머신, 경로 계획기와 제어 정책을 별도 모듈로 구성하는 경우가 많다. 이 방식은 각 모듈을 독립적으로 검증할 수 있다는 장점이 있지만, 카메라 조건이나 작업 순서가 바뀔 때 모듈 사이의 인터페이스와 예외 처리를 다시 설계해야 한다. Isaac 0.5의 차별점은 영상 이해, embodied reasoning(체화 추론), 공간적 대상 연결과 행동 생성을 하나의 공개 모델로 통합하면서 연속 제어와 이산 제어 인터페이스를 모두 지원한다는 점이다. 관찰과 행동을 반복하는 real-time closed-loop control(실시간 폐루프 제어)을 지향하므로, 사전에 고정된 동작만 재생하는 자동화보다 환경 변화에 대응하는 범용 로봇 에이전트를 연구하는 데 적합하다. 생명공학 연구에서는 현미경 주변의 시료 이송, 배양 플레이트 취급, 피펫 팁과 튜브 정렬처럼 영상과 물리적 행동이 긴밀히 연결된 작업에 적용 가능성을 검토할 수 있다. 예를 들어 RGB 카메라 영상, 로봇 관절 상태, “96-well plate를 이미징 위치로 옮겨라”와 같은 자연어 명령을 함께 입력하고, Isaac 0.5가 생성한 연속 제어 출력을 로봇 안전 제어기와 결합해 작업 성공률과 충돌률을 반복 측정할 수 있다. 또 장시간 세포 배양 작업에서는 영상과 과거 행동 기록을 이용해 배지 교환 단계의 진행도를 추정하고, 이상이 감지되면 다음 행동을 중지하도록 구성할 수 있다. 다만 제공된 Discovery 정보에는 생명과학 벤치마크, 지원 로봇 플랫폼, 입력 해상도, 제어 주기와 정량 성능이 포함되어 있지 않으므로, 실제 실험실 적용 전 공식 모델 카드와 저장소 문서를 통한 호환성·안전성 검증이 필요하다.

Isaac 0.5는 Perceptron AI가 2026년 8월 26일 공개한 36B 규모의 sparse 멀티모달 모델로, 이미지·영상·자연어 명령뿐 아니라 로봇의 현재 상태와 과거 행동 이력까지 함께 받아 환경을 이해하고 다음 행동을 생성한다. 일반적인 시각 모델이 화면에 무엇이 있는지를 설명하는 데 머문다면, Isaac 0.5는 장면 속 대상의 위치를 파악하는 공간 grounding, 작업이 어느 단계까지 진행됐는지를 추정하는 progress estimation, 그리고 실제 제어 명령을 만드는 action generation

🔬 현미경 시료 이송 자동화: RGB 영상과 로봇 관절 상태에 “시료를 이미징 위치로 이동” 명령을 결합하고 96-well plate 작업을 100회 반복 평가한다. 연속 제어 출력은 별도 안전 제어기를 거쳐 실행하며 성공률·충돌률·작업 시간을 정량화한다.