PandaProbe

PandaProbe

PandaProbe는 Chirpz AI가 2026년 4월 공개한 오픈소스 에이전트 엔지니어링 플랫폼으로, AI 에이전트의 전체 라이프사이클을 세션(session), 트레이스(trace), 스팬(span) 세 계층으로 캡처하고 시각화하는 옵저버빌리티 도구다. GPT나 Claude 같은 LLM을 활용한 에이전트가 도구 호출, 서브에이전트 분기, 사용자 대화를 거치며 복잡한 궤적(trajectory)을 만들어낼 때, PandaProbe는 이 궤적 전체를 하나의 대시보드에서 추적·평가·모니터링할 수 있게 해준다. 프론트엔드는 Next.js, 백엔드는 FastAPI, 비동기 작업 처리에 Celery + Redis, 데이터 저장에 PostgreSQL 16을 사용하는 마이크로서비스 아키텍처로 구성된다. 기존 LLM 옵저버빌리티 도구들은 단일 호출 단위의 토큰 수·지연 시간 측정에 집중하기 때문에, 멀티턴 에이전트에서 발생하는 루핑(looping), 비일관적 도구 사용, 사용자-에이전트 간 오조율(miscoordination) 같은 궤적 수준의 실패를 포착하지 못한다. PandaProbe는 이 문제를 해결하기 위해 자체 연구 논문 TRACER(Trajectory Risk Aggregation for Critical Episodes in Agentic Reasoning, arXiv:2602.11409)에서 제안한 불확실성 감지 메트릭을 플랫폼에 내장했다. TRACER는 콘텐츠 기반 서프라이절(content-aware surprisal), 상황 인식 신호(situational-awareness signal), 의미·어휘 반복 추적, 도구 일관성 평가 등 복수 신호를 꼬리 위험 집계(tail-focused risk aggregation) 방식으로 결합하여, τ²-bench 벤치마크에서 기존 대비 AUROC 최대 37.1%, AUARC 최대 55% 개선을 달성했다. 마치 단순 심박수 측정기가 아니라 심전도·혈압·산소포화도를 동시에 보며 위험 에피소드를 조기에 잡아내는 다중 센서 모니터링처럼, PandaProbe는 에이전트의 "건강 상태"를 궤적 전체에 걸쳐 입체적으로 진단한다. 생명공학 연구자 관점에서 PandaProbe는 실험 자동화 에이전트 파이프라인의 품질 관리에 유용하다. 예를 들어 LangGraph로 구축한 멀티오믹스 분석 에이전트가 데이터 전처리 → 통계 분석 → 시각화 → 보고서 생성까지 10단계 이상 도구를 호출할 때, 각 단계의 LLM 판단 과정과 도구 호출 결과를 세션 단위로 기록하고, 스케줄링된 평가(scheduled eval)로 프로덕션 트래픽의 품질 회귀를 자동 감지할 수 있다. LangGraph, CrewAI, Claude Agent SDK, OpenAI Agents SDK, Google ADK 등 주요 프레임워크와 한 줄 래핑(one-line instrumentation)으로 통합되며, 셀프호스트(Docker Compose)와 매니지드 클라우드(무료 Hobby 티어 월 100 트레이스부터) 모두 지원하므로 민감 데이터를 다루는 연구 환경에서도 데이터 주권을 유지하며 도입할 수 있다.

⚡ 설치법

### 4-1. Quick Start (SDK — 클라우드 또는 셀프호스트 엔드포인트 연결)

```bash
pip install "pandaprobe[openai,anthropic,gemini]"
```

```bash
export PANDAPROBE_API_KEY="your-api-key"
export PANDAPROBE_PROJECT_NAME="my-project"
```

```python
import pandaprobe
from pandaprobe.openai import wrap_openai
from openai import OpenAI

client = wrap_openai(OpenAI())
# 이후 일반 OpenAI 호출 — 자동으로 트레이싱됨
```

### 4-2. 셀프호스트 (Docker Compose)

```bash
git clone https://github.com/chirpz-ai/pandaprobe.git
cd pandaprobe
./start.sh
# 대시보드: http://localhost:3000
# API: http://localhost:8000
```

🧬 바이오 활용

🔬

🔬 멀티스텝 실험 에이전트 품질 관리**

LangGraph 기반 분석 에이전트가 10단계 이상 도구를 호출할 때, 세션 단위로 전체 궤적을 기록하고 TRACER 메트릭으로 루핑·도구 오사용을 자동 감지. scheduled eval을 일간 cron으로 설정하면 프로덕션 트래픽에서 품질 회귀 시 즉시 알림 수신, 에이전트 버전 간 성능 변화를 정량적으로 비교 가능.

🧬

🧬 민감 데이터 환경의 에이전트 감사(audit)**

환자 데이터나 미공개 오믹스 데이터를 처리하는 에이전트에 대해 Docker Compose 셀프호스트로 데이터 주권 유지. 모든 LLM 호출·도구 결과·에이전트 판단 로그를 내부 PostgreSQL에 보존하여 규정 준수 감사(compliance audit) 시 궤적 수준 증빙 제출 가능.

💊

🤖 멀티에이전트 오케스트레이션 디버깅**

CrewAI 또는 Claude Agent SDK로 구성한 서브에이전트 체인에서 불확실성이 높은 구간(critical episode)을 시각화. 스팬 단위로 각 서브에이전트의 LLM 응답 서프라이절과 도구 일관성을 추적하고, LLM-as-judge 평가로 전체 세션의 정확성·유용성을 점수화하여 병목 구간 집중 개선.

📝 업데이트 노트

vv0.5.06/17/2026

이번 PandaProbe v0.5.0 업데이트는 새로운 기능 추가보다는 문서화 작업과 변경 이력(changelog)을 정비하는 데 집중했습니다. 도구의 사용법과 업데이트 내역이 더욱 명확해져서, 실험 데이터 분석 시 발생할 수 있는 혼선을 줄이고 정확한 도구 활용을 도와줍니다. 기능적인 변화는 없지만, 더욱 신뢰도 높은 분석 환경을 위해 업데이트된 가이드를 꼭 확인해 보세요.

BioPlayground

💻 필요한 컴퓨터 사양