콘텐츠로 이동

[보관] 호환성 검증 (두-트랙 백엔드)

이 검증은 L1(도구 비교) 사례 진입의 전제 조건이다. 본 산출물(L2·L3)은 이 단계와 무관 — 통과해야 위로 올라갈 수 있을 뿐. 통과/실패 모두 raw 로그·정성 메모 채집은 동일하게 시작.

C1이 두-트랙(Track A=Anthropic Claude Code, Track B=Codex/ChatGPT) 순차 실행으로 재설계됨 + probe 시리즈 운영. 따라서 호환성 검증도 백엔드별로 두 라인 수행하되 probe 진입 단위로 분산:

  • Track A V1~V4: P1 시작 전 셋업 단계에서 끝내야 P1 진입
  • Track B V1~V4: Track B를 사용하는 첫 probe 진입 직전에 사전 점검

1. 검증 항목 (도구별·백엔드별 동일 4개)

섹션 제목: “1. 검증 항목 (도구별·백엔드별 동일 4개)”

각 도구를 각 백엔드에서 다음 4개를 모두 통과해야 해당 트랙에 PASS:

#항목통과 조건
V1공식 문서에 해당 백엔드 지원 명시문서 또는 변경로그에 명시
V2설정에서 백엔드를 해당 옵션으로 지정 가능설정 파일/CLI 플래그/env 중 하나로 가능
V3스모크 테스트 — 한 줄 자연어 지시로 응답 받기”안녕”에 응답 1건
V4비용 0 확인 (구독 한도 내 차감만, 종량제 차감 없음)사용량 페이지에서 종량제 차감 0
  1. ~/.hermes/config.yaml 확인 — model.provider: anthropic (자동 설정됨, history/22)
  2. 공식 문서에서 anthropic provider 항목 확인
  3. hermes 인터랙티브 진입 후 “안녕, 한 줄로 자기소개” → 응답 확인
  4. Anthropic 사용량 페이지에서 종량제 차감 0 확인 (Claude Code OAuth는 구독 차감)
  • 현재 상태: V2 통과 확인됨 (history/22), V1·V3·V4는 미수행
  1. hermes auth login → openai-codex provider 추가
  2. config.yaml에서 model.provider: openai-codex로 스위치
  3. 동일 스모크 + 사용량 확인
  • Track B 진입 직전에 수행
  1. ~/.openclaw/config.{yaml|toml|json} 또는 openclaw config로 백엔드 옵션 확인
  2. 공식 문서에서 “anthropic”, “claude”, “claude-code” 키워드 검색
  3. anthropic provider 지정 후 openclaw "안녕, 한 줄로 자기소개"
  4. Anthropic 사용량 페이지 확인
  1. config에서 codex/openai 백엔드로 스위치 (또는 OpenAI API key 옵션)
  2. 동일 스모크 + 사용량 확인

결과 기록 양식 (runs/compat_check.csv)

섹션 제목: “결과 기록 양식 (runs/compat_check.csv)”
date,tool,track,V1,V2,V3,V4,note
2026-04-28,hermes,A,?,Y,?,?,provider=anthropic config 확인
2026-04-28,hermes,B,Y,Y,?,?,openai-codex 옵션 명시 (config.yaml 주석)
2026-04-XX,openclaw,A,?,?,?,?,
2026-04-XX,openclaw,B,?,?,?,?,
flowchart TD
    Start([V1~V4 측정 완료]) --> TrackAResult{Track A<br/>Hermes·OpenClaw 결과}
    TrackAResult -->|둘 다 PASS| EnterP1([Track A 정상 진입 · P1 시작])
    TrackAResult -->|Hermes PASS<br/>OpenClaw FAIL| HermesOnlyA[Hermes 단독 Track A]
    TrackAResult -->|Hermes FAIL<br/>OpenClaw PASS| OpenClawOnlyA[OpenClaw 단독 Track A]
    TrackAResult -->|둘 다 FAIL| TrackADrop[Track A 폐기 · B를 1차로 승격]

    EnterP1 --> TrackBResult{Track B<br/>Hermes·OpenClaw 결과}
    HermesOnlyA --> TrackBResult
    OpenClawOnlyA --> TrackBResult

    TrackBResult -->|둘 다 PASS| EnterB([Track B 정상 진입])
    TrackBResult -->|한쪽 FAIL| PartialB[해당 도구 Track B에서 빠짐<br/>리포트에 LLM 변량 부재 명시]

    classDef stop fill:#fee,stroke:#c00,color:#600
    classDef ok fill:#efe,stroke:#080,color:#040
    classDef partial fill:#ffd,stroke:#a80
    class TrackADrop stop
    class EnterP1,EnterB ok
    class HermesOnlyA,OpenClawOnlyA,PartialB partial
Hermes AOpenClaw A액션
PASSPASSTrack A 정상 진입 (P1 시작)
PASSFAILTrack A에서 OpenClaw 빠짐 — Hermes 단독 데이터로 진행. 어댑터 자작은 폐기(C2).
FAILPASS(드문 케이스) Track A에서 Hermes 빠짐
FAILFAILTrack A 폐기 → Track B를 1차로 승격하고 백엔드 결정 재검토

Track B 분기 (Track B 사용 probe 진입 결정)

섹션 제목: “Track B 분기 (Track B 사용 probe 진입 결정)”
Hermes BOpenClaw B액션
PASSPASSTrack B 정상 진입
한쪽이라도 FAIL해당 도구는 Track B에서 빠짐. 결과는 “Track A 결과만 + LLM 변량 측정 부분 부재” 명시

기존 C2의 어댑터 자작 트랙은 새 C1에서 폐기. 한쪽 도구가 한 백엔드 미지원이면 그 트랙에서 단순히 빠짐. 어댑터가 학습형 도구의 신호를 왜곡할 위험을 새 설계에서는 감수할 이유가 없음.

5. 검증 데드라인 (probe 시리즈 운영)

섹션 제목: “5. 검증 데드라인 (probe 시리즈 운영)”
  • Track A V1~V4: P1 시작 전 셋업 단계 안에 끝나야 함. 24시간 초과 시 P1 진입 +1일 연장.
  • Track B V1~V4: Track B 사용 첫 probe 진입 직전에 사전 점검. Track B 시작이 OpenClaw 미지원으로 막히면 Hermes 단독 Track B로 축소.

검증 완료 후 history/에 항목 추가:

  • NN-compat-check-A-result.md — Track A V1~V4 결과 + 분기 결정
  • NN-compat-check-B-result.md — Track B V1~V4 결과 (별도 시점)