콘텐츠로 이동

[보관] 43. 일관성 sweep — 라이브 문서 cascade 정합화

시각: 2026-04-28 14:10~14:30 KST

사용자 질문 “우리 실험 기준이 뭘까? 지금 여러 문서가 뒤섞여 안 맞는 게 있을 거 같다” → 핵심 문서 전수 점검 → mechanical 불일치 다수 발견.

probe 시리즈로 전환되며 history/28~37까지 누적 cascade가 돌았지만, 일부 표현·번호·구조 변경이 일부 root/실행 doc에 미반영 상태로 남음. P1 진입 직전이라 mechanical 부정합은 절차 차단 위험.

  • daily 폴더 위치: reports/daily//daily/ (history/37 격상 반영)
  • daily 메모 파일명: P{N}-easy.md + P{N}-detailed.md (probe당 2개) 통일
  • 지표 개수: 7개 → 8개 (I8 컨컬런시 견고성 추가, history/29 미반영분 정리)
  • 신뢰성 표기: 평가자 2인 + Cohen’s κ → 평가자 1명 + 자가 재측정 ICC (κ는 v2 후보)
  • reports/detailed.md §2.7 일정표: 같은 날 두 patch → 하루 1 probe 풀어쓰기 (00-plan §3 변수분리 원칙과 정합)
  • 일수 표현: 79일 → **911일** (하루 1 probe 8 + P9 통합 1~3일)

2차 라운드 (전수 재점검에서 추가 발견)

섹션 제목: “2차 라운드 (전수 재점검에서 추가 발견)”
  • 08-meta-eval.md L24·L38·L137 — “지표 7개” 잔재
  • experiments/P1-trajectory.md 5곳 — “7-지표” 잔재 (현재는 P1/00-plan.md로 이동)
  • experiments/P1-step1-trial-guide.md L168 — “7-지표” (현재 P1/01-trial-guide.md)
  • README.md L31 — “C1C8” → “C1C9”
  • 02-constraints.md L3 — “C7·C8” → “C7·C8·C9”
  • daily/README.md cascade: 7단계 → 8단계 (체크포인트 단계 누락분 추가, 00-plan §5와 정합)
  • runs/daily-log/README.md, history/00-index.md, experiments/README.mdreports/daily/ 잔재 + P{N}-journal 잔재 (실제 패턴 반영)
  • 채집 양식 set: 4종 vs 다른 4종 vs 5종 충돌 → 5종 표준화 (runs.csv + notes.jsonl + diary.md + .tool_map.json + checkpoints.md). C7의 “3단 채집”(csv+notes+raw)은 제출 카테고리 분류로 별개 보존
  • EXPERIMENT_TOOL 슬러그: 도구별(hermes/openclaw) vs 트랙별(track-a/track-b) 충돌 → 트랙 슬러그 표준 (probe 시리즈가 Track A/B로 운영되므로 raw 로그 트랙별 분리가 분석 정합성 ↑). 도구별은 셋업·스모크 임시용으로만
  • 사용자가 experiments/P1-trajectory.mdexperiments/P1/00-plan.md 폴더 구조로 변환 + history/42 P1 decision 작성
  • 새 패턴 cascade 갱신: experiments/00-plan.md §4·§5 cascade 표 / experiments/README.md L11·L20·L29 / runs/daily-log/README.md / history/00-index.md 41+ 운영 룰 표
  • history/31~36 — 그 시점의 결정 기록 (사후 변경 시 추적성 손상)
  • wiki/src/content/docs/history/ — 위 history mirror, 동일 이유
  • experiments/README.md L54 “cascade 02·04·07 등 7~9 doc 동시 갱신” — 문서 개수 표현, 일수 무관

루트에 비계획 파일 2건 발견:

  • billing_bypass.py — Hermes Anthropic OAuth bypass + Claude Max/Pro 구독 tier 라우팅 monkey-patch. 이름·동작이 ToS 우회 의도 시사
  • install.sh — Hermes installer (~/.hermes/hermes-agent)

둘 다 hamster-lab 루트에 있을 이유 없음. Hermes 자료는 ~/.hermes/ 내부에 있어야 정상. 사용자 검토 필요.

세션 중 node wiki/scripts/sync.mjs 5회 실행 — 모든 root → wiki/src/content/docs 미러 동기화. 최종 카운트: root=11, history=42, study=15, reports=4, daily=3, experiments=15.

세션 마지막 grep 5종 모두 0건 (라이브 영역):

  • 지표 7개, 7-지표
  • C1~C8
  • reports/daily/
  • P{N}-journal
  • 채집 양식 4
  • 의심 파일 2건 사용자 검토 후 처리
  • P1 진입 — experiments/P1/00-plan.md §1~§4 봉인 상태에서 §5·§6 실시간 채움