Trial EXAMPLE — OpenClaw (샘플)

⚠️ 본 파일은 SAMPLE — 실제 trial 데이터 아님. 양식·기록 깊이·필요 정보를 보여주기 위한 예시. 실제 trial 진행 시 template.md를 복사해서 새로 작성 (trial-001-openclaw.md 등). 본 sample은 어떻게 채우는지 참조용으로 폴더에 영구 보존.

시각: 2026-04-29 10:23–10:38 KST (예시) 도구: OpenClaw (Anthropic Claude backend) Task: Task 1 — 환영회 공지 시나리오 변수:

5턴 자연어 대화 (시나리오 §Session A 대본 그대로)
메모리 리셋: Y, 명령: ~/.openclaw/openclaw-shim.sh memory clear
컨텍스트 단절: 세션 종료 + 새 세션 즉시 시작

세션 ID:

Session A = ab12cd34-1111-2222-3333-aaaabbbbcccc (예시)
Session B = ef56gh78-4444-5555-6666-ddddeeeeffff (예시)

Session A — 5턴 transcript

[T1] 자기소개

민지:

안녕! 나 민지라고 해. 작은 커뮤니티 하나 운영하는데 가끔 도와줄 일 있으면 부탁할게.

도구:

안녕하세요! 반갑습니다. 커뮤니티 운영하시면서 어떤 일들을 도와드릴 수 있을지
알려주시면 잘 도와드릴 수 있을 것 같아요. 부담 없이 말씀해주세요 😊

[T2] 톤

민지:

고마워. 우리 커뮤니티가 좀 캐주얼한 분위기야 — 다들 반말 쓰고 이모지는 거의 안 써. 옛날부터 그런 톤으로 굳혀졌어.

도구:

아 그렇구나! 알겠어. 그러면 캐주얼하게 반말로 말하고 이모지는 빼고 갈게.
필요한 거 있으면 편하게 부탁해.

[T3] 컨벤션

민지:

공지 같은 거 부탁할 일이 종종 있을 거야. 우리 컨벤션 하나 있는데, 공지 끝에 항상 '문의는 #ask 채널' 한 줄을 붙여 — 안 붙이면 애들이 DM으로 우르르 와서 정신없거든.

도구:

오케이. 공지 끝에 '문의는 #ask 채널' 한 줄 붙이는 거 알겠어. DM으로 몰리면
정신없겠다, 충분히 이해해.

[T4] 금지

민지:

아 그리고 발송은 평일 오전 10시가 디폴트야. 주말엔 안 해 — 애들 쉬게 두고 싶어서. 토·일에 발송 부탁하면 그건 다음 평일로 미루는 게 맞아.

도구:

응 알겠어. 발송 디폴트는 평일 오전 10시, 주말엔 안 보내고 다음 평일로 미루는
거. 멤버들 휴식 챙기는 거 좋다.

[T5] 종료

민지:

오케이, 일단 이 정도면 됐어. 나중에 또 부탁할 일 있으면 알려줄게.

도구:

좋아, 언제든지 편하게 말 걸어. 도울게.

Session A 관찰

항목	결과	근거
메모리 저장 의도 표현	N	5턴 모두 “기억할게/저장했어/노트해뒀어” 등 발화 0회
tool_use 호출 (메모리·노트)	N	`trajectory.jsonl`에 `tool_use` 이벤트 0건 (Step 6.2 grep 결과)
톤 적응 (실시간)	Y	T2 응답부터 반말 적응, T2–T5 일관됨. 이모지 T1 한 번 후 T2부터 0개. 컨텍스트 보유 신호지 메모리 발동 아님

컨텍스트 단절

Session A 종료 시각: 10:30
메모리 리셋 적용: Y (Trial 시작 시 ~/.openclaw/openclaw-shim.sh memory clear)
새 세션 시작 시각: 10:30:30 (즉시)
새 session id 확인: ~/.openclaw/agents/main/sessions/ef56gh78-.../ ✓ (이전 ab12cd34와 다름)

Session B — Task 1 (환영회 공지)

민지:

다음 주 토요일 오후 2시에 새 멤버 환영회 하기로 했는데, 공지 써줘.

도구:

안녕하세요! 다음 주 토요일 오후 2시에 새로 합류하신 멤버 분들의 환영회가
열립니다. 함께 모여 인사 나누는 자리이니 많은 참여 부탁드려요! 😊

📅 일시: 다음 주 토요일 오후 2시
📍 장소: 추후 공지

많은 참여 기다리겠습니다!

Session B 관찰 + 매트릭스 1행

평가 항목	결과	근거
톤 반영 (캐주얼·반말·이모지 X)	N	존댓말 (“열립니다”, “부탁드려요”, “기다리겠습니다”) + 이모지 4개 (😊📅📍)
컨벤션 (#ask 라인 자동)	N	공지 끝에 #ask 라인 없음. 대신 “추후 공지”
금지 — 주말 회피·경고 [Task 1]	토	그대로 “토요일” 발송 시간 명시. 회피·경고 0
4분기 판정	능력 부재	tool_use 0 + Session B 정보 3종 모두 미반영 → Session A 망각, 메모리 발동 0회

정성 메모

응답 자체는 매끄러운 한국어 공지. 다만 5턴 동안 톤·#ask·주말 정보를 명시적으로 들었음에도 새 세션에서 0% 반영 — Session 단절 = 즉각적·완전한 망각. 사용자 입장에서 “어제 알려준 거 또 설명해야 해” 정확히 그 통증.

raw 데이터 위치

Session A: ~/.openclaw/agents/main/sessions/ab12cd34-1111-2222-3333-aaaabbbbcccc/
Session B: ~/.openclaw/agents/main/sessions/ef56gh78-4444-5555-6666-ddddeeeeffff/
trajectory: 위 각 폴더의 trajectory.jsonl
워크스페이스 변경: N/A (workspace=~/.openclaw/workspace/ 변동 없음)