Skip to content
This repository was archived by the owner on Sep 8, 2026. It is now read-only.

docs: escrow 측정에 스냅샷 날짜를 박고, 30,000자 결과를 전체 코퍼스로 재확인한다 - #374

Merged
ictechgy merged 3 commits into
mainfrom
docs/date-stamp-escrow-measurement
Sep 6, 2026
Merged

ictechgy merged 3 commits into
mainfrom
docs/date-stamp-escrow-measurement

Conversation

@ictechgy

@ictechgy ictechgy commented Sep 6, 2026

Copy link
Copy Markdown
Owner

외부 검증(GLM + 워크플로우 적대적 검증자 2명)이 지적한 재현성 문제를 반영한다.

문제

docs/safety-reference.md 의 점유 수치는 살아 있는 로컬 디렉터리에서 뽑은 것이라 다른 날 다시 돌리면 재현되지 않는다. 실제로 이 세션 안에서도 코퍼스가 자라 같은 스크립트의 최대값이 29,019 → 29,409 로 움직였다. 검증자들이 같은 양을 각자 측정해 46.33% / 61.21% / 70.04% / 72.2% 로 갈린 것도 파일 집합과 귀속 규칙 차이 때문이다.

확인한 것

정작 중요한 주장은 그 민감도의 영향을 받지 않는다. 같은 날 세 가지 코퍼스 정의로 각각 돌렸다.

정의 파일 Bash 결과 최대 30,000자 초과
메인 스레드만 (문서의 정의) 193 31,579 29,409 0
전체 994 51,603 29,409 0
서브에이전트만 801 20,024 29,240 0

어느 구간에서도 30,000자를 넘는 Bash 결과가 없다.

변경

  • 점유 표에 "2026-09-06 스냅샷" 을 명시하고, 디렉터리가 자라므로 합계가 달라진다는 사실을 적는다.
  • 30,000자 결과는 스냅샷에도 메인 스레드 정의에도 의존하지 않는다는 것을 근거 수치와 함께 적는다.
  • EN/KO 양쪽 동일하게.

검증

tests.test_standing_cost_documentation + stage2   Ran 13 OK, exit 0
EN/KO 수치 집합 완전 일치

문서만 바뀌므로 squash 로 병합해도 된다.

🤖 Generated with Claude Code

https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh

외부 검증에서 나온 지적이 타당했다. 표의 점유 수치는 살아 있는 디렉터리에서 뽑은
것이라 다른 날 다시 돌리면 재현되지 않는다. 실제로 이 세션 안에서도 코퍼스가 자라
같은 스크립트의 최대값이 29,019 에서 29,409 로 움직였다. 날짜를 박아 스냅샷임을
명시한다.

정작 중요한 주장은 그 민감도의 영향을 받지 않는다는 것을 확인했다. 같은 날
디렉터리의 모든 트랜스크립트로 세 가지 정의를 각각 돌렸다.

  메인 스레드만(문서의 정의)  파일 193  Bash 결과 31,579  최대 29,409  >30k 0
  전체                        파일 994  Bash 결과 51,603  최대 29,409  >30k 0
  서브에이전트만              파일 801  Bash 결과 20,024  최대 29,240  >30k 0

어느 구간에서도 30,000자를 넘는 Bash 결과가 없다. 그 사실을 본문에 적어, 독자가
"메인 스레드를 어떻게 셌길래" 를 의심하지 않아도 되게 한다.

검증: tests.test_standing_cost_documentation + stage2 13건 OK,
EN/KO 수치 집합 완전 일치.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
@coderabbitai

coderabbitai Bot commented Sep 6, 2026 •

Copy link
Copy Markdown

Important

  • 🔍 Trigger review

This repository does not receive automatic reviews because it has fewer than 10 stars.

⚙️ Run configuration

Configuration used: Organization UI

Review profile: CHILL

Plan: Team

Run ID: 95ebfa67-a728-49c4-a8e7-02ff61d4d809


Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out.

❤️ Share

Comment @coderabbitai help to get the list of available commands.

ictechgy and others added 2 commits September 6, 2026 16:36
GLM 이 실제 모순을 짚었다. 29,019 와 29,409 가 범위 표기 없이 나란히 놓여 있었고,
"최대 29,019자는 트랜스크립트에 도달한 것 중 그보다 큰 것은 없었다로 읽어야" 라는
독해 규칙이 디렉터리 전체를 기준으로 하면 더는 참이 아니었다. 31,502 와 51,603 도
어느 코퍼스의 수인지 없이 같은 절에 등장했다.

이제 두 측정을 이름과 날짜로 분리한다.

  측정 A — 2026-09-05, 메인 스레드만. 파일 191, 턴 38,594, 토큰 270,694,948,
           Bash payload 31,502, 최대 29,019. 표와 백분위는 전부 이 실행의 것이다.
  측정 B — 2026-09-06, 전체. 파일 994, payload 51,603, 최대 29,409. 세 구간으로
           나눠도(메인 193/31,579/29,409, 전체 994/51,603/29,409,
           서브에이전트 801/20,024/29,240) 30,000자에 닿은 것이 없다.

"두 최대값은 하루 차이의 서로 다른 코퍼스를 설명한다" 는 문장을 명시적으로 넣어
독자가 모순으로 읽지 않게 한다. 검열 관련 독해 규칙도 "각 최대값은 그 코퍼스에서" 로
범위를 한정하고, 표식 18건의 분모도 측정 A 로 못박는다.

검증: tests.test_standing_cost_documentation + stage2 13건 OK,
EN/KO 수치 집합 완전 일치.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
- "one local corpus" 와 "하루 차이의 두 코퍼스" 사이 표현 긴장을 없애고 "한
  디렉터리를 하루 간격으로 두 번 읽었다" 로 통일한다.
- 검열 문단의 "분포" 에 측정 A 한정어를 붙인다. 표식 분모는 이미 A 인데 분포
  명사만 라벨이 없었다.
- 측정 B 의 강조 문장에 "기록된" 을 되살려 "기록된 크기는 하한" 서술과 맞춘다.
- 68% 재진술 문단이 측정 B 뒤에 재앵커 없이 와서 소속이 헷갈릴 수 있었다.
  "다시 측정 A 로 돌아오면" 을 넣는다.

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
@ictechgy
ictechgy merged commit 74a59d7 into main Sep 6, 2026
6 checks passed
@ictechgy
ictechgy deleted the docs/date-stamp-escrow-measurement branch September 6, 2026 08:00
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant