This repository was archived by the owner on Sep 8, 2026. It is now read-only.
docs: escrow 측정에 스냅샷 날짜를 박고, 30,000자 결과를 전체 코퍼스로 재확인한다 - #374
Merged
Merged
Conversation
외부 검증에서 나온 지적이 타당했다. 표의 점유 수치는 살아 있는 디렉터리에서 뽑은 것이라 다른 날 다시 돌리면 재현되지 않는다. 실제로 이 세션 안에서도 코퍼스가 자라 같은 스크립트의 최대값이 29,019 에서 29,409 로 움직였다. 날짜를 박아 스냅샷임을 명시한다. 정작 중요한 주장은 그 민감도의 영향을 받지 않는다는 것을 확인했다. 같은 날 디렉터리의 모든 트랜스크립트로 세 가지 정의를 각각 돌렸다. 메인 스레드만(문서의 정의) 파일 193 Bash 결과 31,579 최대 29,409 >30k 0 전체 파일 994 Bash 결과 51,603 최대 29,409 >30k 0 서브에이전트만 파일 801 Bash 결과 20,024 최대 29,240 >30k 0 어느 구간에서도 30,000자를 넘는 Bash 결과가 없다. 그 사실을 본문에 적어, 독자가 "메인 스레드를 어떻게 셌길래" 를 의심하지 않아도 되게 한다. 검증: tests.test_standing_cost_documentation + stage2 13건 OK, EN/KO 수치 집합 완전 일치. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
|
Important
This repository does not receive automatic reviews because it has fewer than 10 stars. ⚙️ Run configurationConfiguration used: Organization UI Review profile: CHILL Plan: Team Run ID: Thanks for using CodeRabbit! It's free for OSS, and your support helps us grow. If you like it, consider giving us a shout-out. Comment |
GLM 이 실제 모순을 짚었다. 29,019 와 29,409 가 범위 표기 없이 나란히 놓여 있었고,
"최대 29,019자는 트랜스크립트에 도달한 것 중 그보다 큰 것은 없었다로 읽어야" 라는
독해 규칙이 디렉터리 전체를 기준으로 하면 더는 참이 아니었다. 31,502 와 51,603 도
어느 코퍼스의 수인지 없이 같은 절에 등장했다.
이제 두 측정을 이름과 날짜로 분리한다.
측정 A — 2026-09-05, 메인 스레드만. 파일 191, 턴 38,594, 토큰 270,694,948,
Bash payload 31,502, 최대 29,019. 표와 백분위는 전부 이 실행의 것이다.
측정 B — 2026-09-06, 전체. 파일 994, payload 51,603, 최대 29,409. 세 구간으로
나눠도(메인 193/31,579/29,409, 전체 994/51,603/29,409,
서브에이전트 801/20,024/29,240) 30,000자에 닿은 것이 없다.
"두 최대값은 하루 차이의 서로 다른 코퍼스를 설명한다" 는 문장을 명시적으로 넣어
독자가 모순으로 읽지 않게 한다. 검열 관련 독해 규칙도 "각 최대값은 그 코퍼스에서" 로
범위를 한정하고, 표식 18건의 분모도 측정 A 로 못박는다.
검증: tests.test_standing_cost_documentation + stage2 13건 OK,
EN/KO 수치 집합 완전 일치.
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
- "one local corpus" 와 "하루 차이의 두 코퍼스" 사이 표현 긴장을 없애고 "한 디렉터리를 하루 간격으로 두 번 읽었다" 로 통일한다. - 검열 문단의 "분포" 에 측정 A 한정어를 붙인다. 표식 분모는 이미 A 인데 분포 명사만 라벨이 없었다. - 측정 B 의 강조 문장에 "기록된" 을 되살려 "기록된 크기는 하한" 서술과 맞춘다. - 68% 재진술 문단이 측정 B 뒤에 재앵커 없이 와서 소속이 헷갈릴 수 있었다. "다시 측정 A 로 돌아오면" 을 넣는다. Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to subscribe to this conversation on GitHub.
Already have an account?
Sign in.
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
외부 검증(GLM + 워크플로우 적대적 검증자 2명)이 지적한 재현성 문제를 반영한다.
문제
docs/safety-reference.md의 점유 수치는 살아 있는 로컬 디렉터리에서 뽑은 것이라 다른 날 다시 돌리면 재현되지 않는다. 실제로 이 세션 안에서도 코퍼스가 자라 같은 스크립트의 최대값이 29,019 → 29,409 로 움직였다. 검증자들이 같은 양을 각자 측정해 46.33% / 61.21% / 70.04% / 72.2% 로 갈린 것도 파일 집합과 귀속 규칙 차이 때문이다.확인한 것
정작 중요한 주장은 그 민감도의 영향을 받지 않는다. 같은 날 세 가지 코퍼스 정의로 각각 돌렸다.
어느 구간에서도 30,000자를 넘는 Bash 결과가 없다.
변경
검증
문서만 바뀌므로 squash 로 병합해도 된다.
🤖 Generated with Claude Code
https://claude.ai/code/session_01DE3AupXcyv64SEuQeTckSh