Skip to content

[EP] agent_matrix 增 model_tier/compute_mode——部署驗證的模型層級角色機械歸類 #23

Description

@ai-cooperation

動機

registry 發布標準 v1.2 第六節之一(2026-08-31,PROJECT_PUBLISHING_STANDARD.md,隨 registry 分支下次 push 落地)把驗證完成度定義為模型層級角色的覆蓋(商用高/中/低、免費託管、地端自有),但 Evidence Pack agent_matrix[] 目前只有 agent/model/version/result 等欄,層級只能靠解析 model 名稱字串腦補。

真實樣本(三類,GOV-8 精神):

  1. 地端層斷鏈:research runs 38-40(qwen3.8-27b @ 自有 4090,sink/counterscale/uptimeflare 三案 autonomous、裁判獨立複驗)——「owned/local」無欄位可表達,registry 至今零收錄,五層級中整層缺席。
  2. 名稱推層級不可靠:sink 卡 compatible_agents 有兩列同引擎「gemini(Antigravity CLI 預設,session 未指定)」與「gemini(Antigravity Pro)」——同名不同層級,字串解析必然誤判;與 R8 provider receipt 缺失議題同源。
  3. blocked run 的層級歸屬:foreclosure-map 2026-08-30-sandbox-altmodel-05(替代模型 run 被 Wrangler 認證阻斷)——「已試未過」狀態需要層級欄位才能機械聚合。

提案(additive)

agent_matrix[] 增兩個 optional 欄,舊 Pack 不需 supersede:

欄位 enum 說明
compute_mode subscription / api / free_managed / owned 算力取得方式
model_tier high / mid / low / free / local 模型層級

字彙直接沿用 research datasetscompute-benchmark/data/v-runs.csv 既有欄位(26+ runs 已實測使用,不另造詞)。

  • EP schema 版本 0.4.0 → 0.5.0(版本史 additive 慣例照舊,寫入 verification/evidence-pack.md 版本史)
  • validator:schema enum 驗證;conformance fixtures 補一正例一反例(未知 enum 值必須 fail)
  • 下游:registry gen_cards.py 據此聚合 model_tier_coverage(見 service-card 增欄 issue);新 Pack 應填,舊 Pack 過渡期由 gen_cards 內 model→層級對照表推導(單一定義處)

驗收

  • evidence-pack.schema.json 增欄+版本 0.5.0
  • evidence-pack.md 欄位表+版本史更新
  • fixtures 正反例過 conformance CI
  • 至少一份真實 Pack 回填示範(建議:qwen runs 38-40 轉 registry Pack 時首用)

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions