01 / DECIDE
Architecture decision
demo だけでは安定性を示せない prompt、model、tool、retrieval、orchestration 変更に使う。
system 変更前に representative input、human-readable criteria、適切な automated grader、baseline を定義する。 input、output、state、side effect を一つの観測可能な経路にしてから、evaluation を release gate にする の所有層を決めます。
02 / BUILD
3段階の実装
- 01
contract を定義
caller、data classification、success condition、timeout、cancel、ownership を先に記述します。demo だけでは安定性を示せない prompt、model、tool、retrieval、orchestration 変更に使う。
- 02
狭い経路を構築
request correlation、typed state、reversible failure handling を持つ一つの end-to-end path だけを実装します。system 変更前に representative input、human-readable criteria、適切な automated grader、baseline を定義する。
- 03
outcome を証明
acceptance を再実行可能な fixture、contract test、browser test にします。required slice が合意 threshold を超えて regress したら release automation が block し comparison artifact を保存する。
03 / BOUND
Production boundary
単一 score のみ最適化せず、safety、refusal、latency、cost、user-relevant regression slice を含める。
04 / PROVE
Acceptance evidence
required slice が合意 threshold を超えて regress したら release automation が block し comparison artifact を保存する。
SOURCE / HTTP
再現可能な source probe
curl -fsSI 'https://developers.openai.com/api/docs/guides/evals' | sed -n '1,5p'