フィールドガイド / 9 分
モデル選択を境界へ隔離する
流行の名前ではなく、検証済み capability で route する。
OpenAI model catalog は変化します。製品 code は quality、latency、modalities、tool support、budget の capability profile を要求し、configuration と evaluation で実体へ解決します。
作業原則
名前は deployment data
active model identifier は config/registry に置き、historical fixture は reproducibility のため pin できます。
Capability はテストする
docs は候補を絞るだけ。prompt、tools、schemas、latency への適合は fixtures で証明します。
Routing roles を保つ
全 workload を一つへ集約せず、quality、latency、realtime、background roles を分けます。
フィールド手順
- 01
capability profiles を定義
workload ごとに modalities、tools、structured output、context、latency、budget を記録します。
- 02
model registry を作る
profile names を deployable model identifier へ map し feature code から外します。
- 03
fixtures を作る
normal、edge、adversarial、refusal、tool-use cases と observable acceptance rules を用意します。
- 04
shadow comparison を実行
candidate/current を quality、schema success、tool outcome、latency、cost で比較します。
- 05
可逆 rollout
段階的 percentage、product-level monitoring、fast rollback path を使います。
PASS / FAIL
受入チェック
- feature code に volatile model name がない。
- profile に hard/soft requirements がある。
- evaluation に tool/schema behavior がある。
- rollout/rollback は config change。
WATCH / REJECT
失敗パターン
- leaderboard/marketing label だけで選ぶ。
- behavior test なしで production default を変える。
- 無関係 workload が一つの global setting を共有する。