뒤로가기
← 전체 기능

에이전트 실행v0.3.0에서 사용 가능

벤치마크로 고르는 모델

v0.3.0에 출시됐다. 벤치마크 점수가 모델을 고른다. 난이도와 프로필(performance, balanced, efficient)이 작업에 필요한 점수를 정한다. balanced는 그 점수에 닿는 가장 싼 모델을, efficient는 가격 대비 점수가 가장 좋은 모델을, performance는 가장 어려운 일에 최고점 모델을 쓴다. 난이도마다 모델을 정해 둔 표는 없다.

필요한 상황

난이도를 모델에 잇는 고정 표는 새 모델이 나올 때마다 낡고, 가격과 품질을 함께 따지지 못한다.

동작 방식

  1. [stages]가 정한 엔진 안에서 먼저 해당하는 것을 쓴다. tier에 고정한 모델, 그 tier의 tier_pools에서 CLI가 나열한 첫 모델, 나열된 모델을 가리키는 quality_order, 마지막으로 점수 규칙이다.
  2. tier는 low 0, medium 1, high 2, max 3으로 센다. performance는 1을 더하고 balanced는 그대로 두며, 이 단계는 작업 종류의 최저 기준 아래로 내려가지 않는다.
  3. performance와 balanced는 그 단계에 닿은 모델 가운데 정가가 가장 싼 모델을 쓰고, efficient는 최저 기준을 넘지 않는 선에서 한 단계 아래까지 보며 정가 대비 점수가 가장 높은 모델을 쓴다.
  4. balanced와 efficient는 기준보다 척도의 2퍼센트 안쪽으로 낮은 모델도 받는다. performance와 최저 기준에는 이 여유가 없다. 추론 강도는 여전히 tier가 정한다.
  5. oah models와 oah doctor가 프로필, 출처와 날짜가 붙은 점수, tier별 모델, 빠진 모델과 이유를 보여 준다. oah recommend --engine <engine> --stage <stage>는 작업 하나에 대한 답을 주며 아무것도 실행하거나 쓰지 않는다.

예제

아무것도 실행하지 않고 작업 하나의 모델 선택을 본다(개념 문서).

oah recommend --engine <engine> --stage <stage>

요구 사항

  • v0.3.0 이상이 필요하다.
  • 자기 모델 목록을 알려 주는 Claude Code와 Codex CLI.

한계와 복구

  • 공개 점수는 남이 만든 시험에서 잰 일반적인 품질이며 내 저장소에서의 성능이 아니다. Epoch AI 과제는 대부분 수학, 퍼즐, 추론이고 코딩 과제가 아니며 수도 적다.
  • 정가는 실제 비용을 대신할 뿐이고 구독은 사용량으로 낸다.
  • 점수가 틀렸거나 오래됐으면 더 약한 모델로 일이 갈 수 있다. 직접 정하려면 모델을 고정한다.
  • 낮은 tier에서는 efficient가 balanced보다 비쌀 수 있다.
  • 모델 목록이 없거나(OAH_MODEL_CATALOG_UNAVAILABLE) 쓸 수 있는 점수가 없으면(OAH_MODEL_NO_SCORES) 자동 선택이 멈춘다. 고정 모델은 둘 다 넘어가고, oah가 기본 모델로 대신 실행하는 일은 없다.

원문 문서

관련 기능