← 전체 기능

검증·리뷰v0.3.0에서 사용 가능

oah models report와 export

v0.3.0에 출시됐다. oah models report가 모델 선택이 어떻게 이루어졌는지 센다. tier 출처, Jev 난이도 상태와 확신도, 모델 판정 상태, 최저 기준이 tier를 올린 횟수다. oah models export는 실행마다 JSON 한 줄을 남겨 나중에 비교할 사례로 쓴다. 횟수만으로 Jev의 효과가 증명되지는 않는다.

필요한 상황

실행마다 tier와 모델이 어떻게 골라졌는지 기록이 없으면 규칙과 Jev를 비교하거나 나중에 규칙을 조정할 수 없다.

동작 방식

  1. oah models report는 이 저장소의 실행 기록(<state>/runs/<task>/<run-id>/result.json)을 읽어 단계와 엔진별로, 그리고 합계로 센다. --json은 같은 수를 format 번호가 붙은 객체 하나로 출력한다.
  2. oah models export는 실행 폴더마다 JSON 한 줄을 작업 폴더, 실행 ID 순으로 출력한다. 판정 자료(축, 단계, 엔진, tier, Jev와 판정 필드, 모델 선택)와 결과(상태, 종료 코드, 시간 초과, 소요 시간)만 들어 있다.
  3. 프롬프트, 지시문, 작업 이름, 경로, 명령, 환경 값, 워커 출력은 빠지고, 수정 기록에서 해시된 값은 해시 그대로 둔다.
  4. 둘 다 제공자를 부르지 않고 네트워크에 닿지 않으며 아무것도 쓰지 않는다. 내보낸 줄을 남기려면 표준 출력을 파일로 돌린다.

예제

센 결과를 JSON 객체 하나로 출력한다(업그레이드 문서).

oah models report --json

요구 사항

  • v0.3.0 이상이 필요하다.
  • 이 저장소의 실행 기록.

한계와 복구

  • 이 수는 선택이 어떻게 이루어졌는지를 보여 줄 뿐 Jev가 도움이 됐는지는 보여 주지 않는다. 결과나 품질은 비교하지 않는다.
  • 실행이 끝났다고 그 선택이 옳았다는 뜻은 아니다.
  • 오래된 실행에는 새 필드가 없어 기록되지 않은 것으로 세고, 읽지 못한 값은 0이 아니라 읽지 못한 것으로 센다.

원문 문서

관련 기능