Epoch AI 점수, 또는 내 Artificial Analysis 키

점수로 고르는 모델 선택은 자료만큼만 좋고, 그 자료를 받는 과정에서 작업에 관한 것이 새어 나가서는 안 된다.

1. 카탈로그를 다시 만들 때(CLI 업데이트 뒤, [models] ttl_hours(기본 24시간)가 지났을 때, oah models --refresh) 저장한 사본이 오래됐거나 없거나 손상됐으면 10초 제한 시간과 크기 제한을 두고 https://epoch.ai/data/benchmarks.csv를 받는다.
2. ARTIFICIAL_ANALYSIS_API_KEY를 저장해 두었다면 Artificial Analysis에도 묻는다. 키는 x-api-key 헤더에만 싣고, 맞춘 모델마다 지수 하나만 남긴다.
3. 엔진마다 실행 한 번에 출처 하나를 쓴다. Artificial Analysis 사본이 알려진 모델군마다 나열된 가장 새 모델에 점수를 매겼으면 그것을, 아니면 최근에 받은 Epoch AI 자료를, 그것도 없으면 함께 배포된 사본을 쓴다. 출처를 섞지 않는다.
4. 사본은 oah 상태 폴더(models/benchmarks-epoch.json, benchmarks-aa.json)에만 있고, 손상되거나 바뀐 파일은 없는 것으로 친다(OAH_SCORES_FILE_INVALID).
5. [models] fetch_scores = false로 두면 아무것도 받지 않고 함께 배포된 사본이 고른다.

자기 Artificial Analysis 키를 macOS 키체인에 둔다(키 문서).

security add-generic-password -s oah -a ARTIFICIAL_ANALYSIS_API_KEY -w

• v0.3.0 이상이 필요하다.
• Epoch AI에는 키가 필요 없다. 선택으로 자기 ARTIFICIAL_ANALYSIS_API_KEY를 환경 변수나 OS 키체인에 둔다.

• Jev 재정렬기와 달리 Artificial Analysis 키는 그것만으로 켜진다. [models] fetch_scores의 기본값이 true이기 때문이다.
• Artificial Analysis 행을 이름으로 맞추는 방식은 그 문서를 따르며 실제 응답으로는 아직 확인하지 않았다.
• 받기에 실패하면 마지막으로 성공한 사본을 쓰고 한 번 알린다(OAH_SCORES_REFRESH_FAILED). 이 때문에 실행이 실패하지는 않는다.
• 키를 지우면 다음 새로 고침에서 그 자료를 더 쓰지 않고 사본도 지운다.

• README.ko.md ↗탐색기에서 열기
• docs/ko/concepts.md ↗탐색기에서 열기
• 키 › Artificial Analysis 점수 ↗탐색기에서 열기

• 벤치마크로 고르는 모델
• 키와 로그인
• 새 세대 모델의 자동 합류