뒤로가기
← 전체 기능

도구 확장v0.3.0에서 사용 가능

Jev의 난이도 판정

v0.3.0에 출시됐다. TypeSafe Jev가 작업의 Intent와 Scope 경로를 보고 난이도를 판정한다. 확신도가 기준에 닿으면 그 tier로 실행하되 최저 기준 아래로는 내려가지 않는다. Jev가 꺼져 있거나 확신도가 낮으면 규칙이 정한 난이도로 실행한다. 호출을 막지는 않는다.

필요한 상황

규칙은 Scope만 보고 축에 점수를 매기므로 한 줄짜리 동시성 수정은 낮게, 파일 20개의 이름 바꾸기는 높게 나올 수 있다.

동작 방식

  1. Jev는 네 축과 작업 글을 받는다. 작업 글은 승인된 Intent의 다섯 부분(Problem, Desired outcome, Success conditions, Constraints, Non-goals) 다음에 Scope 경로를 붙이고 16,000자(약 4,000토큰)로 자른 것이다.
  2. 보내기 전에 개인정보 검사기의 내용 규칙으로 글을 읽는다. 걸린 부분이 있으면 아무것도 보내지 않고 상태는 unused(secret)가 되며, OAH_RERANK_SECRET이 걸린 부분을 알려 줄 뿐 내용 자체는 보여 주지 않는다.
  3. Jev의 확신이 [rerank] difficulty_min_confidence(따로 정하지 않으면 0.6, 0부터 1 사이의 수) 이상이면 Jev의 tier로 실행하되 최저 기준보다 낮으면 올리고, tier_source는 jev가 된다.
  4. 그렇지 않으면 규칙 tier로 실행하고 jev_status가 이유를 남긴다. --tier나 직접 고친 계획 tier는 Jev를 쓰지 않고 unused(tier-given)로 남긴다.
  5. 실행 기록과 리뷰 영수증에 rule_tier, jev_tier, jev_confidence, jev_status, tier, tier_source가 남는다.

요구 사항

  • v0.3.0 이상이 필요하다.
  • [rerank] enabled = true와 자기 TYPESAFE_API_KEY.

한계와 복구

  • Jev는 코드, diff, 파일 내용, 저장된 값, 지시문, 키를 받지 않는다. 경로는 경로로만 보내고 내용은 보내지 않는다.
  • 프로젝트에서 처음 요청할 때 OAH_RERANK_SCOPE_WIDENED를 한 번 알린다. 모든 요청을 멈추려면 [rerank]에 enabled = false를 둔다.
  • 리뷰의 최저 기준은 여전히 Scope만으로 매기므로 Jev는 리뷰 tier를 그 기준까지만 내릴 수 있다.
  • 내용이 빈약한 Intent는 빈약한 판정을 낳고, TypeSafe는 요청마다 요금을 물릴 수 있다.
  • difficulty_min_confidence가 0부터 1 사이가 아니면 아무것도 보내기 전에 OAH_CONFIG_INVALID로 거절한다.

원문 문서

관련 기능