측정 방법

숫자를 어떻게 쟀는지 적습니다.

정확도 하나만 크게 적어두면 사는 쪽은 그게 어디서 나온 값인지 알 수 없습니다. 여기에는 조건을 적습니다. 같은 방식으로 다른 업체에도 물어보시면 됩니다.

0. 세 가지 조건을 따로 냅니다

정확도 하나만 크게 적으면 어느 조건에서 잰 값인지 알 수 없습니다. 저희는 셋으로 나눠 냅니다.

표본이 크지 않습니다. 학습한 생성기 쪽은 111곡이고, 생성기 하나당 열 곡 안팎입니다. 그래서 구간을 함께 적었습니다 — 곡을 더 모아 다시 재는 것이 다음 할 일입니다.

1. 학습에서 제외한 생성기로 잽니다

학습에 쓴 생성기로 재면 점수는 얼마든지 올라갑니다. 실제로 문제가 되는 순간은 새 도구가 나왔을 때이므로, 평가할 생성기를 학습에서 통째로 빼고 잰 값을 씁니다. 그 값이 84.0% 입니다.

2. 오탐률을 먼저 고정합니다

검출률은 임계를 낮추면 얼마든지 올라갑니다. 그래서 사람 곡 오탐률을 1.5% 로 고정한 뒤 그 지점에서 검출률을 읽습니다. 두 숫자를 함께 보지 않으면 아무 뜻이 없습니다.

3. 곡 단위로 나눕니다

같은 곡의 편집본이 학습과 평가에 나뉘어 들어가면 성적이 부풀려집니다. 원곡 단위로 묶어 분리하며, 경로 해석까지 확인합니다 — 목록만 맞추면 조용히 새는 경우를 겪었습니다.

4. 편집본을 따로 잽니다

무편집과 편집본을 섞어 평균 내지 않습니다. 무편집 89.7%, 편집본 71.0% 로 따로 적습니다. 실무에서 만나는 것은 대개 편집본입니다.

5. 재현성을 확인합니다

같은 파일에 같은 답이 나와야 합니다. 무작위성이 있는 단계는 시드를 고정했고, 서버 환경을 바꿀 때는 같은 곡으로 판정이 뒤집히지 않는지 확인한 뒤 옮깁니다.

업체를 고를 때 물어야 할 것

이 표는 회사를 비교하지 않습니다. 주장과 측정을 구분하는 표입니다. 어느 업체를 보시든 그대로 물어보시면 됩니다. 저희에게도요.