하수관로 결함 오토라벨링

고객사는 하수관로 결함 검출 AI를 만들기 위해 개발자 여러 명에게 수동 라벨링을 맡겼습니다. 결과는 실패였습니다.

같은 지침을 줘도 사람마다 균열의 폭과 범위를 다르게 잡았고, 픽셀 단위 다각형을 그리는 작업은 장당 수 분이 걸리는 고피로 작업이라 오차가 누적됐습니다. 재검수를 해도 같은 개인차 문제가 반복되어 비용만 늘었습니다. 품질이 고르지 않으니 AI 성능은 정체됐고, 원인 진단조차 어려웠습니다.

라벨링 인력을 늘리는 대신 세 가지를 바꿨습니다.

첫째, 기준을 통일했습니다. AI Hub의 하수관로 공개 데이터 41만 장 이상을 기반으로 삼아 결함 분류 체계와 판정 기준을 단일화했습니다. ‘사람마다 다른 기준’ 문제가 원천 차단됩니다.

둘째, 정밀 라벨을 자동으로 만들었습니다. 파운데이션 모델 SAM2로 박스를 픽셀 정밀 외곽선으로 변환했습니다. 사람이 수 분 걸리는 다각형 작업을 초 단위로 수행합니다.

셋째, 검수를 최소화했습니다. 생성된 라벨을 높은신뢰 / 검토필요 / 미검출 3등급으로 자동 분류해, 사람은 전량이 아니라 ‘검토 필요’ 등급만 확인합니다. 인건비 구조가 전량 작업에서 일부 검수로 바뀝니다.

정제 완료 이미지 5.2만 장 이상, 자동 생성 정밀 라벨 53,480건을 확보했습니다(box-fallback 0.27%). 고객 영상 7,355장에 대한 오토라벨링 파일럿도 신뢰도 분류를 포함해 1회전 완료했습니다.

실측 정답 데이터 4,520장으로 검증한 현장형 검출률은 74.4%, 정밀도는 83.6%입니다.

성능을 학술 지표(mAP)로 재지 않기로 한 것이 이 프로젝트의 분기점이었습니다. mAP는 결함 영역을 얼마나 정밀하게 그렸는지까지 평가하므로 외곽선이 몇 픽셀만 어긋나도 점수가 떨어집니다. 그러나 현장에서 중요한 것은 정밀한 외곽선이 아니라 ‘발견’입니다. 발견만 되면 등급 판정과 보수 결정은 후속 절차가 담당합니다.

그래서 검출 영역이 실제 결함과 일부만 겹쳐도 성공으로 인정하는 부분 겹침 검출률을 인수 기준으로 제안했습니다. 발주자와 공급자가 같은 언어로 검수하게 되면서 계약 협의가 훨씬 빨라졌습니다.