← 목록으로: TRAINED

Laya Decision Model Fine-Tuning

상용 판단 API Jev는 학습할 수 없어서 잘 모르는 주제에서는 개선할 방법이 없습니다. GPU 메모리 2~3GB로 돌아가는 오픈소스 판단 모델 Laya를 직접 학습해 같은 테스트로 비교했습니다. 은행 고객 문의는 100건 중 Jev 79건, Laya 90건을 맞혔고, 한국어 혐오 댓글은 모든 항목을 맞힌 비율이 Jev 51%, Laya 79%였습니다.

연도
2026
태그
decision-model, laya, fine-tuning, jev, evaluation, banking77, k-mhas

무엇을 했나

판단 모델 Jev는 학습할 수 없어서, 잘 모르는 주제에서는 더 좋아지게 만들 방법이 없습니다. 작은 GPU로 돌릴 수 있는 오픈소스 판단 모델 Laya를 직접 학습해서 이 한계를 넘을 수 있는지 확인했습니다.

판단 모델이란

글을 쓰는 대신, 정해진 보기 중에서 답을 고르고 얼마나 확신하는지(0~1)를 함께 돌려주는 모델입니다. “이 고객 문의는 어떤 유형인가?”, “이 댓글은 혐오 표현인가?” 같은 질문에 씁니다. TypeSafe가 2026년 9월에 “첫 System One 모델”로 공개한 Jev가 대표적입니다.

왜 오픈소스 모델인가

  • Jev는 API로만 쓸 수 있습니다. 데이터가 회사 밖으로 나가고, 회사 데이터로 학습시킬 수도 없습니다.
  • Laya는 직접 설치하고 학습할 수 있습니다. Apache-2.0 라이선스이고, 학습한 모델 하나가 GPU 메모리 2~3GB로 돌아갑니다. 응답 시간도 Jev와 비슷합니다(중앙값 0.16초 대 0.19초).
  • Jev와 같은 요청 형식으로 띄워서, 두 모델에 똑같은 질문을 보내 비교했습니다.

결과

  • 은행 고객 문의: 100건 중 Jev는 79건, 학습한 Laya는 90건을 맞혔습니다(정확도 accuracy 79.4% → 90.4%).
  • 자동 처리: 자신 있게(확신도 0.9 이상) 한 답 중 틀린 비율이 Jev 6.4%, 학습한 Laya 3.3%입니다(precision 93.6% → 96.7%). Laya는 오답이 더 적으면서도 더 많은 문의(커버리지 coverage 81%, Jev는 65%)를 자동으로 맡을 수 있습니다. 학습 뒤에 확신도를 실제 정답률에 맞추는 온도 보정(temperature scaling)까지 거쳐, 보정용 400건 기준 ECE(확신도와 실제 정답률의 차이, 0이 이상적)가 학습 전 0.633에서 0.039로 줄었습니다.
  • 한국어 혐오 댓글: 8개 항목을 모두 맞힌 비율(exact match)이 Jev 51%, 학습한 Laya 79%입니다. 항목별 F1(정밀도와 재현율의 조화평균)을 평균한 macro F1은 0.517에서 0.733으로 올랐습니다. Jev가 욕설이라고 판정한 댓글 중 실제 욕설은 34%뿐이었고(정밀도 precision), Laya는 90%였습니다.
  • 학습하지 않은 주제: 커머스 문의에서는 Jev 97%, Laya 80%로 Jev가 더 정확합니다. 차이를 만든 것은 학습입니다.

어떻게 학습했나

  • 방법: 점수 규칙 기반 강화학습 목적함수(RLCD)로 4 에폭 학습했습니다(seed 42).
  • 데이터: 공개 데이터셋 Banking77(은행 문의, CC BY 4.0) 1만 건과 K-MHaS(한국어 뉴스 댓글, CC BY-SA 4.0) 3만 건으로 학습했습니다. 평가는 학습에 쓰지 않은 공식 테스트 데이터로 했습니다.
  • 장비와 시간: RTX 5090 한 장으로 은행 문의는 35분, 한국어 댓글은 2시간 42분 걸렸습니다.
  • 해결한 문제: 기본 설정에서는 보기 77개가 길이 제한에 잘려서 제대로 고르지 못했습니다. 입력 길이를 늘려 해결했습니다. 또 틀린 답을 분석해 보니, 질문 문구와 데이터셋의 분류 기준이 달랐습니다(예: 성적 지향은 ‘성별’ 항목). 문구를 고쳐 다시 학습했습니다.

한계

  • 회사 데이터가 아니라 공개 데이터로 검증했습니다.
  • 실험마다 한 번씩만 학습했고, 학습과 테스트 데이터가 같은 출처입니다.
  • Jev는 학습할 수 없어서 그대로 비교했습니다.
  • 혐오 댓글 예시는 싣지 않습니다.

Jev (상용 API)Laya 학습 전Laya 학습 후

은행 고객 문의 분류

100건 중 맞게 분류한 수

  • Jev (상용 API)79.4%
  • Laya 학습 전36.3%
  • Laya 학습 후90.4%

77개 문의 유형, 테스트 3,080건 (Banking77)

지표: 정확도(accuracy)

자신 있게 한 답의 오답률

확신도 0.9 이상인 답 중 틀린 비율, 낮을수록 좋음

  • Jev (상용 API)6.4%
  • Laya 학습 전38.6%
  • Laya 학습 후3.3%

이 답만 자동 처리하면 Jev는 문의의 65%, 학습한 Laya는 81%를 맡습니다.

지표: 확신도 0.9 이상 구간의 오류율(1 − precision). 함께 본 값: 커버리지(자동 처리 비율)

한국어 혐오 댓글 판정

8개 항목(출신, 외모, 정치, 욕설, 연령, 성별, 인종, 종교)을 모두 맞힌 비율

  • Jev (상용 API)51.3%
  • Laya 학습 전36.1%
  • Laya 학습 후79.4%

뉴스 댓글 테스트 3,000건 (K-MHaS)

지표: 정확 일치율(exact match ratio). 같은 평가의 macro F1(항목별 F1의 평균, 1이 만점)은 Jev 0.517, 학습 전 0.207, 학습 후 0.733

욕설 판정의 정확성

욕설이라고 판정한 댓글 중 실제 욕설인 비율

  • Jev (상용 API)34.4%
  • Laya 학습 전39.0%
  • Laya 학습 후90.4%

Jev는 욕설을 놓치지는 않지만, 욕설이 아닌 댓글도 많이 잡아냈습니다.

지표: 욕설 항목 정밀도(precision). 욕설 F1(정밀도와 재현율의 조화평균)은 Jev 0.483, 학습 후 0.898

학습하지 않은 주제

커머스 고객 문의 100건 중 맞게 분류한 수

  • Jev (상용 API)97.2%
  • Laya 학습 전80.3%

학습하지 않은 주제에서는 Jev가 더 정확합니다. 차이를 만든 것은 학습입니다.

지표: 정확도(accuracy)