← 목록으로: SERVICE

AMI Search

긴 웹툰 원고를 컷으로 자르고 컷마다 텍스트·이미지 벡터를 저장해, 자연어 문장 하나로 원하는 장면을 찾는 검색 도구입니다. AMI 프로젝트의 제품입니다.

기술
Python, Flask, React, TypeScript, PostgreSQL, pgvector, Gemini Embedding 2, Gemini API, Docker, AWS EC2
컷 찾는 시간

30m → 5m

최대 500명 대상 전사 배포 예정

제외어 위반

7.2% → 2.2%

질의 41개·판정 408개 평가 세트, v1 → v2

내가 한 일
  • Gemini Embedding 2 프리뷰가 공개된 뒤 개인 프로젝트로 시작해, 다른 사람의 도움 없이 혼자 만들었습니다(Flask, React, pgvector).
  • 정식판에서는 검색 UI를 와이어프레임에 맞춰 다시 만들고, 질의를 검색어와 조건으로 나누는 AI 검색을 설계했습니다.
팀이 한 일
  • 전사 배포를 위해 다른 팀이 인프라를 옮기는 작업을 맡고 있습니다.

문제

배너에 쓸 캐릭터 이미지처럼 장면 하나를 찾으려면, 작업자가 수십 화의 웹툰을 일일이 눈으로 넘겨 봐야 했습니다. 이전 방식은 호출마다 Gemini가 모든 컷의 메타데이터를 읽어서 2~3분이 걸렸고, 비싸고 결과도 불안정했습니다.

만든 것

긴 웹툰 원고를 컷 단위로 자르고, 컷마다 분석 텍스트로 만든 텍스트 벡터와 이미지 벡터를 저장합니다. 검색할 때는 두 점수를 섞어서, 자연어 문장 하나로 컷을 찾습니다. 외형, 표정, 그림체 같은 시각적 특징으로 찾을 수 있고, 빼고 싶은 특징을 입력해 결과를 거를 수 있으며, 이미지로도 검색할 수 있습니다. Search는 Gemini Embedding 2 프리뷰가 공개된 뒤에 시작했습니다.

시행착오

  • 무시되는 task_type: gemini-embedding-2는 질의와 문서를 구분하는 task_type 값을 바꿔도 같은 벡터를 냈습니다. 질의와 문서에 서로 다른 텍스트 접두어를 붙여 구분했습니다.
  • 제외어가 결과를 전부 지움: 접두어를 붙이자 유사도 중앙값이 0.34에서 0.55로 올라, 기존 제외어 임계값이 결과를 전부 지웠습니다. 임베딩 버전마다 임계값을 따로 뒀습니다.
  • 텍스트와 이미지 가중치: 실제 채점 비교에서 텍스트 가중치 0.5가 0.7보다 나았습니다.
  • 글자만 있는 컷: 글자만 있는 컷이 결과를 오염시켜서, 플래그와 중심 벡터 유사도로 걸러냈습니다.
  • 인덱스 한도: 3072차원 벡터는 pgvector 근사 검색 인덱스의 한도(2,000차원)를 넘어서 순차 검색을 합니다.
  • 질의 해석: 검색 로그를 보니 질의의 58%가 한 단어였고, 조건이 담긴 문장을 그대로 임베딩하는 한계가 있었습니다. 질의를 검색어와 조건으로 나누는 AI 검색을 설계했습니다.

품질과 운영

  • 평가 세트: 질의 41개, 판정 408개로 된 고정 평가 세트로 버전을 비교했습니다. v2에서 제외어 위반이 7.2%에서 2.2%로 줄고, precision@10이 45.7%에서 49.3%로 올랐습니다.
  • 속도와 비용: 순차 검색이어도 질의 41개 기준 평균 약 1.1초 안에 결과가 나옵니다. 이미지 임베딩은 Batch API로 옮겨 비용을 절반으로 줄였습니다.
  • 운영: 첫 버전은 Shorts와 같은 EC2에서 Docker로 운영했고, 운영 DB는 로컬 개발 환경과 같은 PostgreSQL(pgvector 포함)입니다.

결과

  • 컷 하나를 찾는 시간이 30분에서 5분 안팎으로 줄었습니다.
  • 플랫폼 배너, 캐러셀 콘텐츠, 미디어 콘텐츠에 쓸 이미지를 찾는 데 쓰였습니다.
  • 최대 500명 대상 전사 배포 예정입니다.

전사 배포 준비

첫 버전에서는 사용자가 이미지를 직접 올려야 했습니다. 전사 배포를 위해 S3에 있는 원본 파일을 바로 가져와 쓰는 인프라로 옮기고 있으며, 인프라 이전은 다른 팀이 맡고 있습니다. 새 API는 받는 필드가 적어서, 지원하지 않는 필터는 UI에서 숨겼습니다.