AMI Search
긴 웹툰 원고를 컷으로 자르고 컷마다 텍스트·이미지 벡터를 저장해, 자연어 문장 하나로 원하는 장면을 찾는 검색 도구입니다. AMI 프로젝트의 제품입니다.
컷 찾는 시간
30m → 5m
최대 500명 대상 전사 배포 예정
제외어 위반
7.2% → 2.2%
질의 41개·판정 408개 평가 세트, v1 → v2
내가 한 일
- Gemini Embedding 2 프리뷰가 공개된 뒤 개인 프로젝트로 시작해, 다른 사람의 도움 없이 혼자 만들었습니다(Flask, React, pgvector).
- 정식판에서는 검색 UI를 와이어프레임에 맞춰 다시 만들고, 질의를 검색어와 조건으로 나누는 AI 검색을 설계했습니다.
팀이 한 일
- 전사 배포를 위해 다른 팀이 인프라를 옮기는 작업을 맡고 있습니다.
문제
배너에 쓸 캐릭터 이미지처럼 장면 하나를 찾으려면, 작업자가 수십 화의 웹툰을 일일이 눈으로 넘겨 봐야 했습니다. 이전 방식은 호출마다 Gemini가 모든 컷의 메타데이터를 읽어서 2~3분이 걸렸고, 비싸고 결과도 불안정했습니다.
만든 것
긴 웹툰 원고를 컷 단위로 자르고, 컷마다 분석 텍스트로 만든 텍스트 벡터와 이미지 벡터를 저장합니다. 검색할 때는 두 점수를 섞어서, 자연어 문장 하나로 컷을 찾습니다. 외형, 표정, 그림체 같은 시각적 특징으로 찾을 수 있고, 빼고 싶은 특징을 입력해 결과를 거를 수 있으며, 이미지로도 검색할 수 있습니다. Search는 Gemini Embedding 2 프리뷰가 공개된 뒤에 시작했습니다.
시행착오
- 무시되는
task_type:gemini-embedding-2는 질의와 문서를 구분하는task_type값을 바꿔도 같은 벡터를 냈습니다. 질의와 문서에 서로 다른 텍스트 접두어를 붙여 구분했습니다. - 제외어가 결과를 전부 지움: 접두어를 붙이자 유사도 중앙값이 0.34에서 0.55로 올라, 기존 제외어 임계값이 결과를 전부 지웠습니다. 임베딩 버전마다 임계값을 따로 뒀습니다.
- 텍스트와 이미지 가중치: 실제 채점 비교에서 텍스트 가중치 0.5가 0.7보다 나았습니다.
- 글자만 있는 컷: 글자만 있는 컷이 결과를 오염시켜서, 플래그와 중심 벡터 유사도로 걸러냈습니다.
- 인덱스 한도: 3072차원 벡터는 pgvector 근사 검색 인덱스의 한도(2,000차원)를 넘어서 순차 검색을 합니다.
- 질의 해석: 검색 로그를 보니 질의의 58%가 한 단어였고, 조건이 담긴 문장을 그대로 임베딩하는 한계가 있었습니다. 질의를 검색어와 조건으로 나누는 AI 검색을 설계했습니다.
품질과 운영
- 평가 세트: 질의 41개, 판정 408개로 된 고정 평가 세트로 버전을 비교했습니다. v2에서 제외어 위반이 7.2%에서 2.2%로 줄고, precision@10이 45.7%에서 49.3%로 올랐습니다.
- 속도와 비용: 순차 검색이어도 질의 41개 기준 평균 약 1.1초 안에 결과가 나옵니다. 이미지 임베딩은 Batch API로 옮겨 비용을 절반으로 줄였습니다.
- 운영: 첫 버전은 Shorts와 같은 EC2에서 Docker로 운영했고, 운영 DB는 로컬 개발 환경과 같은 PostgreSQL(pgvector 포함)입니다.
결과
- 컷 하나를 찾는 시간이 30분에서 5분 안팎으로 줄었습니다.
- 플랫폼 배너, 캐러셀 콘텐츠, 미디어 콘텐츠에 쓸 이미지를 찾는 데 쓰였습니다.
- 최대 500명 대상 전사 배포 예정입니다.
전사 배포 준비
첫 버전에서는 사용자가 이미지를 직접 올려야 했습니다. 전사 배포를 위해 S3에 있는 원본 파일을 바로 가져와 쓰는 인프라로 옮기고 있으며, 인프라 이전은 다른 팀이 맡고 있습니다. 새 API는 받는 필드가 적어서, 지원하지 않는 필터는 UI에서 숨겼습니다.