AMI Shorts
웹툰 원고를 AI가 분석해 리뷰 숏폼의 시나리오, 콘티, TTS, 컷 추천, 영상 초안까지 만드는 사내 도구입니다. AMI 프로젝트의 첫 제품이며, AI가 초안을 만들고 사람이 완성합니다.
편당 제작 시간
8h → 3h
기획자·미디어 제작자 12명이 사용했습니다
에피소드 분석
약 5분
운영 기록 평균, 성공률 97.9%
내가 한 일
- 첫 버전을 n8n 워크플로로 만들었습니다.
- Google Antigravity로 쓴 첫 초안에서 출발해 n8n을 Flask 코드로 옮겼습니다.
- Shorts가 쓰는 웹툰 분석 엔진을 개발했습니다.
- 실제 사용자의 피드백을 바탕으로 계속 개선했습니다.
문제
웹툰 리뷰 숏폼은 작품을 읽고, 시나리오를 잡고, 쓸 컷을 고르고, 리소스를 만드는 수작업 비중이 높아서 한 편을 만드는 데 시간이 오래 걸렸습니다. 성능이 좋은 AI 도구는 이미 있었지만, 그 도구를 쓰려면 사람이 먼저 일하는 방식을 도구에 맞춰야 했습니다. Shorts는 반대로 AI를 기존 업무에 맞췄습니다.
먼저 시도한 것: n8n
첫 버전은 n8n 워크플로로 만들었습니다. n8n은 여러 단계를 이어 자동화 흐름을 만드는 비주얼 도구입니다.
막힌 지점
- 로직: 일부 로직은 비주얼 스크립트로 표현하기 어려웠습니다.
- 속도: 처리 속도가 느렸습니다.
- 접근성: GUI가 없어서 저만 쓸 수 있었습니다.
- 추적: 웹훅 14개에 상태 추적과 테스트가 없어서, 문제가 생겨도 어디서 막혔는지 찾기 어려웠습니다.
바꾼 것: 코드
Google Antigravity로 첫 초안을 만들었고, 그 코드를 계속 다듬어 지금의 형태가 되었습니다. 원칙은 그대로 유지했습니다. 기존 업무 흐름을 유지하고, 현업의 맥락을 반영하고, 실제 사용자의 피드백으로 개선합니다.
분석 엔진이 컷마다 캐릭터를 찾고, 표정과 대사를 읽고, 장면의 맥락을 파악합니다. 그 결과로 시나리오, 콘티, TTS, 컷 추천을 거쳐 세로 영상 초안까지 만듭니다. Shorts가 초안을 준비하고, 사람이 콘텐츠를 완성합니다.
시행착오
- 이중 왕복: n8n을 거치면 Flask → n8n → 외부 API → n8n → Flask로 두 번 왕복해서 디버깅과 배포가 어려웠습니다. AI와 TTS 호출을 Flask 모듈로 옮겼습니다.
- 쌓이는 오류: 검증하지 않은 분석 결과를 다음 프롬프트의 맥락으로 넣었더니 캐릭터 인식 오류가 쌓였습니다. 참조 이미지 단계와 검증 루프를 넣었고, 더 복잡한 2단계 관찰 파이프라인은 만들어 본 뒤 단일 호출로 되돌렸습니다(약 2,100줄 삭제).
- 영상 렌더링: n8n(37노드) → Creatomate → 서버 FFmpeg 순서로 옮겨, 렌더 건당 비용과 외부 대기열을 없앴습니다.
- 컷 감지: YOLO 모델 대신 OpenCV 여백 감지로 컷을 나눕니다. 점검에서 진행 표시 오류, 아주 긴 컷 누락, 메모리 과다 사용을 찾아 고쳤습니다.
품질과 운영
- 분석 시간: 운영 기록 기준으로 에피소드 하나를 분석하는 데 평균 약 5분이 걸렸고, 성공률은 97.9%였습니다.
- 비용 추적: 호출마다 토큰으로 비용을 추정해 기록하고, 관리자 화면에서 사용량을 확인합니다.
- 운영과 배포: AWS EC2에서 Docker로 운영하고, 운영 DB는 로컬 개발 환경과 같은 PostgreSQL(pgvector 포함)입니다. git에 올린 코드가 배포로 이어지고, 운영과 스테이징을 나눠 둡니다.
결과
- 편당 평균 제작 시간이 8시간에서 3시간으로 줄었습니다.
- 저 말고도 기획자·미디어 제작자 12명이 사용했습니다.