AMI Insight
여러 국가의 광고·바이럴 성과 데이터를 한곳에 모으고, 일상 언어로 물으면 서버가 검증한 쿼리로 답하는 데이터 분석 플랫폼입니다. AMI 프로젝트의 제품입니다.
지표 확인 시간
30m → 10s
지표 하나를 확인하는 시간
답변 지연
평균 2.7초
턴당 비용 약 $0.003
내가 한 일
- 데이터 질문을 일상 언어로 할 수 있는 플랫폼인 Insight를 만들었습니다.
- 실제 사용자의 피드백을 바탕으로 계속 개선했습니다.
문제
콘텐츠 성과에 관한 질문은 한 줄이었지만, 답하려면 여러 분석 도구와 시트에 흩어진 데이터를 모으고 가공해야 했습니다. 쿼리를 직접 짤 줄 모르면 답을 얻기 어려웠습니다.
만든 것
여러 국가의 광고·바이럴 성과 시트를 매일 Supabase로 동기화하고, 대시보드와 Explore 화면, AI 챗봇으로 보여 줍니다. 일상 언어로 묻는 길은 두 가지입니다.
- Explore AI: Gemini가 쿼리 정의(JSON)를 만들면, 서버가 허용 목록으로 검증한 뒤 Postgres RPC가 집계합니다.
- 챗봇: Gemini function calling으로 턴마다 도구를 최대 3번 호출하고(데이터 조회, 기간 비교, 주간 보고), 답을 스트리밍합니다.
시행착오
- 예시를 베끼는 모델: 참고 Q&A 26개를 프롬프트에 넣었더니 경량 모델이 형식만 베꼈습니다. 고정 리포트는 코드가, 분석은 LLM이 맡게 나누고, 26개 예시는 평가 세트로 돌렸습니다.
- 계산을 틀리는 모델: 목록 차이와 산술을 틀려서, 합계와 기간 비교, 금액 표기는 서버 코드로 옮기고 모델은 결과를 옮겨 적기만 하게 했습니다.
- 모델이 붙인 필터: 모델이 임의로 넣은 필터가 결과를 크게 줄였습니다. 서버가 이런 필터와 기간이 없는 질문을 이유와 함께 거절하면, 모델이 다시 시도합니다.
- 지어낸 숫자: 쿼리를 한 번도 하지 않고 숫자를 지어낸 답이 있었습니다. 그라운딩 가드가 그런 답을 버리고 도구 호출을 강제합니다.
- 조용히 틀린 집계: 집계 뒤에
COALESCE를 걸어 일부 국가의 매출 행이 빠졌고, 한 국가의 유로 결제가 원화로 합산됐습니다. 행 단위 계산과 통화 변환으로 고쳤습니다. - Gemini 3 다중 도구 호출 오류: 여러 번 도구를 부르면 400 오류가 났습니다.
thoughtSignature를 보존해서 고쳤습니다. - 비용과 남용: 인증 없는 POST 경로 4개가 Gemini 비용을 일으킬 수 있었습니다. 세션 확인과 사용 로그를 붙였고, 주간 인사이트는 주 단위로 캐시합니다.
품질과 운영
- 평가: 골든 세트 48문항, 100문항 정확도 러너, 심층 분석 35문항으로 답을 확인합니다. 정확도 러너에서 틀린 2문항은 위의 가드로 고쳤습니다.
- 테스트와 배포: 테스트 174개(Vitest)가 있고, GitHub Actions에서 린트, 타입 검사, 빌드, 테스트를 통과해야 EC2로 배포하고 헬스 체크를 합니다. 예전에는 실패를 숨기던 CI 설정이 있어서 고쳤습니다.
- 속도와 비용: 챗봇 답변 지연은 평균 2.7초(p95 5.1초), 비용은 턴당 약 $0.003입니다.
- 동기화: 시트 동기화는 90일 동안 984회 모두 성공했습니다.
- 데이터베이스: Supabase Postgres의 RPC, RLS, pg_cron, materialized view를 씁니다.
결과
- 지표 하나를 확인하는 시간이 30분에서 10초로 줄었습니다.