Text To material
원단을 글로 설명하면 PBR 재질 전체를 만들어 주는 서비스입니다. 원단 촬영 셋팅과, 생성된 디퓨즈 맵에 맞는 PBR 맵을 코드로 만드는 작업을 리드했고, 스캔→PBR·리버스 렌더링 데이터 워크플로를 만들었으며, 생성 결과 QA와 사용자 리서치, 프로모션 콘텐츠를 맡았습니다.
프로젝트 소개
Text to Material은 SwatchOn에서 만든 서비스로, 원단을 글로 설명하면 그 원단의 PBR 재질 전체를 만들어 줍니다. 스테이블 디퓨전 기반 모델이 원단의 디퓨즈 맵을 생성하면, 그 디퓨즈 맵에 맞춘 노멀, 러프니스, 메탈릭, 디스플레이스먼트 맵을 붙여 Three.js 웹 뷰에서 3D 원단으로 보여 줍니다.
저는 실물 원단으로 학습 데이터를 만드는 단계부터 PBR 맵 생성, 생성 결과 검수, 사용자 리서치와 프로모션 콘텐츠까지 맡았습니다. 아래 갤러리의 첫 번째 다이어그램에 전체 과정 가운데 제가 리드하거나 직접 만든 단계를 표시했습니다.
1. 실물 원단 디지털화
- 원단 촬영 셋팅을 리드했습니다. ApparelBase의 FSD(Fabric Scan Device, 8방향 LED 조명)와 Vizoo xTex 스캐너로 실물 원단을 4앵글 또는 8앵글로 촬영해 디지털화했습니다.
- 촬영한 원단을 PBR 맵으로 만드는 워크플로를 개발했습니다. 어도비 공식 학습 자료로 멀티앵글 촬영을 재질로 바꾸는 기초를 다졌고, Substance 3D Designer에서 원단마다 PBR 맵을 만들었습니다.
2. 학습 데이터 만들기
- 리버스 렌더링으로 학습 데이터를 늘렸습니다. 멀티앵글 촬영, Substance, PBR 맵 순서로 디지털화한 원단을 여러 환경 조명에서 렌더링해 학습 데이터를 증강하는 방법을 제안하고 구현했습니다. 원단 하나로 여러 장의 학습 데이터를 만들 수 있어서 데이터를 만드는 효율이 높아졌습니다.
- 디퓨즈 맵을 디퓨전 모델의 학습 데이터로 썼습니다. 라벨링(캡셔닝)은 사람이 직접 진행해 캡션 정확도를 높였고, 저도 라벨링에 참여했습니다.
3. 디퓨즈 맵과 짝이 맞는 PBR 맵
이 단계는 제가 아이디어를 내고 구축을 리드했습니다.
- 문제: 노멀, 러프니스, 메탈릭, 디스플레이스먼트 맵까지 모델로 추론하면 디퓨즈 맵과 정렬되지 않는 경우가 생겼습니다.
- 해결: 하나의 디퓨전 모델에서 모든 맵을 뽑는 대신, 3D 디자이너들이 흔히 쓰는 Substance Designer의 함수 노드를 코드로 구현했습니다. 생성된 디퓨즈 맵에서 짝이 맞는 PBR 맵을 만들기 때문에 맵끼리 어긋나지 않습니다.
4. 품질 검수와 렌더링
- 생성 결과를 검수했습니다. 스테이블 디퓨전 기반 생성 결과를 임계값을 조정하며 점검했고, 프롬프트를 바꿔 가며 모델의 강점과 한계를 분석해 개선 방향을 정리했습니다.
- Three.js 원단 렌더링 시스템에 참여했습니다. 렌더링 시스템의 기반 구축에 참여했고, 렌더링 품질을 위해 PBR 맵 강도와 셰이더 값을 조정했으며, 렌더링 QA도 함께 진행했습니다.
5. 사용자 경험과 콘텐츠
- 사용자 플로우를 기획하고 프로토타입으로 UI/UX를 제안했습니다.
- 외부 3D 디자이너 테스트를 기획하고 진행했습니다. UI/UX를 개선하기 위해 외부 3D 디자이너를 초빙해 인터뷰와 테스트 런을 진행했습니다.
- 서비스 프로모션용 3D 콘텐츠를 전담했습니다. 기획과 디자인부터 후반 작업까지 맡았고, 사용자 교육용 튜토리얼 영상과 본문도 기획하고 제작했습니다.
이미지 (6) · 영상 (1)
프로덕트 파이프라인 · 내가 기여한 부분

생성형 AI 데모 영상
생성된 PBR 원단




