구현 체크리스트 — 새 콘텐츠 생성 시스템 구축 시
새 AI 콘텐츠 생성 시스템을 만들 때 그때그때 생각나는 대로의 누락을 막는 점검표입니다. 순서대로 진행하고, 미적용 항목은 "왜 생략했는지" 기록해 두면 다음 시스템에서 같은 누락을 막을 수 있습니다.
배경 개념은 방법론 개요를 참고하세요.
A. 분류 먼저 (무엇을 만드나)
- 산출물이 텍스트인가 **시각·순차(이미지/음성)**인가?
- 텍스트 → 조합 프롬프트로 말단 독립(상태 기계 불요)
- 시각·순차 → 일관성 상태(정본·드리프트) 필요
- commodity 식별: 파일 변환 → 변환 서비스 / 생성·요약 → AI / 도메인 의미 → 프로젝트. 직접 만들지 말 것.
B. 계층 프롬프트 (망각 방지 = 설계 단계에서)
- 전역 → 중간 → 말단 계층 스코프를 정의하고 단계별 프롬프트를 저장(+버전).
- 말단이 조합 프롬프트(composed prompt)로 self-contained 한지 확인(세션 독립·재현 가능).
- 출력 스키마·검수 규칙을 공통 footer로 자동 부착.
B-1. 조합 프롬프트 루프 검토
각 생성 루프를 실행하기 전에 조합 프롬프트 자체를 먼저 검토합니다. 루프 결과가 나쁘면 산출물만 고치지 말고, 어떤 체크 항목이 빠졌는지 확인해 상위 계층 프롬프트나 공통 footer를 보강합니다.
- 작업 식별: 대상 ID, 범위, 산출물 단위, 완료 기준이 명시되어 있다.
- 계층 맥락: 전역/중간/말단 프롬프트가 충돌 없이 병합되어 있고, 우선순위가 분명하다.
- 근거 입력: 사용할 소스, 참조 문서, 직전 산출물, 제외할 자료가 구분되어 있다.
- 도메인 규칙: 용어, 난이도, 독자/사용자 수준, 금지 방향이 포함되어 있다.
- 반복 참조 사전: 대규모 제작이라면 카테고리별 용어사전, 이미지/엔티티 사전, 스타일 사전을 정의하고 이번 루프가 어떤 사전을 반드시 참고해야 하는지 명시한다.
- 사전 준수 지침: 사전에 없는 새 용어·이미지·캐릭터·스타일을 임의로 만들지 말고, 필요하면 "사전 추가 후보"로 남기도록 지시한다.
- 일관성 입력: 시각·순차 콘텐츠라면 정본, 직전 회차, 엔티티 상태, 드리프트 기준이 포함되어 있다.
- 출력 계약: 형식, 필드, 길이, 언어, 파일/DB 저장 단위가 검증 가능하게 정의되어 있다.
- 품질 기준: 통과/반려 기준, 자동 검토 항목, 사람이 봐야 할 항목이 분리되어 있다.
- 안전·권리: 라이선스, 출처, AI 생성 표기, 민감/금지 표현 정책이 반영되어 있다.
- lineage: 프롬프트 버전, 모델, 입력 해시/ID, 산출물 ID를 기록할 수 있다.
- 자가개선 경로: 실패 원인을 산출물 수정으로 끝내지 않고 프롬프트 layer 개선 후보로 남기는 절차가 있다.
C. 작업 관리 (장기·다세션)
- worklist: 다음 작업 도출 + 진행률 집계.
- 멱등 ingest: 재실행해도 중복 생성 없음, 검수 완료본 덮어쓰기 금지.
- claim/lease: 여러 세션이 같은 단위를 중복 작업하지 않도록 점유 관리.
- 의존성 게이트: 선행 단계 없이 다음 단계 실행 금지.
- lineage: (프롬프트 버전 × 모델 × 입력) → 산출물 기록 — 재현·감사.
D. 일관성 (시각·순차 콘텐츠만)
- 정본(canonical) 관리: (엔티티 × 스타일 × 변형) 기준 "현재 정본" + 버전·롤백.
- 컨텍스트 선별: 이전 등장·직전 회차·정본을, 레퍼런스 개수 한계 안에서 우선순위로 주입.
- 드리프트 측정: 임베딩 유사도 등으로 정본 이탈 점수화 → 정본 승격 게이트 + 재기준(re-anchor).
E. 다국어·라이선스·검수
- 사용자 콘텐츠 다국어 저장(
{locale: value}+ 폴백). - 출처·라이선스·AI 생성 표기(특히 외부 자료, 외부 공급 시 필수).
- 검수 파이프라인:
AI 생성 → AI N회 검수 → 사람 N회 검수 → 승인/배포흐름을 정의한다. - 검수 상태 흐름: 초안 → AI 검수중 → AI 수정필요 → 사람 검수중 → 반려/수정요청 → 승인 → 배포 같은 상태를 명시하고, 각 상태의 전환 권한을 정의한다.
- 검수 메모와 감사 이력: 누가, 언제, 어떤 기준으로 승인/반려했는지 기록한다.
E-1. 위험도별 기본 검수 횟수
검수 횟수는 프로젝트가 임의로 정하지 말고 콘텐츠 위험도 기준으로 먼저 정합니다. 아래 값은 기본값이며, 다르게 운영하려면 이유를 기록합니다.
| Tier | 대상 예시 | AI 검수 기본값 | 사람 검수 기본값 | 운영 원칙 |
|---|---|---|---|---|
| T0 내부 초안 | 비공개 아이디어, 개발용 샘플 | 1회 | 0~1회 | 외부 노출 금지. 승인 없이 공개 전환 금지 |
| T1 저위험 공개 | 블로그성 안내, 단순 설명, 저위험 예시 | 1회 | 1회 | 공개 전 최소 1명 확인 |
| T2 서비스 핵심 | 무료 공개 콘텐츠, 학습 보조, 제품 도움말 | 2회 | 1회 | AI 검수는 서로 다른 기준 또는 프롬프트로 분리 |
| T3 고신뢰 콘텐츠 | 유료 콘텐츠, 교육, 신앙, 브랜드 공식 콘텐츠 | 2~3회 | 2회 | 사람 검수자는 가능하면 생성자와 분리 |
| T4 고위험/외부공급 | 법률, 의료, 안전, 규제, B2B 납품 콘텐츠 | 3회 이상 | 2~3회 이상 | 도메인 책임자 최종 승인. 필요 시 외부 전문가 검수 |
- 콘텐츠 유형별 기본 Tier와 예외 승인자를 정의한다.
- AI 검수 N회는 같은 프롬프트 반복이 아니라 서로 다른 관점(정확성, 정책, 형식, 일관성, 권리)을 나눠 수행한다.
- 사람 검수 N회는 동일인의 반복 확인이 아니라 역할 분리(도메인 검수, 표현/UX 검수, 최종 승인)를 우선한다.
- Tier 상향/하향 기준과 예외 사유를 기록한다.
E-2. 사전 관리 lifecycle
용어사전, 이미지/엔티티 사전, 스타일 사전은 단순 참고 문서가 아니라 변경 관리 대상입니다.
사전 추가 후보 → 검토/중복 확인 → 승인 → 버전 변경 → 영향 범위 산정 → 적용 → 회귀 검토 → 필요 시 롤백
- AI가 사전에 없는 용어·이미지·캐릭터·스타일을 발견하면 즉시 사용하지 않고 사전 추가 후보로 남긴다.
- 후보는 중복, 기존 항목 충돌, 카테고리, 표준 표기, 금지어/민감성, 출처·라이선스를 확인한 뒤 승인한다.
- 승인된 사전 변경은 버전과 변경 이유를 남긴다.
- 사전 변경이 영향을 주는 기존 콘텐츠 범위를 산정한다.
- 영향 콘텐츠는 필요 시 재검수 큐로 보낸다.
- 사전 변경 후 품질이 나빠지면 이전 버전으로 롤백할 수 있어야 한다.
E-3. 프롬프트·사전·모델 변경 회귀 검토
프롬프트 layer, 사전, 모델, 출력 스키마가 바뀌면 신규 콘텐츠만 검수하지 말고 대표 샘플을 다시 검토합니다.
- 콘텐츠 유형별 골든셋(대표 샘플)을 둔다.
- 프롬프트 layer 변경 시 골든셋을 재생성 또는 재평가한다.
- 사전 변경 시 기존 산출물과 새 기준의 충돌 여부를 확인한다.
- 모델 변경 시 품질, 길이, 금지 표현, 형식 준수, 비용 변화를 비교한다.
- 변경 전/후 diff와 AI 검수 결과를 함께 저장한다.
- 회귀가 발견되면 배포를 막고, 관련 항목을 사람 재검수 큐로 보낸다.
E-4. Review Console 요구사항
사람 검수는 일반 목록 화면의 액션 몇 개로 처리하지 말고 전담 관리페이지를 둡니다.
- 큐/우선순위: Tier, SLA, 변경 영향도, 공개 예정일, 실패 횟수 기준으로 정렬한다.
- 배정 정책: 담당자, 역할, 검수 단계, claim/lease, 자동 재배정을 지원한다.
- 검수자 분리: 고위험 콘텐츠는 생성자, AI 검수 설정자, 최종 승인자를 분리한다.
- SLA: 검수 대기 시간, 기한 초과, 재검수 반복 횟수를 추적한다.
- 비교 화면: 원문, 조합 프롬프트 요약, 사전 항목, 생성물, 이전 버전, diff를 나란히 보여준다.
- AI 검수 결과: AI 검수 라운드별 verdict, 근거, 실패 항목, 자동 수정 제안을 보여준다.
- 결정 액션: 승인, 반려, 수정요청, 보류, 재검수 요청, 사전 후보 등록, 프롬프트 개선 후보 등록을 제공한다.
- 감사 로그: 모든 상태 전환, 코멘트, 재배정, 승인/반려 사유를 기록한다.
- 필터/대량 작업: Tier, 담당자, 상태, 콘텐츠 유형, 사전 변경 영향, 회귀 실패 여부로 필터링한다.
- 알림: 배정, SLA 초과, 반려, 재검수 요청, 최종 승인 이벤트를 알린다.
F. 실행자·표면
- 실행을 직접 / 위임 에이전트 / 직접 API 중 무엇으로 할지 결정(품질 = 에이전트, 스케일 = API).
- 모니터링용 경량 화면(진행률·생성 큐)을 필요 시 제공.
G. 자가 개선
- 작업 중 발견한 지침 개선을 저위험은 즉시 반영 / 고위험은 승인 게이트 + 버전으로 관리.
이 체크리스트는 도구·프레임워크 중립적입니다. 텍스트 콘텐츠라면 A·B·C·E·F·G만으로 충분하고, 시각·순차 콘텐츠라면 D(일관성 상태)가 추가됩니다.