Skip to main content

구현 체크리스트 — 새 콘텐츠 생성 시스템 구축 시

새 AI 콘텐츠 생성 시스템을 만들 때 그때그때 생각나는 대로의 누락을 막는 점검표입니다. 순서대로 진행하고, 미적용 항목은 "왜 생략했는지" 기록해 두면 다음 시스템에서 같은 누락을 막을 수 있습니다.

배경 개념은 방법론 개요를 참고하세요.

A. 분류 먼저 (무엇을 만드나)

  • 산출물이 텍스트인가 **시각·순차(이미지/음성)**인가?
    • 텍스트 → 조합 프롬프트로 말단 독립(상태 기계 불요)
    • 시각·순차 → 일관성 상태(정본·드리프트) 필요
  • commodity 식별: 파일 변환 → 변환 서비스 / 생성·요약 → AI / 도메인 의미 → 프로젝트. 직접 만들지 말 것.

B. 계층 프롬프트 (망각 방지 = 설계 단계에서)

  • 전역 → 중간 → 말단 계층 스코프를 정의하고 단계별 프롬프트를 저장(+버전).
  • 말단이 조합 프롬프트(composed prompt)로 self-contained 한지 확인(세션 독립·재현 가능).
  • 출력 스키마·검수 규칙을 공통 footer로 자동 부착.

B-1. 조합 프롬프트 루프 검토

각 생성 루프를 실행하기 전에 조합 프롬프트 자체를 먼저 검토합니다. 루프 결과가 나쁘면 산출물만 고치지 말고, 어떤 체크 항목이 빠졌는지 확인해 상위 계층 프롬프트나 공통 footer를 보강합니다.

  • 작업 식별: 대상 ID, 범위, 산출물 단위, 완료 기준이 명시되어 있다.
  • 계층 맥락: 전역/중간/말단 프롬프트가 충돌 없이 병합되어 있고, 우선순위가 분명하다.
  • 근거 입력: 사용할 소스, 참조 문서, 직전 산출물, 제외할 자료가 구분되어 있다.
  • 도메인 규칙: 용어, 난이도, 독자/사용자 수준, 금지 방향이 포함되어 있다.
  • 반복 참조 사전: 대규모 제작이라면 카테고리별 용어사전, 이미지/엔티티 사전, 스타일 사전을 정의하고 이번 루프가 어떤 사전을 반드시 참고해야 하는지 명시한다.
  • 사전 준수 지침: 사전에 없는 새 용어·이미지·캐릭터·스타일을 임의로 만들지 말고, 필요하면 "사전 추가 후보"로 남기도록 지시한다.
  • 일관성 입력: 시각·순차 콘텐츠라면 정본, 직전 회차, 엔티티 상태, 드리프트 기준이 포함되어 있다.
  • 출력 계약: 형식, 필드, 길이, 언어, 파일/DB 저장 단위가 검증 가능하게 정의되어 있다.
  • 품질 기준: 통과/반려 기준, 자동 검토 항목, 사람이 봐야 할 항목이 분리되어 있다.
  • 안전·권리: 라이선스, 출처, AI 생성 표기, 민감/금지 표현 정책이 반영되어 있다.
  • lineage: 프롬프트 버전, 모델, 입력 해시/ID, 산출물 ID를 기록할 수 있다.
  • 자가개선 경로: 실패 원인을 산출물 수정으로 끝내지 않고 프롬프트 layer 개선 후보로 남기는 절차가 있다.

C. 작업 관리 (장기·다세션)

  • worklist: 다음 작업 도출 + 진행률 집계.
  • 멱등 ingest: 재실행해도 중복 생성 없음, 검수 완료본 덮어쓰기 금지.
  • claim/lease: 여러 세션이 같은 단위를 중복 작업하지 않도록 점유 관리.
  • 의존성 게이트: 선행 단계 없이 다음 단계 실행 금지.
  • lineage: (프롬프트 버전 × 모델 × 입력) → 산출물 기록 — 재현·감사.

D. 일관성 (시각·순차 콘텐츠만)

  • 정본(canonical) 관리: (엔티티 × 스타일 × 변형) 기준 "현재 정본" + 버전·롤백.
  • 컨텍스트 선별: 이전 등장·직전 회차·정본을, 레퍼런스 개수 한계 안에서 우선순위로 주입.
  • 드리프트 측정: 임베딩 유사도 등으로 정본 이탈 점수화 → 정본 승격 게이트 + 재기준(re-anchor).

E. 다국어·라이선스·검수

  • 사용자 콘텐츠 다국어 저장({locale: value} + 폴백).
  • 출처·라이선스·AI 생성 표기(특히 외부 자료, 외부 공급 시 필수).
  • 검수 파이프라인: AI 생성 → AI N회 검수 → 사람 N회 검수 → 승인/배포 흐름을 정의한다.
  • 검수 상태 흐름: 초안 → AI 검수중 → AI 수정필요 → 사람 검수중 → 반려/수정요청 → 승인 → 배포 같은 상태를 명시하고, 각 상태의 전환 권한을 정의한다.
  • 검수 메모와 감사 이력: 누가, 언제, 어떤 기준으로 승인/반려했는지 기록한다.

E-1. 위험도별 기본 검수 횟수

검수 횟수는 프로젝트가 임의로 정하지 말고 콘텐츠 위험도 기준으로 먼저 정합니다. 아래 값은 기본값이며, 다르게 운영하려면 이유를 기록합니다.

Tier대상 예시AI 검수 기본값사람 검수 기본값운영 원칙
T0 내부 초안비공개 아이디어, 개발용 샘플1회0~1회외부 노출 금지. 승인 없이 공개 전환 금지
T1 저위험 공개블로그성 안내, 단순 설명, 저위험 예시1회1회공개 전 최소 1명 확인
T2 서비스 핵심무료 공개 콘텐츠, 학습 보조, 제품 도움말2회1회AI 검수는 서로 다른 기준 또는 프롬프트로 분리
T3 고신뢰 콘텐츠유료 콘텐츠, 교육, 신앙, 브랜드 공식 콘텐츠2~3회2회사람 검수자는 가능하면 생성자와 분리
T4 고위험/외부공급법률, 의료, 안전, 규제, B2B 납품 콘텐츠3회 이상2~3회 이상도메인 책임자 최종 승인. 필요 시 외부 전문가 검수
  • 콘텐츠 유형별 기본 Tier와 예외 승인자를 정의한다.
  • AI 검수 N회는 같은 프롬프트 반복이 아니라 서로 다른 관점(정확성, 정책, 형식, 일관성, 권리)을 나눠 수행한다.
  • 사람 검수 N회는 동일인의 반복 확인이 아니라 역할 분리(도메인 검수, 표현/UX 검수, 최종 승인)를 우선한다.
  • Tier 상향/하향 기준과 예외 사유를 기록한다.

E-2. 사전 관리 lifecycle

용어사전, 이미지/엔티티 사전, 스타일 사전은 단순 참고 문서가 아니라 변경 관리 대상입니다.

사전 추가 후보 → 검토/중복 확인 → 승인 → 버전 변경 → 영향 범위 산정 → 적용 → 회귀 검토 → 필요 시 롤백
  • AI가 사전에 없는 용어·이미지·캐릭터·스타일을 발견하면 즉시 사용하지 않고 사전 추가 후보로 남긴다.
  • 후보는 중복, 기존 항목 충돌, 카테고리, 표준 표기, 금지어/민감성, 출처·라이선스를 확인한 뒤 승인한다.
  • 승인된 사전 변경은 버전과 변경 이유를 남긴다.
  • 사전 변경이 영향을 주는 기존 콘텐츠 범위를 산정한다.
  • 영향 콘텐츠는 필요 시 재검수 큐로 보낸다.
  • 사전 변경 후 품질이 나빠지면 이전 버전으로 롤백할 수 있어야 한다.

E-3. 프롬프트·사전·모델 변경 회귀 검토

프롬프트 layer, 사전, 모델, 출력 스키마가 바뀌면 신규 콘텐츠만 검수하지 말고 대표 샘플을 다시 검토합니다.

  • 콘텐츠 유형별 골든셋(대표 샘플)을 둔다.
  • 프롬프트 layer 변경 시 골든셋을 재생성 또는 재평가한다.
  • 사전 변경 시 기존 산출물과 새 기준의 충돌 여부를 확인한다.
  • 모델 변경 시 품질, 길이, 금지 표현, 형식 준수, 비용 변화를 비교한다.
  • 변경 전/후 diff와 AI 검수 결과를 함께 저장한다.
  • 회귀가 발견되면 배포를 막고, 관련 항목을 사람 재검수 큐로 보낸다.

E-4. Review Console 요구사항

사람 검수는 일반 목록 화면의 액션 몇 개로 처리하지 말고 전담 관리페이지를 둡니다.

  • 큐/우선순위: Tier, SLA, 변경 영향도, 공개 예정일, 실패 횟수 기준으로 정렬한다.
  • 배정 정책: 담당자, 역할, 검수 단계, claim/lease, 자동 재배정을 지원한다.
  • 검수자 분리: 고위험 콘텐츠는 생성자, AI 검수 설정자, 최종 승인자를 분리한다.
  • SLA: 검수 대기 시간, 기한 초과, 재검수 반복 횟수를 추적한다.
  • 비교 화면: 원문, 조합 프롬프트 요약, 사전 항목, 생성물, 이전 버전, diff를 나란히 보여준다.
  • AI 검수 결과: AI 검수 라운드별 verdict, 근거, 실패 항목, 자동 수정 제안을 보여준다.
  • 결정 액션: 승인, 반려, 수정요청, 보류, 재검수 요청, 사전 후보 등록, 프롬프트 개선 후보 등록을 제공한다.
  • 감사 로그: 모든 상태 전환, 코멘트, 재배정, 승인/반려 사유를 기록한다.
  • 필터/대량 작업: Tier, 담당자, 상태, 콘텐츠 유형, 사전 변경 영향, 회귀 실패 여부로 필터링한다.
  • 알림: 배정, SLA 초과, 반려, 재검수 요청, 최종 승인 이벤트를 알린다.

F. 실행자·표면

  • 실행을 직접 / 위임 에이전트 / 직접 API 중 무엇으로 할지 결정(품질 = 에이전트, 스케일 = API).
  • 모니터링용 경량 화면(진행률·생성 큐)을 필요 시 제공.

G. 자가 개선

  • 작업 중 발견한 지침 개선을 저위험은 즉시 반영 / 고위험은 승인 게이트 + 버전으로 관리.

이 체크리스트는 도구·프레임워크 중립적입니다. 텍스트 콘텐츠라면 A·B·C·E·F·G만으로 충분하고, 시각·순차 콘텐츠라면 D(일관성 상태)가 추가됩니다.