Back to case studies

AI Data Collection / Evaluation Harness

PromptOps Data Pipeline

병원/시술 데이터 수집 파이프라인에서 시스템 프롬프트를 버전 관리하고, MCP/Playwright/Structured Output 기반 검증 하네스로 수집 품질을 관리하는 구조를 설계했습니다.

2026

PromptOpsClaude Agent SDKMCPPlaywrightStructured OutputPostgreSQLFastAPI

Problem

크롤링과 LLM 추출이 결합된 데이터 파이프라인은 프롬프트 변경 하나로 품질이 흔들릴 수 있습니다.

운영자가 어떤 프롬프트가 언제 활성화되었고 어떤 데이터 품질을 냈는지 확인할 수 있어야 했습니다.

Approach

시스템 프롬프트, 병원별 프롬프트, 시술 상세 프롬프트를 분리하고 version, owner, status, metric, rollback 정보를 관리했습니다.

브라우저 기반 수집 결과를 구조화된 스키마로 검증하고, 원문/이미지/가격/시술명을 재확인하는 보정 흐름을 구성했습니다.

Result

프롬프트를 감으로 수정하는 방식에서 벗어나, 운영 지표와 검증 결과를 기준으로 개선할 수 있는 구조를 만들었습니다.

데이터 파이프라인이 실패했을 때 원인 추적, 롤백, 보정이 가능한 운영 단위를 만들었습니다.

Next case study

Self-Improving Social Outreach Agents

Read next