사례 인덱스
익명 사례 · 데이터 수집·검색
LLM 데이터 파이프라인
웹·이미지·OCR·DOM 입력에서 같은 대상을 맞추고 텍스트와 속성을 구조화해, 사람 검토 뒤 검색·제품 데이터로 넘긴 익명 사례입니다.
- 역할
- Product Engineer
- 영역
- Structured extraction
- 시기
- Recent product work
- 공개 자료
- 1개 항목
문제와 제약
비정형 입력은 출처와 구조가 제각각이고, LLM 출력은 스키마·선택자·비용·재시도 기준이 없으면 제품 데이터로 재사용하기 어렵습니다.
- C1입력 형태와 페이지 구조가 수집 대상마다 달랐습니다.
- C2일부 실패가 전체 실행을 다시 시작하게 만들면 비용과 운영 시간이 커집니다.
- C3회사·고객 데이터와 내부 저장소는 공개할 수 없습니다.
내가 맡은 범위
- R1수집 입력과 구조화 출력 계약 설계
- R2이름·지역·위치 정보를 이용한 엔터티 매칭과 원출처 기록
- R3schema validation·retry·checkpoint·사용량 기록 구현
- R4자동 검사와 사람 승인 뒤 엔터티·속성·검색 문서를 갱신하는 절차 정리
핵심 판단
D01
LLM 응답을 바로 저장하지 않았습니다.
구조화된 출력과 스키마 검증을 통과한 값만 다음 단계로 보내고, 실패 원인을 재시도 입력과 운영 기록에 남겼습니다.
D02
재실행 안전성을 파이프라인 계약에 넣었습니다.
단계별 체크포인트와 결과물을 남겨 중단된 지점에서 재개하고, 동일 입력의 중복 반영을 피할 수 있게 했습니다.
D03
수집과 동일 대상 판정을 분리했습니다.
페이지에서 값을 찾는 단계와 이름·지역·위치로 기존 엔터티를 맞추는 단계를 나누고, 원문·행·이미지 위치를 함께 기록해 사람이 판정을 다시 확인할 수 있게 했습니다.
D04
중요 값은 사람 검토 뒤 반영했습니다.
중복·가격·급격한 데이터 감소를 자동 검사하고, 운영자가 승인한 값만 표준 엔터티와 검색 데이터에 반영하도록 했습니다.
구현 구조
- I1웹·이미지·OCR·DOM 입력과 원출처 기록
- I2이름·지역·위치 기반 엔터티 매칭
- I3structured output·schema·중복·가격 검사
- I4retry·checkpoint·동시성·비용 기록
- I5사람 승인 뒤 표준 엔터티·검색 데이터 갱신
- N1External input
- N2Entity matching
- N3Text / image extraction
- N4Validation / review
- N5Search / product data
내부 구조 원본이 아니라 공개 가능한 구성 요소만 단순화한 그림입니다.
검증과 확인된 결과
코드·문서에서 확인한 구현과 측정된 외부 성과를 별도 상태로 표시합니다. 외부 성과가 없으면 수치로 적지 않습니다.
검증
코드와 실행 문서에서 수집·검증·재개 경로를 확인했습니다.
맥락 확인실제 운영 데이터와 처리 성공률은 공개 범위 밖이며 이 페이지에서 수치로 주장하지 않습니다.
맥락 확인
확인된 결과
단발성 프롬프트를 중단 후 재개, 실패 분류, 검증과 검색 재사용이 가능한 제품 데이터 흐름으로 바꿨습니다.
맥락 확인
공개 자료와 제한
구조도Verification map공개 가능한 구조만 다시 그린 diagram이며 실제 내부 아키텍처 원본이 아닙니다.맥락 확인