사례 인덱스
회사 프로젝트 · 데이터 수집과 검색
LLM 데이터 파이프라인
웹페이지와 이미지에서 정보를 모아 같은 대상을 묶고, 형식과 가격·중복을 확인한 뒤 담당자가 승인한 값만 검색 데이터에 반영했습니다.
- 역할
- 제품 설계 · 풀스택 개발
- 영역
- 데이터 수집 · 검색
- 구분
- 회사 프로젝트
문제와 제약
웹과 이미지에서 가져온 정보는 출처와 형식이 제각각입니다. LLM 결과도 데이터 형식, 비용과 재시도 기준이 없으면 제품에 바로 쓰기 어렵습니다.
- 01입력 형태와 페이지 구조가 수집 대상마다 달랐습니다.
- 02일부 실패가 전체 실행을 다시 시작하게 만들면 비용과 운영 시간이 커집니다.
내가 맡은 범위
- 01수집 입력과 구조화 결과의 형식 설계
- 02이름·지역·위치 정보를 이용한 동일 대상 판별과 원문 링크 기록
- 03형식 검사·재시도·중간 저장·사용량 기록 구현
- 04자동 검사와 담당자 승인 뒤 표준 데이터와 검색 문서를 갱신하는 절차 정리
핵심 판단
01
LLM 응답을 바로 저장하지 않았습니다.
정해진 데이터 형식과 검사를 통과한 값만 다음 단계로 보내고, 실패 원인을 재시도 입력과 운영 기록에 남겼습니다.
02
중간에 멈춰도 끝난 작업은 다시 하지 않게 했습니다.
단계별 체크포인트와 결과물을 남겨 중단된 지점에서 재개하고, 동일 입력의 중복 반영을 피할 수 있게 했습니다.
03
수집과 동일 대상 판정을 분리했습니다.
페이지에서 값을 찾는 단계와 이름·지역·위치로 기존 엔터티를 맞추는 단계를 나누고, 원문·행·이미지 위치를 함께 기록해 사람이 판정을 다시 확인할 수 있게 했습니다.
04
중요 값은 사람 검토 뒤 반영했습니다.
중복·가격·급격한 데이터 감소를 자동 검사하고, 운영자가 승인한 값만 표준 엔터티와 검색 데이터에 반영하도록 했습니다.
구현한 내용
- 01웹·이미지·OCR·DOM 입력과 원문 링크 기록
- 02이름·지역·위치 기반 엔터티 매칭
- 03구조화 결과·형식·중복·가격 검사
- 04재시도·중간 저장·동시성·비용 기록
- 05담당자 승인 뒤 표준 데이터·검색 문서 갱신
- 01웹·이미지 입력
- 02같은 대상 찾기
- 03정보 추출
- 04검사·승인
- 05검색 데이터 반영
이해를 돕기 위해 주요 단계만 단순화했습니다.
구현과 결과
구현 내용
- 01
URL 단위 진행 상태와 실패 사유를 남겨 중단된 작업을 이어서 실행할 수 있게 했습니다.
- 02
중복·가격·급격한 데이터 감소를 자동으로 검사하고, 담당자가 승인한 값만 반영했습니다.
결과
- 01
완료된 항목은 건너뛰고 남은 항목부터 수집을 이어갔으며, 담당자가 승인한 값만 표준 엔터티와 검색 문서에 반영했습니다.