프로젝트에서 한 일.
다양한 외부 소스의 구조 변화에 대응할 수 있도록 수집 모듈을 분리하고, 변경 감지와 재시도 로직으로 수집 누락을 줄였습니다.
수집한 원천 데이터는 정규화·중복 제거 단계를 거쳐 활용 가능한 형태로 적재하고, API로 내려받을 수 있게 했습니다.
수집은 한 번이 아니라 매일 돌아가야 하므로, 실패 알림과 모니터링까지 포함해 운영 관점에서 마무리했습니다.
Crawl
다중 소스를 모듈 단위로 수집하도록 구성했습니다.
Detect
구조 변경 감지와 재시도로 누락을 줄였습니다.
Normalize
정규화·중복 제거로 데이터 품질을 맞췄습니다.
Operate
실패 알림과 모니터링으로 정기 운영을 안정화했습니다.