크롤링1 N8N - 웹 스크래핑 자동화: JWT 인증 + 병렬 처리 + PostgreSQL 중복 방지 시리즈 요약: 이전 글에서 N8N + Playwright + FastAPI로 뉴스 스크래핑 자동화를 구축하고, Google Sheets 연동까지 완료했어요. 이번 편에서는 보안(JWT), 속도(병렬 처리), 데이터 품질(PostgreSQL 중복 방지) 세 가지를 개선하면서, 동시에 아키텍처를 재설계해서 각 컴포넌트의 역할을 명확하게 분리할 거예요!이전 글에서 N8N과 Playwright, FastAPI, Google Sheets를 연동해 뉴스 스크래핑 자동화 파이프라인을 구축했어요.docker-compose와 lifespan을 사용해 이미 고속화된 API 서버를 구축했지만, 시스템에는 여전히 세 가지 아쉬운 점이 있었어요.보안성 부재: FastAPI 엔드포인트가 외부에 그대로 노출되어 누구나 호출할 수 .. 2025. 11. 19. 이전 1 다음
