N8N15 N8N - 웹 스크래핑 시 Bot 탐지 기술 및 우회 시리즈 안내: 이 글은 N8N + Playwright + FastAPI 스크래핑 시리즈의 4편이에요.1편: 2025.11.13 - [N8N] - N8N - Playwright를 통한 뉴스 스크래핑2편: 2025.11.15 - [N8N] - N8N - 웹 스크래핑 데이터 Google Sheet 저장3편: 2025.11.19 - [N8N] - N8N - 웹 스크래핑 자동화: JWT 인증 + 병렬 처리 + PostgreSQL 중복 방지4편: 봇 탐지 우회 (현재)📑 목차1. 들어가며2. 봇 탐지 기법 이해하기3. Playwright 우회 방법4. 테스트 방법5. FastAPI 통합6. N8N 연동7. Stealth 레벨 비교8. 트러블슈팅9. 마치며1. 들어가며지난 글까지 우리는 강력한 웹 스크래핑 시스템을.. 2025. 12. 1. N8N - 웹 스크래핑 자동화: JWT 인증 + 병렬 처리 + PostgreSQL 중복 방지 시리즈 요약: 이전 글에서 N8N + Playwright + FastAPI로 뉴스 스크래핑 자동화를 구축하고, Google Sheets 연동까지 완료했어요. 이번 편에서는 보안(JWT), 속도(병렬 처리), 데이터 품질(PostgreSQL 중복 방지) 세 가지를 개선하면서, 동시에 아키텍처를 재설계해서 각 컴포넌트의 역할을 명확하게 분리할 거예요!이전 글에서 N8N과 Playwright, FastAPI, Google Sheets를 연동해 뉴스 스크래핑 자동화 파이프라인을 구축했어요.docker-compose와 lifespan을 사용해 이미 고속화된 API 서버를 구축했지만, 시스템에는 여전히 세 가지 아쉬운 점이 있었어요.보안성 부재: FastAPI 엔드포인트가 외부에 그대로 노출되어 누구나 호출할 수 .. 2025. 11. 19. N8N - 웹 스크래핑 데이터 Google Sheet 저장 이전 글에서 N8N + Playwright + FastAPI로 뉴스를 스크래핑하는 워크플로우를 만들었어요. 이번에는 여기서 한 단계 더 나아가, 스크래핑한 데이터를 Google Sheets(구글 스프레드시트)에 자동으로 저장하는 방법을 알아볼게요. 엑셀 파일로 다운로드하는 것보다 실시간으로 데이터가 쌓이고, 관리가 편하며 활용하기도 쉬워요.📑 목차전체 워크플로우 구조1단계: Google Sheets API 설정Google Cloud Console 프로젝트 생성Google Sheets API 활성화OAuth 동의 화면 구성OAuth 2.0 클라이언트 ID 생성2단계: N8N에서 Google Sheets 인증3단계: Google Sheet 준비4단계: N8N 워크플로우 수정Google Sheets 노드 추.. 2025. 11. 15. N8N - Playwright를 통한 뉴스 스크래핑 N8N과 Playwright를 연동하면 RSS 피드나 웹 크롤링 자동화를 강력하게 구현할 수 있어요. 이 글에서는 Playwright를 Server Mode로 실행하고, FastAPI로 API 서버를 구축한 다음, N8N에서 RSS 피드의 URL을 크롤링하는 전체 과정을 다뤄요. 📑 목차전체 구조 및 동작 방식1단계: Playwright Server (Docker) 구축Docker Compose로 Playwright Server 실행2단계: FastAPI 서버 구축프로젝트 구조FastAPI Dockerfile필요한 Python 패키지FastAPI 메인 코드FastAPI API 요약서버 실행하기동작 확인 (API 테스트)3단계: N8N 워크플로우 설정 (자동화)워크플로우 구조1) Schedule Trig.. 2025. 11. 13. N8N 사용법 - RSS 피드 본문 추출 후 엑셀 저장하기 RSS Feed의 구조는 대부분 비슷해요. 하지만 제공자마다 RSS Feed 내 요약된 내용을 넣을 수도 있고, 아니면 전체 내용을 넣을 수도 있어요. 하지만 공통적으로 본문을 볼 수 있는 링크가 포함되어 있어요. N8N을 통해 RSS Feed 내 Link로 들어가 본문 내용을 추출해 볼게요. 이전 글에서 뉴스 RSS Feed 자체를 저장하는 글을 썼었어요.하지만 RSS Feed에 요약된 기사 내용을 넣는 경우가 대부분이고 전체 내용은 피드 내 링크를 타고 들어가야지 볼 수 있어요.이번 글에서는 RSS 피드 내 링크에 있는 본문 내용을 추출하도록 해보도록 할게요. 이전 글 참고2025.09.04 - [N8N] - N8N 사용법 - 워크플로우(Workflow) 개념과 뉴스 RSS 피드 엑셀 저장📑 목차개.. 2025. 9. 18. 이전 1 2 3 다음
