전체 글30 N8N - 웹 스크래핑 자동화: JWT 인증 + 병렬 처리 + PostgreSQL 중복 방지 시리즈 요약: 이전 글에서 N8N + Playwright + FastAPI로 뉴스 스크래핑 자동화를 구축하고, Google Sheets 연동까지 완료했어요. 이번 편에서는 보안(JWT), 속도(병렬 처리), 데이터 품질(PostgreSQL 중복 방지) 세 가지를 개선하면서, 동시에 아키텍처를 재설계해서 각 컴포넌트의 역할을 명확하게 분리할 거예요!이전 글에서 N8N과 Playwright, FastAPI, Google Sheets를 연동해 뉴스 스크래핑 자동화 파이프라인을 구축했어요.docker-compose와 lifespan을 사용해 이미 고속화된 API 서버를 구축했지만, 시스템에는 여전히 세 가지 아쉬운 점이 있었어요.보안성 부재: FastAPI 엔드포인트가 외부에 그대로 노출되어 누구나 호출할 수 .. 2025. 11. 19. N8N - 웹 스크래핑 데이터 Google Sheet 저장 이전 글에서 N8N + Playwright + FastAPI로 뉴스를 스크래핑하는 워크플로우를 만들었어요. 이번에는 여기서 한 단계 더 나아가, 스크래핑한 데이터를 Google Sheets(구글 스프레드시트)에 자동으로 저장하는 방법을 알아볼게요. 엑셀 파일로 다운로드하는 것보다 실시간으로 데이터가 쌓이고, 관리가 편하며 활용하기도 쉬워요.📑 목차전체 워크플로우 구조1단계: Google Sheets API 설정Google Cloud Console 프로젝트 생성Google Sheets API 활성화OAuth 동의 화면 구성OAuth 2.0 클라이언트 ID 생성2단계: N8N에서 Google Sheets 인증3단계: Google Sheet 준비4단계: N8N 워크플로우 수정Google Sheets 노드 추.. 2025. 11. 15. N8N - Playwright를 통한 뉴스 스크래핑 N8N과 Playwright를 연동하면 RSS 피드나 웹 크롤링 자동화를 강력하게 구현할 수 있어요. 이 글에서는 Playwright를 Server Mode로 실행하고, FastAPI로 API 서버를 구축한 다음, N8N에서 RSS 피드의 URL을 크롤링하는 전체 과정을 다뤄요. 📑 목차전체 구조 및 동작 방식1단계: Playwright Server (Docker) 구축Docker Compose로 Playwright Server 실행2단계: FastAPI 서버 구축프로젝트 구조FastAPI Dockerfile필요한 Python 패키지FastAPI 메인 코드FastAPI API 요약서버 실행하기동작 확인 (API 테스트)3단계: N8N 워크플로우 설정 (자동화)워크플로우 구조1) Schedule Trig.. 2025. 11. 13. 브라우저 자동화 도구 Playwright Playwright는 Microsoft가 개발한 오픈소스 브라우저 자동화 및 테스트 프레임워크예요. Chromium, Firefox, WebKit 등 여러 브라우저를 지원하며, 하나의 API로 크로스 브라우저 테스팅을 수행할 수 있어요. 특히 자동 대기(auto-wait) 기능을 통해 셀레니움(Selenium)의 단점을 해결한 강력한 도구예요.📑 목차개요: Playwright란?설치와 준비: 2단계 설치 (필수)PIP를 통한 설치PIXI를 통한 설치설치 확인Playwright 코드의 3단계 기본 구조동기 (Sync) API비동기 (Async) API핵심 사용법요소 조작 (Locator)스크린샷 및 저장자동 대기 (Auto-wait)실전 예제: 네이버 뉴스 제목 가져오기자주 발생하는 오류와 해결 방법정리.. 2025. 11. 7. 오라클 클라우드 - 도커 컴포즈 마이그레이션(+ N8N, Cloudflare) 이 글은 Hetzner Cloud에서 운영 중인 n8n을 Oracle Cloud 인스턴스로 옮기는 전체 과정을 단계별로 정리했어요. 기존에 Docker Compose로 구동했기에 컨테이너 볼륨 백업과 복원하는 절차와 더 나아가 클라우드플레어와 오라클 클라우드 연동을 위해 보안 설정까지 작성했어요.📑 목차개요1. Docker 마이그레이션 준비1.1 볼륨·컨테이너 파악1.2 Docker Volume 백업1.3 Compose·.env·설정 파일 백업1.4 FileZilla로 백업 파일 다운로드2. 오라클 인스턴스로 n8n 마이그레이션2.1 FileZilla로 백업 파일 업로드2.2 인스턴스 설정 (Docker/Compose 설치, 볼륨 생성)2.3 데이터 복원 (볼륨·DB·앱 순서)3. 오라클 클라우드 및 .. 2025. 10. 28. 오라클 클라우드 - 인스턴스 생성 및 Reserved IP 설정 오라클 클라우드 프리티어는 클라우드의 여러 서비스들을 무료로 제공해요. 매달 사용량 제한은 있지만 한도 내에서 자유롭게 사용할 수 있어요. 가장 큰 장점은 프리티어 내 컴퓨터 인스턴스가 무료로 포함되어있어요. ARM 기반 인스턴스의 경우 4 OCPU / 24GB Memory 까지 리소스를 사용할 수 있기 때문에 타 클라우드 무료 서비스와 차별화되는 강점을 가지고 있어요. 📑 목차1. 오라클 프리티어 인스턴스1.1 프리티어 인스턴스 제한2. 인스턴스 생성2.1 Basic Information(이미지 및 Shape 선택)2.2 Security(Shielded instance란?)2.3 Networking(인스턴스가 속할 VCN/서브넷, SSH Key, NSG)2.4 Storage(프리티어 무료 볼륨 제한과.. 2025. 10. 21. 이전 1 2 3 4 5 다음
