스크래핑·데이터

• 스크래핑·데이터 웹 스크래핑 입문: robots.txt 와 urllib 로 예의 바르게 가져오기 스크래핑 강좌 1. 내 PC 에 연습용 쇼핑몰을 띄우고 urllib 로 첫 요청. 정직한 User-Agent, robotparser 의 두 가지 함정, 404·403·타임아웃 실제 오류, robots.txt 확인 비용 실측까지. 2026년 11월 15일
• 스크래핑·데이터 로그인 뒤 페이지 스크래핑: 쿠키 저장소와 CSRF 토큰 웹 스크래핑 강좌 4. 직접 만든 연습 사이트에 http.cookiejar 와 CSRF 토큰으로 로그인하고, 리다이렉트 뒤 로그아웃·토큰 누락·세션 만료를 실제로 일으켜 고칩니다. 2026년 11월 15일
• 스크래핑·데이터 스크래퍼 견고하게 만들기: 레이아웃 변경, 알람, 재시도 사이트 레이아웃이 바뀌면 스크래퍼는 조용히 망가진다. 스키마 검사와 0건 알람, 헤더가 거짓말하는 인코딩 판별, 상한 있는 재시도, 메트릭과 로그를 연습 사이트에서 실측하고 시리즈를 마무리한다. 2026년 11월 15일
• 스크래핑·데이터 스크래핑 페이지네이션과 429 대응: 대기·재시도·동시성 실측 웹 스크래핑 강좌 3. rel=next 를 따라가는 종료 조건, 429 와 Retry-After, 시드 고정 지터 백오프, 그리고 스레드 16개가 1개보다 빠르지 않았던 이유를 실측으로. 2026년 11월 15일
• 스크래핑·데이터 스크래핑 변화 감지: SQLite 스냅숏과 해시로 가격 추적 수집한 가격을 SQLite 에 저장하고 필드 해시로 진짜 변화만 감지한다. 멱등 upsert, UTC 타임스탬프와 cron 설정, 30일·1년치 용량 증가, 행마다 커밋할 때의 속도 차이까지 실측한 고급편. 2026년 11월 15일
• 스크래핑·데이터 파이썬 html.parser 로 HTML 파싱하기: 40줄 추출기 스크래핑 강좌 2. 표준 html.parser 로 상품 목록을 뽑고, urljoin 으로 상대 URL 을 고치고, 공백·엔티티를 정리하고, 정규식이 깨지는 모습을 확인. 파싱 속도도 3.9 와 3.12 로 실측. 2026년 11월 15일