スクレイピング・データ
- スクレイピング・データ Webスクレイピング入門：robots.txt と urllib で行儀よく取得 スクレイピング講座1。自分の PC に練習用ショップを立て、urllib で最初の取得。正直な User-Agent、robotparser の2つの落とし穴、404・403・タイムアウトの実際のエラー、robots.txt 確認のコストまで実測。
- スクレイピング・データ ログインが必要なページのスクレイピング：Cookie と CSRF トークン スクレイピング講座4。自作の練習サイトに http.cookiejar と CSRF トークンでログインし、リダイレクト後のログアウト・トークン欠落・セッション切れを実際に起こして直します。
- スクレイピング・データ スクレイパーの堅牢化：レイアウト変更・アラーム・リトライ サイトのレイアウトが変わるとスクレイパーは黙って壊れる。スキーマ検査と0件アラーム、ヘッダーが嘘をつく文字コードの判定、上限付きリトライ、メトリクスとログを練習サイトで実測し、シリーズを締めくくる。
- スクレイピング・データ スクレイピングのページ送りと429対策：待機・再試行・並列数を実測 スクレイピング講座3。rel=next を辿る停止条件、429 と Retry-After、シード固定のジッター付きバックオフ、そして16スレッドでも1スレッドより速くならなかった理由を実測で。
- スクレイピング・データ スクレイピングの変化検知：SQLite スナップショットとハッシュ 取得した価格を SQLite に保存し、項目ハッシュで本当の変化だけを検知する。冪等な upsert、UTC タイムスタンプと cron 設定、30日と1年分の容量増加、コミット回数による速度差まで実測した上級編。
- スクレイピング・データ Python の html.parser で HTML 解析：40行の抽出器 スクレイピング講座2。標準の html.parser で商品一覧を抽出し、urljoin で相対 URL を直し、空白と文字参照を整え、HTML に正規表現を使うと壊れる様子を確認。解析速度も Python 3.9 と 3.12 で実測。