これまで記事内でgithubページへのリンクを載せましたが、いくつかのリポジトリを非公開にします。
基本的には、以下の種類のプロジェクトをprivateに変更しました:
ブログの方針を変更し、コード自体はブログ内に載せず、一つのgithubリポジトリにまとめます。備忘録的として書く、という方針はそのままにしますが、投稿頻度を週一以下にします。
それと、個人的にATPに興味を持ったので、しばらくはそれに関連することを中心に投稿します。
ATPに関しては、私の実際の職務等とは一切無関係の単なる趣味です。
以上、よろしくおねがいします。
スクレイピングに関するいくつかの経験則をまとめました。特定のプログラミング言語に依存する話は少なくしてあります。
ターゲットサイトのhtml構造に併せてターゲットコンテンツを抽出する場合、その構造が変わった場合にスクレイパーを修正する必要があります。
スクレイピングのとき、並列かつ繰り返し同じサイトにアクセスすることによってDoS攻撃的になってしまうことがあります。
目的のサイトからコンテンツを抽出しようとしますが、異常な挙動を検出されてブロックされることがあります。
スクレイピングに関する法的な問題に関して回避することも一つの課題です。
スクレイパーを継続運用することが要件にある場合、上記のすべてが問題になります。
htmlをそのままダウンロードして保存しておく。 次に、ダウンロードした後のhtml等に対して、独立に当該コンテンツの抽出スクリプトをローカルで回す。これにより、データをダウンロードするときにhtml構造を考えなくても良くなり、継続収集がしやすい。
htmlパーサを使わずに正規表現を使ったほうが高速な場合が多い。特に、URLの構造はhtmlの構造よりも変わりにくいため、URLを抽出するための正規表現を書いたほうが継続的にスクレイピングしやすい。ちなみに、html内のURLの中で利用するものは、基本的に絶対URLに変換することが多い。
cookieやjavascriptなどを要求する「難しい」サイトは、chromedriverを使うと成功率が上がる。 「易しい」サイトは、requestsやcurlなど軽量なものを使ったほうが効率がいい。
当該コンテンツ部分を抽出する機械学習モデルを作る方法がある。domextractというツールで作成した。 ただし、ヒューリスティックであるという点と、html構造に関して時代の影響を受ける (訓練データが)。
GitHub - sugiyamath/domextract: DOM based web content extractor for Japanese websites
tor (The onion routing) のような無料のオープンソースp2pプロキシを使えば、ブロックの回避がしやすくなる。(数千程度のエンドノードが使える。) ただし、善意の人が立ち上げているサーバであり、乱用は禁物。代わりにVPNを使う方法もある。
Note: cookieやjavascriptを使う必要がある場合、UAをランダムに変えると不審なため、ブラウザ内のデータを消して、IPも変えてからUAを変えたほうが良い。あるいは一般に、統計的に不自然さのないrequest headerを送ることを考慮する。
ターゲットサイトからのスクレイピングは以下の構成になることが多い:
この部分をどう組み合わせるかは複数の戦略がある。
など。
「現在、大量のデータがサイトにはあり、定期的に新しいコンテンツが配信される」というサイトの場合、最初の段階ですべてのデータを取得するクローラを書き、それらの取得が終わった段階で、配信間隔と量に合わせて取得する、というパターンが多い。
ログインを要求するサイト、あるいは何らかのPOST, GETクエリの送信を要求される場合、正しいデータを送るように考慮する。
ターゲットサイトに対する高機能なスクレイピングツールがある場合、そのツールがブロック回避などに対処していることがあり、そのツールを使ったほうが手間が減る。(twitterscraper, youtube-dl, 等)
基本的にリトライ回数を制限して、それを超えたらスキップする。無限にリトライすると、収集の継続性が下がる。
chromedriverなどヘッドレスブラウザを使う場合、確率的にブラウザに問題が生じることがあるため、ブラウザをリセット・再起動する機能をつけておくと継続性が上がりやすい。あるいは、ドライバを管理するためのクラスを作って統合する。
非エンジニアが使う場合にportiaのようなGUIツールを使うことを検討できる。scrapinghubはノウハウがまとまっているが、柔軟性が低く、有料で、scrapyも柔軟性が低い。フレームワークを使わずに収集することに慣れてしまった開発者にとっては役立つことが少ないが、非エンジニアには有効。
diffbotは「コンテンツのタイプを判定」「タイプに応じて情報抽出モデルを適用」という2つの段階によってタイプごとのコンテンツを構造的に自動抽出できる。