ビジュアルスクレイピングツールとは、スクレイピングをGUIから行うことのできるツールのことです。ここでは、scrapinghubの提供するportiaの使い方を書きます。

2種類の使い方

使い方には2種類あります。

scrapinghubから使う場合、portiaで作成したスパイダーをscrapy cloudから実行する形態なので、料金プランはscrapy cloudの料金になります。

無料プランの制約は以下です。

有料プランは、unitの追加という形態をとります。

1 unit = 1GB RAM + 同時クロール数プラス1 + 最大継続時間のリミット解除 = $9/月

それに対し、portiaを自前のサーバに入れて使う場合は、scrapinghubの料金を支払う必要もなく、制約もありません。

portiaを実行する

それでは、portiaの最も簡単な実行方法を書きます。 dockerをインストールしてから、以下のコマンドを実行してください。

$ mkdir ~/data
$ docker pull scrapinghub/portia
$ docker run -i -t --rm -v ~/data:/app/data/:rw -p 9001:9001 scrapinghub/portia

http://localhost:9001 にアクセスすればportiaが使えます。

portiaの基本を説明します。

portiaは、「プロジェクト」と「スパイダー」から構成されます。各プロジェクト内に複数のスパイダーを作成できますが、スパイダーとは、あるドメインに対してクローリング・スクレイピングする方法を定義したものだと考えてください。

スタートページとは、クローリングの起点です。スパイダーは起点からリンクを辿ることでデータを抽出します。典型的な方法として、サイトの記事一覧ページ等にページ番号を渡すことで起点を定義する方法があります。

リンク抽出方法には、以下の種類があります。

サンプルページとは、データ抽出を行いたいページを定義するものです。サンプルページの例としては、ニュース記事の記事ページ、ショッピングサイトの特定の商品ページ、などがあります。

サンプルページを特定すると、サンプルページからどのデータを抽出するのか選ぶことができます。Web UIベースのツールなので、表示されたサンプルページから抽出したい箇所をクリックすると抽出箇所として選ばれます。例えば、商品名、価格、出版日、記事本文などを抽出します。

抽出箇所として選ばれたフィールドは、正規化することができます。出版日をdate型として定義すると、日付として正規化されます。価格をprice型として定義すれば、数値だけが抽出されます。

スパイダーの実行方法は、Scrapy Cloudを使う方法と、portiacrawlコマンドを使う方法、scrapyスクリプトを実行する方法があります。

GUIベースのツールであるため、静的なスクリーンショットを貼るよりも、動画を見たほうが早いと思います。 https://learn.scrapinghub.com/portia/

スパイダーを実行するには、portiaのdockerコンテナにログインして以下のコマンドを実行します。

$ mkdir /app/data/exported_data
$ portiacrawl /app/data/projects/PROJECT_NAME SPIDER_NAME -o /app/data/exported_data/SPIDER_NAME.jl