ナード戦隊データマン

データサイエンスを用いて悪と戦うぞ

2018-08-14から1日間の記事一覧

Scrapy Cloudのデータをmongodbへ自動的に格納

Scrapy Cloudとは、scrapyやportiaをscrapinghubのクラウド上で実行・監視するサービスです。スクレイピングをやっていると、スクレイピングのプロフェッショナル集団が作り上げたシステム"scrapinghub"が如何に便利で優れているか思い知らされます。 今回は…