Scrapy

Scrapy はPythonで開発されたフリーでオープンソースのクロールフレームワーク。元々はウェブスクレイピング用に設計されたが、 APIを使用したデータの抽出や、汎用のクローラーとしても使用できる。現在、ウェブスクレイピングの開発およびサービス会社であるScrapinghub Ltd.で管理されている。 Scrapyプロジェクトアーキテクチャは、「スパイダー」を中心に構築されている。DjangoなどのフレームワークをDRY他の精神を踏襲し、開発者がコードを再利用できるようにしている。 さらに、サイトの動作に関する想定をテストするために開発者が使用できるWebクロールシェルを提供する。 Scrapyを使用している有名な会社と製品には、Lyst、Parse.ly、Sayone Technologies、Sciences Po Medialab、Data.gov.ukの世界政府データサイトがある。 (出典: Scrapy - Wikipedia)