在python工程中执行爬虫

scrapy一般使用方式,都是通过编写一个Spider,然后通过命令行执行指令,来开启一个爬虫并执行,例如:

1
scrapy runspider quotes_spider.py -o quotes.json

这种方式不太适合大型项目以及定制化爬取,所以需要想办法调用scrapy接口,来实现代码中调用。
一种常用做法是使用scrapyd或者scrapy-cloud,这里我们都不使用。

阅读更多