本文介绍jupyter中分析基础数据常用的一些工具和指令

Appium

安装Appium

brew cask install appium

mitmproxy

安装mitmproxy

pip install mitmproxy

scrapy一般使用方式，都是通过编写一个Spider，然后通过命令行执行指令，来开启一个爬虫并执行，例如：

1

scrapy runspider quotes_spider.py -o quotes.json

这种方式不太适合大型项目以及定制化爬取，所以需要想办法调用scrapy接口，来实现代码中调用。
一种常用做法是使用scrapyd或者scrapy-cloud，这里我们都不使用。

本文介绍了如何在Windows环境和MacOS环境下安装Scrapy