在本章中,我們將瞭解如何安裝和設置Scrapy。Scrapy必須與Python一起安裝。
Scrapy可以通過使用 pip 進行安裝。運行以下命令:
pip install Scrapy
Windows系統上安裝(本教程)
在Window系統上安裝Scrapy,是一個比較複雜的事項,在寫本教學的時候,看到網上有人說用了3天時間才裝好,嚇我一跳,不過還好,我也算是比較喜歡折騰的那麼一個人。需要一點點耐心就好。
下載檔地址 - http://pan.baidu.com/s/1nv6ObKt
注:Windows操作系統是不支持Python3 的 Scrapy。
-
從 Python 安裝 Python2.7
添加下麵的路徑到PATH設置環境變數:C:\Python27\;C:\Python27\Scripts\;
您可以通過使用以下命令來檢查Python版本:python --version
-
安裝 OpenSSL 或下載地址 :http://www.egenix.com/cryptodownload/?file=egenix-pyopenssl-0.13.0_1.0.0g_1.win-amd64-py2.7.msi(重點)
添加 C:\OpenSSL-Win64\bin 在您的系統環境變數中;注:OpenSSL預裝在所有的操作系統(除了Windows)。 -
安裝 Visual C++ 2008 再發行組件或Visual C++ 2008 Redistributables 和 Win64 OpenSSL v1.0.1f
- 安裝 pywin32&amd64
- 安裝 Python2.7.9 以下的 pip 或者下載地址: https://pypi.python.org/pypi/setuptools#files
-
您可以通過使用以下命令來檢查 pip 版本:
pip --version
- 安裝twisted,下載地址 -https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi#md5=c2d453a344f56cf6f77204c5769288c0
-
安裝 zope 介面:https://pypi.python.org/pypi/zope.interface/4.1.0 選擇倒數第二個 zope.interface-4.1.0.win32-py2.7.exe
- 安裝 lxml ,版本要選對應系統,錯誤的是用不了的。下載地址: https://pypi.python.org/pypi/lxml/3.2.3
-
要安裝scrapy,運行以下命令:
pip install Scrapy
成功後,介面長這樣 -


Ubuntu系統
Python的最新版本是預先安裝在Ubuntu操作系統。使用由 Scrapinghub 提供 Ubuntu 的軟體包 apt-get。要使用這些軟體包:
-
需要輸入用於登錄 Scrapy 包 APT 的 GPG密鑰:
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
-
接下來,使用下麵的命令來創建 /etc/apt/sources.list.d/scrapy.list 檔:
echo 'deb http://archive.scrapy.org/ubuntu scrapy main'| sudo tee /etc/apt/sources.list.d/scrapy.list
-
更新軟體包列表並安裝scrapy:
sudo apt-get update && sudo apt-get install scrapy
Archlinux系統
可以使用下麵的命令從AUR Scrapy 包安裝 Scrapy:
yaourt -S scrapy
Mac OS X系統
使用下麵的命令來安裝 Xcode 命令行工具:
xcode-select--install
而不是使用系統的Python,安裝新的更新版本,不與系統的其餘部分衝突。
- 安裝homebrew
-
設置環境變數 PATH 指定 homebrew 包在系統軟體包前使用:
echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
-
變更完成後,重新加載 .bashrc 使用下麵的命令:
source ~/.bashrc
-
接下來,使用下麵的命令安裝 Python:
brew install python
-
接下來,安裝scrapy:
pip install Scrapy
上一篇:
下一篇:
Scrapy命令行工具