Scrapyのインストール時のトラブル
Pythonを使う理由にもなり得る強力なスクレーピングフレームワークである「Scrapy」を久しぶりに使う必要がでてきた。
一昨年から昨年にかけてかなりScrapyで作り込んでいたのだが久しぶりに使う段階になって改めてScrapyの環境を構築してみた。新たな環境は
- MAC OS
- Python3.8
- Pycharm
ここに開発環境のPycharmで仮想環境（venv）を作ってそこにScrapy関連のライブラリーをインストールするというもの。
ところが、いざScrapyのインストールを行う際に、エラーが大量（1000個！）に発生してインストールがストップ。エラーの中身を読んて、ググってstackoverflow等で関係ありそうなことを一通り実施したが改善せず。
解決案
以前Scrapyで作り込んでいたときの開発環境はVSCodeであったことを思い出して改めてVSCodeで環境を作り直してみたが、結果は同じで改善せず（以前の仮想環境はvenvでなかったかもしれないので）
もう一つ思い出したことが、Pythonのバージョンが古かったこと。そこで、Pycharmで仮想環境を作る際のEnviromentにPython3.7を指定して再構築。改めてScrapyインストールしたところあっさり成功。
Scrapyのドキュメントみても3.6＋以上OKなので問題なさそうなので、なぜPython3.8をPython3.7にしたらうまくいったのか本当の理由は不明。おそらく普段使っているPython3.8にインストールしている他の何かと干渉してScrapy（具体的にはtwistedがこけた）がうまくいかなかったが、Python3.7は普段使っておらず全くプレーンだったのでうまくいったと言うことかもしれない。
こういった不思議なことは時々おきますね。こういった状況でもスマートに解決できる実力をいずれ身につけたいものです。