前段时间把自己写的爬虫程序整理了一下,希望能构建一个简单易用的爬虫框架。现在已经有了基本框架. 采用的是requests + beautifulsoup。
现在的代码量还比较少,都是一些基本功能。就是把request和bf封装了一下。
https://github.com/numb3r3/crawler-python
现在的代码量还比较少,都是一些基本功能。就是把request和bf封装了一下。
https://github.com/numb3r3/crawler-python