scrapy_helper:动态可配置化爬虫

综合编程 Github

scrapy_helper

Dynamic configurable crawl (动态可配置化爬虫)

Install

  • git clone [email protected]:facert/scrapy_helper.git && cd scrapy_helper
  • virtualenv .env
  • source .env/bin/activate
  • pip install -r requirements.txt
  • python manage.py migrate

Run

  • python manage.py runserver
  • open browser http://127.0.0.1:8000/
  • use test account (username: demo/password: demo ) to login

Online site

http://www.anycrawl.info/

Screenshots

Github稿源:Github (源链) | 关于 | 阅读提示

本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 综合编程 » scrapy_helper:动态可配置化爬虫

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录