Pyspider使用Selenium+Chrome实现爬取js动态页面

前端开发 简书

背景

最近一直在搞论坛的爬虫。爬着爬着,突然遇到一个论坛的反爬虫机制比较强。例如: http://bbs.nubia.cn/forum-64-1.html 。当访问这个页面时,第一次返回的不是html页面,而是加密后的js内容,然后写入cookie,等待设置好的时间,然后跳转到真正的页面。 如下图:

加密混淆后的js

  • 想到的方案:
  1. 分析加密的js,看怎么计算出的cookie,是否有规律可以生成该cookie等,然后每次访问时带上此cookie即可。
  2. 使用Pypisder自带的PhantomJs脚本,以PhantomJs的方法执行这个加密的JS,然后获取html的内容。
  3. 使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
  4. 使用puppeteer + Headless Chrome获取html的内容。
  • 分析方案:
  1. 分析加密的js不是件容易的事,要破解加密方法等难度相对较大,时间成本有限,暂时放弃。

  2. 本打算使用pyspider自带的phanthomjs方式,结果是phanthoms在访问上面的url时,一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了,对于bug的修复和新的js语法支持力度不够。(需要进一步分析为什么会卡死?)

  3. 最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面,搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器,支持js特性比较全面,能真实的模拟用户请求,而且Chrome官方也出了针对headless chrome的api( node版本 ),api的可靠性,支持chrome特性的力度都非常的好。

  4. puppeteer 是nodejs版本的api, 对nodejs不熟悉,暂时先忽略。

Chrome

Chrome浏览器从59版本之后开始支持headless模式,用户可以在无界面下进行各种操作,例如:截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome,请根据平台进行下载、安装。更多headless chrome的用法可以参考:headless chrome用法

Selenium

Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器,但它并不是真正的浏览器,它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的,每个浏览器都有对应的WebDriver。如果我们要用Chrome,就需要下载Chrome的WebDriver。

Selenium有很多语言版本的,你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装: pip install selenium

下载WebDriver时需要选择对应的平台,比如我是在win上跑,下载的就是windows平台的。

配置PATH

把下载的WebDriver放在PATH环境变量可以加载到的位置,这样在程序中不用指定webDriver,会方便很多。

Python版本的Headless Chrome Web Server

  • pyspider利用phantomjs爬取js动态页面的原理:

    pyspider搜索PATH中的phantomjs命令,然后使用phantomsjs去执行phantomjs_fetcher.js,从而启动一个监听固定port的web server服务;当在Handler中的self.crawl(xxx)方法中带上fetch_type=’js’参数时,pyspider便发请求给这个port,利用phantomjs去转发请求,访问js动态页面,从而爬虫动态页面。

如果我想利用selenium+chrome爬取动态页面,也需要实现一个web server,以便pyspider可以访问它,利用它转发请求。python版本的实现如下:

"""
selenium web driver for js fetcher
"""

import urlparse
import json
import time
import datetime

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from flask import Flask, request

app = Flask(__name__)


@app.route('/', methods=['POST', 'GET'])
def handle_post():
    if request.method == 'GET':
        body = "method not allowed!"
        headers = {
            'Cache': 'no-cache',
            'Content-Length': len(body)
        }
        return body, 403, headers
    else:
        start_time = datetime.datetime.now()
        raw_data = request.get_data()
        fetch = json.loads(raw_data, encoding='utf-8')
        print('fetch=', fetch)

        result = {'orig_url': fetch['url'],
                  'status_code': 200,
                  'error': '',
                  'content': '',
                  'headers': {},
                  'url': '',
                  'cookies': {},
                  'time': 0,
                  'js_script_result': '',
                  'save': '' if fetch.get('save') is None else fetch.get('save')
                  }

        driver = InitWebDriver.get_web_driver(fetch)
        try:
            InitWebDriver.init_extra(fetch)

            driver.get(fetch['url'])

            # first time will sleep 2 seconds
            if InitWebDriver.isFirst:
                time.sleep(2)
                InitWebDriver.isFirst = False

            result['url'] = driver.current_url
            result['content'] = driver.page_source
            result['cookies'] = _parse_cookie(driver.get_cookies())
        except Exception as e:
            result['error'] = str(e)
            result['status_code'] = 599

        end_time = datetime.datetime.now()
        result['time'] = (end_time - start_time).seconds

        # print('result=', result)
        return json.dumps(result), 200, {
            'Cache': 'no-cache',
            'Content-Type': 'application/json',
        }


def _parse_cookie(cookie_list):
    if cookie_list:
        cookie_dict = dict()
        for item in cookie_list:
            cookie_dict[item['name']] = item['value']
        return cookie_dict
    return {}


class InitWebDriver(object):
    _web_driver = None
    isFirst = True

    @staticmethod
    def _init_web_driver(fetch):
        if InitWebDriver._web_driver is None:
            options = Options()
            # set proxy
            if fetch.get('proxy'):
                if '://' not in fetch['proxy']:
                    fetch['proxy'] = 'http://' + fetch['proxy']
                proxy = urlparse.urlparse(fetch['proxy']).netloc
                options.add_argument('--proxy-server=%s' % proxy)

            # reset headers, for now, do nothing
            set_header = fetch.get('headers') is not None
            if set_header:
                fetch['headers']['Accept-Encoding'] = None
                fetch['headers']['Connection'] = None
                fetch['headers']['Content-Length'] = None

            if set_header and fetch['headers']['User-Agent']:
                options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])

            # disable load images
            if fetch.get('load_images'):
                options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

            # set viewport
            fetch_width = fetch.get('js_viewport_width')
            fetch_height = fetch.get('js_viewport_height')
            width = 1024 if fetch_width is None else fetch_width
            height = 768 * 3 if fetch_height is None else fetch_height
            options.add_argument('--window-size={width},{height}'.format(width=width, height=height))

            # headless mode
            options.add_argument('--headless')

            InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001)

    @staticmethod
    def get_web_driver(fetch):
        if InitWebDriver._web_driver is None:
            InitWebDriver._init_web_driver(fetch)
        return InitWebDriver._web_driver

    @staticmethod
    def init_extra(fetch):
        # maybe throw TimeOutException
        driver = InitWebDriver._web_driver
        if fetch.get('timeout'):
            driver.set_page_load_timeout(fetch.get('timeout'))
            driver.set_script_timeout(fetch.get('timeout'))
        else:
            driver.set_page_load_timeout(20)
            driver.set_script_timeout(20)

            # # reset cookie
            # cookie_str = fetch['headers']['Cookie']
            # if fetch.get('headers') and cookie_str:
            #     # driver.delete_all_cookies()
            #     cookie_dict = dict()
            #     for item in cookie_str.split('; '):
            #         key = item.split('=')[0]
            #         value = item.split('=')[1]
            #         cookie_dict[key] = value
            #     # driver.add_cookie(cookie_dict)

    @staticmethod
    def quit_web_driver():
        if InitWebDriver._web_driver is not None:
            InitWebDriver._web_driver.quit()


if __name__ == '__main__':
    app.run('0.0.0.0', 9000)
    InitWebDriver.quit_web_driver()

此实现参考pyspider源码:tornado_fetcher.py和phantomjs_fetcher.js。但是,实现的功能不全,只实现了我需要的功能。诸如:设置cookie, 执行js等并没有实现,您可以参考上面的实现,实现自己的需求。

让pyspider fetcher访问Headless Chrome Web Server

  1. 先启动chrome web server,直接运行: python selenium_fetcher.py 即可,端口为9000
  2. 在启动pyspider时,指定 --phantomjs-proxy=http://localhost:9000 参数,如: pyspider --phantomjs-proxy=http://localhost:9000
简书稿源:简书 (源链) | 关于 | 阅读提示

本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 前端开发 » Pyspider使用Selenium+Chrome实现爬取js动态页面

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录