金秋临近，一年之中品尝螃蟹的好季节即将到来。但由于天气炎热，近期大闸蟹“食欲不振”，生长也受到了影响。然而，影响更深的是，由于高温，缺氧的大闸蟹“死伤严重”大闸蟹减产也导致其价格激增，今年大闸蟹价格比去年同期涨40%。大闸蟹一直都以来都比较贵，现在更是涨价，那估计很多人会被价格劝退吧？ 关于大闸蟹的价格和销量我们今天可以作为一个爬虫实践项目，通过获取数据分析对比下今年的价格和销量有多大的变化。这里我们可以使用python爬取京东上的数据来进行分析，由于京东反爬技术较强，使用常规方法爬取其数据行不通，且使用逆向分析技术又具有一定难度，所以这次直接使用selenium爬取京东商品数据，并且在爬取的过程中还做了一系列反爬措施，比如随机ua，cookie，代理IP。代理IP是获取数据的重点，需要高高质量的代理，所以这里使用了由亿牛云提供的高质量隧道IP。使用过程也比较简单，示例如下： from selenium import webdriver import string import zipfile

# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "username"
proxyPass = "password"

def create_proxy_auth_extension(proxy_host, proxy_port,
                               proxy_username, proxy_password,
                               scheme='http', plugin_path=None):
    if plugin_path is None:
        plugin_path = r'D:/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password)

    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "16YUN Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """

    background_js = string.Template(
        """
        var config = {
            mode: "fixed_servers",
            rules: {
                singleProxy: {
                    scheme: "${scheme}",
                    host: "${host}",
                    port: parseInt(${port})
                },
                bypassList: ["foobar.com"]
            }
          };

        chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});

        function callbackFn(details) {
            return {
                authCredentials: {
                    username: "${username}",
                    password: "${password}"
                }
            };
        }

        chrome.webRequest.onAuthRequired.addListener(
            callbackFn,
            {urls: [""]},
            ['blocking']
        );
        """
    ).substitute(
        host=proxy_host,
        port=proxy_port,
        username=proxy_username,
        password=proxy_password,
        scheme=scheme,
    )

    with zipfile.ZipFile(plugin_path, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)

    return plugin_path

proxy_auth_plugin_path = create_proxy_auth_extension(
    proxy_host=proxyHost,
    proxy_port=proxyPort,
    proxy_username=proxyUser,
    proxy_password=proxyPass)

option = webdriver.ChromeOptions()

option.add_argument("--start-maximized")

# 如报错 chrome-extensions 
# option.add_argument("--disable-extensions")

option.add_extension(proxy_auth_plugin_path)

# 关闭webdriver的一些标志
# option.add_experimental_option('excludeSwitches', ['enable-automation'])        

driver = webdriver.Chrome(chrome_options=option)

# 修改webdriver get属性
# script = '''
# Object.defineProperty(navigator, 'webdriver', {
# get: () => undefined
# })
# '''
# driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})     



driver.get("http://httpbin.org/ip")

selenium的使用和其他的语言有很多的不同点，所以在找使用的时候需要特别的区别下，获取的数据后期经过处理分析后再分享给大家参考。