利用selenium发挥vip残存的价值

历史版本谷歌浏览器驱动下载地址

https://chromedriver.storage.googleapis.com/index.html

找到与你电脑当前谷歌浏览器版本一致的驱动然后下载下来(大版本一致即可)。我本地版本是 99.0.04844.51

我这里把 chromedriver 放到 /usr/local/bin 下面了。

启动测试窗口

这里需要注意的是，由于我用的是mac，谷歌浏览器的安装位置对于空格命名需要用 \ 处理一下。点击显示包内容

找到包里面的这个玩意的路径

然后打开我们的控制台，利用命令行方式开启一个 9222 端口的谷歌浏览器窗口。

/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --remote-debugging-port=9222

然后谷歌浏览器输入

http://127.0.0.1:9222/json/version

出现如下信息说明谷歌浏览器调试功能开好了

爬虫java代码编写

爬哪个网页自己研究下网页结构，xpath定位下就行。

  System.setProperty("webdriver.chrome.driver", "/usr/local/bin/chromedriver");
            ChromeOptions options = new ChromeOptions();
            options.setExperimentalOption("debuggerAddress", "127.0.0.1:9222");
            WebDriver driver = new ChromeDriver(options);