分享一个爬取网站的小技巧

有时候，我们很想爬取一个网站的数据。

如果 PC 端的网页的反爬机制太强，我们可以换个思路。

现在很多网站为了满足手机浏览器能正常访问的需求，都会推出手机版的网页。

PC 端抓取数据有难度，我们可以从手机端入手。

你也许听说过，抓取手机 App 端数据就需要搭建手机抓包环境。

那么我们就要屁颠屁颠去抓包搭建？

哈哈，显然不用。

我给大家分享一个小技巧，可以节省搭建环境的时间。

我们的抓取目标是 Web 手机端页面数据，而不是 App 端内的数据。

因此，我们只要使用 PC 浏览器访问手机 Web 页面，就能继续使用 PC 浏览器进行抓包分析。

举个栗子，假如我要抓取淘宝首页的数据。我先用手机浏览器访问淘宝网站。

然后获取到手机端淘宝首页的 url 地址。

从图中，我们可知淘宝 web 手机端首页地址是：https://h5.m.taobao.com/。接着我们再用 PC 浏览器访问。

PC 端浏览器能正常访问，说明我们能使用浏览器自带的开发者工具来进行抓包分析。