Python爬虫入门
未读有时候，我们很想爬取一个网站的数据。
如果 PC 端的网页的反爬机制太强，我们可以换个思路。
现在很多网站为了满足手机浏览器能正常访问的需求，都会推出手机版的网页。
PC 端抓取数据有难度，我们可以从手机端入手。
你也许听说过，抓取手机 App 端数据就需要搭建手机抓包环境。
那么我们就要屁颠屁颠去抓包搭建？
哈哈，显然不用。
我给大家分享一个小技巧，可以节省搭建环境的时间。
我们的抓取目标是 Web 手机端页面数据，而不是 App 端内的数据。
因此，我们只要使用 PC 浏览器访问手机 Web 页面，就能继续使用 PC 浏览器进行抓包分析。
举个栗子，假如我要抓取淘宝首页的数据。我先用手机浏览器访问淘宝网站。
然后获取到手机端淘宝首页的 url 地址。
从图中，我们可知淘宝 web 手机端首页地址是：https://h5.m.taobao.com/。接着我们再用 PC 浏览器访问。
PC 端浏览器能正常访问，说明我们能使用浏览器自带的开发者工具来进行抓包分析。
Python编程
未读数据存储方式有很多种。
如果数据的数据量比较大、数据类型繁多且要求便于搜索，我们一般会选择存储到数据库中。
如果数据内容只是一些的文本信息，我们可以将数据存储到 TXT 、JSON、CSV 等文本文件中。
类似存储小说、日志内容等场景，一般是将内容存储到文本文件中。
数据已经存储到 txt 文件中，那该如何读取了？
本文的主要内容是讲解如何读取文本文件的内容。
1.打开文件文本操作可以想象成对水池进行加水和排水。
文本文件就好比一个存储水的水池，数据就类似水。
从文本文件中读取数据好比让水池排水。
在这过程中，我们需要一条“管道”才能从读取到数据。
在 Python 语言中，open() 函数就是这样的“管道”。当 open() 函数成功打开文件后，我们会得到一个 file 对象。
1file = open('One Day.txt', 'r')
但是操作文件经常会出现各种异常，例如文件不存在，文件不具备可读属性等。
因此，我们需要做异常处理工作。
这里推荐使用 with 语句，其内部已经实现异常处理相关的逻辑。
另外还有一个好处，我们还可以 ...
Python编程
未读众所周知，Windows 操作系统和 Linux 系统存在很多不兼容的地方。
文件路径就是一个明显的例子。
在 Linux 中，路径的分割采用正斜杠 /，比如 /home/monkey；
而在 Windows 中，路径分隔采用反斜杠 \，比如 C:\Windows\System。
我们在编码过程中，往往需要和文件或文件夹打交道。
如果程序中涉及到到路径操作，我们最好使用 Python 标准库中的 os.path 模块来实现。
这样能避免出现程序无法多平台运行的问题。
os.path 全称是Common pathname manipulations, 译为通用路径名操作。
其作用是提供操作各种处理文件名以及路径名的函数。
因此，本文的内容是讲述os.path模块中几个常见函数的用法。
1.获取文件(夹)绝对路径abspath(path) 函数返回的是 path 经过规范化的绝对路径。
假设在 D 盘中有 Downloads 的文件夹，该文件夹中有叫 cat.jpg 的图片。
我们要获取这张图片的经过转椅的绝对路径，可以在 Downloads 文件夹中打开 DOS 窗口，然后进入 Pyt ...
Python爬虫入门
未读如今的时代是互联网时代，互联网已经在我们的生活如影随形。
以说我们无时无刻在跟互联网打交道。
而在工作，我们可能会因开发调试、测试、排查网络故障等原因，需要对网路数据包进行抓取、拦截以解析。
因此，本文主要内容是推荐几款不错的抓包工具。
1.FiddlerFiddler 是一个使用 C# 编写的 http 抓包工具。
它使用灵活，功能强大，支持众多的 http 调试任务，是 web、移动应用的开发调试利器。
所以 Fiddler 经常被运用在网络爬虫抓包、HTTP API 测试、手机抓包等场景。
下载地址
推荐原因：
操作简单，上手容易，学习成本低。
能够抓取 HTTP/HTTPS 协议的数据包。
支持伪造 CA 证书来欺骗浏览器和服务器，从而实现解密 HTTPS 数据包。
不仅支持抓取 PC 浏览器的数据包，而且支持抓取手机数据包。
支持设置“断点”，从而能够修改 HTTP 的请求头信息以及请求体的数据。
2.CharlesFiddler 虽然强大且好用，但是不支持 Mac OS 系统。
Charles 是 Fiddler 在 Mac 系统上的代替品。目前 Ch ...
Python编程
未读相比 C/C++ 、Java 等强类型语言, Python 定义变量的方式就简单多了。
我们只需要给变量起个变量名，而不需要给变量指定类型。
正因为 Python 弱化类型这一概念，所以我们能随意给变量赋值。
值可以是整数，浮点数，字符串，列表等。
1234a = 1a = 3.33a = 'monkey'a = [1, 2, 3]
凡事都有正反两面。
使用弱类型语言编程，我们可以不需要定义变量类型，可以随意转换类型，代码看起来很简介。
但是在变量判断是否相等时候，会给我们造成一定困惑。
判断值相等，是选择 “is” 还是 “==” 了？
当你了解 Python 的语言特性之后，这个问题就会迎刃而解。在 Python 中，万物皆为对象。
每个对象有 3 个属性。分别是：id，type，value。
id 就是对象的内存地址，可以通过内置函数 id() 查看对象引用的地址。
type 表示对象的类型。Python 也是有类型的概念。对于编译器或者解释器而言，类型可以协助确保上面那些电荷、字节在程序的运行中始终如一地被理解。我们可以 ...
时光荏苒，2018 年已经过去半年。
你年初制定新年计划，不知现在完成的进度是多少了？
不管怎样，应该好好总结下。
学习，生活，工作就像一场航行。我们这艘孤零零的小船在茫茫大海中飘荡着。
或许我们知道此次航行的目的地。但是航程会有各种突发状况。
这会让我们不知不觉偏离航线，进而影响到达目的地的时间。这时就需要导航工具，而总结就是这一工具。
善于总结是一件好事。在总结过程中，我们能对自己有个清楚的认识。
知道自己哪里做的不好，需要改进。知道自己哪方面值得继续保持。
曾子善于总结，在这方面可以算是宗师。
他的名言早传遍中华大江南北。
吾日三省吾身——为人谋而不忠乎？与朋友交而不信乎？传不习乎？
工作中善于总结，能保证我们的努力和付出不会白费。
从而避免成为“伪工作者”。
每天下班之前，我们可以以日报形式总结下今天的工作。
看下今天的工作内容是否有意义？看下今天的工作是否完成了？明天要做什么内容？
学习也是如此。
阶段性总结能检查自己的学习成果。
及时发现自己未知的领域，然后继续填坑。
这一个月来，我也是一直在总结。自己梳理之前的爬虫代码，后续会将分享出来。
特别提醒下，看别人的爬虫文章， ...
Python爬虫实战
未读我公众号文章的封面配图都在 Unsplash 上找的。
因为 Unsplash 是一个完全免费的、无版权的高清图片资源网站。
所谓的「无版权」是指这个网站上的图片由创作者自愿分享出来，完全免费提供给任何人作为任何用途使用。
Unsplash 的原话是「do whatever you want」，进一步说明是「你可以免费对图片进行复制、修改、分发，包括用作商业目的，无需经过允许即可使用」。
自己发现之前在寻找图片上还是挺花费时间的。
先在 Unsplash 上浏览图片，当发现觉得还不错的图片就会下载下来。
另外，下载图片还需要自己点击下载按钮。这确实挺花费时间。
现在自己学会了网络爬虫，是时候改善下情况。
1.分析Unsplash 网站采用瀑布流样式来呈现图片。
首页一开始只会呈现一部分图片，当我们滑动滚动条到底部时，网页才会继续加载部分图片。
这网站经常使用 Ajax 技术来加载图片。
针对动态渲染网页，我会选择 Selenium 来爬取。
但是，我这次为了追求高效率下载图片，势必要使用多线程。
因此，只能放弃使用 Selenium，转而通过抓包方式来分析网站。
我使用浏览器的 ...
MongoDB 是一种 NoSQL 数据库。
NoSQL(Not Only SQL )，意即”不仅仅是SQL”, 泛指非关系型的数据库。
这两种类型差别之一是存储方式。
关系数据库以键值对存储，它的结构不固定。而关系型数据库以行和列的二维表格形式来存储数据。
所以非关系型数据库（如 MongoDB）不支持标准的 SQL 的语法。
如果我们刚接触 Mongo 数据库，对语法还不熟悉，想通过可视化方式来操作。
那么，今天我就给大家推荐两个 Mongo 可视化操作工具。
1.Mongo Plugin大多数 Python 程序员使用的编辑器是 Pycharm。因为 Pycharm 是一个非常人性化的 IDE 工具。
Pycharm 工具自带支持 MySQL、SQLite 等数据库的可视化工具。
但是还不支持 Mongo 数据库。
国外一位大神 dboissier 专门为 Pycharm 开发了 一款插件。它的就是 Mongo Plugin。
这让我们可以在 Pycharm 上对 mongo 数据库进行管理。
安装该插件也很方便，直接在 Pycharm 的【settings】-【Plugin】 ...
Python爬虫实战
未读在使用 Ajax 技术加载数据的网站中， JavaScript 发起的 HTTP 请求通常需要带上参数，而且参数的值都是经过加密的。
如果我们想利用网站的 REST API 来爬取数据，就必须知道其使用的加密方式。
破解过程需要抓包，阅读并分析网站的 js 代码。
这整个过程可能会花费一天甚至更长的时间。
问：那么是否有办法绕过这机制，直接获取网站数据？答：有的。使用 Selenium 库模拟浏览器行为来抓取网站数据，达到事半功倍的效果。
本文内容是利用 Selenium 爬取网易云音乐中的歌曲 《Five Hundred Miles》 的所有评论，然后存储到 Mongo 数据库。
1.前期准备本文中所用到的工具比较多，所以我将其列举出来。
1-1.SeleniumSelenium 是一个 Web 应用程序自动化测试的工具。它能够模拟浏览器进行网页加载。所以使用其来帮助我们解决 JavaScript 渲染问题。
接下来就是安装 selenium, 使用 pip 安装是最方便的。
1pip install selenium
1-2.Chrome 浏览器在爬取数据过程中, 需要启动 ...
Python爬虫实战
未读(一)故事的小黄花
从出生那年就飘着
童年的荡秋千
随记忆一直晃到现在
Re So So Si Do Si La
So La Si Si Si Si La Si La So
吹着前奏望着天空
我想起花瓣试着掉落……
小编猴哥有个爱好，喜欢一边听着熟悉的旋律，一边看着网易云音乐歌曲中的评论，特别是精彩评论。
评论内容，让人泫然流涕的故事，就是让人深思的段子。
(二)某天，猴哥突发奇想，想将自己平时喜欢听的歌曲的精彩评论爬取下来。以后就可以直接阅读这些评论，无须打开网页。
说干就干。
猴哥打开浏览器访问网易云音乐，随便点击某个歌曲页面。
现在大多数网站都采用 Ajax 技术来获取数据。所以需要先判断网页是否采用该技术。
有个谷歌浏览器插件名为 Toggle JavaScript，它能控制页面中 javascript 启用或者禁用。
正常的页面长这样：
当禁用页面 JavaScript 脚本之后，正常显示数据页面会变成一个空白页面。
因此，可以断定网易云音乐加载数据方式采用 Ajax。
Ajax 技术可以在不刷新页面的情况下，利用嵌在 HTML 文档中的 JavaScript 脚本向服 ...
