Python爬虫开发 从入门到实战（微课版）这本书，是由人民邮电出版社在2018-09-01月出版的，本书著作者是 谢乾坤 著，此次本版是第1次印刷发行， 国际标准书号(ISBN)：9787115490995，品牌为人民邮电出版社, 这本书的包装是16开平装，所用纸张为胶版纸，全书共有未知页字数万字， 是一本非常不错的Python编程书籍。

此书内容摘要

本书较为全面地介绍了定向爬虫的开发过程、各种反爬虫机制的破解方法和爬虫开发的相关技巧。全书共13章，包括绪论、Python基础、正则表达式与文件操作、简单的网页爬虫开发、高性能HTML内容解析、Python与数据库、异步加载与请求头、模拟登录与验证码、抓包与中间人爬虫、Android原生App爬虫、Scrapy、Scrapy应用、爬虫开发中的法律和道德问题等。除第 1、12、13章外的其他章末尾都有动手实践，以帮助读者巩固本章和前面章节所学的内容。针对书中的疑难内容，还配有视频讲解，以便更好地演示相关操作。

关于此书作者

谢乾坤，网易数据挖掘工程师。前极客学院爬虫课程讲师，以网名 『青南』与『kingname』开设爬虫开发课程，受众超过10万。多年爬虫开发经验，对爬虫开发有独到的理解。曾在多家知名公司从事爬虫开发工作，并为国内外众多基金公司与投资公司提供数据支持。

编辑们的推荐

1.基于Python 3.X讲解，从入门到实战，全面讲解Python爬虫技术。
2.全书重点难点附带微课讲解，书网融合互动学习。
3.案例丰富，重视实践，着重培养读者的实际运用能力。

Python爬虫开发 从入门到实战（微课版）图书的目录

第 1章绪论1
1．1爬虫2
1．2爬虫可以做什么2
1．2．1收集数据2
1．2．2尽职调查3
1．2．3刷流量和秒杀3
1．3爬虫开发技术4
第 2章Python基础5
2．1Python的安装和运行6
2．1．1在Windows中安装Python6
2．1．2在Mac OS中安装Python7
2．1．3在Linux中安装Python8
2．2Python开发环境8
2．2．1PyCharm介绍与安装8
2．2．2运行代码9
2．3Python的数据结构和控制结构12
2．3．1整数、浮点数和变量12
2．3．2字符串、列表、元组13
2．3．3数据的读取14
2．3．4字典与集合16
2．3．5条件语句17
2．3．6for循环与while循环19
2．4函数与类21
2．4．1函数21
2．4．2类与面向对象编程28
2．5阶段案例——猜数游戏32
2．5．1需求分析32
2．5．2核心代码构建33
2．5．3调试与运行33
2．6本章小结34
2．7动手实践34
第3章正则表达式与文件操作35
3．1正则表达式36
3．1．1正则表达式的基本符号36
3．1．2在Python中使用正则表达式38
3．1．3正则表达式提取技巧41
3．2Python文件操作44
3．2．1使用Python读/写文本文件44
3．2．2使用Python读/写CSV文件46
3．3阶段案例——半自动爬虫开发49
3．3．1需求分析49
3．3．2核心代码构建50
3．3．3调试与运行51
3．4本章小结54
3．5动手实践54
第4章简单的网页爬虫开发55
4．1使用Python获取网页源代码56
4．1．1Python的第三方库56
4．1．2requests介绍与安装56
4．1．3使用requests获取网页源代码57
4．1．4结合requests与正则表达式59
4．2多线程爬虫60
4．2．1多进程库（multiprocessing）60
4．2．2开发多线程爬虫61
4．3爬虫的常见搜索算法62
4．3．1深度优先搜索62
4．3．2广度优先搜索63
4．3．3爬虫搜索算法的选择64
4．4阶段案例——小说网站爬虫开发64
4．4．1需求分析64
4．4．2核心代码构建65
4．4．3调试与运行68
4．5本章小结68
4．6动手实践68
第5章高性能HTML内容解析69
5．1HTML基础70
5．2XPath71
5．2．1XPath的介绍71
5．2．2lxml的安装71
5．2．3XPath语法讲解73
5．2．4使用Google Chrome浏览器辅助构造XPath77
5．3Beautiful Soup481
5．3．1BS4的安装81
5．3．2BS4语法讲解82
5．4阶段案例——大麦网演出爬虫85
5．4．1需求分析85
5．4．2核心代码构建85
5．4．3调试与运行86
5．5本章小结87
5．6动手实践87
第6章Python与数据库88
6．1MongoDB89
6．1．1MongoDB的安装89
6．1．2PyMongo的安装与使用94
6．1．3使用RoboMongo执行MongoDB命令101
6．2Redis102
6．2．1环境搭建102
6．2．2Redis交互环境的使用103
6．2．3Redis-py104
6．3MongoDB的优化建议105
6．3．1少读少写少更新105
6．3．2能用Redis不用MongoDB106
6．4阶段案例107
6．4．1需求分析107
6．4．2核心代码构建107
6．4．3调试与运行108
6．5本章小结108
6．6动手实践108
第7章异步加载与请求头109
7．1异步加载110
7．1．1AJAX技术介绍110
7．1．2JSON介绍与应用110
7．1．3异步GET与POST请求111
7．1．4特殊的异步加载113
7．1．5多次请求的异步加载114
7．1．6基于异步加载的简单登录117
7．2请求头（Headers）118
7．2．1请求头的作用118
7．2．2伪造请求头119
7．3模拟浏览器122
7．3．1Selenium介绍123
7．3．2Selenium安装124
7．3．3Selenium的使用124
7．4阶段案例128
7．4．1需求分析128
7．4．2核心代码构建128
7．4．3调试与运行130
7．5本章小结131
7．6动手实践131
第8章模拟登录与验证码132
8．1模拟登录133
8．1．1使用Selenium模拟登录133
8．1．2使用Cookies登录135
8．1．3模拟表单登录137
8．2验证码139
8．2．1肉眼打码139
8．2．2自动打码141
8．3阶段案例——自动登录果壳网144
8．3．1需求分析144
8．3．2核心代码构建145
8．3．3运行与调试146
8．4本章小结147
8．5动手实践147
第9章抓包与中间人爬虫148
9．1数据抓包149
9．1．1Charles的介绍和使用149
9．1．2App爬虫和小程序爬虫156
9．2中间人爬虫163
9．2．1mitmproxy的介绍和安装163
9．2．2mitmproxy的使用164
9．2．3使用Python定制mitmproxy165
9．3阶段案例——Keep热门170
9．3．1需求分析170
9．3．2核心代码构建170
9．3．3调试运行172
9．4本章小结172
9．5动手实践172
第 10章Android原生App爬虫173
10．1实现原理174
10．1．1环境搭建175
10．1．2使用Python操纵手机178
10．1．3选择器180
10．1．4操作181
10．2综合应用188
10．2．1单设备应用188
10．2．2多设备应用（群控）191
10．3阶段案例——BOSS直聘爬虫196
10．3．1需求分析196
10．3．2核心代码构建196
10．3．3调试与运行197
10．4本章小结197
10．5动手实践198
第 11章Scrapy199
11．1Scrapy的安装200
11．1．1在Windows下安装Scrapy200
11．1．2在Linux下安装Scrapy202
11．1．3在Mac OS下安装Scrapy202
11．2Scrapy的使用203
11．2．1创建项目203
11．2．2在Scrapy中使用XPath207
11．3Scrapy与MongoDB213
11．3．1items和pipelines的设置213
11．3．2在Scrapy中使用MongoDB215
11．4Scrapy与Redis218
11．4．1Scrapy_redis的安装和使用218
11．4．2使用Redis缓存网页并自动去重218
11．5阶段案例——博客爬虫220
11．5．1需求分析220
11．5．2核心代码构建221
11．5．3调试与运行226
11．6本章小结228
11．7动手实践228
第 12章Scrapy应用229
12．1中间件（Middleware）230
12．1．1下载器中间件230
12．1．2爬虫中间件242
12．2爬虫的部署246
12．2．1Scrapyd介绍与使用246
12．2．2权限管理253
12．3分布式架构258
12．3．1分布式架构介绍258
12．3．2如何选择Master259
12．4阶段案例259
12．5本章小结259
第 13章爬虫开发中的法律和道德问题260
13．1法律问题261
13．1．1数据采集的法律问题261
13．1．2数据的使用261
13．1．3注册及登录可能导致的法律问题261
13．1．4数据存储261
13．1．5内幕交易261
13．2道德协议262
13．2．1robots．txt协议262
13．2．2爬取频率262
13．2．3不要开源爬虫的源代码262
13．3本章小结262

部分内容试读

暂无.

关于此书评价

暂无.

书摘内容

暂无.

Python爬虫开发 从入门到实战（微课版）最新最全的试读、书评、目录、简介信息由个人博客整理提供。

本文地址：https://my.lmcjl.com/book/474

版权声明：个人博客原创文章，转载请注明出处和网址。

，欢迎加入。

本文链接：https://my.lmcjl.com/post/5729.html