作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。 内容来自samhan666
zvvq好，好zvvq
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。 copyright zvvq
相关推荐：《python视频教程》 zvvq好，好zvvq
内容来自zvvq，别采集哟
立即学习“Python免费学习笔记（深入）”； 内容来自zvvq，别采集哟
《用Python写网络爬虫》介绍了如下内容： 内容来自zvvq
通过跟踪链接来爬取网站；
使用lxml从页面中抽取数据； copyright zvvq
构建线程爬虫来并行爬取页面； zvvq
将下载的内容进行缓存，以降低带宽消耗； zvvq
解析依赖于JavaScript的网站；
copyright zvvq
与表单和会话进行交互；
解决受保护页面的验证码问题； zvvq.cn
对AJAX调用进行逆向工程； 内容来自zvvq，别采集哟
使用Scrapy创建高级爬虫。 内容来自samhan
本书读者对象 zvvq好，好zvvq
本书是为想要构建可靠的数据爬取解决方案的开发人员写作的，本书假定读者具有一定的Python编程经验。当然，具备其他编程语言开发经验的读者也可以阅读本书，并理解书中涉及的概念和原理。 zvvq
作者简介 · · · · · · 内容来自zvvq
Richard Lawson来自澳大利亚，毕业于墨尔本大学计算机科学专业。毕业后，他创办了一家专注于网络爬虫的公司，为超过50个国家的业务提供远程工作。他精通于世界语，可以使用汉语和韩语对话，并且积极投身于开源软件。他目前在牛津大学攻读研究生学位，并利用业余时间研发自主无人机。 本文来自zvvq
目录 · · · · · · 本文来自zvvq
目录
内容来自zvvq，别采集哟
第1章 网络爬虫简介 1
1.1 网络爬虫何时有用 1
1.2 网络爬虫是否合法 2 copyright zvvq
1.3 背景调研 3 内容来自samhan
1.3.1 检查robots.txt 3 内容来自zvvq，别采集哟
1.3.2 检查网站地图 4
1.3.3 估算网站大小 5
内容来自samhan
1.3.4 识别网站所用技术 7
1.3.5 寻找网站所有者 7 本文来自zvvq
1.4 编写第一个网络爬虫 8
1.4.1 下载网页 9
内容来自samhan
1.4.2 网站地图爬虫 12
1.4.3 ID遍历爬虫 13 本文来自zvvq
1.4.4 链接爬虫 15
1.5 本章小结 22
zvvq
第2章 数据抓取
内容来自samhan
2.1 分析网页 23
2.2 三种网页抓取方法 26 本文来自zvvq
2.2.1 正则表达式 26 内容来自samhan
2.2.2 Beautiful Soup 28
2.2.3 Lxml 30 copyright zvvq
2.2.4 性能对比 32
2.2.5 结论 35
内容来自samhan
2.2.6 为链接爬虫添加抓取回调 35
内容来自zvvq，别采集哟
2.3 本章小结 38
copyright zvvq
第3章 下载缓存 39 内容来自samhan
3.1 为链接爬虫添加缓存支持 39 本文来自zvvq
3.2 磁盘缓存 42 zvvq.cn
3.2.1 实现 44 本文来自zvvq
3.2.2 缓存测试 46 copyright zvvq
3.2.3 节省磁盘空间 46 zvvq好，好zvvq
3.2.4 清理过期数据 47 本文来自zvvq
3.2.5 缺点 48 内容来自zvvq，别采集哟
3.3 数据库缓存 49
3.3.1 NoSQL是什么 50
内容来自zvvq，别采集哟
3.3.2 安装MongoDB 50
3.3.3 MongoDB概述 50 zvvq好，好zvvq
3.3.4 MongoDB缓存实现 52
3.3.5 压缩 54 内容来自zvvq，别采集哟
3.3.6 缓存测试 54 本文来自zvvq
3.4 本章小结 55 内容来自samhan
第4章 并发下载 57 内容来自samhan
4.1 100万个网页 57 内容来自samhan666
4.2 串行爬虫 60 内容来自samhan666
4.3 多线程爬虫 60 内容来自zvvq
4.3.1 线程和进程如何工作 61
内容来自samhan666
4.3.2 实现 61
4.3.3 多进程爬虫 63
4.4 性能 67 内容来自zvvq
4.5 本章小结 68 zvvq好，好zvvq
第5章 动态内容 69
5.1 动态网页示例 69
内容来自zvvq
5.2 对动态网页进行逆向工程 72
5.3 渲染动态网页 77 内容来自zvvq，别采集哟
5.3.1 PyQt还是PySide 78
内容来自zvvq，别采集哟
5.3.2 执行JavaScript 78
内容来自zvvq
5.3.3 使用WebKit与网站交互 80 内容来自zvvq，别采集哟
5.3.4 Selenium 85 内容来自zvvq，别采集哟
5.4 本章小结 88 内容来自zvvq，别采集哟
第6章 表单交互 89
本文来自zvvq
6.1 登录表单 90 内容来自zvvq
6.2 支持内容更新的登录脚本扩展 97
6.3 使用Mechanize模块实现自动化表单处理 100 zvvq.cn
6.4 本章小结 102 zvvq
第7章 验证码处理 103
7.1 注册账号 103
7.2 光学字符识别 106
7.3 处理复杂验证码 111 zvvq
7.3.1 使用验证码处理服务 112
内容来自samhan666
7.3.2 9kw入门 112 zvvq.cn
7.3.3 与注册功能集成 119
zvvq.cn
7.4 本章小结 120 本文来自zvvq
第8章 Scrapy 121 zvvq.cn
8.1 安装 121
8.2 启动项目 122 内容来自samhan666
8.2.1 定义模型 123
8.2.2 创建爬虫 124
8.2.3 使用shell命令抓取 128
内容来自samhan666
8.2.4 检查结果 129 内容来自zvvq
8.2.5 中断与恢复爬虫 132
copyright zvvq
8.3 使用Portia编写可视化爬虫 133
zvvq
8.3.1 安装 133
内容来自zvvq
8.3.2 标注 136 内容来自samhan
8.3.3 优化爬虫 138
8.3.4 检查结果 140 zvvq.cn
8.4 使用Scrapely实现自动化抓取 141 内容来自samhan666
8.5 本章小结 142
本文来自zvvq
第9章 总结 143
zvvq
9.1 Google搜索引擎 143 内容来自samhan666
9.2 Facebook 148 内容来自samhan
9.2.1 网站 148 zvvq好，好zvvq
9.2.2 API 150 内容来自zvvq
9.3 Gap 151
9.4 宝马 153
9.5 本章小结 157 内容来自zvvq，别采集哟
以上就是python爬虫看哪本书的详细内容，更多请关注php中文网其它相关文章！
本文来自zvvq