狂人采集的最佳实践指南

随着Scrapy等框架的流行，利用编程语言写爬虫已经成为一种时尚，好像每个互联网人都会一点爬虫。

大神利用爬虫将学校所有重要的在线服务集合成了一套JSON API ，然后开发成了App；

爬了知乎12万用户的头像，把长得像的头像放在一起，方便浏览：然后搜集了知友们的点击，预测出来这是你们（平均）最喜欢的人长的样子；

网友写了个爬虫按标签爬下来豆瓣所有的书，按现有标签来分类检索豆瓣图书，并按分数从高到低排序。

……

这些有趣的故事均来自知乎上的一个热门话题：利用爬虫技术能做到哪些很酷很有趣很有用的事情？

人人都会爬虫

初期的互联网，写爬虫是门技术活，往大的方向说，爬虫技术是搜索引擎的组成部分。

随着互联网技术的发展，写爬虫的门槛一降再降，一些编程语言甚至直接提供爬虫框架，例如python的Scrapy框架，它们让写爬虫走入“寻常百姓家”。

我们已经发现，写爬虫是一件炫酷的事情，但即使是这样，学习爬虫仍然有一定的技术门槛。

当前的主流爬虫手段是用Python编程，Python的强大毋庸置疑，但初学者学习Python还是需要一两个月时间的。

有没有一些更简单的爬取数据方法呢？答案是有的。

一些可视化的爬虫工具通过策略来爬取特定的数据，虽然没有自己写爬虫操作精准，但是学习成本低很多，下面就来介绍几款可视化的爬虫工具。

国内工具

01 Microsoft Excel

首先教大家一个用Excel爬取数据的方法，这里用的Microsoft Excel 2013版本，下面手把手开始教学~

（1）新建Excel，打开它，如下图所示

选择导入位置，确定

（4）结果如下图所示，怎么样，是不是很赞？

02 八爪鱼

一款可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据，帮助用户实现数据的自动化采集、编辑以及规范化，降低工作成本。

软件定位比较专业而且精准化，使用者需要有基本的HTML基础,能看得懂网页源码,网页结构，但软件提供相应教程，新手也能够学习上手。

网址：http://www.locoy.com/

04 集搜客

一款简单易用的网页信息抓取软件,能够抓取网页文字、图表、超链接等多种网页元素。

操作较简单，适用于初级用户，功能方面没有太大的特色，后续付费要求比较多。

网址：http://www.gooseeker.com/index.html

05 神箭手云爬虫

一款新颖的云端在线智能爬虫/采集器，基于神箭手分布式云爬虫框架，帮助用户快速获取大量规范化的网页数据。

（2）在首页上点击“转到Google表格”，然后登录自己的账号，可以看到如下界面，再点击“ ”创建新的表格

新建的表格如下：

是不是感觉超级简单？

02 you-get

这是一个程序员基于python 3开发的项目，已经在github上面开源，支持64个网站，包括优酷、土豆、爱奇艺、b站、酷狗音乐、虾米……总之你能想到的网站都有!

还有一个黑科技的地方，即使是名单上没有的网站，当你输入链接，程序也会猜测你想要下载什么，然后帮你下载。

当然you-get要在python3环境下进行安装，用pip安装好后，在终端输入“you get＋你想下载资源的链接”就可以等着收藏资源了。

这里给一个you-get的中文使用说明，按照说明上写的按步骤操作就可以啦。

03 import.io

Import.io是一个基于Web的网页数据采集平台，用户无需编写代码点选即可生成一个提取器。相比国内大多采集软件，Import.io较为智能，能够匹配并生成同类元素列表，用户输入网址也可一键采集数据。

运行并获取数据

Octoparse功能完善，价格合理，能够应用于复杂网页结构，如果你想无需翻墙直采亚马逊、Facebook、Twitter等平台，Octoparse是一种选择。

网址：https://www.octoparse.com/

05 visual web ripper

Visual?Web?Ripper是一个自动化的Web抓取工具，支持各种功能。

它适用于某些高级且采集难度较大的网页结构，用户需具备较强的编程技能。

网址：http://visualwebripper.com/

06 content Grabber

Content?Grabber是功能最强大的Web抓取工具之一。它更适合具有高级编程技能的人群，提供了许多强大的脚本编辑，调试界面。允许用户编写正则表达式，而不是使用内置的工具。

Content?Grabber网页适用性强，功能强大，不完全为用户提供基础功能，适合具有高级编程技能的人群。

网址：http://www.contentgrabber.com/

07 Mozenda

Mozenda是一个基于云服务的数据采集软件，为用户提供许多实用性功能包括数据云端储备功能。

适合拥有基础爬虫经验的人群。

网址：https://mozenda.updatestar.com/

想了解更多数据科学干货知识，欢迎关注我们的公众号“DC黑板报”

本站部分内容由互联网用户自发贡献，该文观点仅代表作者本人，本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规等内容，请举报！一经查实，本站将立刻删除。

狂人采集的最佳实践指南

相关推荐