梦见杀人不见血过段时间要开始找新工作了，爬取一些岗位信息来分析一下吧。目前主流的招聘网站包括前程无忧、智联、BOSS直聘、拉勾等等。有段时间时间没爬取手机APP了，这次写一个爬虫爬取前程无忧手机APP岗位信息，其他招聘网站后续再更新补上……
我们先来感受一下前程无忧的APP，当我们在首页输入搜索关键词点击搜索之后APP就会跳转到新的页面，这个页面我们姑且称之为一级页面。一级页面展示着我们所想找查看的所有岗位列表。
当我们点击其中一条岗位信息后，APP又会跳转到一个新的页面，我把这个页面称之为二级页面。二级页面有我们需要的所有岗位信息，也是我们的主要采集目前页面。
分析完页面之后，接下来就可以对前程无忧手机APP的请求（request）和回复（response）进行分析了。本文所使用的抓包工具为Fiddler。
本文的目的是抓取前程无忧APP上搜索某个关键词时返回的所有招聘信息，本文以“Python”为例进行说明。APP上操作如下图所示，输入“Python”关键词后，点击搜索，随后Fiddler抓取到4个数据包，如下所示：
事实上，当看到第2和第4个数据包的图标时，我们就应该会心一笑。这两个图标分别代表传输的是json和xml格式的数据，而很多web接口就是以这两种格式来传输数据的，手机APP也不列外。选中第2个数据包，然后在右侧主窗口中查看，发现第二个数据包并没有我们想要的数据。在看看第4个数据包，选中后在右侧窗体，可以看到以下内容：
右下角的内容不就是在手机上看到的招聘信息吗，还是以XML的格式来传输的。我们将这个数据包的链接复制下来：
我们爬取的时候肯定不会只爬取一个页面的信息，我们在APP上把页面往下滑，看看Fiddler会抓取到什么数据包。看下图：
手机屏幕往下滑动后，Fiddler又抓取到两个数据包，而且第二个数据包选中看再次发现就是APP上新刷新的招聘信息，再把这个数据包的url链接复制下来：
接下来，我们比对一下前后两个链接，分析其中的异同。可以看出，除了“pageno”这个属性外，其他都一样。没错，就是在标红的地方。第一个数据包链接中pageno值为1，第二个pageno值为2，这下翻页的规律就一目了然了。
既然我们已经找到了APP翻页的请求链接规律，我们就可以在爬虫中通过循环赋值给pageno，实现模拟翻页的功能。
我们再尝试一下改变搜索的关键词看看链接有什么变化，以“java”为关键词，抓取到的数据包为：
对比后发现，链接中也只有keyword的值不一样，而且值就是我们在自己输入的关键词。所以在爬虫中，我们完全可以通过字符串拼接来实现输入关键词模拟，从而采集不同类型的招聘信息。同理，你可以对求职地点等信息的规律进行寻找，本文不在叙述。
解决翻页功能之后，我们再去探究一下数据包中XML里面的内容。我们把的第一个链接复制到浏览器上打开，打开后画面如下：
事实上，接下来，我们点击第一条招聘信息，进入二级页面。这时候，Fiddler会采集到APP刚发送的数据包，点击其中的xml数据包，发现就是APP上刚刷新的页面信息。我们将数据包的url链接复制出来：
如法点开一级页面中列表的第二条招聘，然后从Fiddler中复制出对应数据包的url链接：
对比两个链接，发现规律没？没错，就是jobid不同，其他都一样。这个jobid就是我们在一级页面的xml中发现的jobid。由此，我们就可以在一级页面中抓取出jobid来构造出二级页面的url链接，然后采集出我们所需要的所有信息。整个爬虫逻辑就清晰了：
构造一级页面初始url-采集jobid-构造二级页面url-抓取岗位信息-通过循环模拟翻页获取下一页面的url。
本文编写前程无忧手机APP网络爬虫用的是Scrapy框架，下载好scrapy第三方包后，通过命令行创建爬虫项目：
job_spider就是我们本次爬虫项目的项目名称，在项目名后面有一个“.”，这个点可有可无，区别是在当前文件之间创建项目还是创建一个与项目名同名的文件然后在文件内创建项目。
注意：如果你在创建爬虫项目的时候没有在项目名后面加“.”，请先进入项目文件夹之后再运行命令创建爬虫。
首先我们需要在类中添加一些属性，例如搜索关键词keyword、起始页、想要爬取得最大页数，同时也需要设置headers进行简单的反爬。另外，starturl也需要重新设置为第一页的url。更改后代码如下：
然后开始编写parse方法爬取一级页面，在一级页面中，我们主要逻辑是通过循环实现APP中屏幕下滑更新，我们用代码中的current_page来标识当前页页码，每次循环后，current_page加1，然后构造新的url，通过回调parse方法爬取下一页。另外，我们还需要在parse方法中在一级页面中采集出jobid，并构造出二级页面的，回调实现二级页面信息采集的parse_job方法。parse方法代码如下：
为了方便进行调试，我们在项目的jobSpider目录下创建一个main.py文件，用于启动爬虫，每次启动爬虫时，运行该文件即可。内容如下：
二级页面信息采集功能在parse_job方法中实现，因为所有我们需要抓取的信息都在xml中，我们直接用scrapy自带的selector提取出来就可以了，不过在提取之前，我们需要先定义好Item用来存放我们采集好的数据。打开items.py文件，编写一个Item类，输入以下代码：
每一个item都与一个xml标签对应，用于存放一条信息。在qcwyJobsItem类的最后，定义了一个do_insert方法，该方法用于生产将item中所有信息存储数据库的insert语句，之所以在items木块中生成这个insert语句，是因为日后如果有了多个爬虫，有多个item类之后，在pipelines模块中，可以针对不同的item插入数据库，使本项目具有更强的可扩展性。你也可以将所有与插入数据库有关的代码都写在pipelines。
完成上述代码后，信息采集部分就完成了。接下来继续写信息存储功能，这一功能在pipelines.py中完成。
数据库配置你也可以之间嵌入到MysqlTwistedPipline类中，不过我习惯于把这些专属的数据库信息写在配置文件中。
整个过程下来，感觉前程无忧网APP爬取要比网页爬取容易一些（似乎很多网站都这样）。回顾整个流程，其实代码中还有诸多细节尚可改进完善，例如还可以在构造链接时加上求职地点等。本博文重在对整个爬虫过程的逻辑分析和介绍APP的基本爬取方法，博文中省略了部分代码，若需要完整代码，请在我的github中获取，后续将继续更新其他招聘网站的爬虫。返回搜狐，查看更多
网友评论 ()条 查看