Python爬虫之五：抓取智联招聘基础版

运行平台：Windows
Python版本：Python3.6
IDE：Sublime Text
其他工具：Chrome浏览器

1、网页分析

1.1 分析请求地址

以北京海淀区的Python工程师为例进行网页分析。打开智联招聘首页，选择北京地区，在搜索框输入”Python工程师”，点击”搜工作”：

接下来跳转到搜索结果页面，按”F12″打开开发者工具，然后在”热门地区”栏选择”海淀”，我们看一下地址栏：

立即学习“Python免费学习笔记（深入）”；

由地址栏后半部分searchresult.ashx?jl=北京&kw=python工程师&sm=0&isfilter=1&p=1&re=2005可以看出，我们需要自己构造地址。接下来要对开发者工具进行分析，按照如图所示步骤找到我们需要的数据：Request Headers和Query String Parameters：

构造请求地址：

paras = {    'jl': '北京',                // 搜索城市    'kw': 'python工程师',        // 搜索关键词    'isadv': 0,                    // 是否打开更详细搜索选项    'isfilter': 1,                // 是否对结果过滤    'p': 1,                        // 页数    're': 2005                    // region的缩写，地区，2005代表海淀}url = 'https://sou.zhaopin.com/jobs/searchresult.ashx?' + urlencode(paras);

登录后复制