# web_mining_midterm_51job

**Repository Path**: ZhengFenglin/web_mining_midterm_51job

## Basic Information

- **Project Name**: web_mining_midterm_51job
- **Description**: No description available
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-05-23
- **Last Updated**: 2021-05-23

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#  web_mining_midterm_51job

### 1.url请求  
- 使用 request_html

### 2.解析url参数
- 通过对比不同的URL链接来分析参数的变化。
- 解析参数含义 urllib.parse.unquote()
- 构建行业分类、职能分类及关键词参数模版，自动生成对应 URL  


### 3.解析 HTML 抓取页面、详细页内容，以及翻页
- 解析翻页参数，实现翻页
- 用 XPath 解析页面，获取职位列表页面内容
- 循环遍历链接，获取职业详细页面内容



### 4.存入数据  
- 将获取到的数据导出到Excel文件中。