# recruit

**Repository Path**: normanthompson/recruit

## Basic Information

- **Project Name**: recruit
- **Description**: 做招聘网站
- **Primary Language**: Java
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 3
- **Forks**: 0
- **Created**: 2019-04-21
- **Last Updated**: 2024-12-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# recruit


### 介绍

做招聘网站


### 软件架构

1. 前端框架：layui、echarts
2. 后台框架：spring、spring mvc
3. 数据库：mysql
4. 爬虫：Scrapy (Anaconda + Python)

### 安装Anaconda

#### 下载Anaconda

1. 下载地址：https://www.anaconda.com/distribution/#download-section
2. 选择Windws，点击左边Python 3.7 version下面的Download，建议用迅雷下载比较快。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/140450_f00a8d2a_1161562.png "屏幕截图.png")


#### 安装Anaconda

正常安装，只提示一下关键步骤：
1. 选择安装路径不要有中文和空格

#### 更新pip
命令行运行【python -m pip install --upgrade pip】。

#### 配置Channels

修改了这个配置才能很快地安装Scrapy，不然卡半天还装不上。
1. 删除原来的default配置。
2. 添加2个清华的镜像地址：
   a) https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
   b) https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
![输入图片说明](https://gitee.com/uploads/images/2019/0507/140812_2aa529a9_1161562.png "屏幕截图.png")

### 安装Scrapy

1. 启动Anaconda，点击Environments，选择base(root)，选择Not installed，搜索框输入scrapy，在搜索结果选择scrapy 1.5.2进行安装。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/141340_e49cf60e_1161562.png "屏幕截图.png")
2. 安装完之后，随便开一个命令行窗口，输入scrapy，出现以下信息说明安装scrapy成功了。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/141616_eee683d3_1161562.png "屏幕截图.png")
3. 安装python的mysql-connector，在命令行运行`python -m pip install mysql-connector`。

### 创建数据库

1. 使用Navicat Premium连接MYSQL，新建查询，打开本项目中的database/recruit.sql，运行它就可以创建数据库表。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/144148_5ddc1b4a_1161562.png "屏幕截图.png")
创建好的表:
![输入图片说明](https://gitee.com/uploads/images/2019/0507/144335_2459b40a_1161562.png "屏幕截图.png")


### 运行爬虫

1. spider/mySpider/settings.py中的IMAGES_STORE变量修改爬取的公司logo图片存放目录，此目录改为web项目里的img/company/icon目录下，设置为绝对路径。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/143024_79f6e2d6_1161562.png "屏幕截图.png")
![输入图片说明](https://gitee.com/uploads/images/2019/0507/143044_69eea908_1161562.png "屏幕截图.png")
2. 修改爬虫连接数据库的配置，spider/mySpider/spiders/recruit.py`class Recruit`的db属性中修改连接数据库的host、用户名、密码、数据库名。
![输入图片说明](https://gitee.com/uploads/images/2019/0507/142902_7425d3fa_1161562.png "屏幕截图.png")
3. recruit.py第44行`if int(next_page_num) < 3:`控制了爬取前两页数据，可以修改此判断条件控制爬取数据量。
4. 爬取数据的多少取决于spider/mySpider/spiders/recruit.py中的代码，可以修改start_urls变量设置爬取的页面起始地址。
5. 命令行切换到spider目录下，输入scrapy crwal recruit回车，就开始爬取数据了。


### 配置web项目

1. 修改web/WEB-INF/classes/database_config.properties中的连接数据库配置。
2. 将web目录拷贝到tomcat目录下的webapps。
3. 启动tomcat，访问http://127.0.0.1/web