# KRPool

**Repository Path**: ayuLiao/krpool

## Basic Information

- **Project Name**: KRPool
- **Description**: 爬虫关键资源池
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 2
- **Created**: 2021-07-10
- **Last Updated**: 2023-05-05

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# KRPool

KRPool(Key Resources Pool: 关键资源)
  - 简单的Cookie池，用于存放用户已登录的Cookie
  - 简单IP池

## 技术栈

- Flask
- APScheduler
- Selenium
- MongoDB
- OpenCV

需自己搭建好Selenium相关的环境，如下载ChromeDriver

## 问题

### 1.IP池使用付费IP，为何还要自己构建IP池？

- 1.功能独立，可以抽离处理，后面可以对接多个不同的免费或付费的IP池
- 2.统计IP质量，对IP失败时长、使用次数、失败次数做统计，后续用于分析不同付费IP池的质量
- 3.爬虫不需要关心IP如何获取，后续可以使用多种方案获取IP，如蜂窝网络IP、ADSL拨号代理
- 4.尝试失败较长时间的IP，是否可以重用

## 接口功能

### 获取可用Cookie

- get
- /cookie
- 参数：无

### 生成Cookie

- post
- /cookie
- 参数：
    - username 用户名
    - password 密码
    
### 删除cookie

- del
- /cookie
- 参数：
    - cookie 需删除cookie
    
## 定时任务

每日凌晨会启动一个定时任务执行维护Cookies池，该任务主要功能：

- 校验已有Cookie可用性
- 使用账户密码生成Cookie

会使用configs/userinfo.json中的配置，去生成对应的cookies，账号密码需要自行提供