# FriedEgg

**Repository Path**: kht12138/fried-egg

## Basic Information

- **Project Name**: FriedEgg
- **Description**: 基于Python的对egg网商的电脑硬件爬取，可以当个小课设
Python based computer hardware crawling for EGG network merchants
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2023-10-26
- **Last Updated**: 2024-02-28

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# FriedEgg
看看能不能把异常响应问题解决（大饼）
#### 介绍
基于Python的对NewEgg网商的电脑硬件爬取。
#### 环境
Python3.9.0

```
pip install pymysql
pip install configparser
pip install requests
pip install json
pip install lxml
pip install re
pip install tqdm
```

#### 注意！！

##### config参数说明
[DATABASE]
host = localhost主机名

user = root用户

password = 123密码

charset=utf8文本格式

[TEXTMODE]
mode=True文本测试模式，False关闭测试正式运行（将会关闭所有报错与输出，可在文件内单独开启或关闭）

[NETWORK]
headers = Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.31报头

cookies=./config/cookie.txtcookie文件路径

 **max_work = 10最大线程数,设置过大可能触发网站IP封禁** 

**sleep = True是否启动sleep，False为关闭，关闭可能触发网站IP封禁**

cookie.txt文件内容需要手动获取网站cookie，不可有多余符号与回车

#### 使用说明

1.  使用前将 config/config.ini中关闭测试环境；
如下：
[TEXTMODE]
mode=False
2.  在使用前，在登录网页[https://www.newegg.com/](https://www.newegg.com/) 获取cookie后填入 config/cookie.txt 中；
    同样的，获取请求头放入config/config.ini中
3.  运行run.py即可

#### 报错说明
数据库建库报错，具体内容会显示
`0x00mysql：`

数据库建表报错，同上
`0x01mysql：`

数据库写入报错，同上
`0x02mysql：`

存在GetCpu.py 多线程读取失败，将会以默认单线程运行，具体内容会显示
`0x1-1GetCpu_Thread:`

存在GetCpu.py 价格获取异常，同上
`0x10GetCpu_Jg:`

存在GetCpu.py 多线程写入数据库异常，同上
`0x013mysql_CPU`

其他报错类似，不再赘述