# 20春_Web_Mining_final 

**Repository Path**: NFUNM083/spring_20__web__mining__final

## Basic Information

- **Project Name**: 20春_Web_Mining_final 
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-07-16
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 20春_Web_Mining_final 


##  小程序社区数据爬取
本项目产出按Xpath及scrapy框架挖掘的关于微信小程序社区的数据，以解决关于正在学习制作小程序的程序员们的问题的需求，并通过爬取大量的，丰富的数据满足用户提出的各种类型的问题。

##  数据最小可用产品

我此次挖掘的关于小程序社区文章的数据，是属于面向用户的数据产品。将爬取的数据产出为xls文档，以进行LDA主题建模。用户可以通过对于关键词的搜索，快速地找到需要的文章

## 挖掘query参数
* _type
*  author
* content
* pub_time
* title

## 思路方法及具体执行
先确定了需要抓取的数据，是小程序社区的页面文章，使用Xpath进行数据挖掘，然后通过scrapy框架进行了部署，最终产出爬取的文档

## 心得总结及感谢
在学习地过程中遇到了还多的问题，通过回看老师地教学视频以及询问已解决地同学，最终能够解决问题。代码不是一个容易上手的东西，只有不断地试错才能够最终理解，并且实现。