# ArticleSpider

**Repository Path**: mtianyan/ArticleSpider

## Basic Information

- **Project Name**: ArticleSpider
- **Description**: 2018年5月 更新版【Python分布式爬虫打造搜索引擎代码+教程】(已上线) 【爬虫端】(知乎 & 拉勾 & 伯乐)
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2018-05-10
- **Last Updated**: 2022-06-14

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 2018.5: ArticleSpider-mysql

[![Build Status](https://travis-ci.org/mtianyan/hexoBlog-Github.svg?branch=master)](https://travis-ci.org/mtianyan/hexoBlog-Github)
[![MIT Licence](https://badges.frapsoft.com/os/mit/mit.svg?v=103)](https://opensource.org/licenses/mit-license.php)

2018.05月最新可用Scrapy爬取数据 + elasticSearch 存储并提供api + Django打造搜索引擎。

线上演示地址: http://search.mtianyan.cn

>elasticSearch数据量大之后太吃内存，养不起了，所以搜索服务暂停。

>本仓库为数据采集爬虫代码的mysql版本:实现了将知乎伯乐在线拉勾网存入mysql

- 搜索引擎Django网站代码请前往: https://github.com/mtianyan/mtianyanSearch
- 全量版本存放入elasticSearch的版本代码: 请前往本仓库的分支ArticleSpider-elasticsearch进行获取

## Background:


[原版视频课程地址:](https://coding.imooc.com/class/92.html)

>原版视频已经出了有一段时间，知乎更换了登录的接口。拉勾也不再像以前那么友好不需要登录。讲师在视频里只处理了文章的搜索。下面教程仅作为学习笔记：希望能让后来者少趟一些坑。

简书持续更新文集地址: https://www.jianshu.com/nb/11202633


## About me
[简书](https://www.jianshu.com/u/db9a7a0daa1f) && [mtianyan's blog](http://blog.mtianyan.cn/)

有趣的Python群：619417153

欢迎关注简书，star项目！谢谢！

你的关注支持是我继续分享前进的动力。

## 求打赏鼓励

很高兴我写的文章（或我的项目代码）对你有帮助，请我吃包辣条吧！

微信打赏:

![mark](http://myphoto.mtianyan.cn/blog/180302/i52eHgilfD.png?imageslim)

支付宝打赏:

![mark](http://myphoto.mtianyan.cn/blog/180302/gDlBGemI60.jpg?imageslim)