# ironhide **Repository Path**: cybertron/ironhide ## Basic Information - **Project Name**: ironhide - **Description**: solr spider ec - **Primary Language**: Java - **License**: Not specified - **Default Branch**: master - **Homepage**: None - **GVP Project**: No ## Statistics - **Stars**: 0 - **Forks**: 0 - **Created**: 2015-01-18 - **Last Updated**: 2020-12-19 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README #ironhide 电商搜索服务 ironhide是一个产品信息聚合的搜索服务。将不同电子商务网站的产品聚合在一起进行搜索和比价,类似于国内的一淘网。 本系统运行于CentOS6.2服务器上采用开源的搜索引擎Solr 和自助开发的产品数据爬虫ironhide-Spideer,ActiveMq 作为消息队列。 redis 作为 URL队列,为ironhide-Spider提供分布式爬虫的功能提升爬去效率, ActiveMq 作为消息对垒用于Spider爬去数据后提交到Solr 进行索引, Nginx 作为负载均衡器。 Resin 作为Java应用服务器。后台管理和前段搜索项目采用 SpringMVC+Spring+MyBatis 的架构开发,数据库采用MySql用于产品信息存储。 #ironhide 模块说明 * ironhide-manage 提供后台管理服务主要对搜索内容的管理,爬虫的管理和商品分类的一些管理, * ironhide-spider 提供垂直爬虫的解决方案 * ironhide-solr 提供搜索内容建立索引的服务 * ironhide-search 提供给用户搜索服务 #ironhide 流程图 ![alt text](/ironhide/raw/master/doc/ironhide-flow.png) #ironhide-spider 流程 ![alt text](/ironhide/raw/master/doc/ironhide-spider-lifecycle.png)