牛咖-neocrawler nodejs 的爬虫系统。 特点： 支持web界面方式的摘取规则配置（css selector & regex）； 包含无界面的浏览器引擎（phantomjs），支持js产生内容的抓取； 用http代理路由的方式防止抓取并发量过大的情况下被对方屏蔽； nodejs none-block 异步环境下的抓取性能比较高； 中央调度器负责网址的调度（同一时间片内一定数量的抓取任务中根据网站的权重来决定派发任务量； 支持多种抓取实例并存，定制摘取引擎和存储方式。
最近更新: 接近9年前AsyncTask是个人编写的一个Java异步调用框架，支持用户： 1）自定义Task，并可设置Task的类型(Type), 子类型（subType），超时时间（TImeout），标识（Flag-可用来区分不同的Task），Task的输入参数（input）等。 2）可通过submitTask，提交 到框架中异步执行。 3）可自定义对应TaskExecutor，通过配置添加到框架中。 4）用户可使用TaskCollector通过TaskManager查询所有的Task。 5）支持持久化，用户提交的Task可以被存储在数据库中。中断的任务重启后自动恢复执行。 6）用户可通过ITaskReference可实时获取Task的状态（State）和进度Progress。 7）用户可定义Task的FinishedCallBack回调。 8）通过ITaskReference的waitForTask，支持用户以同步方式使用。 9）9）用户可通过ITaskReference获取Task的执行结果或错误信息。
最近更新: 接近11年前
