标签:

网络矿工介绍

  • 收藏

网络矿工分布式采集介绍

2014/3/3 0:00:00   网络矿工

网络矿工企业版从V1.5开始支持分布式采集操作。

网络矿工分布式采集是采用的众包模式,由采集引擎对需要采集的任务根据一定的策略进行分解,分解后为独立的子任务单元,客户端请求这些独立的子任务进行数据采集,采集完成后进行采集数据上传,并由采集引擎分局分解策略进行最终的数据合并。

网络矿工企业版由三个部分构成:采集引擎、web服务及客户端。

客户端负责配置采集任务及采集引擎管理。采集任务配置完毕后,可上传至采集引擎。

采集引擎接收到新的采集任务后,会根据采集任务配置的信息判断其是否需要进行分解,并进行分布式采集,如果需要,则对采集任务进行分解,分解后压入待采队列。
客户端会定时请求待采采集任务,如果发现又需要采集的任务则下载,并对其进行锁定,防止其被其他客户端请求,客户端下载采集任务成功后,会自动运行采集操作,并在采集结束后进行采集任务上传。

web服务实现客户端与采集引擎的通讯。此为基本操作流程。

web服务同时还具备了基础的采集队列管理,包括对执行错误的恢复,日志监控等。客户端也可自由设置是否加入分布式采集系统,或独立当作采集软件运行,同时也可控制最大执行的远程采集任务队列,以防止本地资源被占用等。

稍后我们会提供网络矿工企业版安装、部署等教程,包括分布式采集的配置讲解。

阅读:2025  评论:0  点赞:46
  • 评论

推荐阅读

QQ咨询

自助客服

我要提问
QQ交流群
102085506
暗号:小矿

电话咨询
0351-7250789
18735171797