标签:


  • 收藏

网络矿工采集软件V5.2试用版发布

2014/9/15 0:00:00   网络矿工

网络矿工V5.2试用版发布了,此次升级功能属于小改。增加了两个功能:

1、采集导航配置支持跨层,原来的采集是一层导航下一层,当前可以进行跨层,系统会检测是否根据导航规则到处出来网址,如果没有,则直接跳过此层级进入下一层。这种情况的网站在国内的网站中并不多见,国外的网站比较常见,在分类处理上,如果一个分类还有小类则进入小类,如果没有则直接进入产品列表页面,原来的处理方式只能是分解采集任务,但现在通过跨层采集一个采集任务即可解决这样的问题了。

2、多页采集可以针对导航页处理了,以前的版本多页采集只针对采集页,最新版本支持了多页采集针对导航页进行。

其他方面未做升级操作。

企业版方面做了较大的改动,主要是针对分布式采集引擎,对分布式采集任务的拆解算法进行了重新优化,分解采集任务性能比以前会大幅提高,同时提供了一个网络监控器,可以对网络中的分布式采集引擎进行健康状况的监控,可以随时发现问题。

 

阅读:1878  评论:0  点赞:32
  • 评论

推荐阅读

QQ咨询

自助客服

我要提问
QQ交流群
102085506
暗号:小矿

电话咨询
0351-7250789
18735171797