• 收藏

网络矿工数据采集软件 — 白皮书

一款您值得信赖的采集软件 一款可以为您节省成本的采集软件

网络矿工数据采集软件是一款集互联网数据采集、清洗、存储、发布为一体的工具软件。只要基于HTTP/HTTPS的数据,网络矿工均可采集,至今我们发现只有Flash部分数据、加密无法采集(加密数据采集后需要解密,因此我们将至列为无法采集范畴),针对部分人工防采集网站,无法批量采集,除此情况,其他网站数据均可采集。

历史

  • 2009年我们开发了国内第一款基于C#开源的采集软件,我们称之为“soukey采摘”,即采集并摘录需要的数据。此项目主要用于原有工作使用。版本号为1.6,项目源码在SourceForge托管;
  • 2010年我们在Soukey采摘的基础上,开发了网络矿工,第一个版本为1.8,在修正了开源版本bug的基础上,扩展了更多的数据加工规则;
  • 2011年网络矿工V2012完成,这是网络矿工下载量最大的一个版本,也是持续时间最久的版本,在这个版本中,网络矿工加强了数据发布的功能,在原有版本中,数据发布一直是网络矿工的短板,但在这个版本中进行了完善;
  • 2013年网络矿工推出了分布式采集功能,实现数据采集均衡,而无需人工干预;
  • 当前最新版本为5.33;

技术平台

网络矿工基于.Net2.0平台,近期会考虑推出.Net4.0平台版本。之所以选择.Net,最初主要考虑windows桌面应用,开发语言为C#。

授权方式

网络矿工按照用户数量授权,不绑定计算机,可随时切换计算机。

主要功能

免费版
  • 支持常用采集功能:导航(级别不限)、网页解码、url编码、压缩采集、下载图片、翻页文章正文自动合并;
  • 支持可视化配置、规则配置助手,可有效辅助用户进行规则配置;
  • 支持采集数据发布至文件【支持CSV、Excel、Word】、网站、数据库【数据库支持:Access、Mysql、SqlServer】;
  • 支持常用的数据清洗规则,包括自动去除网页代码、编码解码、字符串替换等操作;
  • 支持常用采集策略,代理采集、错误重试等;
专业版
  • 支持复杂采集规则配置,支持多页采集,导航页数据采集,自动下载正文图片,复杂结构数据轻松采集;
  • 支持网址排重,错误出错排重控制,可有效提升您的采集效率;
  • 支持采集延时控制、CSRF Token获取、代理轮询等多种采集策略;
  • 支持字典参数、数据库网址参数提取、直接入库,轻松应对批量数据采集;
  • 支持更多的数据清洗规则;
旗舰版
  • 支持数据排重,支持更复杂的采集需求,可灵活构建更加复杂的采集规则,最终输出符合用户要求的数据结构;
  • 支持网络雷达,实现自动化数据监控,并通过邮件进行提醒,轻松构建竞价、舆情监控应用;
  • 支持插件,可扩展属于自己的采集功能,自定义数据清洗、数据发布、系统集成,灵活应用;
  • 支持反屏蔽检测,自动打码,支持更加复杂的采集执行策略,让采集真正无忧;
  • 支持线程资源独立设置,可针对单任务多线程中的每个线程独立设置Cookie、代理等,一台变多台;
企业版
  • 提供专有的采集服务引擎,支持7×24小时不间断采集,搭建一个属于自己的云采集试试吧;
  • 远程管理,不受地域限制,随时随地管理采集;
企业版+
  • 企业级大数据采集专用,真正适合大数据采集应用;
  • 可根据用户实际需求,提供采集方案,以更适合企业自身应用;
  • 可根据用户实际需求,提供二次定制开发;

用途

  • 可为建站提供数据支持,采集并发布到自己的新网站;
  • 采集行业数据,进行行业趋势分析,譬如:获取某地去二手房价格数据,进行房价趋势分析;
  • 电商运营,为您的电商提供基础产品信息,并对同类产品销售数据、评价进行分析,以调整自身运营策略;
  • 口碑监测,企业必备;
  • 舆情监测,舆情监测系统的核心就是数据采集;
  • 挖掘潜在客户群体,获取最全的产品资料,洞察市场有关的一切;
  • 大学、科研机构实验室必备,为您提供有力的数据支撑;
  • 大数据应用;

支持策略

无论您是免费用户或商业用户,我们都会为您提供技术支持,只是在考虑人员成本的情况下,我们为商业用户开通了专有的售后支持渠道,免费用户可在官网注册账户后,提交您遇到的问题,同样我们也会有专业的人员为您解答。

同时,我们也会根据用户的反馈,不断的完善我们的教程体系,不仅仅从软件使用本身,还会提供相应的技术讲解,以让我们的客户可以全面掌握数据采集,而并非仅仅是掌握一套软件。

另外,针对高级用户,我们还会提供采集方案定制、策略制定、系统集成等增值服务。

软件的生命在于服务!

QQ咨询

自助客服

我要提问
QQ交流群
102085506
暗号:小矿

电话咨询
0351-7250789
18735171797