采集网址配置教程专题


采集网址是网络矿工采集任务三大重要配置之一,网络矿工是一款精确数据采集软件,因此我们需要指定精确的采集网址,让网络矿工去获取数据。网址配置的好坏,将直接决定采集任务的质量,甚至数量。采集网址也同时是组织数据的关键。本教程将系统的讲解采集网络的各项配置。


16-06-12 15:22
http的请求常用的有两种:get和post。先简单了解一下get和post的区别,非专业性,高手请绕路。get是可以通过浏览器地址栏看到所有的信息,post则看不到,是隐藏在http头信息中的。get提交的数据有限,post可以提交大数据,因此表单、文件上传等都是post。好了,最基本的我们了解了...
12961 0 52
sominer
16-05-05 11:19
采集网址配置中有三个重要的规则:导航、翻页、多页。在配置前我们需要了解三个规则的含义:导航:通常用于列表页跳转到内容页的规则配置,当然所有的页面跳转都可以用导航来实现;所以,导航规则就是用于页面的跳转,无论是何种跳转都可以,哪怕是302跳转都可以用导航来处理;翻页:这个规则很明白,就是翻页规则,注意...
5906 0 37
sominer
16-05-05 11:18
自定义参数通常用于较为复杂的网址跳转,或者多用于多页的配置。导航和多页的获取参数值得方法略有不同,导航则通过前后标记直接获取,多页则通过采集数据来获取。结合实例讲解自定义参数的配置:网络矿工采集器支持传参的导航模式,这种方式多用于 js 导航的配置操作,我们以一个实际的例子来进行讲解。 首先我们先看...
4659 0 45
sominer
16-05-05 10:15
需要重点说明的是:网址参数在网络矿工中的任意地方,当然是网址配置的任意地方,都可以使用,如果没有菜单提供,手工输入网址参数即可。网络矿工支持常用的网址参数有:数字参数:递增或递减,及数字补零参数,数字参数都用于页码、分类等;字母参数:递增或递减,多用于字母分类;日期参数:递增或递减及各类日期格式,多...
3610 0 32
sominer
16-05-04 15:09
采集网址配置的目的是尽可能的将需要采集的所有网址通过规律配置起来。譬如:可以使用数字参数进行页码的模拟,通过翻页规则进行翻页的处理,通过导航进行详细页的获取,总之采集网址的配置就是要将所有需要采集的网址尽可能的在一个任务中配置完成。采集任务的数量,并不是由采集网址决定的,而是由采集数据的规则决定,这...
3766 0 36
sominer
1共查询到5条记录
QQ咨询

自助客服

我要提问
QQ交流群
102085506
暗号:小矿

电话咨询
0351-7250789
18735171797