cn.wanghaomiao.seimi.def

类 BaseSeimiCrawler

java.lang.Object

cn.wanghaomiao.seimi.def.BaseSeimiCrawler

所有已实现的接口:

SeimiCrawler

public abstract class BaseSeimiCrawler
extends Object
implements SeimiCrawler

从以下版本开始:

2015/8/17.

作者:

汪浩淼 et.tw@163.com

字段概要

字段

限定符和类型	字段和说明
protected String	crawlerName
protected String[]	defUAs
protected org.slf4j.Logger	logger
protected SeimiQueue	queue

构造器概要

构造器

构造器和说明
BaseSeimiCrawler()

方法概要

方法

限定符和类型	方法和说明
String[]	allowRules() 用于设置允许的请求URL匹配规则
String[]	denyRules() 用于设置要放弃访问的请求URL匹配规则
String	getCrawlerName()
String	getUserAgent()
void	handleErrorRequest(Request request) 当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求
String	proxy() 可以自定义返回随机的代理
protected void	push(Request request)
String	seimiAgentHost() 设置SeimiAgent的主机地址，如 seimi.wanghaomiao.cn or 10.10.15.211
int	seimiAgentPort() seimiAgent监听端口
void	setCrawlerName(String crawlerName)
void	setQueue(SeimiQueue queue)
List<Request>	startRequests() 起始的Request，可以应对更复杂的情况，当String[] startUrls();无法满足需求的情况下推荐使用

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 cn.wanghaomiao.seimi.core.SeimiCrawler

start, startUrls

字段详细资料

queue

protected SeimiQueue queue

logger

protected org.slf4j.Logger logger

crawlerName

protected String crawlerName

defUAs

protected String[] defUAs

构造器详细资料

BaseSeimiCrawler

public BaseSeimiCrawler()

方法详细资料

push

protected void push(Request request)

getUserAgent

public String getUserAgent()

指定者:

getUserAgent 在接口中 SeimiCrawler

allowRules

public String[] allowRules()

从接口复制的说明: SeimiCrawler

用于设置允许的请求URL匹配规则

指定者:

allowRules 在接口中 SeimiCrawler

返回:

白名单规则正则表达式列表

denyRules

public String[] denyRules()

从接口复制的说明: SeimiCrawler

用于设置要放弃访问的请求URL匹配规则

指定者:

denyRules 在接口中 SeimiCrawler

返回:

黑名单规则正则表达式列表

proxy

public String proxy()

从接口复制的说明: SeimiCrawler

可以自定义返回随机的代理

指定者:

proxy 在接口中 SeimiCrawler

返回:

handleErrorRequest

public void handleErrorRequest(Request request)

从接口复制的说明: SeimiCrawler

当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求

指定者:

handleErrorRequest 在接口中 SeimiCrawler

seimiAgentHost

public String seimiAgentHost()

从接口复制的说明: SeimiCrawler

设置SeimiAgent的主机地址，如 seimi.wanghaomiao.cn or 10.10.15.211

指定者:

seimiAgentHost 在接口中 SeimiCrawler

返回:

seimiAgentPort

public int seimiAgentPort()

从接口复制的说明: SeimiCrawler

seimiAgent监听端口

指定者:

seimiAgentPort 在接口中 SeimiCrawler

返回:

startRequests

public List<Request> startRequests()

从接口复制的说明: SeimiCrawler

起始的Request，可以应对更复杂的情况，当String[] startUrls();无法满足需求的情况下推荐使用

指定者:

startRequests 在接口中 SeimiCrawler

返回:

setQueue

public void setQueue(SeimiQueue queue)

setCrawlerName

public void setCrawlerName(String crawlerName)

getCrawlerName

public String getCrawlerName()