com.bytegriffin.get4j.core

类 SpiderEngine

java.lang.Object

com.bytegriffin.get4j.core.SpiderEngine

public final class SpiderEngine
extends Object

爬虫配置引擎
执行前的准备工作：组建工作流程

方法概要

限定符和类型	方法和说明
SpiderEngine	addHBase(Process hbase) 增加HBase下载流程
void	build() 构建爬虫参数
static SpiderEngine	create()
SpiderEngine	setClusterNode(ClusterNode clusterNode) 设置cluster节点初始化信息，在分布式情况下调用
SpiderEngine	setConfiguration(Configuration configuration) 设置configuration配置
SpiderEngine	setDynamicField(DynamicField dynamicField) 设置动态字段映射
SpiderEngine	setDynamicFields(List<DynamicField> dynamicFields) 设置动态字段映射列表
SpiderEngine	setResourceSync(ResourceSync resourceSync) 设置资源同步器
SpiderEngine	setSeed(Seed seed) 设置种子Seed
SpiderEngine	setSeeds(List<Seed> seeds) 设置种子Seed列表
void	startUp(Seed seed, WorkerStatusOpt workerStatusOpt, boolean isProbeMaster) 启动一个种子任务

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

方法详细资料

create

public static SpiderEngine create()

addHBase

public SpiderEngine addHBase(Process hbase)

增加HBase下载流程

参数:

hbase - Process

返回:

SpiderEngine

setClusterNode

public SpiderEngine setClusterNode(ClusterNode clusterNode)

设置cluster节点初始化信息，在分布式情况下调用

参数:

clusterNode - cluster节点

返回:

SpiderEngine

build

public void build()

构建爬虫参数

setSeed

public SpiderEngine setSeed(Seed seed)

设置种子Seed

参数:

seed - Seed

返回:

SpiderEngine

setSeeds

public SpiderEngine setSeeds(List<Seed> seeds)

设置种子Seed列表

参数:

seeds - List

返回:

SpiderEngine

setConfiguration

public SpiderEngine setConfiguration(Configuration configuration)

设置configuration配置

参数:

configuration - Configuration

返回:

SpiderEngine

setResourceSync

public SpiderEngine setResourceSync(ResourceSync resourceSync)

设置资源同步器

参数:

resourceSync - ResourceSync

返回:

SpiderEngine

setDynamicField

public SpiderEngine setDynamicField(DynamicField dynamicField)

设置动态字段映射

参数:

dynamicField - DynamicField

返回:

SpiderEngine

setDynamicFields

public SpiderEngine setDynamicFields(List<DynamicField> dynamicFields)

设置动态字段映射列表

参数:

dynamicFields - List

返回:

SpiderEngine

startUp

public void startUp(Seed seed,
                    WorkerStatusOpt workerStatusOpt,
                    boolean isProbeMaster)

启动一个种子任务

参数:

seed - Seed

workerStatusOpt - 分布式下的工作状态接口

isProbeMaster - 集群环境下本机是否为probe master