Spider (get4j-core 1.1.0 API)

java.lang.Object
- com.bytegriffin.get4j.Spider

```
public class Spider
extends Object
```
爬虫入口类兼API
主要负责对内配置文件加载运行和对外的API调用

方法概要

所有方法静态方法实例方法具体方法
限定符和类型	方法和说明
`static Spider`	`annotation(Class<? extends PageParser> clazz)` annotation入口，如果不想一项一项设置Api，也可以写一个annotation annotation类：ListDetail（列表-详情页面）、Single（单个页面，不抓取页面上链接)、Cascade（单个页面，包括所有链接）、Site（单个站点）
`static Spider`	`cascade()` 创建针对单页面上（包括所有链接）格式的爬虫
`Spider`	`cluster(ClusterNode node)`
`Spider`	`defaultDownloadDisk()` 默认的下载本地路径默认地址：$path/data/download/${seedname}
`Spider`	`defaultLucene()` 将解析结果索引保存到本系统/data/index目录下
`Spider`	`defaultProbe()` 设置页面变化探测器，用于探测抓取页面的变化，如果有变化就立刻抓取，没有变化则继续探测。
`Spider`	`defaultProxy()` 加载系统自带的http_proxy文件注意：调用此方法之前请确保conf/http_proxy文件中有可用代理
`Spider`	`defaultUserAgent()` 默认加载系统自带的UserAgent
`Spider`	`detailSelector(String detailSelector)` 抓取的详情页面链接选择器非必填项，当抓取的页面格式属于【列表-详情】页时使用，支持Jsoup原生的选择器（html内容）或Jsonpath（json内容）。
`Spider`	`downloadDisk(String disk)` 下载本地根路径，默认地址为$path/data/download/ 子目录是${seedName}，用来表示每个seed对应不同的下载子目录
`Spider`	`downloadFilenameRule(boolean isContainUrl)` 下载文件命名规则，一般为default或url两种类型 url表示文件名中包含url，default表示不包含
`Spider`	`downloadHdfs(String hdfs)` 下载到hdfs路径
`Spider`	`elementSelectParser(String elementSelector)` 单个页面元素解析内部类，设置了此项就不能设置自定义的解析类了
`Spider`	`email(String... recipient)` 当系统发生异常，可将相关信息发送给指定接收人
`Spider`	`fetchUrl(String fetchUrl)` 设置抓取url 必填项。
`Spider`	`field(String name, String selector)` 设置一个动态字段
`Spider`	`fields(Map<String,String> fields)` 设置多个动态字段
`Spider`	`ftp(String host, int port, String username, String password)` 设置ftp为资源同步方式
`Spider`	`hbase(String address)` 将解析结构保存到hbase数据库中
`static void`	`initFreeProxy()` 获取互联网上免费代理并自动将可用的代理保存到本地http_proxy文件中此方法一般在启动爬虫之前使用，下次在启动爬虫需要代理时，可以直接调用defaultProxy方法即可
`Spider`	`javascriptSupport(boolean ifSupport)` 是否支持Javascript，有些网站需要等待javascript来生成结果，此时可以将此属性设为true，默认值是false，慎用：抓取效率会变慢
`Spider`	`jdbc(String jdbc)` 将解析的结果保存到Mysql中 jdbc格式：jdbc:mysql://localhost:3306/spider?
`static Spider`	`list_detail()` 创建针对列表-详情页面格式的爬虫
`Spider`	`lucene(String indexPath)` 将解析结果进行Lucene索引并且保存子目录是${seedName}，用来表示每个seed对应不同的下载子目录
`static void`	`main(String... args)` 通过配置文件启动爬虫的入口方法
`Spider`	`mongodb(String mongodburl)` 将解析的结果保存到MongoDB中 mongodb://localhost:27017 或者加密 mongodb://user1:pwd1@host1/?
`Spider`	`parser(Class<? extends PageParser> parser)` 自定义页面解析类
`Spider`	`parser(PageParser parser)` 自定义页面解析接口，用于Lambda表达式
`Spider`	`post()` http请求方法非必填项。
`Spider`	`probe(String selector, int sleepSeconds)` 设置页面变化探测器，用于探测抓取页面的变化，如果有变化就立刻抓取，没有变化则继续探测。
`Spider`	`proxy(String ip, Integer port)` 设置代理爬虫会自动检测，如果代理不能用，会立刻停止
`Spider`	`proxys(List<HttpProxy> list)` 设置一组代理爬虫会自动检测，如果代理不能用，会立刻停止
`Spider`	`resourceSelector(String resourceSelector)` 资源选择器，配置时必须要包含在detail_link与avatar资源的外部资源选择器。
`Spider`	`rsync(String host, String username, boolean isModule, String moduleOrDir)` 设置rsync为资源同步方式注意：暂时不支持windows
`Spider`	`scp(String host, String username, String dir, Integer port)` 设置scp为资源同步方式需要ssh-keygen配置无密码登陆
`Spider`	`seedName(String seedName)` 设置种子名称每个种子名称要唯一
`static Spider`	`single()` 创建针对单个页面（不抓取页面上的链接）的爬虫
`static Spider`	`site()` 创建针对整站（不包括外链）格式的爬虫
`Spider`	`sleep(int seconds)` 抓取延迟策略非必填项。
`Spider`	`sleepRange(int lower, int upper)` 抓取随机延迟策略非必填项。
`void`	`start()` 爬虫开启运行检查Api设置是否设置正确，否则启动失败
`Spider`	`thread(int count)` 爬虫工作线程数量，非必填项。
`Spider`	`timer(String startTime)` 抓取启动器 startTime表示爬虫抓取的开始时间，格式为：2001-10-10 23:29:02，如果startTime已经过时，爬虫会立刻执行
`Spider`	`timer(String firstTime, int interval)` 抓取启动器 firstTime表示爬虫第一次的抓取时间，格式为：2001-10-10 23:29:02，如果firstTime已经过时，爬虫会立刻执行 interval表示爬虫重复抓取的时间间隔，单位是秒
`Spider`	`totalPages(int totalPageNum)` 抓取的列表总页数非必填项，当抓取的页面格式属于【列表-详情】页时使用，直接定义抓取页数，默认值是1。
`Spider`	`totalPages(String totalPageSelector)` 抓取的列表总页数非必填项，当抓取的页面格式属于【列表-详情】页时使用，动态获取页面中显示的总页数。
`Spider`	`userAgent(String userAgent)` 伪造一个UserAgent
`Spider`	`userAgents(List<String> userAgents)` 伪造一个列表的UserAgent

从类继承的方法 java.lang.Object
clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

- 方法详细资料
  - seedName
```
public Spider seedName(String seedName)
```
    设置种子名称
    每个种子名称要唯一
    
    参数:
    
    seedName - 种子名称
    
    返回:
    
    Spider
  - fetchUrl
```
public Spider fetchUrl(String fetchUrl)
```
    设置抓取url
    必填项。表示要抓取的Url，如果抓取模式pageMode为list_detail，该值为列表Url，其中可变的页数PageNum需要用大括号{}括起来
    
    参数:
    
    fetchUrl - 抓取url
    
    返回:
    
    Spider
  - post
```
public Spider post()
```
    http请求方法
    非必填项。抓取时Http的请求方法，默认值是get，可以配置为post，暂且只支持这两种。
    
    返回:
    
    Spider
  - defaultProbe
```
public Spider defaultProbe()
```
    设置页面变化探测器，用于探测抓取页面的变化，如果有变化就立刻抓取，没有变化则继续探测。默认是探测整个页面是否发生改变。
    
    返回:
    
    Spider
  - probe
```
public Spider probe(String selector,
                    int sleepSeconds)
```
    设置页面变化探测器，用于探测抓取页面的变化，如果有变化就立刻抓取，没有变化则继续探测。此项值的格式支持Jsoup（针对html或xml）或者Jsonpath（针对json）文件
    
    参数:
    
    selector - 页面selector选择器
    
    sleepSeconds - 监控频率，单位：秒
    
    返回:
    
    Spider
  - thread
```
public Spider thread(int count)
```
    爬虫工作线程数量，非必填项。默认值是1。
    
    参数:
    
    count - 爬虫线程数
    
    返回:
    
    Spider
  - detailSelector
```
public Spider detailSelector(String detailSelector)
```
    抓取的详情页面链接选择器
    非必填项，当抓取的页面格式属于【列表-详情】页时使用，支持Jsoup原生的选择器（html内容）或Jsonpath（json内容）。
    当此内容为JsonPath字符串的时候，如果list页面的json中提供的detail的链接是相对路径，那么此时这个值的格式为：链接前缀+jsonpath，例如：http://www.aaa.com/bbb$.data.url；当此内容为空时，说明抓取的页面格式是普通页面，不存在详情页面。
    注意：有种特殊情况，当Json属性中的内容是Html格式，并且Html里包含着详情页的链接时候，此时需要先写Jsonpath 再写Jsoup选择器字符串，中间用竖杠隔开，例如： $.data.*|a.class[href]。
    
    参数:
    
    detailSelector - 详情页面选择器
    
    返回:
    
    Spider
  - totalPages
```
public Spider totalPages(String totalPageSelector)
```
    抓取的列表总页数
    非必填项，当抓取的页面格式属于【列表-详情】页时使用，动态获取页面中显示的总页数。支持Jsoup原生的选择器（html内容）或Jsonpath（json内容），默认值是1。
    
    参数:
    
    totalPageSelector - 总页数选择器
    
    返回:
    
    Spider
  - totalPages
```
public Spider totalPages(int totalPageNum)
```
    抓取的列表总页数
    非必填项，当抓取的页面格式属于【列表-详情】页时使用，直接定义抓取页数，默认值是1。
    
    参数:
    
    totalPageNum - 总页数
    
    返回:
    
    Spider
  - sleep
```
public Spider sleep(int seconds)
```
    抓取延迟策略
    非必填项。每两次http请求之间的间隔时间(单位：秒)，以防止频繁访问站点抓取不到内容，默认值为0
    
    参数:
    
    seconds - 每次请求延迟，单位秒
    
    返回:
    
    Spider
  - sleepRange
```
public Spider sleepRange(int lower,
                         int upper)
```
    抓取随机延迟策略
    非必填项。格式：2-7 表示2秒到7秒直接随机延迟，其中范围中间用横杠连接时间的上下限
    每两次http请求之间的间隔时间(单位：秒)范围，每次请求时间间隔都是这个范围内的随机值，主要用于某些网站防爬策略检测出固定时间间隔访问网站的请求，默认值为0
    
    参数:
    
    lower - 时间波动下限
    
    upper - 时间波动上限
    
    返回:
    
    Spider
  - timer
```
public Spider timer(String startTime)
```
    抓取启动器
    startTime表示爬虫抓取的开始时间，格式为：2001-10-10 23:29:02，如果startTime已经过时，爬虫会立刻执行
    
    参数:
    
    startTime - 抓取的开始时间
    
    返回:
    
    Spider
  - timer
```
public Spider timer(String firstTime,
                    int interval)
```
    抓取启动器
    firstTime表示爬虫第一次的抓取时间，格式为：2001-10-10 23:29:02，如果firstTime已经过时，爬虫会立刻执行
    interval表示爬虫重复抓取的时间间隔，单位是秒
    
    参数:
    
    firstTime - 第一次的抓取时间
    
    interval - 下次抓取的时间间隔，单位是秒
    
    返回:
    
    Spider
  - resourceSelector
```
public Spider resourceSelector(String resourceSelector)
```
    资源选择器，配置时必须要包含在detail_link与avatar资源的外部资源选择器。
    支持Jsoup原生的选择器（html内容）或Jsonpath（json内容）
    当此内容为JsonPath字符串的时候，如果json中提供的detail的链接是相对路径，那么此时这个值
    的格式为：链接前缀+jsonpath。如果需要抓取多种资源可以用逗号","隔开，默认不填是全抓取。
    注意：当启用list_detail模式时，资源特指的是avatar资源，即：与Detail_Link一一对应的资源，
    当启用非list_detail模式时，可抓取多种资源，每个选择器中间用逗号隔开。
    
    参数:
    
    resourceSelector - Jsoup选择器支持的字符串
    
    返回:
    
    Spider
  - javascriptSupport
```
public Spider javascriptSupport(boolean ifSupport)
```
    是否支持Javascript，有些网站需要等待javascript来生成结果，此时可以将此属性设为true，默认值是false，慎用：抓取效率会变慢
    
    参数:
    
    ifSupport - 是否支持
    
    返回:
    
    Spider
  - proxy
```
public Spider proxy(String ip,
                    Integer port)
```
    设置代理
    爬虫会自动检测，如果代理不能用，会立刻停止
    
    参数:
    
    ip - 代理ip
    
    port - 代理端口
    
    返回:
    
    Spider
  - proxys
```
public Spider proxys(List<HttpProxy> list)
```
    设置一组代理
    爬虫会自动检测，如果代理不能用，会立刻停止
    
    参数:
    
    list - 代理列表
    
    返回:
    
    Spider
  - defaultProxy
```
public Spider defaultProxy()
```
    加载系统自带的http_proxy文件注意：调用此方法之前请确保conf/http_proxy文件中有可用代理
    
    返回:
    
    Spider
  - userAgent
```
public Spider userAgent(String userAgent)
```
    伪造一个UserAgent
    
    参数:
    
    userAgent - 自定义useragent字符串
    
    返回:
    
    Spider
  - userAgents
```
public Spider userAgents(List<String> userAgents)
```
    伪造一个列表的UserAgent
    
    参数:
    
    userAgents - 自定义useragent字符串
    
    返回:
    
    Spider
  - defaultUserAgent
```
public Spider defaultUserAgent()
```
    默认加载系统自带的UserAgent
    
    返回:
    
    Spider
  - downloadDisk
```
public Spider downloadDisk(String disk)
```
    下载本地根路径，默认地址为$path/data/download/ 子目录是${seedName}，用来表示每个seed对应不同的下载子目录
    
    参数:
    
    disk - 磁盘路径
    
    返回:
    
    Spider
  - defaultDownloadDisk
```
public Spider defaultDownloadDisk()
```
    默认的下载本地路径默认地址：$path/data/download/${seedname}
    
    返回:
    
    Spider
  - downloadHdfs
```
public Spider downloadHdfs(String hdfs)
```
    下载到hdfs路径
    
    参数:
    
    hdfs - hdfs地址
    
    返回:
    
    Spider
  - parser
```
public Spider parser(Class<? extends PageParser> parser)
```
    自定义页面解析类
    
    参数:
    
    parser - 自定义解析类
    
    返回:
    
    Spider
  - parser
```
public Spider parser(PageParser parser)
```
    自定义页面解析接口，用于Lambda表达式
    
    参数:
    
    parser - Lambda表达式或PageParser实现类
    
    返回:
    
    Spider
  - elementSelectParser
```
public Spider elementSelectParser(String elementSelector)
```
    单个页面元素解析内部类，设置了此项就不能设置自定义的解析类了
    
    参数:
    
    elementSelector - Jsoup支持的选择器字符串
    
    返回:
    
    Spider
  - jdbc
```
public Spider jdbc(String jdbc)
```
    将解析的结果保存到Mysql中
    jdbc格式：jdbc:mysql://localhost:3306/spider?useSSL=false&serverTimezone=UTC&characterEncoding=UTF-8&user=root&password=root
    
    参数:
    
    jdbc - 需要把用户名与密码也写到url的参数中
    
    返回:
    
    Spider
  - mongodb
```
public Spider mongodb(String mongodburl)
```
    将解析的结果保存到MongoDB中
    mongodb://localhost:27017 或者加密 mongodb://user1:pwd1@host1/?authSource=db1&ssl=true 或者多个mongodb://host1:27017,host2:27017
    
    参数:
    
    mongodburl - String
    
    返回:
    
    Spider
  - lucene
```
public Spider lucene(String indexPath)
```
    将解析结果进行Lucene索引并且保存子目录是${seedName}，用来表示每个seed对应不同的下载子目录
    
    参数:
    
    indexPath - Lucene索引存储的磁盘根路径
    
    返回:
    
    Spider
  - defaultLucene
```
public Spider defaultLucene()
```
    将解析结果索引保存到本系统/data/index目录下
    
    返回:
    
    Spider
  - hbase
```
public Spider hbase(String address)
```
    将解析结构保存到hbase数据库中
    
    参数:
    
    address - hbase地址
    
    返回:
    
    Spider
  - downloadFilenameRule
```
public Spider downloadFilenameRule(boolean isContainUrl)
```
    下载文件命名规则，一般为default或url两种类型 url表示文件名中包含url，default表示不包含
    
    参数:
    
    isContainUrl - boolean
    
    返回:
    
    Spider
  - email
```
public Spider email(String... recipient)
```
    当系统发生异常，可将相关信息发送给指定接收人
    
    参数:
    
    recipient - 一个或多个指定人
    
    返回:
    
    Spider
  - field
```
public Spider field(String name,
                    String selector)
```
    设置一个动态字段
    
    参数:
    
    name - 自定义字段名称
    
    selector - 对应字段的页面选择器
    
    返回:
    
    Spider
  - fields
```
public Spider fields(Map<String,String> fields)
```
    设置多个动态字段
    
    参数:
    
    fields - 动态字段[字段名称，字段值]
    
    返回:
    
    Spider
  - ftp
```
public Spider ftp(String host,
                  int port,
                  String username,
                  String password)
```
    设置ftp为资源同步方式
    
    参数:
    
    host - 服务器地址
    
    port - 端口号，默认为21
    
    username - 用户名（可以为空）
    
    password - 密码（可以为空）
    
    返回:
    
    Spider
  - rsync
```
public Spider rsync(String host,
                    String username,
                    boolean isModule,
                    String moduleOrDir)
```
    设置rsync为资源同步方式
    注意：暂时不支持windows
    
    参数:
    
    host - 服务器地址
    
    username - 用户名
    
    isModule - 是否为module模式，是为true，不是则代表远程目录为false
    
    moduleOrDir - module模式或者远程dir目录，如果是module模式，密码需要在服务器端配置；如果是远程dir，需要ssh-keygen配置无密码登陆
    
    返回:
    
    Spider
  - scp
```
public Spider scp(String host,
                  String username,
                  String dir,
                  Integer port)
```
    设置scp为资源同步方式
    需要ssh-keygen配置无密码登陆
    
    参数:
    
    host - 服务器地址
    
    username - 登陆的用户名
    
    dir - 服务器端目录
    
    port - scp端口号，默认为22
    
    返回:
    
    Spider
  - annotation
```
public static Spider annotation(Class<? extends PageParser> clazz)
                         throws Exception
```
    annotation入口，如果不想一项一项设置Api，也可以写一个annotation annotation类：ListDetail（列表-详情页面）、Single（单个页面，不抓取页面上链接)、Cascade（单个页面，包括所有链接）、Site（单个站点）
    
    参数:
    
    clazz - 自定义Annotation类
    
    返回:
    
    Spider
    
    抛出:
    
    Exception - 异常
  - list_detail
```
public static Spider list_detail()
```
    创建针对列表-详情页面格式的爬虫
    
    返回:
    
    Spider
  - single
```
public static Spider single()
```
    创建针对单个页面（不抓取页面上的链接）的爬虫
    
    返回:
    
    Spider
  - cascade
```
public static Spider cascade()
```
    创建针对单页面上（包括所有链接）格式的爬虫
    
    返回:
    
    Spider
  - site
```
public static Spider site()
```
    创建针对整站（不包括外链）格式的爬虫
    
    返回:
    
    Spider
  - cluster
```
public Spider cluster(ClusterNode node)
```
  - start
```
public void start()
```
    爬虫开启运行检查Api设置是否设置正确，否则启动失败
  - initFreeProxy
```
public static void initFreeProxy()
```
    获取互联网上免费代理
    并自动将可用的代理保存到本地http_proxy文件中
    此方法一般在启动爬虫之前使用，下次在启动爬虫需要代理时，
    可以直接调用defaultProxy方法即可
  - main
```
public static void main(String... args)
```
    通过配置文件启动爬虫的入口方法
    
    参数:
    
    args - 命令行参数

类 Spider

方法概要

从类继承的方法 java.lang.Object

方法详细资料

seedName

fetchUrl

post

defaultProbe

probe

thread

detailSelector

totalPages

totalPages

sleep

sleepRange

timer

timer

resourceSelector

javascriptSupport

proxy

proxys

defaultProxy

userAgent

userAgents

defaultUserAgent

downloadDisk

defaultDownloadDisk

downloadHdfs

parser

parser

elementSelectParser

jdbc

mongodb

lucene

defaultLucene

hbase

downloadFilenameRule

email

field

fields

ftp

rsync

scp

annotation

list_detail

single

cascade

site

cluster

start

initFreeProxy

main