com.bytegriffin.get4j.conf

类 DefaultConfig

java.lang.Object

com.bytegriffin.get4j.conf.DefaultConfig

public class DefaultConfig
extends Object

默认配置常量：负责系统中所有的默认配置参数

字段概要

字段

限定符和类型	字段和说明
static String	chromedriver_log
static String	default_value 默认：比如下载目录为default时指的是/data/download/${seedname}目录下
static boolean	download_file_url_naming 是否将下载后的文件保留其url前缀 false：表示自动补全文件名称 true：表示用url补全文件名称
static String	email_recipient_split 多个email接收者之间的分隔符
static String	fail_url_file 默认 fail url 坏链存储文件
static String	fetch_detail_json_html_split 当fetch.detail.selector选择Json属性中内容是Html，并且Html中包含detail Link时， 这种特殊情况需要配置时先写Jsonpath再写Jsoup选择器字符串，中间用竖杠隔开，例如： $.data.
static String	fetch_detail_json_prefix 当fetch.detail.selector选择html的detail Link是json链接，这种特殊情况需要配置时先写 再用Jsonpath选择器字符串，不采用中间用符号隔开，因为selector和url中本来就有很多标识符 但是可以采用左右小括号来显示着不混乱。
static String	fetch_detail_json_suffix
static boolean	fetch_javascript_support 默认 不支持javascript
static String	fetch_list_url_left 默认 list url的左边字符串部分
static String	fetch_list_url_right 默认 list url的右边可变字符串部分
static String	fetch_resource_split 当fetch.resource.selector和fetch.resource.filter有多个值的时候之间用逗号隔开
static int	fetch_sleep 默认 抓取延迟为0秒
static String	fetch_total_pages 默认 抓取延迟为0秒
static String	home_page_name 默认home page名称
static String	html_page_suffix 默认ContentType页面格式
static String	http_header_accept
static String	http_proxy 默认 http proxy 配置文件
static String	json_page_suffix Json类型ContentType页面格式
static String	json_path_prefix JsonPath解析字符串的前缀，来判断是否是Jsoup的cssSelect还是JsonPath字符串
static String	linux_chromedriver
static int	probe_master_selector_timeout 默认 等待probe master重新选举时间，单位：秒
static String	probe_page_file 默认 页面变化探测器文件
static int	probe_sleep 默认 监控页面变化频率
static Syncer	resource_synchronizer 全局资源同步器
static int	sync_batch_count 每次同步的最大值
static int	sync_batch_time 每次同步的最大时间间隔，单位是秒
static boolean	sync_open 是否开启资源同步
static int	thread_count 默认 线程数目
static String	user_agent 默认 user agent 配置文件
static String	win_chromedriver
static String	xml_page_suffix Xml类型ConentType页面格式

构造器概要

构造器

构造器和说明
DefaultConfig()

方法概要

限定符和类型	方法和说明
static String	getDownloadDisk(String seedName) 获取相应种子的磁盘下载地址
static String	getLuceneIndexPath(String seedName) 获取相应种子的lucene index地址

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

probe_master_selector_timeout

public static final int probe_master_selector_timeout

默认 等待probe master重新选举时间，单位：秒

另请参阅:

常量字段值

default_value

public static final String default_value

默认：比如下载目录为default时指的是/data/download/${seedname}目录下

另请参阅:

常量字段值

thread_count

public static final int thread_count

默认 线程数目

另请参阅:

常量字段值

fetch_sleep

public static final int fetch_sleep

默认 抓取延迟为0秒

另请参阅:

常量字段值

probe_sleep

public static final int probe_sleep

默认 监控页面变化频率

另请参阅:

常量字段值

fetch_total_pages

public static final String fetch_total_pages

默认 抓取延迟为0秒

另请参阅:

常量字段值

fetch_javascript_support

public static final boolean fetch_javascript_support

默认 不支持javascript

另请参阅:

常量字段值

win_chromedriver

public static final String win_chromedriver

linux_chromedriver

public static final String linux_chromedriver

chromedriver_log

public static final String chromedriver_log

http_header_accept

public static final String http_header_accept

另请参阅:

常量字段值

user_agent

public static final String user_agent

默认 user agent 配置文件

http_proxy

public static final String http_proxy

默认 http proxy 配置文件

fail_url_file

public static final String fail_url_file

默认 fail url 坏链存储文件

probe_page_file

public static final String probe_page_file

默认 页面变化探测器文件

fetch_list_url_left

public static final String fetch_list_url_left

默认 list url的左边字符串部分

另请参阅:

常量字段值

fetch_list_url_right

public static final String fetch_list_url_right

默认 list url的右边可变字符串部分

另请参阅:

常量字段值

fetch_resource_split

public static final String fetch_resource_split

当fetch.resource.selector和fetch.resource.filter有多个值的时候之间用逗号隔开

另请参阅:

常量字段值

json_path_prefix

public static final String json_path_prefix

JsonPath解析字符串的前缀，来判断是否是Jsoup的cssSelect还是JsonPath字符串

另请参阅:

常量字段值

fetch_detail_json_html_split

public static final String fetch_detail_json_html_split

当fetch.detail.selector选择Json属性中内容是Html，并且Html中包含detail Link时， 这种特殊情况需要配置时先写Jsonpath再写Jsoup选择器字符串，中间用竖杠隔开，例如： $.data.*|a.class[href]

另请参阅:

常量字段值

fetch_detail_json_prefix

public static final String fetch_detail_json_prefix

当fetch.detail.selector选择html的detail Link是json链接，这种特殊情况需要配置时先写 再用Jsonpath选择器字符串，不采用中间用符号隔开，因为selector和url中本来就有很多标识符 但是可以采用左右小括号来显示着不混乱。例如： (http//jsonurl/)a.class[href]

另请参阅:

常量字段值

fetch_detail_json_suffix

public static final String fetch_detail_json_suffix

另请参阅:

常量字段值

download_file_url_naming

public static boolean download_file_url_naming

是否将下载后的文件保留其url前缀
false：表示自动补全文件名称
true：表示用url补全文件名称

home_page_name

public static final String home_page_name

默认home page名称

另请参阅:

常量字段值

html_page_suffix

public static final String html_page_suffix

默认ContentType页面格式

另请参阅:

常量字段值

json_page_suffix

public static final String json_page_suffix

Json类型ContentType页面格式

另请参阅:

常量字段值

xml_page_suffix

public static final String xml_page_suffix

Xml类型ConentType页面格式

另请参阅:

常量字段值

sync_open

public static boolean sync_open

是否开启资源同步

resource_synchronizer

public static Syncer resource_synchronizer

全局资源同步器

sync_batch_count

public static int sync_batch_count

每次同步的最大值

sync_batch_time

public static int sync_batch_time

每次同步的最大时间间隔，单位是秒

email_recipient_split

public static final String email_recipient_split

多个email接收者之间的分隔符

另请参阅:

常量字段值

构造器详细资料

DefaultConfig

public DefaultConfig()

方法详细资料

getDownloadDisk

public static String getDownloadDisk(String seedName)

获取相应种子的磁盘下载地址

参数:

seedName - 种子名称

返回:

String

getLuceneIndexPath

public static String getLuceneIndexPath(String seedName)

获取相应种子的lucene index地址

参数:

seedName - String

返回:

String