索引

A B C D E F G H I L M N P R S V W
All Classes and Interfaces|所有程序包

A

AbstractCookieStore - net.jlxxw.http.spider.base中的类

抽象的 cookie 处理器

AbstractCookieStore() - 类的构造器 net.jlxxw.http.spider.base.AbstractCookieStore

AbstractDownloadFileThread - net.jlxxw.http.spider.file.thread中的类

抽象文件下载线程

AbstractDownloadFileThread() - 类的构造器 net.jlxxw.http.spider.file.thread.AbstractDownloadFileThread

AbstractProxyHostProducer - net.jlxxw.http.spider.base中的接口

http 代理生产者,需要使用者自己实现此接口，提供代理获取服务

AbstractRateLimiter - net.jlxxw.http.spider.base中的接口

抽象限流器

B

bigFileThread(ProxyRestTemplatePool, HttpHeaders, FileInfo, int, long, long) - 类中的静态方法 net.jlxxw.http.spider.file.thread.AbstractDownloadFileThread

创建下载大文件线程

borrow() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplatePool

自旋获取对象

C

create() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateFactory

Creates an object instance, to be wrapped in a PooledObject.

D

destroy() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

destroy(HttpHost) - 接口中的方法 net.jlxxw.http.spider.base.AbstractProxyHostProducer

当代理地址失效时，要被移除，通知代理生产者

doLimiter(HttpHost) - 接口中的方法 net.jlxxw.http.spider.base.AbstractRateLimiter

执行限流

download(String, HttpHeaders) - 类中的方法 net.jlxxw.http.spider.file.DownloadFileTools

下载文件并返回文件基本信息

downloadFile(String, HttpHeaders) - 类中的方法 net.jlxxw.http.spider.adapter.HttpSpiderAdapter

下载文件

downloadFile(String, HttpHeaders) - 接口中的方法 net.jlxxw.http.spider.HttpSpider

下载文件

downloadFileTools(ThreadPoolTaskExecutor, BeanFactory, FileProperties, HttpConcurrencyPoolProperties, ProxyRestTemplatePool) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

DownloadFileTools - net.jlxxw.http.spider.file中的类

DownloadFileTools(ThreadPoolTaskExecutor, BeanFactory, FileProperties, HttpConcurrencyPoolProperties, ProxyRestTemplatePool) - 类的构造器 net.jlxxw.http.spider.file.DownloadFileTools

创建一个默认的下载文件服务

E

exchange(ProxyRestTemplateObject, String, HttpMethod, HttpEntity<?>, Class<T>) - 类中的静态方法 net.jlxxw.http.spider.util.HttpUtils

http get 请求

execute(ProxyRestTemplateObject, String, HttpMethod, RequestCallback, ResponseExtractor<T>) - 类中的静态方法 net.jlxxw.http.spider.util.HttpUtils

F

FileInfo - net.jlxxw.http.spider.file中的类

基础文件内容

FileInfo(String, long) - 类的构造器 net.jlxxw.http.spider.file.FileInfo

创建一个文件信息

FileInfo(String, long, int) - 类的构造器 net.jlxxw.http.spider.file.FileInfo

创建一个文件信息

FileInfo(String, long, int, String, boolean) - 类的构造器 net.jlxxw.http.spider.file.FileInfo

创建一个文件信息

FileProperties - net.jlxxw.http.spider.properties中的类

FileProperties() - 类的构造器 net.jlxxw.http.spider.properties.FileProperties

G

getBigFileSize() - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

getCacheFilePath() - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

getConnectionRequestTimeoutMillis() - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

getConnectTimeoutMillis() - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

getData() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

getDefaultMaxPerRoute() - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

getFileName() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

getHost() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

getLength() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

getMax() - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

getMaxIdle() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

getMaxTotal() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

getMaxTotal() - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

getMaxWaitMillis() - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

getMaxWaitMillis() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

getMediaTypes() - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

getMin() - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

getMinIdle() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

getQueueCapacity() - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

getRedirectUrl() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

getRestTemplate() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

getShareSize() - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

H

html(String, HttpHeaders, Consumer<String>) - 类中的方法 net.jlxxw.http.spider.adapter.HttpSpiderAdapter

下载 html 页面

html(String, HttpHeaders, Consumer<String>) - 接口中的方法 net.jlxxw.http.spider.HttpSpider

下载 html 页面

httpConcurrencyDownloadExecutor(HttpConcurrencyPoolProperties) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

HttpConcurrencyPoolProperties - net.jlxxw.http.spider.properties中的类

http 并发池配置

HttpConcurrencyPoolProperties() - 类的构造器 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

httpSpider(ProxyRestTemplatePool, DownloadFileTools) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

HttpSpider - net.jlxxw.http.spider中的接口

HttpSpiderAdapter - net.jlxxw.http.spider.adapter中的类

HttpSpiderAdapter(ProxyRestTemplatePool, DownloadFileTools) - 类的构造器 net.jlxxw.http.spider.adapter.HttpSpiderAdapter

HttpSpiderAutoConfiguration - net.jlxxw.http.spider.configuration中的类

http 爬虫代理自动装配

HttpSpiderAutoConfiguration() - 类的构造器 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

HttpUtils - net.jlxxw.http.spider.util中的类

HttpUtils(AbstractRateLimiter) - 类的构造器 net.jlxxw.http.spider.util.HttpUtils

I

isBigFile() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

isDelete() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

isFail() - 类中的方法 net.jlxxw.http.spider.file.FileInfo

isLifo() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

isProxy() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

isTestOnBorrow() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

isTestOnReturn() - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

L

littleFileThread(ProxyRestTemplatePool, HttpHeaders, FileInfo) - 类中的静态方法 net.jlxxw.http.spider.file.thread.AbstractDownloadFileThread

创建小文件下载线程

M

mergeReadFile(String) - 类中的方法 net.jlxxw.http.spider.file.FileInfo

合并文件读取

N

net.jlxxw.http.spider - 程序包 net.jlxxw.http.spider

net.jlxxw.http.spider.adapter - 程序包 net.jlxxw.http.spider.adapter

net.jlxxw.http.spider.base - 程序包 net.jlxxw.http.spider.base

net.jlxxw.http.spider.configuration - 程序包 net.jlxxw.http.spider.configuration

net.jlxxw.http.spider.file - 程序包 net.jlxxw.http.spider.file

net.jlxxw.http.spider.file.thread - 程序包 net.jlxxw.http.spider.file.thread

net.jlxxw.http.spider.properties - 程序包 net.jlxxw.http.spider.properties

net.jlxxw.http.spider.proxy - 程序包 net.jlxxw.http.spider.proxy

net.jlxxw.http.spider.util - 程序包 net.jlxxw.http.spider.util

P

producer() - 接口中的方法 net.jlxxw.http.spider.base.AbstractProxyHostProducer

创建一个代理地址

ProxyPoolProperties - net.jlxxw.http.spider.properties中的类

代理池配置

ProxyPoolProperties() - 类的构造器 net.jlxxw.http.spider.properties.ProxyPoolProperties

proxyRestTemplateFactory(BeanFactory) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

ProxyRestTemplateFactory - net.jlxxw.http.spider.proxy中的类

ProxyRestTemplateFactory(BeanFactory) - 类的构造器 net.jlxxw.http.spider.proxy.ProxyRestTemplateFactory

ProxyRestTemplateObject - net.jlxxw.http.spider.proxy中的类

ProxyRestTemplateObject(RestTemplate, AbstractProxyHostProducer, HttpHost) - 类的构造器 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

Create a new instance that wraps the provided object so that the pool can track the state of the pooled object.

proxyRestTemplatePool(ProxyRestTemplateFactory, ProxyPoolProperties) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

ProxyRestTemplatePool - net.jlxxw.http.spider.proxy中的类

ProxyRestTemplatePool(ProxyRestTemplateFactory, ProxyPoolProperties) - 类的构造器 net.jlxxw.http.spider.proxy.ProxyRestTemplatePool

R

RestTemplateProperties - net.jlxxw.http.spider.properties中的类

爬虫采集器配置

RestTemplateProperties() - 类的构造器 net.jlxxw.http.spider.properties.RestTemplateProperties

S

saveBigFileCache(int, InputStream) - 类中的方法 net.jlxxw.http.spider.file.FileInfo

存大文件

saveLittleFile(byte[]) - 类中的方法 net.jlxxw.http.spider.file.FileInfo

存储小文件

setBigFileSize(long) - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

setCacheFilePath(String) - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

setConnectionRequestTimeoutMillis(int) - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

setConnectTimeoutMillis(int) - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

setDefaultMaxPerRoute(int) - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

setDelete(boolean) - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

setFail(boolean) - 类中的方法 net.jlxxw.http.spider.file.FileInfo

setLifo(boolean) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setMax(int) - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

setMaxIdle(int) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setMaxTotal(int) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setMaxTotal(int) - 类中的方法 net.jlxxw.http.spider.properties.RestTemplateProperties

setMaxWaitMillis(long) - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

setMaxWaitMillis(long) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setMediaTypes(Set<String>) - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

setMin(int) - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

setMinIdle(int) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setQueueCapacity(int) - 类中的方法 net.jlxxw.http.spider.properties.HttpConcurrencyPoolProperties

setRedirectUrl(String) - 类中的方法 net.jlxxw.http.spider.file.FileInfo

setShareSize(int) - 类中的方法 net.jlxxw.http.spider.properties.FileProperties

setTestOnBorrow(boolean) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

setTestOnReturn(boolean) - 类中的方法 net.jlxxw.http.spider.properties.ProxyPoolProperties

spiderDownloadFileHttpMessageConverter(FileProperties) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

spiderProxyRestTemplateObject(RestTemplateProperties, AbstractProxyHostProducer, AbstractCookieStore) - 类中的方法 net.jlxxw.http.spider.configuration.HttpSpiderAutoConfiguration

V

validate() - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateObject

validateObject(PooledObject<ProxyRestTemplateObject>) - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateFactory

This implementation always returns true.

W

wrap(ProxyRestTemplateObject) - 类中的方法 net.jlxxw.http.spider.proxy.ProxyRestTemplateFactory

Wrap the provided instance with an implementation of PooledObject.

A B C D E F G H I L M N P R S V W
All Classes and Interfaces|所有程序包