com.bytegriffin.get4j.core

类 UrlQueue

java.lang.Object

com.bytegriffin.get4j.core.UrlQueue

public final class UrlQueue
extends Object

Url队列
负责爬虫中全部的url处理

构造器概要

构造器

构造器和说明
UrlQueue()

方法概要

限定符和类型	方法和说明
static void	addUnVisitedLinks(String seedName, HashSet<String> links) 追加未访问的links队列 首先判断新抓取的link是否在已访问的队列中， 然后判断是否在未抓取的队列中 如果都不在的话则将其加进未访问的队列中
static void	clearFailVisitedUrl(String seedName) 清空已访问失败url队列
static void	clearVisitedLink(String seedName) 清空已访问link队列
static void	clearVisitedResource(String seedName) 清空已访问resource队列
static Collection<String>	getFailVisitedUrl(String seedName) 获取已访问失败的url队列
static long	getFailVisitedUrlCount(String seedName)
static String	getFirst(String seedName) 获取头元素
static Queue<String>	getUnVisitedLink(String seedName) 获取未访问link队列
static Queue<String>	getUnVisitedResource(String seedName) 获取未访问resource队列
static long	getUnVisitedUrlCount(String seedName)
static Queue<String>	getVisitedLink(String seedName) 获取已访问link队列
static Queue<String>	getVisitedResource(String seedName) 获取已访问resource队列
static long	getVisitedUrlCount(String seedName)
static boolean	isEmptyUnVisitedLinks(String seedName) 判断未访问链接是否为空
static void	newFailVisitedUrl(String seedName, String failurl) 增加已访问失败的url（包括link、资源文件）
static void	newUnVisitedLink(String seedName, String link) 新增未访问的link到队列中
static void	newUnVisitedResource(String seedName, String resourceLink) 新增未访问的resource到队列中
static void	newVisitedLink(String seedName, String link) 新增已访问的link到队列中
static void	newVisitedResource(String seedName, String resource) 新增已访问的resource到队列中
static String	outFirst(String seedName) 删除头元素
static void	registerRedisQueue(Queue<String> redisQueue)

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

UrlQueue

public UrlQueue()

方法详细资料

registerRedisQueue

public static void registerRedisQueue(Queue<String> redisQueue)

getVisitedUrlCount

public static long getVisitedUrlCount(String seedName)

getUnVisitedUrlCount

public static long getUnVisitedUrlCount(String seedName)

getFailVisitedUrlCount

public static long getFailVisitedUrlCount(String seedName)

addUnVisitedLinks

public static void addUnVisitedLinks(String seedName,
                                     HashSet<String> links)

追加未访问的links队列
首先判断新抓取的link是否在已访问的队列中，
然后判断是否在未抓取的队列中
如果都不在的话则将其加进未访问的队列中

参数:

seedName - String

links - HashSet

newUnVisitedLink

public static void newUnVisitedLink(String seedName,
                                    String link)

新增未访问的link到队列中

参数:

seedName - String

link - String

outFirst

public static String outFirst(String seedName)

删除头元素

参数:

seedName - String

返回:

String

getFirst

public static String getFirst(String seedName)

获取头元素

参数:

seedName - String

返回:

String

isEmptyUnVisitedLinks

public static boolean isEmptyUnVisitedLinks(String seedName)

判断未访问链接是否为空

参数:

seedName - String

返回:

boolean

newUnVisitedResource

public static void newUnVisitedResource(String seedName,
                                        String resourceLink)

新增未访问的resource到队列中

参数:

seedName - String

resourceLink - String

newVisitedLink

public static void newVisitedLink(String seedName,
                                  String link)

新增已访问的link到队列中

参数:

seedName - String

link - String

newVisitedResource

public static void newVisitedResource(String seedName,
                                      String resource)

新增已访问的resource到队列中

参数:

seedName - String

resource - String

newFailVisitedUrl

public static void newFailVisitedUrl(String seedName,
                                     String failurl)

增加已访问失败的url（包括link、资源文件）

参数:

seedName - String

failurl - String

getUnVisitedLink

public static Queue<String> getUnVisitedLink(String seedName)

获取未访问link队列

参数:

seedName - String

返回:

ConcurrentQueue

getUnVisitedResource

public static Queue<String> getUnVisitedResource(String seedName)

获取未访问resource队列

参数:

seedName - String

返回:

ConcurrentQueue

getVisitedLink

public static Queue<String> getVisitedLink(String seedName)

获取已访问link队列

参数:

seedName - String

返回:

ConcurrentQueue

clearVisitedLink

public static void clearVisitedLink(String seedName)

清空已访问link队列

参数:

seedName - String

clearFailVisitedUrl

public static void clearFailVisitedUrl(String seedName)

清空已访问失败url队列

参数:

seedName - String

getVisitedResource

public static Queue<String> getVisitedResource(String seedName)

获取已访问resource队列

参数:

seedName - String

返回:

ConcurrentQueue

clearVisitedResource

public static void clearVisitedResource(String seedName)

清空已访问resource队列

参数:

seedName - String

getFailVisitedUrl

public static Collection<String> getFailVisitedUrl(String seedName)

获取已访问失败的url队列

参数:

seedName - String

返回:

ConcurrentQueue