public class FetchResourceSelector extends Object
| 限定符和类型 | 字段和说明 |
|---|---|
static String |
ALL_RESOURCE_FILTER
默认值是all,当内容html时系统会抓取所有的资源文件
|
static Pattern |
BINARY_FILTERS
资源文件后缀名
|
| 构造器和说明 |
|---|
FetchResourceSelector() |
| 限定符和类型 | 方法和说明 |
|---|---|
HashSet<String> |
cssSelect(Page page,
String cssQuery)
使用Jsoup自带的css选择器找出html页面中的url资源,支持模糊匹配、正则匹配
[attr^=value]开头匹配value, [attr$=value]结尾匹配value, [attr*=value]包含属性值value,例如:[href*=/path/] [attr~=regex]正则匹配,例如:img[src~=(? |
List<String> |
getSelectors() |
static void |
init(Seed seed)
初始化资源选择器缓存
|
boolean |
isConfigAll()
是否配置了抓取所有的资源文件,默认值不填也是all
|
boolean |
isConfigNone()
是否屏蔽(过滤)了所有的资源文件
|
static boolean |
isFindResources(String url)
判断过滤某url是否是资源文件
如果发现就是true,否则是false
|
boolean |
isFindSuffix(String url,
String fetchFilter)
已过时。
|
static LinkedHashSet<String> |
jsonPath(String jsonContent,
String jsonPath,
String urlPrefix)
使用Jsonpath找出json文件中的url资源
|
static List<String> |
jsonPath2List(String jsonContent,
String jsonPath,
String urlPrefix)
使用Jsonpath找出json文件中的url资源
|
static HashSet<String> |
regex(HashSet<String> urls,
String regex)
已过时。
|
static LinkedHashSet<String> |
xmlSelect(String xmlContent,
String select)
使用Jsoup找出xml文件中的url资源
|
static List<String> |
xmlSelect2List(String xmlContent,
String select)
使用Jsoup找出xml文件中的url资源
|
public static final String ALL_RESOURCE_FILTER
public static final Pattern BINARY_FILTERS
public static void init(Seed seed)
seed - seedpublic boolean isConfigAll()
public boolean isConfigNone()
public static boolean isFindResources(String url)
url - url@Deprecated public boolean isFindSuffix(String url, String fetchFilter)
url - 相对url或者绝对url都行fetchFilter - 正则表达式,用于过滤url@Deprecated public static HashSet<String> regex(HashSet<String> urls, String regex)
urls - 原始输入的一堆urlregex - 正则表达式(过滤规则)public HashSet<String> cssSelect(Page page, String cssQuery)
page - pagecssQuery - cssQuerypublic static LinkedHashSet<String> jsonPath(String jsonContent, String jsonPath, String urlPrefix)
jsonContent - json内容jsonPath - 过滤符,例如:$.data[*].avatarurlPrefix - url前缀字符串public static List<String> jsonPath2List(String jsonContent, String jsonPath, String urlPrefix)
jsonContent - json内容jsonPath - 过滤符,例如:$.data[*].avatarurlPrefix - url前缀字符串public static LinkedHashSet<String> xmlSelect(String xmlContent, String select)
xmlContent - xmlContentselect - selectCopyright © 2018. All rights reserved.