public class Page extends Object
| 构造器和说明 |
|---|
Page() |
Page(String seedName,
String url) |
Page(String seedName,
String url,
String method) |
| 限定符和类型 | 方法和说明 |
|---|---|
boolean |
equals(Object obj)
保证同一个SeedName下detailPages的唯一性
|
String |
getAvatar() |
String |
getCharset() |
String |
getContent() |
LinkedHashSet<String> |
getDetailLinks() |
String |
getFetchTime() |
Object |
getField(String name) |
Map<String,Object> |
getFields() |
String |
getHost() |
String |
getHtmlContent() |
String |
getId() |
String |
getJsonContent() |
String |
getMethod() |
Map<String,String> |
getParams() |
LinkedHashSet<String> |
getResources() |
String |
getResourceSavePath() |
String |
getSeedName() |
String |
getSetCookies() |
String |
getTitle() |
String |
getUrl() |
String |
getXmlContent() |
int |
hashCode()
保证同一个SeedName下detailPages的唯一性
|
boolean |
isHtmlContent()
页面内容是否为Html格式
|
boolean |
isJsonContent()
页面内容是否为Json格式
|
boolean |
isListPage() |
boolean |
isPost()
是否是post方法
|
boolean |
isRequireUpdate(Page dbPage)
是否需要更新数据库中的page数据
注意:每次请求返回的Cookie都不一样,页面内容确实相同,这种情况下是不是可以不需要此方法,直接全部更新呢?
|
boolean |
isRequireUpdateNoEncoding(Page dbPage)
之所以要另开一个方法是因为mongodb不用encode文本内容
|
boolean |
isXmlContent()
页面内容是否为Xml格式
|
String |
json(String jsonPath)
根据JsonPath解析JsonContent
注意:有些Http Response返回的Content-Type是text/html而不是json
|
org.jsoup.select.Elements |
jsoup(String jsoupSelect)
根据Jsoup原生支持的cssSelect或正则表达式解析Html
|
String |
jsoupHtml(String jsoupSelect)
根据Jsoup原生支持的cssSelect或正则表达式解析Html
|
String |
jsoupText(String jsoupSelect)
根据Jsoup原生支持的cssSelect或正则表达式解析Html
|
List<String> |
jsoupXml(String jsoupSelect)
根据Jsoup原生支持的cssSelect或正则表达式解析Xml
|
void |
putField(String name,
Object value) |
void |
setAvatar(String avatar) |
void |
setCharset(String charset) |
void |
setDetailLinks(LinkedHashSet<String> detailLinks) |
void |
setFetchTime(String fetchTime) |
void |
setFields(Map<String,Object> fields) |
void |
setHost(String host) |
void |
setHtmlContent(String htmlContent) |
void |
setId(String id) |
void |
setJsonContent(String jsonContent) |
void |
setListPage(boolean isListPage) |
void |
setMethod(String method) |
void |
setParams(Map<String,String> params) |
void |
setResources(LinkedHashSet<String> resources) |
void |
setResourceSavePath(String resourceSavePath) |
void |
setSeedName(String seedName) |
void |
setSetCookies(String setCookies) |
void |
setTitle(String title) |
void |
setUrl(String url) |
void |
setXmlContent(String xmlContent) |
public boolean isPost()
public boolean isJsonContent()
public boolean isHtmlContent()
public boolean isXmlContent()
public String json(String jsonPath)
jsonPath - Jsonpath字符串public String jsoupText(String jsoupSelect)
jsoupSelect - jsoup支持的select字符串public String jsoupHtml(String jsoupSelect)
jsoupSelect - jsoup支持的select字符串public org.jsoup.select.Elements jsoup(String jsoupSelect)
jsoupSelect - jsoup支持的select字符串public String getContent()
public List<String> jsoupXml(String jsoupSelect)
jsoupSelect - jsoup支持的select字符串public boolean isRequireUpdate(Page dbPage)
dbPage - 数据库中出来的page对象public boolean isRequireUpdateNoEncoding(Page dbPage)
dbPage - 从数据库中查出的页面对象public String getCharset()
public void setCharset(String charset)
public void setUrl(String url)
public String getUrl()
public String getHtmlContent()
public void setHtmlContent(String htmlContent)
public String getJsonContent()
public void setJsonContent(String jsonContent)
public String getXmlContent()
public void setXmlContent(String xmlContent)
public String getSeedName()
public void setSeedName(String seedName)
public String getTitle()
public void setTitle(String title)
public LinkedHashSet<String> getResources()
public void setResources(LinkedHashSet<String> resources)
public LinkedHashSet<String> getDetailLinks()
public String getHost()
public void setHost(String host)
public void setDetailLinks(LinkedHashSet<String> detailLinks)
public String getFetchTime()
public void setFetchTime(String fetchTime)
public String getAvatar()
public void setAvatar(String avatar)
public String getResourceSavePath()
public void setResourceSavePath(String resourceSavePath)
public String getId()
public void setId(String id)
public String getSetCookies()
public void setSetCookies(String setCookies)
public String getMethod()
public void setMethod(String method)
public boolean isListPage()
public void setListPage(boolean isListPage)
Copyright © 2018. All rights reserved.