| 类和说明 |
|---|
| Initializer |
| PageMode
页面模型
包括四种:list_detail(列表-详情页面格式)、single(单个页面)、cascade(单页面上关联的所有链接)、site整站(不包括外链) 根据页面模型的不同,程序会自动启动不同的抓取器 |
| Process |
| WorkerStatusOpt |
| 类和说明 |
|---|
| Chain |
| Command |
| Initializer |
| Launcher
Seed加载器:加载每个seed,将seed中url分配给各个worker工作线程
|
| Page
Page对象
|
| PageMode
页面模型
包括四种:list_detail(列表-详情页面格式)、single(单个页面)、cascade(单页面上关联的所有链接)、site整站(不包括外链) 根据页面模型的不同,程序会自动启动不同的抓取器 |
| Process |
| SpiderEngine
爬虫配置引擎
执行前的准备工作:组建工作流程 |
| WorkerStatusOpt |
| 类和说明 |
|---|
| Page
Page对象
|
| Process |
| 类和说明 |
|---|
| Page
Page对象
|
| Process |
| 类和说明 |
|---|
| Page
Page对象
|
| 类和说明 |
|---|
| Page
Page对象
|
| Process |
| 类和说明 |
|---|
| Initializer |
| Page
Page对象
|
| Process |
| 类和说明 |
|---|
| Page
Page对象
|
Copyright © 2018. All rights reserved.