| 类 | 说明 |
|---|---|
| DBStorage |
关系型数据库存储器
增量式更新数据 |
| FailUrlStorage |
坏链存储器
负责爬虫在爬取过程中访问不了或者根本不是链接的坏链存储在本地文件中 |
| FreeProxyStorage |
免费代理存储器：将免费代理保存到http_proxy文件中
|
| LuceneIndexStorage |
Lucene索引存储器
|
| MongodbStorage |
MongoDB 3 数据库存储器
增量式更新数据 |
Copyright © 2018. All rights reserved.