数据抓取系统设计
2019-10-31 09:41:52 最后更新: 2019-10-31 09:41:52 访问数量：585
数据库表设计
task
site_ident：站点标识
frequency：抓取频率
operator：操作人
insertor：添加人
status：0. 开始抓取，1. 停止抓取
schedule_time：上次抓取时间
table_name
spider_time: 上次抓取时间
page
task_id
cycle：是否循环抓取 0.否，1.是
rule
page_id
index
start
end
type：0. persist，1. ignore
name（nexturl 比较特殊）
status：0. wait, 1. start
attention：是否关注 0.否，1.是
url
cycle：是否循环抓取
period：抓取周期
site_ident
status：0. 开始抓取，1. 停止抓取
schedule_time：上次调度时间
spider_time: 上次抓取时间
page_id
url
referer
cookie
user_agent
status: 0. 待抓取, 1. 已抓取 2. 抓取失败
架构图
