数据抓取系统设计
2019-10-31 09:41:52 最后更新: 2019-10-31 09:41:52 访问数量:833
2019-10-31 09:41:52 最后更新: 2019-10-31 09:41:52 访问数量:833
site_ident:站点标识
frequency:抓取频率
operator:操作人
insertor:添加人
status:0. 开始抓取,1. 停止抓取
schedule_time:上次抓取时间
table_name
spider_time: 上次抓取时间
task_id
cycle:是否循环抓取 0.否,1.是
page_id
index
start
end
type:0. persist,1. ignore
name(nexturl 比较特殊)
status:0. wait, 1. start
attention:是否关注 0.否,1.是
cycle:是否循环抓取
period:抓取周期
site_ident
status:0. 开始抓取,1. 停止抓取
schedule_time:上次调度时间
spider_time: 上次抓取时间
page_id
url
referer
cookie
user_agent
status: 0. 待抓取, 1. 已抓取 2. 抓取失败