一种互联网数据采集抓取系统

（12）发明专利申请

（21）申请号 CN201711134383.1 （22）申请日 2017.11.16

（71）申请人 南方电网科学研究院有限责任公司

地址 510000 广东省广州市越秀区东风东路水均岗6-8号西塔13-20楼

（10）申请公布号 CN108259459A

（43）申请公布日 2018.07.06

（72）发明人 牛峰

（74）专利代理机构 北京恒和顿知识产权代理有限公司

代理人 揭玉斌

（51）Int.CI

权利要求说明书 说明书 幅图

（54）发明名称

一种互联网数据采集抓取系统

（57）摘要

本发明提供了一种互联网数据采集系统，

包括：网页分析器，用于对网页进行分析，并从DNS服务器获取网页的IP地址，生成采集任务；任务模块，用于将所述采集任务存储到任务队列；请求模块，发送页面的采集请求；认证模块实现登录认证；以及下载模块，用于从所述任务队列中获取所述采集任务，下载网页数据。本发明实施例的数据采集方法，是在网页分析中执行DNS查询，避免DNS查询在下载过程中造成管道

阻塞，提高采集效率。

法律状态

法律状态公告日

2018-07-06 2018-07-06 2018-07-06 2018-07-31 2018-07-31 2020-08-28

法律状态信息

公开 公开 公开

实质审查的生效 实质审查的生效

发明专利申请公布后的撤回法律状态

公开 公开 公开

实质审查的生效 实质审查的生效

发明专利申请公布后的撤回

权利要求说明书

一种互联网数据采集抓取系统的权利要求说明书内容是....请下载后查看

说明书

一种互联网数据采集抓取系统的说明书内容是....请下载后查看