基于Python的分布式多主题网络爬虫的研究与设计

摘  要:针对传统网络爬虫抓取速度较慢的问题,提出了基于Python的分布式多主题网络爬虫的研究与设计.首先,通过Python集群与Storm集群的组建,搭建了网络爬虫的分布式物理架构,通过指标计算部分和处理部分,搭建了网络爬虫的分布式逻辑架构,两种架构共同组成了分布式多主题网络爬虫的总体架构;其次,通过...>>详细

【作  者】张胜敏[1] 王爱菊[2]

【作者单位】[1]开封大学信息工程学院,河南开封475004 [2]郑州工程技术学院信息工程学院,河南郑州450044 

【期  刊】《开封大学学报》 2021年第1期93-96,共4页

【关 键 词】Python 分布式 网络爬虫 Storm集群 

【基金项目】河南省科技攻关计划项目(212102210398);

【分 类 号】TP393

【下载次数】0【在线阅读】3

分享到:

参考文献(共找到条)

相关文献:(共找到条)

作者其它文章

90040X
国家哲学社会科学文献中心APP
分类表关闭X
隐藏
比较
关闭《开封大学学报》编辑部重要声明