学文网网络爬虫篇1
>> 基于陷阱技术的网络爬虫检测 基于网络爬虫原理的Web内容挖掘技术分析 基于网络爬虫的XSS漏洞挖掘技术 一种基于python语言的网络爬虫研究 基于Scrapy框架的分布式网络爬虫实现 基于多线程的网络爬虫设计与实现 基于网络爬虫的设计与实现 基于Websphinx网络爬虫的研究与改进 网络论坛爬虫的设计 基于webkit核心的移动中间件设计 基于WebKit浏览器的本地扩展方法 基于C#的网络爬虫搜索引擎的设计 基于网络爬虫的四川大学资讯整合网站的研究与设计 基于网络爬虫的股票信息预警系统的研究与实现 基于主题爬虫的网络零售竞争情报系统研究 基于网络爬虫的电子易购软件设计与实现 基于主题网络爬虫的创业***策信息采集研究与实现 基于异步JavaScript技术的水稻病虫害***像网络爬虫设计 larbin网络爬虫的体系结构 网络爬虫的设计与实现 常见问题解答 当前所在位置：l.
[3] Wikipedia. Regular expression [EB/OL]. [2013?04?23]. http：///wiki/Regular_expression.
[4] World Wide Web Consortium. Document object model [EB/OL]. [2013?04?23]. http：///DOM.
[5] ALVAREZ M， RAPOSO J， PAN A， et al. DeepBot： a focused crawler for accessing hidden web content [C]// Proceedings of DEECS 2007. New York， USA： ACM， 2007： 18?25.
[6] 彭轲，廖闻剑.基于浏览器服务的网络爬虫[J].硅谷，2009（4）： 49?50.
[7] 刘兵.基于JavaScript等多链接分析的主题爬虫设计实现[J].许昌学院学报，2010，29（2）：87?90.
[8] 范轩苗，郑宁，范渊.一种基于AJAX的爬虫模型的设计与实现 [J].计算机应用与软件，2010，27（1）：96?99.
[9] WebKit Open Source Project. The WebKit open source project [EB/OL]. [2013?03?24]. http：//.
[10] WebKit Open Source Project. JavaScriptCore [EB/OL]. [2013?03?24]. http：///wiki/JavaScriptCore.
网络爬虫篇2
>> 基于网络爬虫原理的Web内容挖掘技术分析 基于陷阱技术的网络爬虫检测 基于WebKit的网络爬虫 基于模糊测试的网络协议漏洞挖掘研究 基于异步JavaScript技术的水稻病虫害***像网络爬虫设计 浅析漏洞挖掘技术 一种基于python语言的网络爬虫研究 基于Scrapy框架的分布式网络爬虫实现 基于多线程的网络爬虫设计与实现 基于网络爬虫的设计与实现 基于Websphinx网络爬虫的研究与改进 基于软件体系结构分析的漏洞挖掘技术研究 基于垂直搜索引擎的主题爬虫技术 网络论坛爬虫的设计 基于系统漏洞扫描和防病毒技术的网络安全的设计 基于网络安全的防火墙漏洞扫描技术 基于Fuzzing的软件漏洞发掘技术 基于数据挖掘技术的网络营销管理 基于主机和网络入侵检测的数据挖掘技术 基于Web的网络信息挖掘技术研究 常见问题解答 当前所在位置：l、.asp、、等常见的字符终止的，因此，当我们对字符进行hash时，应当去除开始和结尾的常见字符，这样可以减少碰撞发生的概率。本文提出了一种新的算法----M-Interval-Hash，可以计算URL的hash值：令M=去掉常见字符后的字符长度/N，代表在URL中选取字符时间隔的字符数。N是一个按照经验来设置的参数，例如，N=3，字符长度为36，则M=12，表示选取字符的间隔是12个字符。
2.2 代码自动注入模块
在对XSS漏洞进行挖掘时，需要注入代码来测试漏洞是否存在，而在XSS中，恶意代码的注入可以是在GET请求中，也可以是POST请求。所以，在代码自动注入时，应该考虑上述两种情形。在代码注入时，测试每一个注入点，测试时按照数据库中测试代码顺序依次从数据库中取出一条记录，直到数据库中的记录为空。
2.3 漏洞检测模块
代码注入完成之后，还需要对注入的结果进行检测，以确定是否存在该漏洞。本文通过匹配漏洞特征库来判断XSS漏洞是否执行成功。从漏洞特征库读取XSS注入漏洞的测试脚本，对每个GET变量和POST变量依次进行XSS攻击。然后分析从Web服务器端返回的响应消息，看其是否满足漏洞库中该漏洞的特征。若满足，则说明存在XSS漏洞，否则不存在。
XSS的测试效果很大程度上由测试脚本的质量决定，本方案选择的脚本为OWASP所推荐的测试脚本。
3 实验结果及比较
3.1 网络爬虫模块中URL去重算法测试
为了验证本文技术方案的可行性，首先对URL去重算法进行了验证，将M-Interval-Hash算法与MD5算法进行比较。实验环境采用一台计算机，CPU为Pentium E5300，内存为2GB。软件环境为Windows XP Professional版本 2002 Service Pack2和JDK 1.6，数据库为MySQL 5.5.20。在M-Interval-Hash算法中，为了测试方便，我们取与M相关的经验参数N=8，将该算法和MD5算法比较。
4.2 XSS漏洞检测测试
为测试本文技术的可行性，对一些网站进行了扫描，并和另外两种基于爬虫的检测工具Acunetix WVS Free Edition 6.5和XSSer 1.5进行比较。第一个网站测试环境为Apache 2.2.14+PHP；第二个网站测试环境为IIS 6.0+ASP。
表1为上述两种工具和本文技术扫描结果比较。
在表1中的第二个网站中存在Form表单，所以XSSer无法检测出XSS漏洞。
本文技术、Acunetix WVS 8和XSSer 1.5对XSS漏洞扫描的时间比较见表2。
通过表1和表2的数据可看出本文XSS漏洞挖掘技术相对Acunetix WVS和XSSer两种工具来说性能更佳。
4 结束语
对于Web攻击中的大量XSS攻击，本文提出了一种基于网络爬虫的XSS漏洞挖掘技术，为了提高网络爬虫的性能，在网络爬虫模块使用了M-Interval-Hash新算法，以实现URL去重，同时为了提高网页抓取速度，采用了异步I/O完成端口模型，漏洞检测模块则使用特征库匹配技术。通过实验证明，XXS漏洞检测效果较好，在邮箱XSS漏洞的挖掘、Web网站XSS漏洞的检测等方面均有成功的应用.
[参考文献]
网络爬虫篇3
关键词：ID3算法 深度网络 爬虫算法
中***分类号：TP393 文献标识码：A 文章编号：1007-9416（2015）03-0114-01
1 引言
随着互联网的飞速发展，信息的产生量以爆炸式的速度增长，互联网已经成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。经过大量的研究表明，目前互联网上存在着很多网页是不能够通过超级链接的设置而进行访问的。有很多深度位置的网页便成为了引擎搜索的盲区，搜索用户必须要使用一些特殊的关键词查询才能够访问到这些深度网页。其主要的原因在于，使用常规的引擎搜索手段不能有效的模仿用户进行各种类型的表单查询，这些页面无法通过收集和索引操作来完成，不能够存在用户的搜索列表中。常规的爬虫算法主要依靠网页上的超级连接进行网页的查询和***，这种普通搜索无法对深度网页进行索引以及查询。本文探讨一种按照ID3算法分类的深度网络爬虫设计方法，能够分析网页和表单的具体特征，并且将其分类，以适当的数据形式提交给服务器，从而挖掘出深度网页。
2 传统网络爬虫算法存在的问题
一般来说，搜索引擎是由索引器、用户界面以及网络爬虫等核心组件构成。然而，网络爬虫的设计方法是搜索引擎的核心技术。网络爬虫的功能是搜寻互联网中的信息，传统的方法是从一组连接地址开始，使用爬虫算法利用宽度和深度遍历的方式搜索以及***网页信息。当今互联网中信息量呈现爆炸式增长，因此，爬虫算法会漏检很多信息，这就导致了网络爬虫的低信息覆盖率的问题，最终导致很多有价值的网页无法被搜索到。原因如：
（1）互联网规模不断的扩大，每天产生大量的信息，由此不断的产生新的网页，面临海量的新生成的网页，网络爬虫的耗费的时间代价过高，因此无法达到很高的网页搜索覆盖率。
（2）传统的网络爬虫算法只能通过超级连接来发现并搜索网页，假如某个网页没有超级链接的指向，则该页面不会被收集到。
3 ID3分类算法的深度网络爬虫设计方法
针对上述传统网络爬虫算法的不足，本文探讨了一种能够发现和收集深度网页的爬虫算法。该方法针对深度网页的特征，构造适当的表参参数进行搜索引擎的提交，从而得到更多的网页。***1表示了深度网页爬虫算法的流程。
深度网络爬虫算法按照网页特征将其分为三类，第一类为验证页面，第二类为列表页面第三类为其他类型。本文使用了ID3决策树的算法将网页表单进行训练学习，最终得到适合的决策树。在数据挖掘领域，决策树是一种非常有效的数据方法，ID3算法是将信息论融合进决策树中，将训练实例分类之后构造决策树。ID3算法最终目的是生成决策树以便对应将输入实例进行很好的分类。
本文将训练集合定义为X，ID3算法将其分为m类，令集合A为属性集合。令第i类的训练实例数量记为Xi，总数为T。则训练实例在第i类的概率为P（Xi）=Xi/T。对集合X进行分类的不确定程度为。假如对属性A进行测试，A的集合中的aj属于该类的个数为Cij/Y，Y为总实例个数。通过上述参数进行信息熵增益的计算，能够测试属性A是否为最优的分类节点。信息增益的值越大说明属性值A对决策分类结果提供的信息量越大，得到的结果更加稳定。最后获取信息增益值最大的几点作为决策树的最优节点。例如，利用ID3算法分类的深度网络爬虫算法，能够根据互联网页面表单中的特定值进行表单特征的标记。比如表单中的文本框的标签名称为text，密码输入框中的类型值为password，以此信息可以标记该表单为登录用途而不是查询界面。
4 结语
本文首先阐述了当前互联网飞速发展，信息量大量产生对搜索引擎的挑战，并从网络信息覆盖率以及搜索方式两个方面指出传统网络爬虫算法的现状和问题产生原因，最后从深度网络爬虫的流程体系和ID3算法决策树的分类详尽阐述ID3算法分类的深度网络爬虫设计方法。
参考文献
[1]赵朋朋，崔志明，高岭，仲华.关于Deep Web网络爬虫算法以及网络的规模分布和结构[J].小型微型计算机系统，2007（10）：98-101.
[2]曹强.基于网络爬虫Lucene的Web站点站内全文检索系统的设计与实现[J].***书情报工作，2007（09）：87-99.
[3]方巍，胡鹏昱，赵朋朋，崔志明.基于语义的网络爬虫Deep Web数据源自动发现技术[J].微电子学与计算机，2007（09）：221-223.
[4]李静静，闫宏飞.中文网页信息检索测试集的构建、分析及应用[J].中文信息学报，2008（01）：32-39.
网络爬虫篇4
【关键词】网络爬虫;WEB挖掘;股票预警
1.引言
在证行业内，客户是证券公司的最重要的资产，直接关系到公司核心业绩的好坏。市场竞争的日益激烈，使得证券公司对客户的争夺加剧。一些证券公司采取以低于成本的证券交易佣金水平、“零佣金”等方式招揽客户，但是仍然收效甚微。其根本原因在于忽视客户的实际利益需求。证公司要更加注意练内功，增加服务的“含金量”，利用信息化时代的技术条件，适时建立一种个性化服务，才能够赢得客户的信赖，实现证公司和股民的共赢。
目前每一家证券公司都开通了自己的门户网站，实时股评、盘后解读、各种深度分析、个股资料、研究报告、消息等纷繁复杂。每个投资者每天都要面对成千上万条的真假资讯，查询时耗时费力。因此使他们便捷地获取真正关心的信息就显得尤为重要。一个好的证券公司，并不是要将所有能获取的信息全部展现给客户，而是要求首先建立结构化的信息采集和管理系统，然后根据客户的需要提供它们所要求的内容。而这就是本文要探讨的股票信息预警系统。
2.基于网络爬虫的股票预警系统分析
面对大量的实时证信息，只有使用自动化的手段来有的放矢的获取，才能满足用户的要求。我们结合搜索引擎所使用的网络爬虫技术，来实现股票信息预警系统。网络爬虫是一种按照一定的规则自动提取互联网信息的程序，它是搜索引擎的重要组成部分，把分散在互联网上的离散的信息收集起来，以便人们方便快捷的搜索到有用的信息。从而明显地降低了人们获取信息的难度。
本文使用由HtmlParser和 HttpClient两个开源工具构建的一个简易网络爬虫来实现股票信息预警。HttpClient提供了便利的 HTTP 协议访问，使得我们可以很容易的得到某个网页的源码并保存在本地。HtmlParser对HTML代码进行处理，将抓取下来的网页信息进行再加工，分析，抽取有用的信息，并通过短信平台将分析加工后的数据发送给用户。
使用上述方法完成股票信息预警系统的设计，实现股票价格到价提醒和股票公告信息的推送的功能。
3.股票信息预警系统设计
3.1 工作原理
预警系统由系统短信接收模块借助短信平台的WEB.SERVICE接口获取用户设置的股票预警和公告推送代码信息，将这些信息送入股票预警系统里进行处理，并写入数据库。然后利用网络爬虫对指定数据源进行实时抓取，获取到的网页股票数据返回给系统进行预警处理，抓取到的公告信息由网络爬虫提取处理后返回给系统分析，通过短信发送模块回复给用户，同时回写数据库。
根据客户实时提交的预警股票代码，拼接链接地址，放进待抓取队列，并根据股票代码建立一张动态更新股价的哈希表，然后股票工作线程按一定的时间间隔从待爬行队列中取出链接发送http请求获取源数据，分析数据，把提取出来的价格放入哈希表中。此时程序不停的比较动态更新股价的哈希表与用户设定的预警价格表，如果符合预警条件，则退出进入下一个环节短信发送，如果不符合条件，则继续比对，直到满足系统停止条件为止。
3.2 基本工作流程
4.股票信息预警系统的实现
本文采用模块式的实现方法，将预警系统分为若干部分，限于篇幅，这里主要介绍股票预警、股票信息获取、短信收发这几个模块。
4.1 股票预警设计思路
实现股票价格的预警，需要两个要素，其一是用户设定的预警价格，其二是不断变化中的实时价格。有了这两个价格就可以通过比较直到满足条件（突破上下限价格）完成预警。这些价格信息存储在数据列中，所以实现时选择使用Hashtable存储动态更新的实时股票价格表stockprice，List存储用户设定的预警价格表CurrentAletStocks。
首先将预警股票代码写入stockprice和CurrentAletStocks中，stockprice获取股票实时价格，将此价格与CurrentAletStocks正在预警的股票的上下限进行比较，如果在上下限之间，那么只更新stockprice中的当前价格;如果突破了上限或者下限价格，更新当前价格，并将突破当前价格内容信息送入短信收发模块发送给预警的用户。
4.2 股票信息获取
实时股票信息的来源主要通过调用股票公用数据接口来实现，本系统中使用了新浪股票公用数据源。从数据源获取到的实时股票信息，我们还需要对它进行解码。系统解码后的字符串信息有很多，如（股票名称、行情时间、最新价、昨收盘、今开盘、涨跌额、最低、最高、涨跌幅、成交量、成交额、竞买价、竞卖价、委比、买一-买五、卖一-卖五），而我们需要的只是现价和股票名称，所以还要通过自定义的方法Parse对字符串进行格式匹配处理从而得到我们想要的数据。
我们以新浪股票公用数据源获取股票信息为例：
⑴构建股票代码信息
例如：600250 Sh600250 如果是60开头为沪市、如果是30或者00开头为深市
⑵拼接爬取URL地址
例如：URL：http：////list=sh600250
⑶通过HttpClient发送get请求，并对获取的信息进行解码
⑷对解码后的字符串进行格式匹配处理（即方法Parse）
⑸返回所需要的正确格式
4.3 ***S短信收发模块
与用户的交互需要短信的收发，系统高峰时需要几十甚至几百条的同时收发。因此选择了目前SP（服务提供商）普遍使用的短信平台（短信网关）。
短信平台是基于中国移动、中国联通、中国电信提供的短信端口与互联网连接的基础上，实现与用户指定号码进行短信批量发送和自定义发送功能的综合平台。它分为软件单机版（带客户端）CS 结构和网络共享版BS 结构。本系统采用了网络BS结构的短信平台，借助webservice接口实现与程序的对接。
4.3.1 发送短信
访问web地址http：///smssendwebservice/
Service.asmx。调用.net中Web Services协议栈里的soap协议使用Smssend 方法：
用户名：<UsrId>string</UsrId>
密码：<UserKey>string</UserKey>
目标***码：<PhoneNumber>string</PhoneNumber>
短信内容：<SmsContent>string</SmsContent>
4.3.2 接收短信
调用QuerymoSms方法查询用户上行短信，访问地址：http：///httpinterface/QueryMoSms.asp？UserId=&userkey=
UserId为短信平台提供给你的账号
userkey为短信平台提供给你的账号密码
5.结束语
本文使用HtmlParser和 HttpClient构建的一个简易网络爬虫，通过详细的系统设计分析，完成股票信息获取、股票价格预警、公告提醒、短信平台收发等模块的开发，实现股票信息预警系统从而更好服务用户。
参考文献
[1]张亮.基于HTMLParser和HttpClient的网络爬虫原理与实现[J].电脑编程技巧与维护，2011，20：94-103.
网络爬虫篇5
关键词：网络，主题爬虫，搜索引擎，***事教育主题爬虫
l1引言
当今，随着Intemet在国内的迅猛发展，***队正在向现代化建***目标发展，为了使***队更快的向信息化，数字化方向发展，***队都在着手建设自己的信息网，网络信息资源也爆炸般的增长，在***队内的信息服务器上，同样能够获取许多有用的资源。如果没有一个好的搜索引擎，查询起来困难就可想而知。现在www网上基本都是一些商业性的探索引擎，这些引擎深度和广度都很大，有些甚至是整个环球网进行检索。，搜索引擎。而***队只需要搜索其内部网络即可。因此在***队网中安置一个针对***队信息资源进行搜索的爬虫十分必要。
l2***事教育主题爬虫的爬行策略
搜索引擎中最关键的部分是网络爬虫，它的性能好坏直接影响着搜索引擎的整体性能和处理速度。传统的网络爬虫是按照预先设定的广度优先策略、深度优先策略或这两种策略相结合的方式爬行网页[ 1 ] 。网络爬虫的搜索策略与搜索引擎的性质和任务密切相关。决定网络爬虫搜索策略的关键是如何将不相关的网页快速地过滤并删除掉，因为网页过滤的速度和准确性将会直接影响网络爬虫的性能。以何种策略访问Web，成为近年来主题搜索引擎网络爬虫研究的焦点之一。***事教育主题爬虫是按照最佳优先的爬行策略爬行网页即***事教育主题爬行时按照主题相关度优先的爬行策略爬行网页。爬虫从网络上抓取到的新网页在爬行之前都要进行主题相关度分析,与初始种子网页相关度最高的网页被优先爬行,而与初始种子网页不相关或相关度不大的网页则被抛弃。因此与传统网络爬虫相比，***事教育主题爬虫的工作量大大减少、爬行的准确度大大提高。
l3***事教育主题爬虫的系统实现
3.1 设计思路与总体柜架
从设计思路上，构造Spider有两种比较常用的方法。第一种是把Spider设计成一个递归的程序，第二种是编写一个非递归的Spider程序，程序维护一个要访问的网页列表，考虑到Java对数组、队列的包支持较为丰富，实现相对容易，本程序使用了第二种设计思路。
程序中总共维护了四个不同的队列，它们的总结如下。每一个这样的队列保存着同一处理状态的URL。
等待队列 当Spider程序开始处理URL时，它们被传送到这一队列。重要的是同一个URL不能被多次处理，因为这样是浪费的。当一个URL被处理过后，它被移送到或者是错误队列或者是完成队列。，搜索引擎。，搜索引擎。
运行队列 当前正在处理的URL队列。
错误队列 如果在***当前网页时发生错误，它的URL将被加入到错误队列。该URL到达这一队列后将不再移入其它队列。，搜索引擎。一旦网页移入错误队列，Spider程序将不会再对它作进一步处理。
完成队列 如果在***网页时没有发生错误，该URL将被加入到完成队列。该URL到达这一队列后将不再移入其他队列。
明显，每个得到的URL都只能存在于一个队列中。其状态流程***如下（***1）：
评定分数计算公式采用信息检索中常用的词条权值计算方法为
TF-IDF 函数
Wi,j=Avg(TFi)*(1/(log(nDoc/ni)+1/log(nDoc-1)))
Avg(TFi):对词i取其在各文档中的TF值进行平均；
nDoc:文档数目；
ni:出现词i的文档个数；
3.2程序结构及具体实现
网络爬虫种类很多，如有基于全文搜索的网络爬虫[2]，聚类网络爬虫，主题网络爬虫,基于本体的网络爬虫等。在引入BOT包的基础上，实现了以并发进程方式对指定站点内部网页数据的访问和基于队列的处理，将抓取到的网页数据存储在本地数据库中。程序由四个文件组成：CheckLinks.java; HTMLParse.java; ISpiderReportable.java;Spider.java，程序工程报告如***2：
***2
用TF-IDF 函数算出各个词语的权值，最终得到全部词的权值wordWeightOfAllDocument
public class segmenter {
public TreeMap zhwords;//用Treemap形式定义，带标签，方便对应查找
//下面定义的是一些统计词项与词频的链表
public ArrayList wordSum;
public ArrayList wordCount;
public ArrayList wordAll;
public ArrayList wordCountAll;
//根据选取网页的编码类型，选择不同的词库文件。
String newword = null;
try {
InputStream worddata = null;
if(charform == SIMP) {
worddata= getClass().getResourceAsStream('simplexu8.txt');
} else if(charform == TRAD) {
worddata= getClass().getResourceAsStream('tradlexu8.txt');
} else if(charform == BOTH) {
worddata= getClass().getResourceAsStream('bothlexu8.txt');
}
//wordSum ; wordCount; wordAll; wordCountAll;wordCountMax;这些链表都是为了分词后统计出每个词的tf值和IDF值，最后根据公式算出每个词语的权值！
//这个是tf值的计算并记录文件
public ArrayList getTfValue(String args){
int tmpIndex;
BufferedWriter fileOut;
ArrayList tmpArrayList = newArrayList(3);
File tmpTfFilePath=newFile('tf');
tmpTfFilePath.mkdir();
try{
fileOut=newBufferedWriter ( new FileWriter (args+'.tf'));
for(int k =0;k<wordSum.size();k++){
tmpIndex=k;
double tmp =(double)(Integer)wordCount.get(tmpIndex)).intValue()/(double) wordCountMax;
Double dTmp = newDouble(tmp); tmpArrayList.add(dTmp/*(Object)tmp*/);
//这个是IDF值的计算
for(int idfi=0;idfi<wordOfAllDocument.size();idfi++)
{
int ni=0;//how many document contains a word
String tmpString=(String)wordOfAllDocument.get(idfi);
for(int idfj=0; idfj<nDoc; idfj++)
{
if(((ArrayList)wordOfOneDocument.get(idfj)).contains(tmpString))
ni++;
}
Double dTmpdouble = newDouble(1/(Math.log(nDoc/ni)+1/Math.log(nDoc-1)));
wordIdfValueOfAllDocument.add(/*1/(Math.log(nDoc/ni)+1/Math.log(nDoc-1))*/dTmpdouble);
//IDF 采用倒数，表明在专题训练文档中在越多文档中出现，其越重要。
//最后利用公式算出该词在训练主题中的权重 W=Avg(tf)*IDF
for(int tfi=0;tfi<wordOfAllDocument.size();tfi++){
inttmpIndex=-1;
inttni=0;
doubletfall=0.0;
StringtmpString=(String)wordOfAllDocument.get(tfi);
for(inttfj=0; tfj<nDoc; tfj++){
if((tmpIndex=((ArrayList)wordOfOneDocument.get(tfj)).indexOf(tmpString))!=-1){
tni++; tfall=tfall+((Double)(((ArrayList)wordTfValueOfOneDocument.get(tfj)).get(tmpIndex))).doubleValue();
}
}
Double dTmpdouble = newDouble(tfall/tni);
Double dTmpdoubleElse = newDouble((tfall/tni)*(((Double)wordIdfValueOfAlDocument
-.get(tfi)).doubleValue()));
wordTfValueOfAllDocument.add(dTmpdouble); wordWeightOfAllDocument.add(dTmpdoubleElse);
}
实现的流程如下，首先，CheckLinks得到一个起始的URL，在CheckLinks.run()中，新建Spider实例，把起始URL加入到等待队列中，并通过setKeyWord（）方法设置关键词，setCheckRobots（）、setCheckMetaTag（）配置选项，程序进入正常工作。
Spider通过getWorkloadWaiting（）方法得到等待队列中的URL，调用processURL（）方法对取出的URL进行处理，对此，processURL（）方法内以URL为地址建立链接，取回对象通过parse.parse()方法对HTML进行解释，主要是从得到的HTML中获取新的URL并添加到等待队列中，及对主题字的匹配。经过parse返回，则从等待队列中移走处理的URL，如果没有错误，把它添加到完成队列中，否则添加到错误队列中，程序又去等待队列中取出URL，进行同样的处理流程，循环一直到等待队列为空。
3.3开发环境
实验条件:搜索深度= 2 (设的较小,为了防止搜索规模过大) ,线程数= 100 (要求在网络环境较好的情况下) ,起始种子= 10 (都是经过人工选择的较好的种子) ,阈值r = 0. 6 ,中文分词主要以中科院计算所免费版的分词工具(C 语言开发) 为基础。机器配置: Intel（R）Core™2 CPU T5500 @1.66Ghz,内存2048 MB。试验结果表明***事教育主题爬虫抓取网页的准确度及准确率都比普通爬虫的高。，搜索引擎。
3.4 实验总结及系统存在的问题
爬行速度太慢，特别是对超链接较多的页面；页面内容的多少对评分有一定影响，虽然不大，但仍需考虑；若能在网页架构分析上添加一定的过滤，抓取核心内容，相信对抓取质量会有更大的提高，这方面也待改善。
l4结束语
本文通过设计一个***事教育主题爬虫从网络上收集有关理财网页（代替***队的教育网页）,以解决本实验室面向***事教育主题的个性化搜索引擎的资源问题。，搜索引擎。从实验结果来看爬虫达到了我们初步的预定目标,下一步我们将不断对其进行完善以进一步提高其搜索精度及搜索速度。
参考文献
[1]周立柱,林玲1聚焦爬虫技术研究综述1计算机应用1第25卷第9期2005年9月:1966
[2]徐远超，刘江华，刘丽珍等.基于Web 的网络爬虫的设计与实现.微计算机信息.2007,23(7):119-121
[2[Programming a Spider in Java,Jeff Heaton
Biography:JinPeng(1982-)，male, qingdao,China University Of Petroleum, research interests are in areas of computernetwork and. Search Engine
网络爬虫篇6
关键词：新浪微博；数据爬取；微博爬虫；Python
中***分类号：TP391；TP311 文献标识码：A 文章编号：2095-1302（2016）12-00-04
0 引 言
随着互联网的不断普及，人们越来越多地参与到互联网的社交活动中，微博作为典型的互联网社交活动，得到了迅速发展。新浪微博是国内出现最早，也是规模最大的微博社区，新浪微博数据中心的“2015微博用户发展报告”指出：“截止2015年9月，微博月活跃人数已达到2.22亿，较2014年同期相比增长33%；日活跃用户达到1亿，较去年同期增长30%。随着微博平台功能的不断完善，微博用户群逐渐稳定并保持持续增长。”[1]
微博用户群的增长使得基于微博数据的社交网络分析[2]、用户行为分析[3， 4]和网络数据挖掘[5]等相关研究越来越受到人们的重视，而如何从微博爬取感兴趣的数据则成为研究者要解决的首要问题。本文分析微博数据的爬取方式，提出一种基于Python模拟浏览器登录的微博数据爬取方案，并讨论针对微博反爬机制的相关处理。
1 微博数据的爬取方式
微博数据的爬取通常有两种方式，一种是调用新浪微博开放平台提供的微博开放接口，另一种是开发爬虫程序，模拟微博登录，分析获得的HTML页面，提取所需信息。
1.1 调用微博开放接口
新浪微博开放平台[6]提供了二十余类接口，覆盖了微博内容、评论、用户及关系的各种操作，理论上该方法是最直接、方便的方式。但新版的微博开放接口存在一些限制，对于小型研究团队或个人而言不是很方便，突出表现在以下几点：
（1）微博开放接口使用Oauth2.0认证授权，如果希望得到另外一个用户的个人信息和微博内容，则必须由该用户授权；
（2）微博开放接口存在访问频次限制，对于测试用户的每个应用，每小时最多只能访问150次；
（3）很多研究所需要的数据只能通过高级接口才能访问，需要专门申请和付费。
正是因为这些限制的存在，自己设计开发网络爬虫程序获取微博数据就成了必不可少的备选或替代方案。
1.2 开发微博爬虫程序
设计开发微博爬虫程序需要分析新浪微博的特点、明确爬取数据的目的及用途，选择合理的开发语言，保证高效、稳定地获取微博数据。
1.2.1 新浪微博的特点
与一般网站相比，新浪微博具有以下特点：
（1）新浪微博面向登录用户，在访问微博数据前，用户必须先登录；
（2）微博博文的显示采用了延迟加载机制，一次只显示一个微博页面的部分博文，当用户浏览博文滚动到底部时，才继续加载当页的其他博文；
（3）新浪微博有较完备的反爬虫机制，一旦微博服务器认定爬虫程序，就会拒绝访问。
基于新浪微博的上述特点，在设计微博爬虫时，需要对以上特点进行针对性处理。
1.2.2 开发语言选择
从快速获取微博数据的角度看，Python是开发微博爬虫的首选语言，其具有如下特点：
（1）Python是一种解释型高级语言，具有文字简约、容易学习、开发速度快等特点；
（2）Python具有较丰富的库及第三方库，在开发爬虫方面比其他语言方便。考虑新浪微博在一段时间后就会微调其数据格式，因此使用Python开发微博爬虫程序具有较高的易维护性。
2 微博爬虫的实现
2.1 微博爬虫的框架结构
本文讨论的微博爬虫程序包括爬虫调度器、URL管理器、页面加载器、HTML解析器和数据输出器五个功能模块，其框架结构如***1所示。
***1 微博爬虫的框架结构
2.1.1 爬虫调度器
爬虫调度器是爬虫的控制程序，主要负责协调和调度微博爬虫的各个模块，其核心功能包括以下几项：
（1）实现爬取微博数据的流程；
（2）控制其他模块的执行；
（3）模拟浏览器登录，为页面请求添加Headers信息；
（4）控制微博访问频率，避免反爬虫机制拒绝访问。
2.1.2 URL管理器
微博爬虫采用广度优先遍历策略提取需要的数据，URL管理器需维护已经爬取的URL列表和等待爬取的URL列表。在得到新URL之后，首先检查已经爬取的URL列表，如果该URL不在列表中，则将其添加到等待爬取的URL列表。
2.1.3 页面加载器
页面加载器根据爬虫调度器提供的Headers信息以及URL管理器提供的URL，向微博服务器发出请求，获得所请求的HTML页面。为了避免爬取过于频繁，导致微博服务器无法及时响应，或被服务器反爬虫机制拒绝访问，页面加载器采用定时机制限制加载页面的频率。
2.1.4 HTML解析器
HTML解析器对页面加载器提供的HTML页面进行解析，获取需要的数据。如某位微博用户发表的博文内容、转发数、点赞数、评论数等。同时HTML解析器会根据需要将新得到的URL反馈给爬虫调度器。
2.1.5 数据输出器
数据输出器输出HTML解析器解析后的数据。输出的数据采用JSON格式，其格式与使用新浪微博开放平台API获取的数据格式基本一致，保证不同爬取方式得到的数据能够被统一分析和处理。
2.2 模拟浏览器登录
要访问微博数据，必须要先登录。可以用爬虫程序模拟微博用户登录[7， 8]。爬虫程序首先向微博用户服务器发送登录请求，然后接收服务器返回的密钥，再结合用户名、密码、服务器返回的密钥生成验证信息，登录服务器。只要保持与服务器的Session会话，就可以从服务器获取微博数据，从而进一步分析。
这种做法实现比较复杂，并且需要了解服务器验证信息的细节。因此采用另一种相对简单的做法，即本文微博爬虫的做法。首先在浏览器中登录微博，然后使用浏览器提供的开发者工具查看请求页面的请求头信息。例如使用Firefox登录微博后，利用Firefox提供的开发者工具可以看到如***2所示的请求头信息。
从***2可以看出，“Referer”的内容是访问微博的URL，其中“”是当前用户在微博的唯一标识id；“Connection”的值为“keep-alive”，标识Cookie永不过期；“Cookie”的内容是成功连接微博服务器后保存在本地的Cookie，利用它可以简单、快速地访问新浪微博。首先需复制“”的内容，然后在Python中定义headers对象，设置Cookie和Connection，最后在每次访问微博页面时，都将headers作为参数添加到Request对象中，得到微博页面。这样在Cookie的有效期内就可以直接访问微博，并提取自己需要的数据。采用这种做法，只需以下代码就可以实现微博的登录并简单获取页面数据：
headers = {'Cookie'： ‘’，’Connnection’：’keep-alive’}
url = u'http：///u//home？wvr=5&lf=reg'
request = urllib.request.Request（url， headers=headers）
rsponse = urllib.request.urlopen（request）
page = response.read（）
2.3 微博页面解析
爬虫程序成功登录到微博，获取微博页面后，就可以对得到的HTML脚本进行解析，提取需要的数据。一条博文的数据主要包括发表博文的用户昵称、用户Uid、主页链接、博文内容、发表时间、转发数、评论数、点赞数等。除此以外，转发其他用户的微博是非常常见的现象，因此在提取博文数据时，也需要考虑被转发的微博用户的相关数据信息。
进一步分析微博页面可以发现，每一条博文均是以开始，内部以标签形成树结构，其主结构如表1所列。
一条博文
博文的具体内容
发博文用户的昵称、Uid、主页链接
博文的发表时间
博文内容
被转发的博文信息
博文的转发数、评论数、点赞数
但博文的数据表示并不统一。发博文用户的昵称、Uid、主页链接以属性形式存放于标签中，博文的发表时间以属性形式存放于标签中；博文内容直接以HTML文本形式存在
一种处理办法是多次发送模拟HTTP请求的GET方法，构建响应的URL，完成整页加载[8]；另一种处理办法是使用selenium模拟浏览器滚动条操作，在Ajax加载后再获取页面数据，这种方法的参考代码如下：
from selenium import webdriver
from mon.exceptions import TimeoutException
from mon.action_chains import ActionChains
driver = webdriver.Firefox（）
driver.set_page_load_timeout（30）
def scroll（driver）：
driver.execute_script（"""
（ function （） {
var y = document.body.scrollTop；
var step = 100；
window.scroll（0， y）；
function f（） {
if （y < document.body.scrollHeight） {
y += step；
window.scroll（0， y）；
setTimeout（f， 50）；
} else {
window.scroll（0， y）；
document.title += "scroll-done"；
}
}
setTimeout（f， 1000）；
"""）
3 反爬虫机制及对策
如果爬虫爬取过“猛”，就会为微博服务器带来不小的压力。新浪微博有比较完备的反爬虫机制，用以识别和拒绝爬虫访问。虽然新浪***并没有提供具体的反爬虫机制说明，但是通过分析常用的反爬虫策略[9]，可以发现主要的爬虫识别方法有以下几种：
（1）通过识别爬虫的User-Agent信息来拒绝爬虫；
（2）通过网站流量统计系统和日志分析来识别爬虫；
（3）通过实时反爬虫防火墙过滤爬虫。
为了避免微博反爬虫机制拒绝访问，本文的微博爬虫采取了伪装User-Agent与降低请求访问频率来反爬虫对策。
3.1 伪装User-Agent
User-Agent用于描述发出HTTP请求的终端信息。浏览器及经过企业授权的知名爬虫如百度爬虫等都有固定的User-Agent信息，本文讨论的微博爬虫伪装浏览器通过微博登录来爬取特定数据。在请求头headers中，采用交替伪装User-Agent的方法来避免爬虫User-Agent的识别和访问流量统计异常。
例如以下四个User-Agent信息，分别从使用Windows Edge、Firefox、Chrome和360浏览器访问微博时的请求头中提取。
Mozilla/5.0 （Windows NT 10.0） AppleWebKit/537.36 （KHTML， like Gecko） Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586
Mozilla/5.0 （Windows NT 10.0； rv：47.0） Gecko/20100101 Firefox/47.0"
Mozilla/5.0 （Windows NT 10.0） AppleWebKit/537.36 （KHTML， like Gecko） Chrome/40.0.2214.94 Safari/537.36
Mozilla/5.0 （Windows NT 10.0） AppleWebKit/537.36 （KHTML， like Gecko） Chrome/45.0.2454.101 Safari/537.36
在Python中定义headers对象时，交替随机选择其中的一条添加到headers对象中，将爬虫的HTTP请求伪装成某个浏览器的访问。
3.2 降低请求访问频率
如果爬虫程序爬取过于频繁，则会降低微博服务器的响应效率，影响一般用户的正常使用。反爬虫防火墙往往会根据请求的访问频率来判断客户端是一般用户的人工操作还是爬虫程序的自动运行。因此适当降低爬虫程序的请求访问频率既可以避免连接超时错误的发生，还可有效应对反爬虫机制。
4 结 语
综上，本文实现的微博爬虫能够有效爬取新浪微博数据，实现简单、性能稳定，并能较好的避免反爬虫机制的检测。其具有如下主要特点：
（1）直接获取已登录用户的Cookie，避免了模拟登录的繁琐；
（2）基于lxml解析微博数据，简化了数据筛选的操作；
（3）使用selenium模拟滚动条滚动，解决了Ajax延迟加载页面的问题；
（4）使用伪装User-Agnet以及延迟访问来避免反爬虫机制的过滤。
但该设计的主要缺陷是没有使用多线程导致爬取效率不高，不适用于海量数据爬取，用户可根据需要进行适当改动。
参考文献
[1]新浪微博数据中心.2015微博用户发展报告[R].2015.
[2]曹玖新，吴江林，石伟，等.新浪微博网信息传播分析与预测[J].计算机学报，2014（4）：779-790.
[3]叶勇豪，许燕，朱一杰，等.网民对“人祸”事件的道德情绪特点――基于微博大数据研究[J].心理学报，2016，48（3）：290-304.
[4]王晰巍，邢云菲，赵丹，等.基于社会网络分析的移动环境下网络舆情信息传播研究――以新浪微博“雾霾”话题为例[J].***书情报工作，2015，59（7）：14-22.
[5]丁兆云，贾焰，周斌.微博数据挖掘研究综述[J].计算机研究与发展，2014，51（4）：691-706.
[6]微博开放平台API文档[EB/OL].http：///
[7]周中华，张惠然，谢江.基于Python的新浪微博数据爬虫[J].计算机应用，2014，34（11）：3131-3134.
网络爬虫篇7
关键词：微信平台；信息查询；网络爬虫
中***分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）01-0025-04
Abstract：In order to adapt to the needs of information acquisition under the new situation， to fully understand and take the advantage of new media and to use the WeChat public platform effectively， the educational ***istration information service management system based on the WeChat public plat was developed according to the current situation of Anhui normal university. The system based on the secondary development of WeChat platform. With the use of core technologies such as Crawling the Web， it can help users to get educational information efficiently from Anhui Normal University. And the system provides students with the campus information services more convenient and enrich the channels of external people understand Anhui Normal University as well. The analysis of experimental results also shows that the way of obtaining information on WeChat platform is more efficient and safe than the traditional way on the browser.
Key words： WeChat platform； information search； crawling the Web
近几年来，随着互联网技术的高速发展，腾讯公司推出的微信迅速发展，成为一款基于智能移动平台且能通过网络快速、实时且即时通讯软件[1]，和腾讯下流行的社交网一样拥有极大数量的用户群。在微信的基础上，腾讯公司又推出微信公众平台，增加了用户微信公众号这一功能。利用微信公众平台提供的标准接口，可以建立微信公众号，与庞大的微信用户群建立通讯的桥梁。
目前，很多学者看准微信背后的广大用户群，开发基于微信公众号的相关研究。比如基于微信公众平台的高校***书馆服务研究[2]，基于微信公众平台的个性化商品信息推荐研究[3]，利用微信公众平台更好地为广播服务[4]，将微信应用于医学教学中[5]，对微信研究文献的系统分析[6]等。但基于微信公众号获取高校信息的服务研究还相对较少。本文提出的系统不同于传统浏览网站的方式获取信息，而是通过微信公众号获取相关信息。
2015年3月5日，在十二届全国人大三次会议上，***在***府工作报告中首次提出“互联网+”行动计划[7]，随着移动互联网的快速发展，通过智能终端获取信息的方式在人们日常生活中越来越普遍。本系统设计的信息来源是安徽师范大学教务管理系统的信息，使用者通过关注微信公众号即可获取自身所需要的信息。利用微信平台这一便捷的渠道为校内外人士提供信息服务，不仅符合社会潮流发展的趋势而且大大方便了在校学生，具有实际的应用价值。
1 基于微信平台服务号管理系统的搭建
1.1 构建新浪云平台服务器
采用新浪云平台提供的免费服务器。新浪服务器具有性能稳定、易于部署、方便维护等特点。可以用微博账号登陆到http：/// 新浪云平台，也可以***注册。使用服务器会产生一定的费用，所以需要提前充值一定金额。在控制台可以创建属于自己的应用，新浪云平台服务器如***1所示。
部署服务器意义重大，服务器是该系统的核心之一，它的主要作用是接受用户通过微信公共账号提供的接口所发送的信息，根据信息的内容调用不同的功能模块响应处理。
1.2 系统数据库设计
由于本系统是通过模拟用户登录教务管理系统爬虫获取信息，所以数据库只需保存用户的教务管理系统账号和密码，即数据库中只有一张用户表。为安全起见，系统记录的是用户加密后的教务管理系统账号和密码。
系统采用MySql数据库设计而成，用户表中包含的字段名为：微信全局识别码，教务管理系统账号，教务管理系统密码，绑定时间。数据库建表语句如下：
CREATE TABLE `weixinuser` （
`weixinid` varchar（100） NOT NULL，
`userId` varchar（100） NOT NULL，
`password` varchar（100） NOT NULL，
`bindingtime` datetime default NULL，
`PRIMARY KEY （`weixinid`）
） ENGINE=InnoDB DEFAULT CHARSET=utf8；
1.3 系统设计
系y接收到用户发来请求后首先会判断用户是否已经绑定账号，如果用户未绑定账号则向用户发送帮助信息，指导用户注册并帮助用户熟悉本系统的使用方法。若是已注册用户则对用户发送到信息进行识别，首先判断消息类型，根据不同的消息类型调用函数对消息内容进行判断，然后根据调用对应的模块进行处理，返回处理结果。系统使用流程***如***2所示。
数据库中储存用户的信息，数据处理模块调用网络爬虫算法从数据库中获取用户信息，进行信息分类。服务系统结构***如如***3所示描述的是系统中各个模块之间的调用关系。用户信息模块、信息分类模块、网络爬虫模块以及数据库都需要与数据处理模块进行交互。
2 核心技术
2.1 接口技术
根据微信平台提供的标准的接口文档，在初始化微信公众账号的同时设定标签，在服务器的主界面进行判别，根据不同类型的标签，调用不同功能模块进行处理。分类处理使得系统运行效率高，信息处理更加便捷。
2.2 网络爬虫技术
网络爬虫技术的使用，使得针对于校内学生的特殊服务得以实现。网络爬虫是一种自动抓取网页并提取网页内容的程序，是搜索引擎的信息获取渠道[8]。是一种按照一定的规则，自动抓取万维网信息的程序或者脚本。本系统应用爬虫技术的模块是校内学生获取在安徽师范大学教务管理系统的个人信息模块。具体的信息如课表、成绩、今日课表、考试日程等。通过用户绑定的教务管理系统的账号信息，利用爬虫技术抓取相应的数据包。
2.3 网页信息过滤算法
利用爬虫技术获取的数据包并不能提供给用户直接使用，需要采用一定的算法将捕获的信息进行加工处理。把用户需要的信息，按照微信提供的接口标准转换成相应的数据格式反馈给用户。
网页信息过滤算法主要对获取的数据进行解析，进行二次封装，满足后续不同模块对数据的需求。***4为信息处理过程。
2.4 加密算法
整个系统的信息交互通过网络进行传输，因此信息的安全十分重要。为了解决隐私保护问题，保证学生和教师的相关信息不被泄露和窃取，服务器和微信平台间通信均采用加密方式，即微信公众号的消息加解密方式选择为安全模式。我们通过微信提供的接口格式及方法进行加密，同时根据公众号的应用账号、令牌、消息加解密密钥作为依据进行加密解密。
3 系统功能
3.1 用户注册绑定
***5中用户信息模块主要有三大功能。首先，该模块可以对通过微信客户端向服务器提交请求的用户进行身份判定；其次，该模块提供未绑定用户的注册功能；最后，该模块提供已注册的用户解除绑定功能。
用户只需关注微信公众号，即可获取信息。关注成功后微信后台会推送“感谢您关注”信息。用户注册绑定的应用可以使用户的管理更加安全、高效。校外人士查看资讯信息可以不用绑定账号，但对于校内学生获取与自身相关的个人信息，需要绑定账号。绑定成功后，会有“绑定成功！”的消息显示，与用户进行交互。
3.2 网络爬虫模块
由于安徽师范大学教务管理部门没有开放教务管理系统接口，故本系统开发了网络爬虫模块。此模块通过对安徽师范大学教务管理系统的分析，确定相应链接信息格式、及合法地址，可以在无系统接口的条件下完成数据获取。通过网络爬虫技术使学生获取个人信息成为可能。***6为网络爬虫模块流程***。
3.3 信息分类模块
信息分类用于对接微信接口，是本系统对外的接口模块。主要作用是对用户请求信息进行分类处理，调用不同的模块进行处理。
***7表示信息分类模块中不同功能调用不同的数据处理模块。如果用户查询课表，则在屏幕显示课表信息；如果用户查询考试安排，则在屏幕显示考试安排信息。
4 性能分析
由于本系统出发点是为校外人士提更加便捷的渠道了解安徽师范大学，为校内学生提供更加便利的信息服务，所以对于本系统的测试，着重于实用方面的性能测试。
4.1 PV量测试结果
***8横坐标表示时间，纵坐标表示服务器页面浏览量 PV（page view），即页面浏览量。***8为近一个月的时间内，用户访问服务器的页面浏览量。
4.2 网络爬虫技术算法实验结果
通过用户绑定的教务管理系统的账号信息，利用爬虫技术抓取相应的数据包。为了测试算法效率及稳定性，对抓取次数进行了对比实验测试。***9横坐标表示连续的抓取次数，纵坐标表示时间，分别对课表和成绩页面进行10、20、50、100次的连续抓取进行对比。由***9可知，高速执行时，算法的性能稳定。
4.3 加密算法实验结果
***10为按照回传信息的包的大小不同作出的对比试验，测试加密的效率（注：测试环境本地模拟），横坐标表示加密文本大小，纵坐标表示时间。由***10分析可知，在包的大小在一定范围，数据加密用时与包的大小呈线性相关，加密算法的效率非常高。
4.4 对比传统方式的效率结果
***11和***12为同等网络条件下通过智能终端使用传统的访问方式和微信公众号访问方式获取信息的效率进行对比实验的结果。***11和***12横坐标为网络类别，纵坐标为时间。由上***两组测试数据可以看出，在所测试的网络环境下基于微信服务号获取信息所需的时间明显小于传统方式获取信息所需的时间。即在所测试的网络环境下依托于微信平台的服务系统获取信息的效率都远胜于传统模式。
5 结束语
传统的访问学校网站的方式获取信息，网络请求速度较慢。微信服务号管理系统则为获取信息提供更加便利、更加灵活的渠道。用户可以直接通过关注微信公众号获取信息，校内学生可以通过用户绑定直接查看个人相关信息，给用户带来了极大的方便。
在“互联网+”这个大环境下，随着互联网的高速发展和智能移动设备的普及，微信用户群会越来越庞大，人们将会习惯与用微信客户端获取信息，此系统将会得到广泛的应用。紧跟着大数据时代的脚步，如何智能的挑选相关信息推送给用户将是下一步研究方向。
参考文献：
[1] 王明亮，闵新力，姬江涛，等.基于微信的移动外勤管理系统设计与实现[J].计算机应用与软件，2015，32（7）：82-85.
[2] 周秋霞.微信公众平台在陕西省高校***书馆应用现状及建议[J].***书馆学研究，2015：41-44.
[3] 冯锦海，杨连贺，刘***发，等.基于WLAN移动定位的个性化商品信息推荐平台[J].计算机工程与科学，2014，36（10）：1925-1931.
[4] 刘慧.如何让微信平台更好地为广播服务[J].视听，2015（5）：137-138.
[5] 霍彦，陈春子.微信社会影响研究综述[J].信息系统工程，2015：65-67 .
[6] 曾昌琴，钟代曲，张庆.微信在神经内科临床护理教学中的应用[J].世界中医药，2015，10：291.
网络爬虫篇8
[关键词]爬虫；中文分词；信息指纹；信息抽取
中***分类号：TP311.52 文献标识码：A 文章编号：1009-914X（2015）05-0128-01
引言
随着网络技术的推陈出新，除了网络新闻、网络论坛等传统应用外，又出现了博客（含微博）、维基、聚合新闻、等新形态的信息交互模式。范围广、交互性强、更新速度快的互联网传播从根本上改变了传播者与受传者之间的关系，是对传统新闻媒介的传播模式的解构和颠覆。互联网信息内容庞杂多样，既有大量进步、健康、有益的信息，也有不少***、迷信、黄色的内容。互联网作为一块正在加速膨胀的思想阵地，加上其虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越多的人们愿意通过这类渠道表达自己的个人想法，因此网络舆情的爆发将以“内容威胁”的形式逐渐对社会公共安全形成威胁。有关如何控制、规范互联网信息，成为技术难点。
1.舆情监控系统架构设计
1.1舆情监控系统工作流程
1、给爬虫配置爬取网站的地址、爬虫参数，如：要爬取的网站入口、轮循间隔、爬取线程、爬取深度等参数。
2、爬虫根据地址爬取数据，这时的数据缓存在爬虫服务器中，成为待处理数据。
3、中文分词
4、信息抽取
5、提取信息指纹去重
6、语意指纹提取
7、摘要生成
8、索引入库
9、聚类、趋势分析
10、提供WEB、提供客户检索服务
1.2舆情监控系统架构
信息层：分布在境内外的互联网信息。如：QQ群、动态网、新闻、博客、论坛。
采集层：爬虫通过分布式并发采集、多线程采集快速采集互联网舆情信息。
加工层：分词、信息抽取、提取信息指纹去重、语意指纹提取、摘要生成。
数据存储中心：海量信息分布式存储和并发存取。
用户层：提供模糊检索、高级检索等多种特征检索、智能检索方式、聚类和趋势分析。
2.关键技术实现
2.1爬虫策略的革新
本系统采用多种机制革新爬虫工作方法，要求舆情能在网络舆情产生之后第一时间采集下来。同时采取多种机制保证爬虫爬取数据的完整性，保证采集数据的完整性，做到不漏采集、不重复采集、避免死链采集，从而保证及时采集。
1、广度优先采集
爬虫支持任意数量和深度的抓取，采用广度优先策略。广度优先搜索策略是指在抓取过程中，在完成当前层次的搜索后，才进行下一层次的搜索。
2、快速爬取
爬虫根据网页链接爬取数据，通过精确配置爬虫抓取模板参数，只采集指定层级的网站链接，实现爬虫资源的最大优化。
爬虫在数据爬取的过程当中，可以自定义针对特定站点的爬取多少及爬取的速度进行合理调配，这样，可以最大限度地使资源最大化。
3、按照模板爬取
要求爬虫针对常见的网站论坛使用不同的爬去模板进行爬取数据，有针对性的优化爬虫效率。
为了更加合理地使爬虫爬取数据，针对各不同的站点，定义了不同级别的爬虫模板，可以根据站点的优先级，通过不同的模板设置更新频率，
4、分布式爬取
针对不同的类型的网站使用多个爬虫分别爬取数据，录入更多带宽和硬件资源，分配给更新比较快的负责爬取论坛的爬虫。
5、优先级爬取
不同类别的网站使用不同的优先级进行爬取数据。
根据不同的站点设置紧急、较急、一般等级别，可以设置不同的站点抓取站点的导数，针对易发站点可以实时做到分钟级的更新。
2.2中分分词
现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于统计的分词方法和基于理解的分词方法。
1、基于字符串匹配的分词方法
基于字符串匹配的分词方法，又叫做机械分词方法，它是按照一定的策略将待切分的汉字串与分词词厍中的词条进行匹配，若在词厍中找到相应的词条，则匹配成功。按照扫描的方向不同，基于字符串匹配的分词方法可分为正向匹配分词方法和逆向匹配分词方法；按照不同长度优先匹配的情况，又可分为最大匹配和最小匹配。
2、基于统计的分词方法
基于统计的分词方法的基本原理：从形式上看，词是稳定的字的组合，因此在上下文中，相邻的字同时出现的次数越多，就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好地反映成词的可信度。
3、基于理解的分词方法
基于理解的分词方法是通过计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。
（1）信息抽取
在互联网中，信息的数量很多，但是这些信息的数据质量相对较低，一般只能用于浏览或者搜索。我们需要把这些信息提取出来，构成结构化的信息，把他们变成高质量的信息数据。将信息按照无结构到有结构来分，大致可以分为Free text->新闻组中的发帖（如寻友信息）或者是旅游记录->手工编写的HTML->CGI生成的HTML->XML->数据库。现有的针对Web进行信息抽取的方法进行分类，则大致可以分成四类：手工编写的IE系统，需要指导的IE系统、半指导的IE系统以及全自动的IE系统。
（2）通过提取信息指纹去重
信息指纹：就是提取全体文字信息内容，定义其关键字部分做为重点信息，通常是一组词或者是一组词加上一组词出现的频率做为特征码，然后根据这组词调用特别的算法，进行二次处理，得到相关结果，并将其定义成特征信息，做为信息指纹，信息指纹的历史很悠久，但真正的广泛应用是在有了互联网以后，这几年才渐渐热门起来。
（3）语义指纹处理相似信息
系统为了实现相似信息内容检索功能，通过语义指纹来处理相似信息的所有内容，语义指纹来检测相似网页的任何一段信息文字，都可以随机抽取一个不太长的随机数，作为区别它和其它信息的特征，定义为指纹信息。只要算法设计的好，任何两段信息的指纹都很难重复，主要取决于随机抽取的随机数的设计问题，就如同人类的指纹一样。只要产生随机数的算法足够好，可以保证几乎不可能有两个字符串的指纹相同，就如同不可能有两个人的指纹相同一样。由于指纹是固定的128位整数，因此查找的计算量比字符串小得多。
（4）基于Lucene的倒排索引
本系统为了快速提高检索效率，采用基于Lucene的倒排索引技术。正常的索引结构建立的是“文档到单词”的映射关系，在使用倒排索引技术后，建立的是“单词到文档”映射关系，即关键词对应所有拥有这个关键词的文档编号列表。其实可以这样理解，倒排索引就是描述一个词项集合（Terms）元素和一个文档集合（Docs）对应关系的数据结构，通常仅记录关键词在哪些文章中出现还不够，同时还需要记录关键词在文章中出现次数和出现的位置，这样做可以方便快速获取查询记录的数目和对查询结果进行排序。
网络爬虫篇9
关键词：互联网；网络舆论；舆情
中***分类号：G203 文献标识码：A 文章编号：1671-2064（2017）07-0195-01
1 引言
当前，互联网已成为汇集舆情、畅通民意的重要平台和渠道。***府可以通过对网络舆情的搜集与分析来判定民众的意愿，从而来帮助自己更好地决策，也可以更好地应对一些社会突发危机事件；企事业单位可以通过对网络舆情的分析来有效保护和提升公司品牌形象，消减负面信息对公司的影响。
2 网络舆情监测技术重要性及必要性
网络舆论的影响是巨大的，其中大部分是正面的影响，但是如果不对网络舆情加以监控与引导，一旦被错误利用，就可能产生严重的负面影响，以致危害个人安全，甚至是危害国家安全，如近年来娱乐圈频发的抑郁症自杀事件；互联网是完全开放的虚拟的公共空间，每个网民都可以成为网络信息的者，每个网民都有选择网络信息的自由，网络舆情是网络与一般社会舆情结合的产物，网络舆情除具有社会舆情的一般特征外，还具有其它的特点：如网民在网上信息是匿名的，网民会直接表达自己的观点，反映真实的情绪；网络舆论的形成往往非常迅速；网络舆情的主题是宽泛的、自发的、随意的；网民普遍表现出强烈的参与意识，网络舆情经常是互动的；网民由于各种因素影响，网络舆论可能是感性的、情绪化的甚至是非理性的。[1]因此，如何因势利导，及时掌握社会舆情动态，积极引导社会舆论，是各级***府部门及企事业单位所面临的严肃课题与严峻挑战。
3 网络舆情监测技术应用研究
网络舆情监测的方式主要有人工方式和自动方式。人工方式主要是利用搜索引擎对网站进行人工监测，有信息量大、搜索不全面、不能实时监测的局限性，因此研究网络舆情自动监测是非常必要的。从技术角度来看，网络舆情监测系统是众多技术结合的成果，基于内容挖掘的网络舆情信息分析，涉及较多与自然语言处理相关的研究子领域。刘毅提出了内容分析法在网络舆情分析中的应用，开拓了内容分析在网络舆情监测中的先河。[2]在网络舆情监测系统处理信息过程中，一般包含网络舆情信息采集与提取、话题发现与追踪、网络舆情倾向性分析等步骤。
3.1 舆情信息采集与提取
网络舆情主要通过新闻、论坛/BBS、博客等渠道形成和传播，特别是近年的QQ群、微信以及Twitter等微博客，这些主要为动态网页，以松散的非结构化信息为主体，实现准确的舆情采集和抽取存在难度。
在信息采集中，主要采用网络爬虫和网页清洗等技术。网络爬虫是一个按照一定规则自动抓取网络信息的程序，又称网络蜘蛛。网络爬虫分为三类：通用爬虫、面向主题爬虫和面向DeepWeb爬虫。考虑到网络舆情监测一般是面向行业监测，倾向于使用面向主题爬虫。主题网络爬虫主要有两种技术：基于Web链接分析的搜索、基于Web内容分析的搜索。网页清洗就是从网页中过滤掉“噪”数据，提取出网页中有价值的信息内容。网页清洗分析方法主要分为三类：基于树结构分析方法，基于Web挖掘方法，基于正则表达式方法。
3.2 话题发现与追踪
无论是热点、敏感话题，还是需要重点关注的话题，如何从海量信息中找到这些话题？
话题发现与追踪是对网络舆情聚类分析后，利用关键词过滤、语义分析、数值统计等方式识别被关注话题，以及热点和敏感话题，并对其趋势变化进行追踪，是网络舆情监测中的核心技术。目前国内外的实现技术是基于文本聚类，即文本的关键词作为文本的特征。话题发现与追踪研究始于1996年美国DARPA提出一种能自动确定新闻信息流中话题结构的技术。目前，主题检测与跟踪研究集中于五个子任务展开，各个子任务的解决将有助于最终研究目标的实现。这五个子任务包括：对新闻报道的切分子任务、新事件的识别子任务、报道关系识别子任务、话题识别子任务、话题跟踪子任务。[3]其中话题识别和话题追踪是核心问题。
3.3 网络舆情倾向性分析
舆情倾向性分析是对带有感彩的主观性文本进行分析、处理、归纳和推理的过程。倾向性分析是自然语言处理技术中新兴的研究课题，具有很大的研究价值和应用价值，一般来说，它分为三个主要研究任务：情感信息抽取、情感信息分类、情感信息的检索与归纳。[4]
通过倾向性分析可以明确网络传播者所蕴涵的感情、态度、观点、立场、意***等主观反映。目前主要采用文本聚类和倾向性分析技术，对论坛帖子等网民评论聚类分析和倾向性分析，归纳网民观点。一方面能够主题趋势跟踪，分析新发表文章、贴子的话题是否与已有主题相同。另一方面对突发事件跨时间、跨空间综合分析，获知事件发生的全貌并预测发展趋势。同时，通过倾向性分析预警功能，对突发事件、涉及内容安全的敏感话题及时发现并报警。
4 网络舆情监测技术问题与发展
通过网络传播的信息包含了网民对当前社会各种现象以及诸多热点问题的立场和观点，话题涉及与日常生活相关的各个领域。因此，网络舆论能够最直接、快速地反映各个层面的社会舆情状况与发展态势。把握好网络舆情监测技术，及时了解并正确引导舆情发展方向，对***府和企业发挥职能和生产经营至关重要。
然而，网络舆情监测技术还存在许多亟需完善的地方，如监测源的获取、复杂舆情倾向判断、高质量舆情自动监测、如何及时关注及应对由社会突发公共事件引起的网络舆情问题、虚假信息和不良信息引发错误舆论导向问题等，这些关键问题的研究不仅需要我们充分利用已有的理论知识和先进的技术手段，还需要我们能够创新性地提出更贴切网络舆情实际的解决方案，来及时应对网络舆情带来的一系列影响。同时要继续深化对网络舆情的理论挖掘，加强数据挖掘技术的研究，在原有数据挖掘算法的基础上改进或者提出新的算法，提高网络舆情监测技术水平，在此基础上构建实时智能化的网络舆情监测以及应急处理机制。
参考文献
[1]谢海光.互联网内容及舆情深度分析模式.中国青年***治学院学报[J]，2006，（3）：95-100.
[2]刘毅.内容分析法在网络舆情信息分析中的应用.天津大学学报（社会科学版）[J]，2006（4）：308-310.
网络爬虫篇10
python爬虫即网络爬虫，网络爬虫是一种程序，主要用于搜索引擎，它将一个网站的所有内容与链接进行阅读，并建立相关的全文索引到数据库中，然后跳到另一个网站。
搜索引擎（SearchEngine）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。
（来源：文章屋网 ）