• <optgroup id="0u6a0"><code id="0u6a0"></code></optgroup>
    <menu id="0u6a0"></menu>
  • <menu id="0u6a0"></menu> <menu id="0u6a0"></menu>
  • <menu id="0u6a0"><tt id="0u6a0"></tt></menu>
    400-800-9385
    网站建设资讯详细

    详谈方维站长工具如何解决抓取谷歌结果返回403错误问题

    发表日期:2012-10-24 00:00:00   作者来源:方维网络   浏览:3018   标签:方维站长工具    谷歌    
        方维站长工具能查询网站各大搜索引擎收录数量和百度权重、百度相关域、百度快照、百度近日收录、网站历史查询、关键词排名查询等。但是在抓取谷歌网页结果的时候,返回403错误问题,同样的地址,用浏览器打开时显示正常的搜索结果页面,但用程序抓取就出现403错误页面,里面讲的是判断访问对象是机器,可见谷歌对程序或软件抓取结果已经做了相关的措施,因为谷歌+1算法已经生效,防止机器抓取可以防止机器点击。所以,方维站长工具一直因为这个原因无法抓取谷歌收录、谷歌排名数据。

        一直以来,我都在网上寻找问题的答案,因为我看有些站长工具能够抓取,所以问题一定有解决的方法,我开始怀疑是路径不对,不过我发觉也只有这个路径,于是我把目标指向了抓取网页的程序,采用其他方法,没想到,让我惊奇的结果出来了。用Microsoft.XMLHTTP对象获取就可以抓取到正常结果,我以前是用MSXML2.SERVERXMLHTTP.3.0对象来抓取的。代码如下。

    Function getHTTPPage(url,charcode)
        dim objXML
        'set objXML=createobject("MSXML2.SERVERXMLHTTP.3.0")  '调用XMLHTTP组件,测试空间是否支持XMLHTTP
        set objXML=createobject("Microsoft.XMLHTTP")
     objXML.open "GET",url,false 'false表示以同步的方式获取网页代码,了解什么是同步?什么是异步?
        objXML.send() '发送
        getHTTPPage=bBytesToBstr(objXML.responseBody,charcode)'返回信息,同时用函数定义编码
        set objXML=nothing'关闭
    End Function


    Function bBytesToBstr(body,charcode)
        dim objstream
        set objstream = CreateObject("adodb.stream") '//调用adodb.stream组件
        objstream.Type = 1
        objstream.Mode =3
        objstream.Open
        objstream.Write body
        objstream.Position = 0
        objstream.Type = 2
        objstream.Charset = charcode '转换原来默认的UTF-8编码转换成GB2312编码,否则直接用XMLHTTP调用有中文字符的网页得到的将是乱码
        bBytesToBstr = objstream.ReadText
        objstream.Close
        set objstream = nothing
    end Function

    通过使用这个抓取函数,谷歌的收录数据、排名数据都可以正常获取了,从而解决了这个BUG。

    方维站长工具正在一步步完善,而且源代码全部开源,只希望保留版权信息。

    如没特殊注明,文章均为方维网络原创,转载请注明来自http://www.resultinfos.com/news/1717.html
    123幸运飞艇官网