总结搜索引擎蜘蛛抓取不到页面的原因及改善办法
发布时间：2022-03-25 10:51:28 所属栏目：优化 来源：互联网
导读：在诊断进程中，我们会遇到这样的问题。有些网页内容很好，用户可以正常拜访。然而，搜索引擎蜘蛛只是不能正常拜访和抓取它们，导致搜索成果笼罩率不足，这是百度等搜索引擎和网站的丧失。百度称之为掠夺例外。对于很多内容不能正常抓取的网站，100搜索引擎
|
在诊断进程中，我们会遇到这样的问题。有些网页内容很好，用户可以正常拜访。然而，搜索引擎蜘蛛只是不能正常拜访和抓取它们，导致搜索成果笼罩率不足，这是百度等搜索引擎和网站的丧失。百度称之为“掠夺例外”。对于很多内容不能正常抓取的网站，100搜索引擎会以为网站存在用户体验的缺陷，降低网站的评价，在抓取、索引、排序等方面会受到必定水平的影响，从而终影响网站从搜索引擎获取流量。 下面总结一些常见的搜索引擎蜘蛛抓取不到的原因，供大家参考。 有两种服务器衔接异常：一是网站不稳固，百度蜘蛛在尝试衔接到你的网站服务器时暂时无法衔接；二是百度蜘蛛已经无法衔接到你的网站服务器。 服务器衔接异常的原因通常是您的网站服务器太大和过载。您网站上的程序也可能无法正常工作。此方式可以检讨空间的服务器（如Apache、IIS）是否已安装或正常运行，或者空间的防火墙是否阻拦蜘蛛爬网。 有两种网络运营商：电信、联通和移动。百度蜘蛛无法通过运营商的网络拜访你的网站，所以你须要接洽运营商，或者购置更好的服务空间或CDN服务。 当百度蜘蛛无法解析你的网站IP时，就会呈现DNS异常。可能是你的网站IP地址不对，或者百度蜘蛛被域名服务商制止。您可以使用whois或host来检讨您网站的IP地址是否准确和可解析。如果没有，请与域名服务提供商接洽。例如，pro犁SEO的域名提供商是Wannet，并更新IP地址。 IP屏蔽的性能包含：限制网络的导出IP地址，制止该IP段的用户拜访内容，特殊是屏蔽百度蜘蛛的IP地址。当你的网站不想百度蜘蛛拜访，你可以设置它。如果您希望百度蜘蛛拜访，请检讨相干设置，或接洽空间服务提供商更改设置。当然，百度蜘蛛一般都会抢到它。 简而言之，死链接指的是正常但后来失败的链接。当死链接发送恳求时，服务器返回404过错页。死链包含协定死链和内容死链。协定死链：由页面的TCP协定状况/ HTTP协定状况明确指示的死链，如404, 403, 503状况等内容死链：服务器返回的状况是正常的，但内容已被更改为不存在的信息页，已被删除，或须要权限，与原文内容无关。 对于死链，建议网站使用协定死链，通过百度站长平台死链工具提交给百度，这样百度可以更快地找到死链，减少死链对用户和搜索引擎的影响。 将网络恳求重定向到另一个地位是一个跳转，它指的是以下情形： （1） 当前页是无效页（包含要删除的内容、死链等），直接跳转到上一个目录或主页。百度的建议是删除无效页面的入口超链接。 （2）长期以来跳转到其他域名，如更改网站域名，百度建议使用301重定向跳转协定进行设置。 （3） 对于百度引荐人的例外情形：该网页不用于百度引荐人的正常行动； （4） 对于Baidu-UA的例外：返回Baidu-UA页面的行动与页面的原始内容不同； （5） JS跳转异常：网页加载百度无法辨认和发送的JS跳转代码，用户通过搜索成果进入网页后跳转。 （6） 偶尔因压力过大而被禁：百度会依据网站规模、拜访量等信息主动设置合理的抓取压力。但在压力节制异常等异常情形下，服务器会依据自身负载进行维护意外闭锁。在这种情形下，请在返回码中返回503（503serviceunavailable，等同于404serviceunavailable），百度蜘蛛会在一段时光内再次尝试抓取链接。如果网站处于空闲状况，将胜利对其进行爬网。 （编辑：南平站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
