首页 > 其他分享 >404(未找到网页)错误

404(未找到网页)错误

时间:2023-08-09 18:33:58浏览次数:35  
标签:网页 错误 网站 抓取 网址 404 未找到

一般来说,404 错误不会影响您网站的搜索排名,如果您确信这些网址并非来源于自己的网站,可放心地忽略它们。请务必确保这些和其他无效网址返回正确的 404 HTTP 响应代码,且不会被网站的 robots.txt 文件屏蔽。

您应通过以下方法处理 404 错误:

判断错误是否值得修正。

很多(可能大多数)404 错误都不值得修正,因为 404 错误不会对网站的索引编制状态或排名产生不良影响。

1、如果是已提交的网址(出错),则值得修正。

2、如果是无任何替换网页/对等网页的已删除网页,返回 404 是正确的做法。1 个月左右过后,该报告应该就会停止显示此类 404错误了。

3、如果是您网站上未曾存在过的错误网址,那么您大可不必担心。虽然此类问题显示在报告中可能会给您带来困扰,但只要相应网址不属于经常拼错的链接,则无需更正。1 个月左右过后,该报告应该就会停止显示此类 404 错误了。

4、如果网址包含经常拼错或有另一种拼写方式的字词,那么请使用重定向或其他机制将存在此类情况的网页映射到您网站上的对等网页。

如果网址已提交以供编入索引(状态为错误

     请点击网址旁边的“提交”图标  以检查该网址是从何处提交的,并查看发现部分中的信息。然后酌情更新站点地图。

  1. 如果相应内容已移到新位置,请添加重定向。
  2. 如果您已永久删除相应内容,并且不打算将其替换为更新的相关内容,请让旧网址返回 404 或 410。目前,Google 对 410(已删除)的处理方式与 404(未找到)相同。如果针对不存在的网页返回 404 或 410 以外的代码(或者将用户重定向至另一网页[如首页],而不是返回 404 代码),则可能有问题。此类网页称为软 404 网页,可能会给用户和搜索引擎造成混淆。
  3. 如果网址是未知网址:您可能偶尔会看到您网站上未曾存在过的网址返回 404 错误。如果有人尝试在您的网站上查看某个不存在的网址(可能是因为他/她在浏览器中输错了网址,或者点击了拼写有误的链接网址),就可能会发生此类错误。如果这是一个很常见的错误,您可为其创建重定向。
    导致生成意外网址的另一个原因可能是:Googlebot 尝试跟踪在 JavaScript、Flash 文件或其他嵌入式内容中发现的链接,或者尝试跟踪可能仅存在于站点地图中的链接。例如,您的网站可能会使用如下代码在 Google Analytics(分析)中跟踪下载的文件:
<a href="helloworld.pdf"
  onClick="_gaq.push(['_trackPageview','/download-helloworld']);">
  Hello World PDF</a>

当 Googlebot 看到此代码时,它可能会尝试抓取网址 http://www.example.com/download-helloworld,尽管这并不是一个真实网页。在这种情况下,该链接可能会在“抓取错误”报告中显示为 404(未找到)错误。Google 正在努力杜绝此类抓取错误。此错误不会影响网站的抓取或排名。

  1. 请不要创建虚假内容、重定向到您网站的首页或使用 robots.txt 屏蔽 404 网址,否则我们会更加难以识别您网站的结构和正确处理您的网站。我们将此类错误称为软 404 错误。(一旦 Google 成功抓取了某个网址,就可能会一直尝试抓取该网址。创建 300 重定向会延迟尝试重新抓取,而且可能会延迟很长一段时间)。使用网址移除工具提交网址移除请求不会从该报告中移除此错误。

标签:网页,错误,网站,抓取,网址,404,未找到
From: https://blog.51cto.com/u_16211399/7023809

相关文章

  • Python 爬虫实战:驾驭数据洪流,揭秘网页深处
    前言随着互联网的发展,数据变得越来越重要,爬虫技术也越来越受到人们的关注。爬虫技术可以帮助我们自动化地抓取网络数据,从而提高数据的利用价值。但是,在爬虫过程中,很容易被目标网站识别出来,甚至被封禁。所以,使用代理IP是非常重要的一步。本篇文章将介绍如何使用Python编写爬虫,并使......
  • 网页版jupyter智能提示解决方案
    1、在网页版的jupyter中new→右键→Teminal 2、打开jupyter网页版的命令框输入以下命令:1.进行Nb插件的安装pipinstalljupyter_contrib_nbextensions2.进行相关联文件的安装jupytercontribnbextensioninstall--user3.安装完成后重启jupyter ......
  • 网页 请求头 错误码
    //在http1.0 中  401  未授权//返回'找不到文件'  header('HTTP/1.0 404 Not Found');header('location:index.php');200 请求被成功接收301 重定向:永久跳转,完成请求还需要进一步操作302 重定向:临时跳转完成请求还需要进一步操作304 没有修改过:请求的内容没有......
  • ssm项目没添加lib目录的依赖导致页面404且没有任何报错
    问题:创建了一个ssm框架的模板,然后写了一个测试页面,页面404显示不出来且无任何报错。因为是个测试页面,只到controller层,检查半天web.xml和spring-controller.xml这两个配置文件都没啥问题,里面的视图解析器也没问题。关键这还不报错,然后在controller的方法中写一个后台输出,也没有输......
  • 网页实现文件夹的上传和下载
    ​ 这里只写后端的代码,基本的思想就是,前端将文件分片,然后每次访问上传接口的时候,向后端传入参数:当前为第几块文件,和分片总数下面直接贴代码吧,一些难懂的我大部分都加上注释了:上传文件实体类:看得出来,实体类中已经有很多我们需要的功能了,还有实用的属性。如MD5秒传的信息。pub......
  • vue3项目部署到服务器刷新页面就404
    本地项目调的好好的,刷新也没有毛病,扔到服务器上,第一次打开是正常的,再刷新下就404了,不知道什么原因。百度了下才发现问题所在 constrouter=createRouter({history:createWebHistory(import.meta.env.BASE_URL),routes:[{path:'/',......
  • Nginx添加header防止网页被iframe
        页面给很多可恶的人调用己经不是什么怪事了,我们网站经常被人直接利用iframe调用了,后来找了一些方法防止页面给调用了。     下面主要说说几种防止被CrossFrame的方法: 可以使用php或nginx等添加X-Frame-Optionsheader来控制frame权限X-Frame-Options有三个可选......
  • 如果通过POWER BI爬取网页信息
    问题描述:同事想收集电商网站上面的竞品信息,再通过使用POWERBI作为分析工具,进行相关的分析。今天过来找我询问,是否有合适的工具可以方便抓取到页面上面的竞品信息? 解决方案:通过POWERBIDesktop自带功能实现抓取网页上面的信息。优势就是出成果快。 再给同事......
  • HtmlAgilityPack 网页数据抓取基础应用
    1vardoc=newHtmlAgilityPack.HtmlDocument();2stringhtml="";3doc.LoadHtml(html);4Func<HtmlAgilityPack.HtmlNodeCollection,string,Dictionary<string,string>,bool,List<Htm......
  • 小程序中web-view网页中打开或返回小程序页面
    小程序中web-view网页中使用JSSDK提供的接口打开或返回小程序页面1、引入JSSDK文件2、判断是否在小程序环境let_this=this;wx.miniProgram.getEnv(function(res){if(res.miniprogram){_this.miniprogram=true;}})3、根据是否小程序环境,执行操作if(th......