通常,当用户请求的网页不存在时,服务器会返回 404(未找到)错误。此 HTTP 响应代码明确告知浏览器和搜索引擎:该网页不存在。因此,搜索引擎不会抓取该网页的内容(如果有),也不会将其编入索引。
除了针对不存在的网页的请求返回 404 代码以外,服务器还会显示 404 网页。该网页既可以是标准的"未找到文件"讯息,也可以是旨在向用户提供其他信息的自定义网页。该网页的内容与服务器返回的 HTTP 响应完全无关。不能仅仅因为网页显示"404 未找到文件"的讯息,就认定它是 404 网页。这就好比一头长颈鹿挂了一块写着"狗"的名牌。虽然写的是狗,但不代表它真的就是狗。同样,网页显示 404 也并不代表它返回了 404。您可以使用 Googlebot 抓取方式(或网络上提供的其他工具),验证该网址是否真的返回了正确的代码。
如果针对不存在的网页返回 404 或 410 以外的代码(或将用户重定向至首页等其他网页,而不是返回 404),则可能会出现问题。首先,这样就等于告诉搜索引擎通过该网址可以找到实际的网页。结果,搜索引擎可能会抓取该网址,并将其内容编入索引。因为 Googlebot 要使用很多的时间处理不存在的网页,可能无法迅速找到您的网址或频繁访问这些网址,也无法频繁地访问这些网址,从而影响对您网站内容的抓取量(另外,您一定也不希望自己的网站经常出现在 [未找到文件] 的搜索查询中)。
对于不存在的网页的请求,我们建议您始终返回 404(未找到)或 410(已删除)响应代码。您可以将自己的网站配置为在返回 404 响应代码时显示自定义 404 网页,从而改善用户体验。例如,您可以创建网页(其中包含您最热门网页的列表)、指向您首页的链接或用于提供反馈的链接。您还可以使用网站站长工具自定义 404 窗口小部件,为自己的网站添加搜索框以及更多网站搜索选项。但请务必注意,仅创建显示 404 讯息的网页是不够的,您还需要返回正确的 404 或 410 HTTP 响应代码。