最专业的代练平台开发!

资讯热点
Google SEO入门指南2018年版(1):Google抓取

发布时间:2023-5-26 分类: 行业资讯

 前言

如果您通过Google搜索操作,管理或推广在线内容,或通过在线内容获利,则本指南适用于您。如果您是一家快速发展的企业,拥有十几个网站的网站管理员,网络代理的SEO专家,或者对搜索机制有浓厚兴趣的DIY SEO专家,本指南也适用于您。如果您有兴趣根据我们的最佳实践彻底了解SEO基础知识,本指南也适用于您。本指南未提供任何使您的网站自动排在Google首位的提示(抱歉!),但如果您遵循下面列出的最佳做法,则可以让搜索引擎更轻松地抓取并了解您。内容和索引吧。

搜索引擎优化(SEO)通常是指对网站各个部分的微小修改。单独地,这些更改可能是逐步改进,但与其他优化相结合,它可以对自然搜索结果中的用户体验和网站性能产生重大影响。您可能已经熟悉本指南中的许多主题,因为它们是任何网页的基本元素,但您可能无法充分利用它们。

您应该优化您的网站以满足您的需求。您的一位用户是一个搜索引擎,可以帮助其他用户发现您的内容。搜索引擎优化是帮助搜索引擎理解和呈现内容。您的网站可能比我们的示例网站更简单或更复杂,并且所呈现的内容可能会有很大差异,但我们在下面讨论的优化主题适用于所有规模和类型的网站。我们希望本指南能为您提供有关如何改进网站的一些新想法,我们希望您能在Google网站管理员帮助论坛1中积极分享您的问题,反馈和成功案例。

 相关术语

以下简短词汇表包含本指南中使用的重要术语:

索引 - Google将其知道的所有页面存储在其“索引”中。每个网页的索引条目描述了网页的内容和位置(URL)。索引是Google抓取,读取页面并将页面添加到索引的过程。例如:Google今天在我的网站上编制了几个页面。

抓取 - 查找新页面或更新页面的过程。 Google会通过以下链接,阅读站点地图或其他各种方式来发现网址。 Google抓取网络以查找新网页,然后对网页编制索引(视情况而定)。

抓取工具 - 一种自动化软件,可从网络抓取(提取)网页并对其进行索引。

Googlebot - Google抓取工具的通用名称。 Googlebot将继续抓取网页。

搜索引擎优化 - 搜索引擎优化:使您的网站更容易搜索引擎抓取和索引。它还可以指参与搜索引擎优化的人的职称。例如,我们刚刚聘请了一个新的SEO来改善我们在网络上的曝光率。

 您的网站是否已被 Google 搜索引擎收录?

您可以执行<“站点:”在Google搜索引擎中搜索您网站的首页网址。如果您可以看到结果,那么您的网站就在索引中。如“网站: wikipedia.org”。

虽然谷歌可以抓取数十亿网页的内容,但一些网站不可避免地会丢失。因此,如果您的网站不包含在内,可能是由于以下原因:

该网站与网络上的其他网站无关

您刚刚推出了一个新网站,Google没有时间抓取它

该网站的设计使Google难以有效抓取内容

Google在尝试抓取网站时遇到问题

您的政策阻止G​​oogle抓取网站

如何让我的网站显示在 Google 搜索结果中?

将网站纳入Google搜索结果是完全免费且易于使用的,即使没有向Google提交网站也是如此。 Google是一个全自动搜索引擎,它使用网络抓取工具不断抓取网页,以查找可添加到Google索引的网站。实际上,Google搜索结果中显示的大多数网站都不会手动提交以进行索引,但在抓取网页时会被Google找到并自动添加。了解Google如何发现,抓取和呈现网页。

我们提供了一个网站管理员指南,可帮助网站管理员构建易于Google处理的网站。虽然我们无法保证我们的抓取工具能够找到特定网站,但遵循这些指南会使您的网站显示在我们的搜索结果中。

Google Search Console提供了一组工具,可帮助您向Google提交内容,并监控您的网站/移动应用在Google搜索结果中的展示率。如果您愿意,当Google在抓取您的网站时发现任何严重问题时,Search Console甚至可以向您发送提醒。注册Search Console5。

首先,您需要问自己以下有关您网站的基本问题。

我的网站会显示在Google搜索结果中吗?

我是否为用户提供高质量的网站内容?

我的本地商家会出现在Google搜索结果中吗?

使用各种设备的用户可以轻松快速地找到我的网站内容吗?

我的网站安全吗?

您可以在http://g.co/webmasters6

找到其他入门信息

帮助 Google 发现您的内容

让您的网站在Google搜索结果中展示的第一步是确保Google能够找到它。最好的方法是提交站点地图。站点地图是网站上的一种文件,它告诉搜索引擎已添加新页面或者它具有更新的页面。详细了解如何构建和提交Sitemap。

Google还通过其他网页上的链接查找网页。

 让 Google 知道不应抓取哪些页面

  最佳做法

  若为非敏感信息,则可以使用 robots.txt 阻止不必要的抓取

“ robots.txt”文件告诉搜索引擎他们是否可以访问您网站的各个部分并执行抓取。此文件必须命名为“robots.txt”。并应位于网站的根目录。 robots.txt阻止的网页也可能会被抓取,因此您应该使用更安全的方法来保护敏感网页。

您可能不希望抓取您网站的某些网页,因为这些网页可能对搜索引擎搜索结果中的用户没有用。如果您希望阻止搜索引擎抓取您的网页,Google Search Console会提供方便的robots.txt生成器来帮助您创建此文件。请注意,如果您的网站使用子域,并且您希望Google不抓取特定子域上的某些网页,则必须为该子域创建单独的robots.txt文件。

  应避免的做法:

不要让Google抓取内部搜索结果页。用户不喜欢点击搜索引擎结果并登录您网站上的其他搜索结果页面。

允许抓取代理服务器创建的URL。

如果它是敏感的,请使用更安全的方法

为了防止用户访问敏感或机密信息,Robots.txt不是一种合适或有效的方法。它只告诉运行良好的爬虫不要抓取页面,但它不会阻止您的服务器将这些页面发送到请求它们的浏览器。其中一个原因是,如果Internet上的某些内容(例如引荐来源日志)碰巧有这些被阻止的URL的链接,搜索引擎仍然可以引用这些URL(仅显示URL,但不显示标题或摘要)。此外,不符合《漫游器排除标准》规定的不合规搜索引擎或流氓搜索引擎可能违反robots.txt文件中的说明。最后,用户可能很想查看robots.txt文件中的目录或子目录,并猜测您不希望看到的内容的URL。

在这些情况下,如果您只是希望页面不显示在Google上,则可以使用noindex标记,而不必担心任何用户都可以通过链接访问该页面。但是,为了真正的安全性,您应该使用适当的授权方法(例如要求用户密码访问)或从网站上完全删除网页。

« 一张约2000元的手机照片是如此极端,魅族16X怎么做呢? | 受到库克的刺激?扎克伯格要求高管只使用Android手机 »