继续上文...

如何使一个单页网站抓取

使用我们的单页网站抓取的第一个关键是要认识到我们的服务器可以告诉，是否一个请求是由一个履带式或由一个人使用网络浏览器，并作出相应的反应。当我们的浏览者是一个人使用的Web浏览器，应对正常，一个履带式，返回一个页面优化，正是我们想要显示的履带，履带可以轻松地读取的格式。

我们网站的主页，履带优化的网页会是样子？这也可能是我们的标志或其他初级形象，我们希望出现在搜索结果中，一些SEO优化文字说明是什么样的网站，还是只有那些我们希望谷歌索引的网页的HTML链接的列表。页面没有任何CSS样式应用到它的复杂的HTML结构。它也没有任何JavaScript，或链接的网站，我们不希望谷歌索引（像法律声明页面或其他页面，我们不希望人们通过谷歌搜索进入）领域。下面的图像显示了一个页面可能被提交给浏览器（左）和（右）履带式。

自定义抓取的内容

通常情况下，单页的网站链接到不同的内容，使用一个哈希爆炸（＃！）。

举例来说，如果在我们的单页的网站链接到用户页面看起来像/?index.htm的＃！=用户ID，123履带式会看到＃！知道看一个网页的URI?/?index.htm的？_escaped_fragment_?=页=用户ID，123。了解crawler将遵循的模式，并期待这个URI，我们就可以设定服务器响应该请求的页面，通常会被呈现在浏览器中的JavaScript的HTML快照。

该快照将被谷歌索引，但任何人在谷歌搜索结果中点击我们的上市公司将采取=用户ID，123?/?index.htm的＃！页。单页网站的JavaScript会从那里接管，并如预期般呈现在页面。

这提供了机会来调整他们的网站上，谷歌专门为用户的单页网站开发。代替写清晰和有吸引力的的文字来吸引别人，而是由履带式理解，而且每个页面可以优化，不用担心其他的。履带式的路径可以控制的，通过我们的网站，使我们能够直接从谷歌搜索结果中的人，以一组特定的入口页面。这将需要更多的工程师开发的部分工作，但它可以在搜索结果的位置和留住客户方面有大买单销。

检测谷歌的网络爬虫

在写这篇文章的时候，Googlebot的宣布自己作为一个履带式服务器发出请求的用户代理字符串Googlebot/2.1（+?http://www.googlebot.com/bot.html）?。在中间件的Node.js应用程序可以检查此用户代理字符串，并发送回履带式优化首页，如果用户代理字符串匹配。否则，我们就可以正常处理请求。

这一装置，看起来这将是复杂的测试，因为我们没有自己的Googlebot。然而，谷歌提供的服务，做到这一点的公开可用的生产网站，其网站管理员工具的一部分，而是一个更简单的方法来测试是欺骗我们的用户代理字符串。这需要一些命令行两轮牛车，但Chrome开发人员工具使得这个容易，只要点击一个按钮，检查框：

打开Chrome开发人员工具，通过点击按钮，谷歌工具栏右侧的三条水平线，然后从菜单中选择工具，点击开发工具。

在屏幕的右下角是一个齿轮图标：点击，并看到一些高级开发人员选项，如禁用缓存和打开记录的XMLHttpRequest。

在第二个标签，标记覆盖，点击旁边的复选框，用户代理标签并从下拉从Chrome，火狐，IE浏览器，宠物，家畜，多选择任意数量的用户代理。Googlebot的代理是不是默认选项。为了使用它，选择其他复制并粘贴到输入的用户代理字符串。

现在，该选项卡本身是欺骗作为Googlebot的，当我们打开任何URI在我们的网站上，我们应该看到履带式页面。

结论

显然，不同的应用也会有不同的需求，至于做什么用的网络爬虫，但总是一个页面返回给Googlebot的可能是不够的。我们还需要决定哪些页面，我们要揭露和提供的方式为我们的应用程序映射_escaped_fragment_?=?key?=?value的?URI的内容，我们想向他们展示。

你可能想获得花式配合服务器响应的前端框架，但我通常采取简单的方法，在这里和创建自定义页面的履带式，并把它们在一个单独的路由器抓取文件。

也有很多有合法爬虫，所以一旦我们已经调整了我们对谷歌爬虫服务器，我们可以扩展到包括他们。

以上是全部内容。