在 Distilled 的博客上，我在“我添加到 SEO 工具箱的最新 5 个工具”中找到了对DeepCrawl程序的评论，并联系了该抓取程序的所有者。 他们实际上还没有进入美国市场，如果你没有企业组织的预算（将成本从英镑换算成美元），他们的抓取服务的价格可能会令人望而生畏。但是，他们向我展示了他们的产品，并从那时起为我提供了一个测试帐户，让我可以探索将大型抓取服务的计算工作外包给云端会是什么样子。
他们的价格会有所下降
（我相信已经有所下降了）。 在演示 顶级电子邮件列表 过程中，我很快注意到，无法观看抓取过程并发现您可能想要从抓取中排除的参数和 URL。该处理在云端进行，因此不可用。有多种方法可以限制初始抓取以用作发现，并且事先花一些时间浏览网站可能也是个好主意。在启动会议或后续会议期间询问客户或客户的开发人员可能也不错。
DeepCrawl 有大量报告
可供使用，您可以轻松与任何开发人员 肯定和恐惧等情绪可以提高点击率和转化 共享这些报告，无论是内部开发人员还是客户开发人员。这些报告可通过在线界面轻松访问，在探索其提供的不同功能后，该界面非常直观，易于学习和理解。 与 Screaming Frog 非常相似，它提供了多种不同的方法来排除特定的 URL 被抓取，这可以让你确保只检查你想要索引的 URL。
我无法从 Screaming Frog 创建
我喜欢的内容库，也无法像使用 Xenu 或 Screaming Frog 的抓取功能那样进行观看，但 DeepCrawl 可以快速抓取非常大的网站，并且共享 回声资料库 针对特定问题的报告工具的能力可以简化解决这些问题的过程。 我非常喜欢 DeepCrawl 的一个方面是能够运行第二次抓取并快速将其与之前的抓取进行比较，以找出两次抓取之间的变化。
当您执行后续审核以确
保您建议的更改已实施时，这非常有用。 正如 Distilled 评论所述，DeepCrawl 是一款企业工具。但考虑到许多网站的规模庞大，类似这样的工具可能很快就会成为每个 SEO 工具包的必备组成部分。 结论 Xenu 是我用来认真抓取网站的第一个工具，最初是作为断链检查器创建的，但它在对数百个网站的审核中证明了它的实用性。