Google Search全面启用google.com/goto重定向：爬虫不再直接暴露真实URL

搜索结果链接的静默变革

从2026年8月下旬开始，Google Search在未登录和隐私浏览模式下全面启用了新的链接重定向机制。原先直接在搜索结果HTML中暴露的目标URL，现在被替换为google.com/goto?url=...形式的重定向链接。当用户点击搜索结果时，浏览器首先访问Google的重定向服务，然后才被转发到实际页面。这一变化由爬虫服务提供商Autom首次系统性记录并公开。

新的goto链接与Google此前使用的google.com/url?q=格式有本质区别。旧格式中目标URL以URL编码形式直接出现在查询字符串中，任何解析HTML的工具都能直接读取。新格式使用了一种Google专有的自定义编码，URL参数不再是简单的base64编码，而是一个不透明的索引记录引用——没有Google的服务就无法解析出真实目标地址。

对自动化抓取的直接影响

这一变化对依赖Google搜索结果进行数据采集的行业产生了直接冲击。SEO工具、竞争情报平台、学术研究爬虫以及AI数据收集管道，此前可以通过解析搜索结果页面HTML批量提取目标URL，无需额外请求。在新机制下，每个结果的URL解析都需要向Google的重定向服务发起一次HEAD请求来读取Location头，这不仅大幅降低了采集效率，还让Google能够精确追踪每个客户端的解析行为。

Autom团队在博文中指出，这一变化是Google针对自动化SERP抓取的系统性防御升级的一部分。此前Google已经移除了num=100参数（允许单次请求获取100条结果），并加强了BotGuard和SearchGuard等反爬机制。goto重定向是这一系列的最新一步，它使得大规模SERP数据 harvesting 的成本显著上升。

AI爬虫时代的防御逻辑

Google此举的深层动机与AI训练数据收集密切相关。大量AI公司和数据经纪人使用自动化工具从Google搜索结果中批量提取URL，然后直接抓取目标页面内容用于模型训练。通过将URL隐藏在重定向后面，Google不仅增加了数据采集的技术难度，还获得了一个明确的信号：任何客户端在短时间内解析数百个goto链接，几乎必然是自动化工具而非人类用户。

值得注意的是，这一变化目前主要影响未登录和隐私浏览模式的用户。已登录Google账户的用户仍然可以看到直接的目标URL，这表明Google可能正在进行A/B测试或逐步推广。Autom团队表示他们已更新了自己的Google Search管道来处理goto链接，但承认这增加了基础设施的复杂性和运营成本。

行业应对与未来走向

SEO和数据分析行业对这一变化的反应不一。一些工具提供商认为这只是暂时的不便，一旦找到可靠的URL解析方法就能恢复正常运营。另一些人则担心这是Google逐步封锁搜索结果数据的长期战略的第一步——如果Google未来要求所有URL解析都必须通过认证API进行，整个第三方SEO工具生态将面临根本性的商业模式挑战。目前，这一变化的最终影响范围仍在观察中。