亚马逊云平台修复百万美元级账单错误,公有云计量系统的信任成本被再度放大
亚马逊云服务承认,一个位于资源标签服务底层的计费管道缺陷导致部分企业客户的月度账单被错误放大了约三千倍,个别客户看到的账单金额达到数十亿美元。这一事件将公有云计量系统的复杂性和不可见性重新推到了台前。
问题最早在周二凌晨被一家欧洲金融客户的成本管理团队发现。这家客户当月的实际使用量约为四十二万美元,账单中枢却显示应付金额高达十二亿美元。类似的异常账单在接下来的十二小时内被十七家企业客户陆续报出,主要集中在启用了资源标签自动化管理的账户。
亚马逊云平台工程副总裁彼得的说明中给出了故障链路。资源标签服务在近期上线的一次配置变更中引入了循环引用,导致同一资源的使用量在计量管道中被重复累加。累加次数取决于账户中启用的标签数量,标签越多倍数越高,最高有客户的倍数被放大了将近四千倍。
亚马逊在发现问题后约六小时内回滚了变更,并对所有账单被错误放大的账户进行了单独审计。公司承诺所有受影响客户在下一个账单周期前会看到修正后的金额,同时亚马逊会自行承担相关的处理成本。整个事件对亚马逊的营收披露没有实质影响,因为错误账单在生成后并未进入实际扣款流程。
问题真正引发关注的不是账单金额本身,而是公有云计量系统的复杂度。以亚马逊云平台为例,仅计费相关的微服务就超过一千二百个,每天处理的计费事件在千亿量级。这种规模下任何配置层面的小变更都有可能引发跨服务的级联问题。
企业客户的应对方式在这次事件中也暴露出成熟度不一的问题。头部客户普遍已经部署了独立的第三方成本监控工具,可以在几分钟内识别异常账单;而中小客户往往完全依赖亚马逊自己的账单中枢,从错误账单产生到客户察觉平均需要六到八小时。
竞争对手在事件发生后迅速做出反应。谷歌云和微软 Azure 的销售团队被内部通知可以在与亚马逊现有客户的商务谈判中引用这次事件作为切换理由。这种战术层面的推销未必能带来实际客户搬迁,但会在长期合同续约的价格谈判中给亚马逊制造额外压力。
从技术教训的角度看,这次事件再次证明了配置变更管理的重要性。资源标签服务的变更本身通过了单元测试和灰度发布,问题出在灰度发布覆盖的账户没有包含大量启用自动化标签的企业客户。灰度样本的代表性问题将是亚马逊内部下一轮流程改造的重点。
亚马逊已经承诺在本月底前发布一份完整的事故复盘报告,详细说明变更审批流程和灰度发布策略的调整方案。这份报告的透明度将直接影响其他公有云客户对亚马逊治理能力的评估。