60. 通宵找出并修复 CI 流水线中不稳定的测试
他们做了什么
作者给了 Claude 读取 CI 产物的权限,让它搭建工具来追踪过去 30 天滚动的通过/失败率。它挑出最不稳定的测试,推测问题出在测试本身还是生产代码,并缩小到最小复现样例。在无法确定性复现的情况下,它会猜测一个修复方案,然后通宵反复运行测试,从统计上判断修复是否有效。作者白天负责评审 PR。
结果如何
几周下来,流水线缩短了 20 分钟,通过率提升了 35%(主分支原本只有约 40%)。Claude 提出的一些方案很糟糕,只好丢掉。
需要知道
要做好亲自评审每个 PR 的准备;作者丢弃过一些糟糕的修复,所以通宵运行的结果需要人白天检查。
你可以这样尝试
查看 [仓库名称] 最近 [数量] 次 CI 运行,按不稳定的频率给测试排序。针对最严重的 [数量] 个,在本地复现失败、找出原因,并在单独的分支上提出修复方案。每个修复运行 [数量] 次以确认稳定,丢弃任何站不住的修复,并总结哪些方案有效。没有给我看 diff 之前,不要合并任何内容。
评论
0分享你对这一章的想法