142. 用低成本的批处理 API 代理运行大规模网页抓取任务

他们做了什么

对于大规模的数据抓取，比如访问 5000 个网站并从每个网站提取某些内容，这位开发者不会使用主力编程代理，而是用一个代理 SDK 搭建一个低成本的任务。模型可以是 Muse、Deepseek 或 GPT-6-luna，通过它们的批处理 API 调用。周期性任务交给云端代理。配置文件和代理上下文都存放在一个 GitHub 仓库中，方便切换运行框架和服务商。

结果如何

来源没有提供这些大规模任务本身的结果或数据，只介绍了这套设置以及选择它的原因：成本。关于准确率或失败情况，没有任何说明。

需要知道

在更便宜的模型上使用批处理 API，可以让大规模任务保持低成本，但这条评论没有给出实际费用或完成时间。

你可以这样尝试

我在 [文件名或路径] 中有一份包含 [数量] 个网站的列表。写一个脚本，访问每个网站，把 [需要的数据字段，例如价格、联系邮箱、产品列表] 提取到一个 CSV 文件中，并以批处理任务的方式运行以降低成本。先在 10 个网站上测试，在开始全量运行之前，把结果和预估费用给我看；当 CSV 中每个网站各占一行、失败记录单独保存时，任务即告完成。