新模型日：两个都测了

Anthropic 昨天发布了 Opus 5.5。几个小时后，OpenAI 发布了 GPT-6 Sol 和 GPT-6 Luna。好一个“新模型日”！两家前沿实验室，一个下午。我们有一套固定的高难度 CAD 任务，每次有新模型发布都会让它在 partforge 上跑一遍，于是昨晚我们启动了一轮测试。以下是结果。

简短版：Opus 5.5 比上一代 Opus 快得多、也便宜得多；GPT-6 Sol 花同样的钱能给你更多；Opus 5.5 是目前最接近击败我们默认模型的选手；而我们依然把 Gemini 3.8 Flash 作为默认。

我们到底测什么

这次评测包含 26 个高难度建模任务。比如带沉孔的轴承座，或者只给一张照片、其余全靠描述的零件。每个模型对每个任务尝试三次，每次尝试都从三个角度检查：几何尺寸是否测量正确，模型为达成结果所走的路径是否合理，以及在两个独立评审模型看来是否像样。之后由人工（也就是我）逐条过一遍结果，看渲染图，并在全部 26 个任务上对模型两两排名。

任务集故意做得小。简单任务几个月前就已经给不出任何有用信息了，所有前沿模型每次都能通过。

完整的运行记录、每一次尝试和每一张渲染图，都可以在 partforge.ai/evals 查看。

Opus 5.5 进步巨大

这是本次最值得说的。在相同任务上，与两周前的 Opus 5 相比：

• 每个任务便宜约 40%。
• 耗时约为三分之一。Opus 5 平均每个任务消耗四分半钟的模型时间，Opus 5.5 平均一分半钟。

Anthropic 还把标价下调了约 20%，所以这里面一部分是价格因素，剩下的则是 Opus 5.5 确实少走了很多弯路就得到答案。

它还拿下了本轮的最高总分，以微弱优势领先 Gemini。这不是我们在这些任务上测到过的最好成绩（两周前 Fable 5.1 得分更高，但没有参加本轮），但它是我们考虑设为默认的模型中表现最强的一个。

我们较难的评测之一，是让模型根据一张复杂的照片生成电机辐条组件，而照片里只有半个电机入镜。在我们测过的所有模型中，Opus 5.5 最接近真实几何。

GPT-6 Sol 的性价比悄悄变高了

Sol 是更有意思的那个，因为表面上看几乎什么都没变。 OpenAI 把输入价格降了约 20%，输出价格降了三分之一。但 GPT-6 Sol 在每个任务上的工作量也比 GPT-5.6 Sol 更多。它读的东西多了大约一半，多走一两步，在觉得难的任务上想得更久一点。 这两件事几乎正好抵消。一个困难任务在旧版 Sol 上花了我们 25.7 美分，新版是 25.2 美分。就算持平吧。 同样的价钱，你拿到的是一个稍微更好的零件。分数略有上升，而一次就构建成功并正常运行的尝试比例稳定在 92%。所以诚实的总结不是「更便宜」，而是「同样的钱买到更多模型」，而这通常本来就是更划算的交易。 有一点背景值得说：同样这两周里，完全没变过的 Gemini 在这些完全相同的任务上贵了 16%，因为我们的测试集和 prompt 在它周围变动。在那个窗口期能保持持平，比听起来要好。

那我们为什么还在用 Gemini？

成本。 我们在意的数字不是每个任务的价格，而是每个真正做对的任务的价格。Gemini 3.8 Flash 每个解决的任务大约 $0.34\text{。}GPT-6Sol\text{大}\text{约}$0.48。Opus 5.5 大约 $0.72，是 Gemini 的两倍多一点。当你反复迭代一个零件时，你不会只跑一次 prompt，你会跑十五次，这个差距会迅速累积。 它仍然是最可靠的。 Opus 5.5 在我们的总分上胜出，但 Gemini 赢的是日常最重要的两项指标：一个零件通过所有检查、没有任何问题的比例（64% 对 58%），以及它到底能不能构建并运行。在我自己那轮排序里，两者只差一点点，Gemini 略微领先。Opus 5.5 已经接近到下个月就可能翻盘。但还没翻。 而且它感觉更快，即使实际上并不是。 这一点让我们意外。Opus 5.5 完成一个任务的总时间比 Gemini 更短。用起来却仍然感觉更慢。 Gemini 分成很多小步，每个任务大约八步，平均每步 17 秒。Opus 大约四步，每步平均 23 秒，最慢的步骤会超过两分钟。更糟的是，Anthropic 的模型在这些时段里经常不给我们任何可见的思考过程，所以没什么能展示给你。你盯着一个静止的屏幕看两分钟，然后零件一下子全变了。我们可以用一个转圈的星号来改善这一点，但我们认为展示真实的思考过程和正在发生什么的线索，对用户体验是实实在在的好处。 用 Gemini 时，屏幕上每十五到二十秒就有东西在动。你能看到它在干活，也能早点发现它误解了你并把它停下。一个纸面上更快、但干活时一声不吭的模型，感觉并不快，还伤体验。

自己动手试试

这些都不必由我们说了算。partforge 里的每个模型都可以选，包括 Opus 5.5 和两个新的 GPT-6 模型。在设置里打开高级模型，点开对话框旁边的模型选择器切换即可。 如果你带上自己的 Anthropic、OpenAI 或 OpenRouter API key，这些调用走你的 key、记在你的账单上，我们完全不计量。 下次有人发布新东西时，我们会再跑一遍。按现在的节奏，说不定已经发布了。 关于上面这些数字，有一点需要如实说明：我们对比的两次运行相隔两周，期间我们自己的测试框架也改过。Gemini 完全没变，第二次运行却贵了 16%、也更慢。所以前后两组数字只能看作大致趋势，不是精确测量。新一次运行内部的横向对比数字则是直接可比的。

当前精选

查看全部 →]:min-w-0 [&>]:shrink-0 [&>]:snap-start [&>]:basis-[calc((100%-0.75rem)/2)] sm:[&>]:basis-[calc((100%-1.5rem)/3)] lg:[&>]:basis-[calc((100%-2.25rem)/4)]">### Layered Labelby Scott### Beer Tap Handleby jake### Minimal Modular Storage Containerby eugene### Steampunk Spiderby Scott### E-Stop Enclosureby Scott### Hexagonal Chain Mailby Scott### Printable Nut & Bolt with configurable knobby Scott### Propellerby Scott