二手 V100 显卡跑大模型实测：能跑什么、怎么选、避什么坑

先说结论：2026 年二手 V100 仍是本地跑 7B–32B 模型性价比最高的选择之一，但它老了——买之前先搞清它不能干什么。

它能跑什么（实测口径）

• V100 32G（SXM2/PCIe）：7B–14B 模型 FP16 流畅；32B 模型需 4bit 量化（IQ3/IQ4），速度可用
• V100 16G：7B–8B FP16 流畅；14B 需量化；embedding、TTS、ASR 这类小模型随便跑
• 不能跑：70B 以上全精度、长上下文并发服务——别信「V100 平替 4090」的说法

买之前问卖家三句话

1. 「是 SXM2 还是 PCIe？」——SXM2 需要专用底板，普通机箱装不了
2. 「跑了几年、机房还是矿场？」——机房退役卡优于矿渣
3. 「能不能上机实拍显存测试？」——不能的一律当坏卡处理

它真正的价值

不是「跑最大的模型」，是让你有一台 24 小时不花 API 钱的 AI 机器：批量生成、跑自动化、做内容生产的后台。晋栈的内容产线就跑在这样的卡上——这站的每一篇文章，成本是电费。

详细的部署教程和模型选择清单，我们在整理成系列，会陆续放出来。

相关阅读

• ← 返回首页（全部教程）
• 办公提效提示词
• 副业避坑总纲
• 免费领提示词包教程