把两块GPU插在同一台机器上，何提算力不会自动变成两倍。高算我见过太多人花大价钱堆硬件，何提结果训练速度只提升了30%。高算问题出在数据搬运上——芯片算得再快，何提数据喂不进去也是高算白搭。

算力的何提本质不是芯片数量，是高算单位时间内能完成的有效运算次数。这个定义里藏着三个变量：芯片本身的何提性能、数据流动的高算效率、任务调度的何提合理性。大部分人只盯着第一个。高算

先看内存带宽这个隐形瓶颈

英伟达H100的何提FP16算力是A100的3倍多，但实际训练 Transformer 模型时，高算速度提升往往只有1.5到2倍。何提为什么？因为H100的显存带宽虽然也涨了，但没跟上算力涨幅。芯片计算单元等数据的时间变长了，利用率掉下去了。

我去年帮一个团队调过推理服务。他们用A100跑LLaMA-13B，吞吐量一直上不去。查了半天发现是KV Cache的显存读写拖了后腿。后来换成带更大L2缓存的卡，同样的模型，吞吐直接翻倍。算力没变，数据路径变了。

解决办法不复杂：把模型量化到INT8，显存占用减半，带宽压力跟着降。或者用PagedAttention这类技术，把KV Cache切碎管理，减少无效搬运。vLLM框架就是这么干的，实测吞吐能到HuggingFace原生推理的十倍以上。

多卡互联比单卡性能更重要

单卡再强也有天花板。大模型训练必须多卡，这时候卡间通信就是生死线。

NVLink和PCIe的差距有多大？NVLink 4.0单卡带宽900GB/s，PCIe 5.0 x16只有128GB/s。七倍的差距。用PCIe组八卡训练，通信时间能占到总时间的40%以上。GPU算力全浪费在等数据上了。

有个做多模态的团队跟我聊过，他们用八张A100走PCIe训练，梯度同步慢得离谱。后来换了NVSwitch的机器，同样的卡数，训练时间从两周缩到五天。硬件没换，拓扑结构换了。

如果预算有限上不了NVLink，至少把梯度累积调大，减少同步频率。或者用ZeRO-3把优化器状态切分到各卡，通信量能降一个数量级。DeepSpeed这套东西就是干这个的。

调度策略决定实际利用率

集群里跑的任务多了，调度就是算力放大器。

我见过一个推理集群，GPU利用率长期在30%左右晃。原因是每个任务都独占一张卡，但很多任务请求量根本喂不饱一张卡。后来改成动态批处理加显存超分，同样数量的卡，QPS涨了三倍。

训练任务也一样。多个小模型训练任务可以共享一张卡，用时间片轮转。大任务则要预留整卡，避免被抢占。Kubernetes加Volcano调度器能实现这套逻辑，关键是配好优先级和资源配额。

还有个小细节：CUDA流的使用。默认流是串行的，计算和拷贝不能重叠。改成多流并行，计算的同时预取下一批数据，利用率能提10%到15%。代码改动不大，效果立竿见影。

软件栈的版本匹配容易被忽略

CUDA版本、驱动版本、PyTorch版本、cuDNN版本，这四个东西必须对得上。版本不匹配不会报错，但性能可能掉一半。

我遇到过PyTorch 2.0配CUDA 11.7跑FlashAttention，速度比预期慢很多。查了一周才发现是cuDNN版本太旧，没启用新的卷积算法。升级cuDNN后，同样的代码快了40%。

建议用NGC的容器镜像，英伟达把版本都调好了。自己配环境的话，去PyTorch官网查版本对应表，别凭感觉装。

算力提升没有银弹。芯片是基础，但数据路径、互联拓扑、调度策略、软件版本，每一项都能吃掉或释放大量性能。先找到瓶颈在哪，再决定往哪花钱。