在 AIGC 中，算力被视为核心支撑。

随着 AI 模型复杂程度和参数数量的不断增加，对算力的需求也越来越大。在单台服务器计算能力有限的情况下，需要将上千台服务器连接起来，形成大规模的计算集群。AIGC 对算力，在不同阶段有不同要求。在训练过程中，追求通过庞大的算力来提升训练速度；训练完成后，则需要算力来执行推理。相较于训练，单次推理需要的算力相对更低，但计算次数相对较多，更加注重稳定性以及成本和功耗。

作为音视频行业的领军企业，七牛云在音视频领域有着十多年扎实的技术积累和资源沉淀。同时，紧跟行业发展趋势，通过将 AI 技术与音视频业务相结合，为音视频服务赋能。大力布局多模态大模型的技术和应用以及其底层算力资源。针对推理算力对成本和稳定性的高要求，「七牛云 AIGC 推理算力集群」应运而生！

其中，「边缘推理」、「推理计算中心」和 「GPU 节点」是构成七牛云 AIGC 推理算力集群的关键要素。七牛云的全球节点构成边缘算力池，支持 AIGC 的大规模推理任务。推理计算中心则注重算力规模和网络速度，通过调度系统提供稳定充足的算力资源。GPU 支持专享和共享两种租用模式，并支持多种微调模式。

边缘推理

边缘计算与算力密切相关。随着 AIGC 的迅速发展，带来了数据的指数级增长，大量的数据在边缘端累积。基于七牛云全球 3000+ 的 CDN 节点，我们在这些节点中根据质量和成本综合考虑挑选出约 10% 的最优节点，装载 GPU，形成 GPU 算力池。

同时，七牛云利用云、边缘和终端的不同层次来部署推理计算中心，降低 GPU 部署成本。通过七牛云全球化网络基础设施，构筑面向 AIGC 的高性能智算网络，承载模型训练和推理任务。

 

推理计算中心

推理需要考虑模型的参数量、大小、耗时，以及用户的数量，强调瞬时并发实现，因此在算力需求方面更加注重计算效率、规模以及网络传输速度。

七牛云分布式 GPU 网络，以规模大、成本低、速度快的特点，天然适配推理对 GPU 算力的需求。为了更好的服务 AIGC 用户的推理需求，七牛云精心打造了推理计算中心。

七牛云在推理计算中心中引入了 AIGC 推理算力调度系统，通过灵活合理的调度 GPU 资源池，为 AIGC 推理提供充足的算力资源。七牛云 AIGC 推理算力集群支持按量付费和按时付费，提供常见底模预装，并支持微调（fine-tuning）。同时，它还集成了七牛云的其他业务，为 AIGC 开发者提供配套的向量数据库、虚拟机、负载均衡、云存储等一系列云服务。

 

GPU 节点

在专享租用模式外，七牛云还推出了 GPU 共享模式，进一步提升资源利用率和降低成本。这种模式下，允许用户根据自身需求灵活切换算力使用方案，在保证高效、稳定的前提下，按需使用 GPU 节点。对于推理调用低频、推理时间容忍度较高的应用产品，可以选择调用时启动实例，不做实例保活，从而只针对 GPU 占用时间计费。在没有调用，未启动实例时，则不产生推理费用。这样，不仅降低了使用成本，还提升了资源利用效率，为开发者提供了更灵活的选择。

此外，七牛云还支持多种微调模式，充分满足用户的定制化需求。

七牛云 AIGC 推理算力集群的推出，将为 AIGC 的发展提供强有力的计算支持。借助「边缘推理」、「推理计算中心」和 「GPU 节点」，用户可以实现高效、稳定的模型推理。通过七牛云 AIGC 推理算力集群、向量数据库等一系列技术与产品，我们共同推动 AIGC 的进步与发展，释放 AIGC 的生产潜能。