AICMTY(aicmty.com)11月14日 消息:近日,英伟达Nvidia推出了全新的H200 AI处理器,这是一款专为训练和部署生成式人工智能模型的图形处理单元(GPU)。
基于NVIDIA Hopper架构,H200具有先进的内存和处理能力,可处理海量的数据用于生成式AI和高性能计算工作负载。
H200是第一款具有HBM3e内存的GPU,提供了141GB的内存和4.8TB/s的内存带宽,几乎是NVIDIA H100Tensor Core GPU容量的两倍,内存带宽也增加了1.4倍。
在AI领域,业务需要使用大型语言模型来满足各种推理需求。H200在处理类似Llama2这样的大型语言模型时,相比H100GPU的推理速度提高了2倍。
此外,H200的能效和总拥有成本也有所降低。这项前沿技术不仅提供了卓越的性能,而且功耗与H100相同。
预计H200将在2024年第二季度开始发货。
Nvidia表示,H200将兼容H100,这意味着已经在使用先前模型进行训练的人工智能公司无需更改其服务器系统或软件即可使用新版本。