当前位置:首页> AI资讯> 英伟达宣布更新TensorRT-LLM,新增OpenAI Chat API支持

英伟达宣布更新TensorRT-LLM,新增OpenAI Chat API支持

释放双眼,带上耳机,听听看~!
英伟达在Ignite 2023大会上宣布更新TensorRT-LLM,新增OpenAI的Chat API支持,并增强DirectML功能,改善AI模型的性能。文章介绍了英伟达的最新AI技术进展,适合对AI领域感兴趣的读者。

11 月 16 日消息,微软 Ignite 2023 大会已于今天拉开帷幕,英伟达高管出席本次大会并宣布更新 TensorRT-LLM,添加了对 OpenAI Chat API 的支持

IT之家今年
10 月报道,英伟达面向数据中心和 Windows PC,推出 Tensor RT-LLM 开源库。最大的特点是,如果 Windows PC
配备英伟达 GeForce RTX GPU,TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。

英伟达宣布更新TensorRT-LLM,新增OpenAI Chat API支持

英伟达在今天 Ignite 2023 大会上,宣布更新 TensorRT-LLM,添加 OpenAI 的 Chat API 支持,并增强 DirectML 功能,改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。

英伟达宣布更新TensorRT-LLM,新增OpenAI Chat API支持

TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成,开发者可以使用这个统一、易用的工具包,在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达还为此推出了抢先体验注册页面。

英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新,推理性能提高 5 倍,并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。

用户可以在 8GB 显存以上的  GeForce RTX 30 系列和 40 系列 GPU 上运行,一些便携式 Windows 设备也能使用快速、准确的本地 LLM 功能。

英伟达宣布更新TensorRT-LLM,新增OpenAI Chat API支持

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

如何使用comfyUI制作丝滑AI变装视频完整教程

2023-11-16 15:04:07

AI资讯

大模型代码生成的新方法:ChatCoder

2023-11-16 15:18:59

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索