今年2月,NVIDIA推出了Chat with RTX,作为一个本地部署的聊天机器人,它用到了 TensorRT-LLM 和 NVIDIA RTX 加速技术,是显卡应用大语言模型的一个技术演示demo
最近,NVIDIA宣布——Chat with RTX 正式更名为ChatRTX。这次的更新增加了许多新功能,例如在新版本中加入了对智谱AI的ChatGLM3-6B这个中文LLM的支持,同时还支持语音交互和图像搜索功能。
语音识别功能的加入,意味着用户可以通过语音对话的形式与ChatRTX进行交互,极大提升了使用的便捷性。集成了Whisper(AI语音识别系统)后,用户可使用语音搜索数据,该系统使用 AI处理口语并提供支持多种语言的文本响应。只需单击麦克风图标并与ChatRTX交谈即可开始使用,ChatRTX 将提供文本响应。
图像方面,全新ChatRTX支持OpenAI的CLIP模型,它可根据你给出的信息搜索本地指定目录里面的图片,在大量本地图片中找出符合指令要求的图片。这项功能意味着其可识别和理解图片内容,无需复杂的元数据标记,用户只需用文字描述图片,ChatRTX就能“看懂”图片并进行检索、排序等操作。
与ChatGPT等在线AI聊天类工具不同,NVIDIA ChatRTX不需要云端计算,这对用户的隐私和数据保密性更好。ChatRTX还支持扫描和分析本地文件目录的能力,支持指定格式的文件,用户可使用该功能搭建本地的数据资料库,只需要给出文件夹路径,AI就会在数秒内把它们加载到库中。
除了功能性有所增强,体积优化整合能力也是这次更新的重点。ChatRTX全新安装包的体积大幅缩减,从此前的35GB减少到12GB,但安装完后程序仍需要约35GB的空间,因此在下载之前要留够足够的空间。
至于硬件需求,从NVIDIA的官网我们可以看到,目前ChatRTX只支持GeForce RTX 30和GeForce RTX 40系芯片组的产品,显存需求起步容量为8GB。电脑内存则需要16GB以上的容量,且需在Windows 11的系统环境下运行。
总结来说,ChatRTX并没有到“功能强大”的级别,实用性和交互体验无法与在线AI聊天工具相媲美,因此目前仍旧只能作为技术演示的应用。但是它的优点也非常明显,即更快的响应速度和更好的隐私保护
ChatRTX运行在 GeForce RTX PC 的 Windows 系统上,无需通过云端的运算则省去了传输的延迟,因此其速度很快。ChatRTX 并不依赖云服务,且用户的数据仅保存在本地,因此可以在本地 PC 上处理敏感数据,无需与第三方共享数据或连接互联网,实现更强大的隐私保护。
最近,NVIDIA宣布——Chat with RTX 正式更名为ChatRTX。这次的更新增加了许多新功能,例如在新版本中加入了对智谱AI的ChatGLM3-6B这个中文LLM的支持,同时还支持语音交互和图像搜索功能。
语音识别功能的加入,意味着用户可以通过语音对话的形式与ChatRTX进行交互,极大提升了使用的便捷性。集成了Whisper(AI语音识别系统)后,用户可使用语音搜索数据,该系统使用 AI处理口语并提供支持多种语言的文本响应。只需单击麦克风图标并与ChatRTX交谈即可开始使用,ChatRTX 将提供文本响应。
图像方面,全新ChatRTX支持OpenAI的CLIP模型,它可根据你给出的信息搜索本地指定目录里面的图片,在大量本地图片中找出符合指令要求的图片。这项功能意味着其可识别和理解图片内容,无需复杂的元数据标记,用户只需用文字描述图片,ChatRTX就能“看懂”图片并进行检索、排序等操作。
与ChatGPT等在线AI聊天类工具不同,NVIDIA ChatRTX不需要云端计算,这对用户的隐私和数据保密性更好。ChatRTX还支持扫描和分析本地文件目录的能力,支持指定格式的文件,用户可使用该功能搭建本地的数据资料库,只需要给出文件夹路径,AI就会在数秒内把它们加载到库中。
除了功能性有所增强,体积优化整合能力也是这次更新的重点。ChatRTX全新安装包的体积大幅缩减,从此前的35GB减少到12GB,但安装完后程序仍需要约35GB的空间,因此在下载之前要留够足够的空间。
至于硬件需求,从NVIDIA的官网我们可以看到,目前ChatRTX只支持GeForce RTX 30和GeForce RTX 40系芯片组的产品,显存需求起步容量为8GB。电脑内存则需要16GB以上的容量,且需在Windows 11的系统环境下运行。
总结来说,ChatRTX并没有到“功能强大”的级别,实用性和交互体验无法与在线AI聊天工具相媲美,因此目前仍旧只能作为技术演示的应用。但是它的优点也非常明显,即更快的响应速度和更好的隐私保护
ChatRTX运行在 GeForce RTX PC 的 Windows 系统上,无需通过云端的运算则省去了传输的延迟,因此其速度很快。ChatRTX 并不依赖云服务,且用户的数据仅保存在本地,因此可以在本地 PC 上处理敏感数据,无需与第三方共享数据或连接互联网,实现更强大的隐私保护。