Nvidiaは2024年2月、GeForce RTX GPUを利用し、ローカルでAIチャットボットを動かすことができる「ChatRTX」をデモアプリとして公開しました
ChatRTXを実行するには8GB以上のVRAMを搭載したRTX 30シリーズまたは40シリーズのGPUが必要で、ユーザーはローカルに存在するさまざま形式のファイルや、YouTubeのプレイリストのURLを指定し、それらの内容に関する質問を行うことができます。
今回、このChatRTXがアップデートし、Googleによってトレーニングされた最新のローカルLLMであるGemmaや、一般的な言語モデルフレームワークに基づいたオープンでバイリンガル(英語と中国語)なLLMであるChatGLM3がサポートされています。
OpenAIのContrastive Language-Image Pre-training(CLIP)も追加され、ローカルの写真データを検索して相互作用させることができるようになり、画像認識のためにモデルを訓練することもできるようになっています。
ChatRTX自体の機能も改良され、音声クエリがサポートされています。音声を使ってデータを検索できるAI音声認識システムWhisperの統合によって可能となった機能で、ユーザーは音声で質問し、ChatRTXはテキストで応答します。
最新版のダウンロードはこちらから可能です。
