Chat with RTX: Nvidia bringt lokale KI für PCs mit GeForce-Grafikkarte

Rohe Beta-Software

Chat with RTX bietet vor allem eines: einen einfachen Weg, ein "Large Language Model" (LLM) auf dem eigenen PC laufen zu lassen und einen damit befeuerten Chatbot lokal zu nutzen. Sämtliche Rechenarbeit wird dabei auf dem eigenen PC durchgeführt und nicht von Servern im Internet. Noch ist das Tool ein experimentelles Werkzeug, auch wenn bereits viel Potenzial erkennbar ist.

Voraussetzung ist, dass man einen aktuellen PC mit einer Nvidia-Grafikkarte aus der GeForce RTX 30- oder RTX 40-Serie verwendet, bei der mindestens acht Gigabyte Grafikspeicher vorhanden sind. Außerdem werden mindestens 40 Gigabyte Speicherplatz und natürlich eine ausreichend leistungsfähige CPU benötigt - und ausreichend Zeit.

Da es sich um eine Betaversion handelt, ist natürlich noch mit einigen mehr oder weniger schwerwiegenden Fehlern zu rechnen. Nvidia hat bei Chat with RTX die Möglichkeit integriert, verschiedene LLMs zu verwenden, um lokale Dateien oder Weblinks zu analysieren. Das Tool liefert in einem simplen Browser-Fenster ein Interface, wie man es von Windows Co-Pilot kennt. Der Nutzer interagiert also zum Beispiel über einfache, in natürlicher Sprache formierte Anfragen. Vorerst wird nur Englisch unterstützt.  

Massenhafte Auswertung von lokal gespeicherten Inhalten

Bei den zu analysierenden Inhalten kann es sich auch um online abrufbare Inhalte wie etwa YouTube-Videos handeln, zu denen Chat with RTX schnell und einfach Zusammenfassungen liefern kann und Fragen zum Inhalt beantwortet. Das Gleiche ist auch mit lokalen Dateien möglich, wobei man das Tool auch mit ganzen Ordnern an Dateien füttern kann.

Wer also Zusammenfassungen auf Basis von großen Datensätzen benötigt, kann diese mithilfe von Chat with RTX einfach und ohne großen eigenen Aufwand analysieren lassen und dann per Chatbot Antworten zu Fragen über den Inhalt erhalten. Auf diese Weise lassen sich Fragen zu komplizierten oder umfangreichen Datensätzen schnell beantworten, wobei das Tool auch immer einen Link zur jeweiligen Referenzdatei ausspuckt.

Da es sich um eine Vorabversion handelt, gibt es natürlich noch diverse Baustellen und Fehler. So ist die Nutzeroberfläche alles andere als aufgeräumt, weil im Hintergrund Kommandozeilen geöffnet werden, JSON-Dateien in den zu analysierenden Ordnern angelegt werden und kein Kontext gesammelt wird - man also keine Folgefragen zu einer früheren Anfrage stellen kann. Insgesamt dürfte das Tool aber zeigen, was zumindest theoretisch mit lokal laufender KI auf PCs möglich ist.

---

Zusammenfassung

• Nvidia veröffentlicht Vorabversion von Chat with RTX
• Tool ermöglicht Betrieb eines KI-Chatbots auf dem PC
• Erfordert GeForce RTX 30/40 mit mindestens 8 GB VRAM
• Mindestens 40 GB Speicherplatz und starke CPU nötig
• Unterstützt verschiedene LLMs für Analyse lokaler Inhalte
• Nur Englisch wird in der Betaversion unterstützt
• Nutzung für Zusammenfassungen und Inhaltserklärungen möglich

---