Come utilizzare la chat di Nvidia con RTX AI Chatbot sul tuo computer

da | Computer, Windows

Nvidia ha lanciato Chat with RXT, un chatbot AI che funziona sul tuo PC e offre funzionalità simili a ChatGPT e altro ancora! Tutto ciò di cui hai bisogno è una GPU Nvidia RTX e sei pronto per iniziare a utilizzare il nuovo chatbot AI di Nvidia.

Che cos’è Nvidia Chat con RTX?

Nvidia Chat con RTX è un software AI che ti consente di eseguire localmente un modello linguistico di grandi dimensioni (LLM) sul tuo computer . Quindi, invece di andare online per utilizzare un chatbot AI come ChatGPT, puoi utilizzare Chat con RTX offline ogni volta che vuoi.

Chatta con RTX utilizza TensorRT-LLM, accelerazione RTX e un Mistral 7-B LLM quantizzato per fornire prestazioni rapide e risposte di qualità alla pari con altri chatbot AI online. Fornisce inoltre la generazione aumentata di recupero (RAG), consentendo al chatbot di leggere i tuoi file e abilitare risposte personalizzate in base ai dati forniti. Ciò ti consente di personalizzare il chatbot per fornire un’esperienza più personale.

Se vuoi provare Nvidia Chat con RTX, ecco come scaricarlo, installarlo e configurarlo sul tuo computer.

Come scaricare e installare Chat con RTX

Nvidia ha reso molto più semplice l’esecuzione di un LLM localmente sul tuo computer. Per eseguire Chat con RTX, devi solo scaricare e installare l’app, proprio come faresti con qualsiasi altro software. Tuttavia, Chat con RTX prevede alcuni requisiti minimi specifici per l’installazione e l’utilizzo corretto.

  • GPU RTX serie 30 o serie 40
  • 16 GB di RAM
  • 100 GB di spazio di memoria libero
  • finestre11

Se il tuo PC supera i requisiti minimi di sistema, puoi procedere e installare l’app.

  • Passaggio 1: scarica il file ZIP Chat con RTX.

     

  • Passaggio 2: estrai il file ZIP facendo clic con il pulsante destro del mouse e selezionando uno strumento di archiviazione file come 7Zip o facendo doppio clic sul file e selezionando Estrai tutto .
  • Passaggio 3: aprire la cartella estratta e fare doppio clic su setup.exe . Segui le istruzioni visualizzate e seleziona tutte le caselle durante il processo di installazione personalizzata. Dopo aver premuto Avanti ​​​​, il programma di installazione scaricherà e installerà LLM e tutte le dipendenze.

Il completamento dell’installazione di Chat con RTX richiederà del tempo poiché scarica e installa una grande quantità di dati. Dopo il processo di installazione, premi Chiudi e il gioco è fatto. Ora è il momento di provare l’app.

Come utilizzare la chat di Nvidia con RTX

Sebbene tu possa utilizzare Chat with RTX come un normale chatbot AI online, ti consiglio vivamente di controllare la sua funzionalità RAG, che ti consente di personalizzare il suo output in base ai file a cui dai accesso.

Passaggio 1: crea la cartella RAG

Per iniziare a utilizzare RAG su Chat con RTX, crea una nuova cartella per archiviare i file che desideri che l’IA analizzi.

Dopo la creazione, posiziona i file di dati nella cartella. I dati archiviati possono coprire molti argomenti e tipi di file, come documenti, PDF, testo e video. Tuttavia, potresti voler limitare il numero di file da inserire in questa cartella per non influire sulle prestazioni. Più dati da cercare significa che Chat con RTX richiederà più tempo per restituire risposte a query specifiche (ma anche questo dipende dall’hardware).

Ora il tuo database è pronto, puoi configurare la Chat con RTX e iniziare a usarla per rispondere alle tue domande e ai tuoi dubbi.

Passaggio 2: configurazione dell’ambiente

Apri la chat con RTX. Dovrebbe assomigliare all’immagine qui sotto.

In Set di dati verificare che l’ opzione Percorso cartella sia selezionata. Ora clicca sull’icona di modifica qui sotto (l’icona della penna) e seleziona la cartella contenente tutti i file che vuoi che Chat with RTX legga. Puoi anche cambiare il modello AI se sono disponibili altre opzioni (al momento in cui scrivo è disponibile solo Mistral 7B).

Ora sei pronto per utilizzare Chat con RTX.

Passaggio 3: fai le tue domande alla chat con RTX!

Esistono diversi modi per interrogare Chat con RTX. Il primo è usarlo come un normale chatbot AI.

Ma poiché Chat with RTX supporta RAG, puoi anche usarlo come assistente personale AI.

Esistono molti modi in cui puoi utilizzare la chat con RAG di RTX a tuo vantaggio. Ad esempio, puoi usarlo per leggere documenti legali e fornire un riepilogo, generare codice pertinente al programma che stai sviluppando, ottenere punti salienti su un video che sei troppo occupato per guardare e molto altro ancora!

Passaggio 4: funzione bonus

Oltre alla cartella dati locale, puoi utilizzare Chat con RTX per analizzare i video di YouTube. A tale scopo, in Dataset , modifica il percorso della cartella in URL di YouTube .

Copia l’URL di YouTube che desideri analizzare e incollalo sotto il menu a discesa. Allora chiedi pure!

La chat con l’analisi video di YouTube di RTX è stata piuttosto buona e ha fornito informazioni accurate, quindi potrebbe essere utile per ricerche, analisi rapide e altro ancora.

Seguici su Facebook

Segui la nostra pagina ufficiale su Facebook per rimanere sempre informato sui nostri ultimi articoli pubblicati.

Seguici su Telegram

Ricevi su Telegram aggiornamenti sui nostri nuovi articoli sul mondo della tecnologia seguendo il nostro canale gratuito.

Segui il nostro canale Whatsapp.

Continua a rimanere informato sul mondo della tecnologia seguendo il nostro canale WhatsApp gratuito.