Ce este VisualGPT - Tot ce trebuie să știți

Ce Este Visualgpt Tot Ce Trebuie Sa Stiti



VisualGPT de la Microsoft lansează o nouă tehnologie „ VisualGPT „aceasta este un progres al AI și deblochează posibilități pentru experiențe AI mai atractive și interactive, reducând diferența dintre imagini și limbaj.

Ce este VisualGPT?

VisualGPT este o versiune extinsă a ChatGPT care se bazează pe modele NLP (Natural Language Processing), dar în VisualGPT, se folosește VFMS care poate converti interogările de text în formă de imagine. Este de așa natură încât este o combinație/integrare de interogări de text și imagine.







Scopul VisualGPT

După lansarea pe piață a ChatGPT, care lucra la formatul textual ca unic, pentru a atinge următorul nivel de avansare există instrumentul perfect care va funcționa pe formatul textual până la grafic, urmând toate aceste motive și în cursa pentru AI. avansare Microsoft lansează VisualGPT, scopul principal al VisualGPT este de a crea imagini AI la cererea utilizatorului sau de a analiza imaginea



Arhitectura VisualGPT

VisualGPT conține Interogarea utilizatorului, Managerul de prompturi, Modelele de fundație vizuală (VFM), Principiul sistemului, Istoria dialogului, Istoria raționamentului și Răspunsul intermediar.



Dacă vorbim în mod specific despre modelul său, adică „ VFM (modele de fundație vizuală) ”, sunt folosite aproape 22 de VFM, precum BLIP (Bootstrapping Language-Image Pre-training) și Stable Diffusion.





Cum să rulezi un Visual ChatGPT?

Pentru a rula un Visual ChatGPT, luați în considerare următorii pași:

Pasul 1: Creați un mediu

În primul rând, trebuie să creați un mediu Python versiunea 3.8:



import sys

sys.path.append ( „/usr/local/lib/python3.8/site-packages” )

Pasul 2: Clonează fișierul Visual ChatGPT

Acum, clonează fișierul vizual ChatGPT din GitHub folosind următoarea comandă:

! clona git https: // github.com / deepanshu88 / visual-chatgpt.git

Pasul 3: Configurați un director nou

După aceea, configurați un nou director prin comanda menționată mai jos:

% CD vizual-chatgpt

Pasul 4: Instalați pachetele necesare

Acum, instalați pachetele necesare folosind „ pip ” cmdlet:

! curl https: // bootstrap.pypa.io / get-pip.py -O get-pip.py

! python3.8 get-pip.py

! python3.8 -m pip instalare -r cerințe.txt

Pasul 5: Accesați API-ul OpenAI

După instalarea pachetelor inițiale, accesați OpenAI API obținând o cheie API de la „platform.openai.com” și efectuând apeluri API autentificate:

% înv OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

Pasul 6: Alegeți modelul

În sfârșit, după accesarea Openai, alegeți modelul, există mai mult de 20 de modele care sunt utilizate în visualGPT pe care le puteți alege conform cerințelor dvs.:

! python3.8. / visual_chatgpt.py --sarcină Text2Image_cuda: 0

În comanda de mai sus, „ Text2Imagine ” corespunde modelului de utilizat. Pentru mai multe detalii verificați acest Google Colab caiet .

Concluzie

ChatGPT a fost introdus pentru a obține răspunsuri specifice despre orice interogare, iar acum Microsoft a lansat VisualGPT, care este capabil să se ocupe de date textuale și picturale. Este de așa natură încât utilizatorul poate pur și simplu să-și adauge cerințele în formă textuală și să obțină rezultatul grafic.