VisualGPT de la Microsoft lansează o nouă tehnologie „ VisualGPT „aceasta este un progres al AI și deblochează posibilități pentru experiențe AI mai atractive și interactive, reducând diferența dintre imagini și limbaj.
Ce este VisualGPT?
VisualGPT este o versiune extinsă a ChatGPT care se bazează pe modele NLP (Natural Language Processing), dar în VisualGPT, se folosește VFMS care poate converti interogările de text în formă de imagine. Este de așa natură încât este o combinație/integrare de interogări de text și imagine.
Scopul VisualGPT
După lansarea pe piață a ChatGPT, care lucra la formatul textual ca unic, pentru a atinge următorul nivel de avansare există instrumentul perfect care va funcționa pe formatul textual până la grafic, urmând toate aceste motive și în cursa pentru AI. avansare Microsoft lansează VisualGPT, scopul principal al VisualGPT este de a crea imagini AI la cererea utilizatorului sau de a analiza imaginea
Arhitectura VisualGPT
VisualGPT conține Interogarea utilizatorului, Managerul de prompturi, Modelele de fundație vizuală (VFM), Principiul sistemului, Istoria dialogului, Istoria raționamentului și Răspunsul intermediar.
Dacă vorbim în mod specific despre modelul său, adică „ VFM (modele de fundație vizuală) ”, sunt folosite aproape 22 de VFM, precum BLIP (Bootstrapping Language-Image Pre-training) și Stable Diffusion.
Cum să rulezi un Visual ChatGPT?
Pentru a rula un Visual ChatGPT, luați în considerare următorii pași:
Pasul 1: Creați un mediu
În primul rând, trebuie să creați un mediu Python versiunea 3.8:
import sys
sys.path.append ( „/usr/local/lib/python3.8/site-packages” )
Pasul 2: Clonează fișierul Visual ChatGPT
Acum, clonează fișierul vizual ChatGPT din GitHub folosind următoarea comandă:
! clona git https: // github.com / deepanshu88 / visual-chatgpt.git 
Pasul 3: Configurați un director nou
După aceea, configurați un nou director prin comanda menționată mai jos:
% CD vizual-chatgptPasul 4: Instalați pachetele necesare
Acum, instalați pachetele necesare folosind „ pip ” cmdlet:
! curl https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip instalare -r cerințe.txt
Pasul 5: Accesați API-ul OpenAI
După instalarea pachetelor inițiale, accesați OpenAI API obținând o cheie API de la „platform.openai.com” și efectuând apeluri API autentificate:
% înv OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxPasul 6: Alegeți modelul
În sfârșit, după accesarea Openai, alegeți modelul, există mai mult de 20 de modele care sunt utilizate în visualGPT pe care le puteți alege conform cerințelor dvs.:
! python3.8. / visual_chatgpt.py --sarcină Text2Image_cuda: 0În comanda de mai sus, „ Text2Imagine ” corespunde modelului de utilizat. Pentru mai multe detalii verificați acest Google Colab caiet .
Concluzie
ChatGPT a fost introdus pentru a obține răspunsuri specifice despre orice interogare, iar acum Microsoft a lansat VisualGPT, care este capabil să se ocupe de date textuale și picturale. Este de așa natură încât utilizatorul poate pur și simplu să-și adauge cerințele în formă textuală și să obțină rezultatul grafic.