Local Chatbot – Chat RTX

 
Bun… putem genera imagini, gratuit, local, cu o fidelitate mai ridicata sau mai scazuta, cu mai multe sau mai putine limitari. Ce altceva spuneam eu ca mai putem folosi acasa? Ah… da… generative pre-trained transformers (GPT), care utilizeaza large language models pentru training, rezultatul fiind generarea de text bazat pe relatiile semantice dintre cuvinte. Stiti voi, ChatGPT si alte chestii de acest gen. Doar ca noi nu vom discuta despre ChatGPT, ci despre o solutie locala, care nu face anumite lucruri exact ca ChatGPT (nu foloseste motoare de cautare, de exemplu), insa face alte lucruri mult mai bine.

Despre ce este vorba? Despre Chat RTX, o aplicatie gratuita dezvoltata de NVIDIA, care ne permite sa antrenam un large language model folosind date locale, devenind un adevarat asistent personal prin utilizatea Retrieval-Augmented Generation si TensorRT-LLM. Ce inseamna asta? Ei bine, inseama ca discutam despre o interfata care ruleaza implicit LLM-ul Mistral 7B int4, dar cu ajutorul careia putem instala si Llama2 13B int4, Gemma 7B int4 sau CLIP. Implicit, utilizand unul dintre modelele LLM (Mistal, Llama sau Gemma), avem acces la un model AI pre-antrenat (AI Model data), care poate genera esee, e-mail-uri, etc, similar cu solutiile disponibile on-line.

Mai interesant insa este faptul ca putem antrena solutiile LLM local, indicandu-le un alt data set decat cel pe care il au antrenat deja, mai precis un director de pe hard disk-ul nostru, in care putem stoca oricate documente txt, pdf sau docx dorim. Modelul AI va trece rapid prin toate aceste documente si va invata continutul lor, iar noi il vom putea utiliza fie pentru a gasi anumite secvente de text in respectivele documente, fie pentru a genera raspunsuri la intrebari bazate pe continutul acestor documente (Retrieval-Augmented Generation).

Ce inseamna asta? Pai haideti sa ne gandim la un exemplu practic. Aveti un cabinet de avocatura, iar pe hard disk sunt sute, poate mii de documente juridice confidentiale, prin care vreti sa cautati toate documentele in care se gaseste o anume fraza, sau toate documentele care trateaza o anumita speta. Mai mult ca sigur ca nu veti folosi un model on-line pentru asta, in fond problemele de securitate, etica si legalitate ar putea fi colosale in acest caz. Puteti folosi insa Chat RTX local, care va gasi imediat ce aveti nevoie in documente, in siguranta, pe PC-ul vostru, chiar si fara legatura la internet.

Practic, discutam despre un asistent personal combinat cu un search pe steroizi, care nu doar indexeaza documente, dar le invata si continutul si poate purta conversatii pe baza acestui continut. Ca exemplu, in momentul in care am intrebat Chat RTX despre LAB501, raspunsul generat de modelul AI a fost gresit, deoarece acesta nu foloseste motoare de cautare. In momentul in care l-am antrenat utilizand un document in care am trecut raspunsurile oferite de alte motoare de AI online, situatia s-a schimbat dramatic.

Lucrurile nu se opresc insa aici, pentru ca daca Mistral, Lllama si Gemma sunt modele LLM, care citesc si genereaza text, CLIP este un model bazat pe imagini. Nu, asta nu inseamna ca vom genera imagini cu ajutorul lui, dar inseamna ca modelul va scana si invata continutul tuturor imaginilor din directoarele pe care le vom folosi ca sa il antrenam, iar apoi va putea raspunde rapid la intrebari, ajutandu-ne sa gasim ce avem nevoie. Eu am folosit doua intrebari foarte simple, folosind ca baza un director cu capturi de ecran de pe platforma de teste. In cate imagini apare frecventa 5000MHz, respectiv in cate imagini folosesc RTX 4070, iar rezultatele au fost de fiecare data rapide si precise.

Ganditi-va insa ca acasa puteti sa ii dati acces la libraria voastra media si apoi puteti pune intrebari de genul “in ce poze eram pe malul marii”, sau “care sunt pozele in care apare o masina rosie”, iar modelul va va da imediat raspunsurile pe care le cautati. Practic, asta este o functie pe care cred ca cu totii am dori sa o avem pe sistemul nostru de operare, doar ca nu vom avea niciodata atata incredere in Microsoft incat sa ii dam acces la toate datele noastre. Chat RTX functioneaza insa local, iar training-ul si interactiunea cu el se pot face chiar si offline, pentru un maxim de siguranta. Practic, avem nevoie de internet doar pentru instalare, respectiv pentru instalarea modelelor AI suplimentare.