Iată care este situația, AI este prezent. Îl vedeți deja peste tot fără să vă dați seama. De la LanguageTool la terminalul Warp și Nexcloud, AI este acum integrat în instrumentele dvs. preferate.
Pentru acest articol, vă voi arăta:
- cum puteți instala Ollama și cum îl puteți configura pentru a rula diverse LLM-uri open source.
- cum puteți configura Open WebUI pentru a utiliza o interfață bazată pe navigator pentru a interacționa cu AI.
Notă: AI este un termen larg care descrie întregul domeniu al inteligenței artificiale. Dumneavoastră, în calitate de utilizator final, veți interacționa cu LLM-urile (Large Language Models). LLM-urile sunt deja practic instrumente care au fost deja antrenate pe cantități mari de date pentru a învăța modele și relații între cuvinte și fraze și multe altele. Diferitele LLM-uri sunt adesea concepute pentru sarcini specifice, cum ar fi codificarea, interpretarea limbajului, grafica, etc.
Ce este Ollama
Ollama este un instrument bazat pe linia de comandă pentru descărcarea și rularea LLM-urilor open source, cum ar fi Llama 3, Phi-3, Mistral, CodeGamma și altele. Acesta raționalizează ponderile modelului, configurațiile și seturile de date într-un singur pachet controlat de un Modelfile. Tot ce trebuie să faceți este să rulați câteva comenzi pentru a instala LLM-urile cu sursă deschisă acceptate pe sistemul dvs. și să le utilizați.
Îmi place să mă gândesc la el ca la un instrument asemănător cu Docker (analogie greșită, știu). La fel cum Docker obține diverse imagini pe sistemul dvs. și apoi le utilizează, Ollama obține diverse LLM-uri open source, le instalează pe sistemul dvs. și vă permite să rulați aceste LLM-uri local.
Puteți găsi lista completă a LLM-urilor susținute de Ollama aici.
Condiții prealabile
Iată câteva elemente de care aveți nevoie pentru a rula AI local pe Linux cu Ollama.
- GPU: Deși puteți rula AI pe CPU, nu va fi o experiență plăcută. Dacă aveți TPU/NPU, ar fi și mai bine.
- curl: Trebuie să descărcați un fișier script de pe internet în terminalul Linux.
- Opțional, ar trebui să aveți Docker instalat pe sistemul dvs. dacă doriți să utilizați Open WebUI. Ollama vă oferă o interfață de linie de comandă pentru a interacționa cu AI. Open WebUI vă oferă o interfață pentru navigator cu o experiență similară cu ChatGPT.
Pasul 1: Instalați Ollama
Noile instrumente sunt disponibile într-un script oficial care poate fi utilizat pe orice distribuție Linux.
Deschideți un terminal și utilizați următoarea comandă:
curl -fsSL https://ollama.com/install.sh | sh
Această opțiune este cea mai ușoară cale, dar puteți opta pentru instalarea manuală dacă doriți.
Verificați dacă Ollama rulează
După ce ați instalat Ollama, trebuie să verificați dacă funcționează. În mod prestabilit, el rulează pe portu localhost.
Așadar, deschideți un navigator și introduceți:
localhost:11434
Ar trebui să apară mesajul „Ollama is running”.
Pasul 2: Instalarea LLM-urilor
Puteți „instala” LLM-ul dorit în felul următor.
ollama pull <LLM_NAME>
Deocamdată, nu puteți căuta LLM-uri disponibile din terminal. Va trebui să accesați site-ul și de acolo puteți obține numele exact al LLM-ului pe care doriți să îl utilizați.
De exemplu, voi folosi llama2 – un produs open source de la Meta (Facebook).
ollama pull lama2
Acestă operațiune va dura, deoarece va fi nevoie să se descarce o cantitate mare de date. După cum puteți vedea în captura de ecran, a dura 2 minute și 24 de secunde pentru a descărca datele necesare.
Ollama păstrează LLM-urile în directorul /usr/share/ollama/.ollama/models pe Linux.
Acum aveți la dispoziție un model lingvistic extins. Aveți un instrument pentru a interacționa cu acesta.
Pasul 3: Rularea AI cu Ollama (în terminal)
Rulați LLM-ul cu următoarea comandă:
ollama run
Pentru că am instalat llama2, voi folosi următoarea comandă:
ollama run llama2
Notă: Puteți lista toate LLM-urile instalate pe sistemul dvs. cu ajutorul comenzii
ollama list.
Nu există mesaje de întâmpinare care să vă spună că AI-ul este gata să va fie de folos. Trebuie doar să începeți să îi puneți întrebări.
Pentru a ieși din interacțiunea cu AI, puteți utiliza tastele Ctrl+D sau /bye.
În momentul în care începeți să formulați o întrebare, ar trebuie să auziți un zgomot puternic. Acesta este sunetul sistemului dvs. care o ia razna pe măsură ce consumă toate resursele disponibile pentru a rula AI local.
Pasul 4: Utilizați AI în navigator cu Open WebUI (Opțional)
Nu doriți să rulați AI în interfața de linie de comandă? Există multe aplicații care oferă o interfață GUI pentru Ollama.
Puteți utiliza Open WebUI care este un proiect open source și care vă permite să utilizați și să interacționați cu AI local într-un navigator.
Dacă ați folosit vreodată ChatGPT, Perplexity sau orice alt instrument comercial de inteligență artificială, probabil că sunteți familiarizat cu această interfață.
Este mai ușor de utilizat. Conversațiile dvs. sunt stocate și le puteți revizui cu ușurință sau chiar le puteți căuta.
Cel mai bun lucru este că puteți accesa AI-ul local de pe alte dispozitive din rețeaua dvs. Astfel, puteți păstra serverul Ollama pe un dispozitiv centralizat și îl puteți utiliza pe alte dispozitive prin intermediul unui navigator datorită Open WebUI.
Această configurație rulează Open WebUI într-un container Docker. Chiar dacă nu cunoașteți Docker, ar trebui să o puteți rula fără prea multe probleme, atât timp cât urmați comenzile în mod corespunzător.
Instalați Docker
În primul rând, asigurați-vă că aveți Docker instalat pe sistemul dvs. (o să urmeze un tutorial în curând).
Instalați Open WebUI în Docker
Odată ce Docker este instalat pe sistemul dvs., tot ce trebui să faceți este să rulaț comanda următoare, așa cum este menționat în documentația Open WebUI:
sudo docker run -d --network=host -e OLLAMA_BASE_URL=http://127.0.0.1:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Acest lucru va necesita timp pentru a descărca imaginile Docker necesare și apoi pentru a rula containerul.
După ce procesul este finalizat, asigurați-vă că containerul open-webui rulează utilizând comanda docker ps.
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8541f122b75d ghcr.io/open-webui/open-webui:main "bash start.sh" 2 days ago Up 2 days open-webui
Rulați Open WebUI
Deschideți un navigator pentru a accesa localhost la portul 8080
127.0.0.1:8080
Veți vedea o interfață web care vă solicită să creați un cont.
Asigurați-vă că utilizați o parolă ușor de reținut sau salvați-o într-un manager de parole. Deoarece, dacă ați uitat parola, nu există nicio modalitate ușoară de a o reseta. Puteți elimina containerul și volumul Docker atașat cu sudo docker volume rm open-webui, dar veți pierde tot istoricul și conturile existente.
Contul pe care îl creați la prima rulare este, de asemenea, contul de administrator. Acesta vă permite să creați mai multe conturi și să le administrați pe același server. Acest lucru este util dacă intenționați să implementați un server AI local care este accesibil de la alte calculatoare din rețea.
După ce v-ați conectat la interfață, trebuie să faceți clic pe „Select a model” și să alegeți LLM-urile dorite.
Acum sunteți gata să interacționați cu AI-ul local.
Este posibil să editați un răspuns, să îl puteți copia, să îi oferiți feedback, să îl citiți cu voce tare sau să îl regenerați.
Opriți funcționarea AI-ului
Când închideți fila navigatorului, sistemul dvs. nu mai rulează LLM-urile și, prin urmare, utilizarea resurselor sistemului revine la normal.
Rețineți că containerul Open WebUI rulează întotdeauna pe sistemul dumneavoastră. Dar acesta nu consumă resurse decât dacă începeți să utilizați interfața.
Etapele de eliminare
Ați experimentat inteligența artificială open source și nu simțiți că o folosiți cu adevărat în acest moment. Este de înțeles că ați dori să o eliminați din sistem și să recuperați spațiul de pe disc.
Este logic. Urmați pași următori pentru a elimina AI-ul local.
Eliminarea Open WebUI
Dacă ați utilizat Open WebUI, urmați pași următori.
Opriți containerul care rulează și apoi eliminați-l:
docker container stop open-webui
docker container remove open-webui
În continuare, eliminați și imaginea Docker. Listați imaginile cu comanda de mai jos:
docker images
Notați IMAGE ID al imagini open-webui și utilizați-l în modul următor:
docker image rm IMAGE_ID
De asemenea, puteți elimina conținutul din directorul /var/lib/docker/volumes/open-webui
Eliminarea Ollama
Acum puteți trece la dezinstalarea lui Ollama.
Mai întâi, listați toate LLM-urile pe care le-ați instalat prin Ollama.
ollama list
Și apoi utilizați numele acestui pentru dezinstalare.
ollama rm LLM_NAME
Dacă ați rata acest pas, vă puteți recupera spațiul de pe disc prin eliminarea fișierelor din directorul /usr/share/ollama/.ollama/models.
Lăsând asta deoparte, să elimină Ollama în sine.
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
Eliminați binarul ollama din directorul bin. Acesta ar putea fi în /usr/local/bin, /usr/bin sau /bin. Deci, utilizați înlocuirea comenzii cu:
sudo rm $(which ollama)
Mai departe, îndepărtați utilizatorul Ollama și celelalte bucăți rămase.
sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama
Este posibil să vedeți un mesaj de tipul userdel group ollama not removed because it has other members. Ignorați-l
