Laktawan ang nilalaman
github · naka-sync
lahat ng post

Bakit Ako Nagsimula sa Self-Hosting AI sa Bahay

ASAshik Eqbal18 minutong pagbasa

Ang artikulong ito ay isinalin gamit ang makina mula sa Ingles. Basahin ang orihinal

Larawan sa Pabalat
Sa pahinang ito
  1. Panimula
  2. Ang Paglipat Patungo sa Lokal na AI
  3. Pagbuo ng Aking Lokal na AI Stack
  4. Paggawa ng AI Server sa Isang Homelab
  5. Pagdaragdag ng Wastong Interface
  6. Ang Sandali GPU
  7. Malayuang Pag-access at Pribadong AI Kahit Saan
  8. Ang Sandali na Sa Wakas ay Nag-click Ito
  9. Ang Mas Malaking Larawan
  10. Mga Pangwakas na Kaisipan

Panimula#

Sa nakalipas na dalawang taon, tahimik na naging bahagi ng aking pang-araw-araw na daloy ng trabaho ang AI.

Pagsulat ng code. Pag-debug ng mga proyekto. Pagbubuod ng dokumentasyon. Pagbuo ng mga ideya. Pag-aaral ng mga bagong teknolohiya. Kahit ang maliliit na pang-araw-araw na gawain ay unti-unting nagsisimulang umasa sa mga AI tool na tumatakbo sa kung saan sa cloud.

At pagkaraan ng ilang sandali, may napansin akong kakaiba:

Halos lahat ng interaksyon ko sa AI ay umaasa sa imprastraktura ng ibang tao.

Bawat prompt na isinulat ko, bawat piraso ng code na idinikit ko, bawat ideyang sinubukan ko — lahat ng ito ay pinoproseso sa mga remote server na pagmamay-ari ng mga kumpanyang wala akong kontrol.

Noong una, parang normal lang iyon.

Ganoon lang talaga gumagana ang modernong software ngayon. Nag-i-stream tayo ng musika mula sa mga server ng iba. Nag-iimbak ng mga file sa cloud ng iba. Kumukuha ng compute power mula sa mga platform na hindi natin pisikal na nakikita. Ang AI ay parang ang susunod na layer ng parehong sistema.

Pero habang mas umaasa ako sa mga kagamitang ito, lalo akong nagiging hindi komportable sa ideyang iyon.

Dahil ang AI ay hindi na lamang basta isang app noon.

Ito ay naging isang kasangkapan sa pag-iisip.

Isang bagay na ginamit ko habang nilulutas ang mga problema. Isang bagay na nakasama ko habang natututo. Isang bagay na unti-unting naging bahagi ng aking pagtatrabaho araw-araw.

At iyon ang nagdulot ng mas malaking tanong sa aking isipan:

Ano ang mangyayari kapag ang intelligence mismo ay naging isa na namang serbisyo ng subscription?

Hindi software. Hindi storage. Hindi entertainment.

Katalinuhan.

Ano ang mangyayari kapag ang iyong kakayahang mag-isip nang mas mabilis, mag-automate ng trabaho, mag-brainstorm ng mga ideya, magsulat ng code, o matuto ng mga bagong kasanayan ay lubos na nakasalalay sa pag-access sa mga server ng ibang tao?

Ang kaisipang iyon ay mas matagal na tumatak sa akin kaysa sa inaasahan ko.

Kasabay nito, napansin ko ang isa pang pagbabago na nangyayari sa internet.

Mas maraming developer ang nagsisimulang lumayo sa mga ganap na cloud-dependent na setup. Muling gumagawa ang mga tao ng mga homelab. Nagho-host ng mga media server sa sarili nilang mga device. Nagpapatakbo ng pribadong cloud storage. Nagho-host ng sarili nilang mga password manager. Nagmamay-ari ng mas marami pang bahagi ng kanilang imprastraktura sa halip na umupa ng lahat.

At dahan-dahan, nagsimulang pumasok din ang AI sa usapang iyon.

Sa unang pagkakataon, naging makatotohanan ang pagpapatakbo ng makapangyarihang mga modelo ng wika sa lokal na lugar.

Napakabilis na umunlad ang mga open-source na modelo. Ang mga consumer GPU ay nagiging sapat na kakayahan para sa paghihinuha. Ang mga kagamitang tulad ng Ollama ay lubos na nagpasimple sa pag-deploy ng lokal na modelo. At bigla, ang ideya ng pagpapatakbo ng AI sa bahay ay hindi na parang eksperimental.

Parang hindi maiiwasan.

Ang kuryosidad na iyon ang nagtulak sa akin palalim sa mundo ng self-hosted AI.

Noong una, nagsimula ito bilang isang simpleng eksperimento.

Gusto kong makita kung magagamit ba talaga ang mga lokal na modelo sa labas ng mga demo at benchmark chart ng YouTube. Inaasahan ko ang mabagal na mga tugon, hindi magandang pangangatwiran, at isang nakakadismayang proseso ng pag-setup na kalaunan ay magbabalik sa akin sa mga cloud API.

Sa halip, may natuklasan akong ibang-iba.

Sa loob ng ilang oras, mayroon akong lokal na modelo ng wika na direktang tumatakbo sa sarili kong hardware.

Walang mga API key. Walang pagsubaybay sa paggamit. Walang pagdepende sa internet. Walang paghihintay para sa malayuang paghihinuha. Walang buwanang subscription na tahimik na nagbabago depende sa paggamit.

Sarili ko lang na mga tugon na bumubuo ng makina na lokal sa totoong oras.

At sa totoo lang, ang sandaling iyon ay nakakagulat na naiiba sa paggamit ng cloud AI.

Hindi dahil sa mahiwagang mas mahusay ang modelo.

Pero dahil iba ang dating ng relasyon sa teknolohiya.

Ang AI ay hindi na isang serbisyo noon. Hindi na ito "naka-host sa kung saan." Hindi ito hiniram na impormasyon na na-access sa pamamagitan ng isang account dashboard.

Parang imprastraktura.

Isang bagay na pagmamay-ari ko. Isang bagay na kontrolado ko. Isang bagay na umiiral bilang bahagi ng sarili kong server stack kasama ng mga Docker container, reverse proxy, media server, at storage system.

Lubos na binago ng pagkaunawang iyon ang pananaw ko sa AI.

Ang nagsimula bilang kuryosidad ay mabilis na nauwi sa isa sa mga pinakakawili-wiling proyektong imprastraktura na aking pinagtrabahuhan.

Dahil sa paglipas ng panahon, homelab ko ay hindi na lamang naging isang server rack para sa mga app at media.

Nagsimula itong maging isang personal na kapaligiran ng AI.

Ang Paglipat Patungo sa Lokal na AI#

Sa loob ng mahabang panahon, ang pagpapatakbo ng malalaking modelo ng wika sa isang lugar ay tila hindi makatotohanan.

Parang malayo ang AI. Industriyal. Mahal.

Tuwing pinag-uusapan ng mga tao ang mga advanced na AI system, halos palaging umiikot ang usapan sa malalaking datacenter, enterprise GPU, at mga kumpanyang may walang limitasyong badyet sa compute. Ang pagsasanay pa lamang ay nangangailangan ng imprastraktura na hindi makikita ng karamihan nang personal, lalo na't hindi na pagmamay-ari.

Kahit ang paghihinuha — ang simpleng pagpapatakbo ng mga modelong ito — ay tila hindi maaabot ng mga regular na developer.

Simple lang ang palagay:

Ang makapangyarihang AI ay pagmamay-ari ng malalaking kumpanya ng teknolohiya.

At sa totoo lang, nang ilang panahon, totoo iyon.

Ang unang alon ng modernong AI ay tila lubos na sentralisado. Ang pag-access sa katalinuhan ay nagmula sa mga API, subscription, at cloud platform. Kung gusto mo ng mas magagandang modelo, mas malaki ang babayaran mo. Kung gusto mo ng mas malawak na saklaw, umaasa ka sa imprastraktura ng iba.

Ngunit sa nakalipas na ilang taon, may nagbago nang napakabilis.

Ang mga open-source na modelo ay bumuti sa isang hindi kapani-paniwalang bilis.

Ang nagsimula bilang mga eksperimental na proyekto sa komunidad ay unti-unting umunlad tungo sa mga tunay na may kakayahang modelo na maaaring:

  • sumulat ng magagamit na code
  • ibuod ang mga dokumento
  • dahilan sa pamamagitan ng mga teknikal na problema
  • tulong sa pagsulat ng script
  • tumulong sa pananaliksik
  • magkaroon ng nakakagulat na magkakaugnay na mga pag-uusap

At hindi lang sila bahagyang bumuti.

Kada ilang buwan, ang agwat sa pagitan ng mga lokal na modelo at mga cloud-hosted system ay nagsimulang lumiit nang lumiit.

Kasabay nito, ang mga hardware ng mamimili ay tahimik na naging mas may kakayahan kaysa sa inaakala ng karamihan.

Ang mga modernong GPU — lalo na ang mga gaming GPU na nasa loob ng mga ordinaryong desktop — ay biglang naging sapat ang lakas upang magpatakbo ng mga quantized language model nang lokal sa magagamit na bilis.

Ang parehong hardware na binibili ng mga tao para sa paglalaro o pag-edit ng video ay kaya na ngayong magpatakbo ng mga modelo ng AI nang direkta sa bahay.

Ang pagbabagong iyon ay parang mahalaga.

Dahil sa unang pagkakataon, tumigil na sa pakiramdam na teoretikal ang lokal na AI.

Naging praktikal ito.

At saka lumitaw ang mga kagamitang tulad ni Ollama at nag-alis ng mas maraming alitan.

Bago si Ollama, ang lokal na AI ay kadalasang mukhang nakakatakot:

  • pag-compile ng mga dependency
  • manu-manong pag-configure ng mga runtime
  • pagharap sa mga isyu ng CUDA
  • paghahanap ng mga file ng modelo
  • pagtatakda ng mga balangkas ng hinuha

Parang isang proyekto sa pananaliksik iyon.

Malaki ang naging pagbabago ni Ollama sa karanasang iyon.

Bigla, ganito ang hitsura ng pagpapatakbo ng isang lokal na modelo:

code
ollama run llama3

Iyon lang iyon.

Isang utos.

Pagkalipas ng ilang minuto, isang buong modelo ng wika ang tumatakbo nang lokal sa sarili mong makina.

Ang pagiging simple na iyon ay mas mahalaga kaysa sa inaakala ng mga tao.

Dahil ang teknolohiya ay nagiging mainstream lamang kapag gumuho na ang hadlang sa pagpasok.

At iyan mismo ang nangyari sa lokal na AI.

Kasabay nito, napansin ko rin ang isa pang nangyayari sa kultura ng mga developer.

Mas maraming tao ang bumalik sa self-hosting.

Hindi dahil mas mura. Hindi dahil mas madali.

Pero dahil muling naging mahalaga ang pagmamay-ari.

Nagsimulang magtayo ang mga developer:

  • mga homelab
  • pribadong imbakan sa ulap
  • mga server ng media
  • mga sistema ng matalinong tahanan
  • mga tagapamahala ng password
  • mga personal na VPN
  • imprastraktura ng developer na naka-host sa sarili

Nagkaroon ng lumalaking pagnanais na kontrolin ang higit pa sa mga sistemang ating inaasahan araw-araw.

At kalaunan, ang AI ay naging bahagi rin ng kilusang iyon.

Sa totoo lang, nakakagulat na natural ang dating ng transisyon.

Ilang taon na ang nakalilipas, buong pagmamalaking ipinagmamalaki ng mga tao:

  • ang kanilang mga Plex server
  • Mga pagbuo ng NAS
  • Mga kumpol ng Kubernetes
  • mga setup ng reverse proxy

Ngayon ay ipinapakita ng mga tao:

  • mga lokal na stack ng LLM
  • Mga server GPU
  • mga database ng vector
  • Mga daloy ng trabaho ng AI
  • mga self-hosted na katulong

Nagsimulang magkapatong ang mundo homelab at ang mundo ng AI.

At nang mapansin ko ang pagkakahawig na iyon, hindi ko napigilang isipin iyon.

Dahil ang AI ay hindi na lamang basta software na tumatakbo sa cloud.

Ito ay nagiging imprastraktura.

Personal na imprastraktura.

Isang bagay na maaaring pagmamay-ari, baguhin, subukan, at patakbuhin ng mga developer nang buo gamit ang sarili nilang hardware.

Nabighani ako sa ideyang iyon.

Hindi dahil perpekto ang lokal na AI. Hindi naman talaga.

Kadalasang mas makapangyarihan pa rin ang mga cloud model. Mas mabilis pa rin ang enterprise inference. May mga bentahe pa rin ang mga malalaking hosted system.

Pero hindi naman talaga iyon ang punto.

Ang mahalagang bahagi ay ang lokal na AI ay sapat na ngayon upang maging tunay na kapaki-pakinabang.

At kapag ang isang bagay ay naging sapat na kapaki-pakinabang sa lokal na lugar, hindi maiiwasang iuwi ito ng mga tao.

Ganito rin ang nangyari sa:

  • pag-stream ng media
  • imbakan sa ulap
  • automation sa bahay
  • birtwalisasyon
  • mga server ng laro

Ang AI ay ang susunod na patong lamang ng ebolusyong iyon.

At sa totoo lang sa tingin ko ay nasa pinakasimula pa lang tayo nito.

Pagbuo ng Aking Lokal na AI Stack#

Nasa sentro ng lahat si Ollama.

Ang agad na tumangkad sa akin tungkol sa Ollama ay kung gaano kadali itong gawing praktikal para sa lokal na pag-deploy ng AI.

Bago ito matuklasan, karamihan sa mga lokal na tutorial sa AI ay mukhang nakakatakot. Kabilang dito ang manu-manong pag-download ng mga bigat ng modelo, pag-configure ng mga backend ng inference, pag-set up ng mga CUDA environment, at pag-troubleshoot ng mga isyu sa dependency nang ilang oras bago makakita ng isang tugon na nabuo.

Binawasan ni Ollama ang lahat ng kasalimuotan na iyon tungo sa isang bagay na nakakagulat na simple.

Ang isang utos ay maaaring mag-download at magpatakbo ng isang buong modelo ng wika nang lokal:

code
ollama run llama3

Iyon talaga ang isa sa mga bihirang sandali kung saan biglang parang mas malapit ang teknolohiya kaysa sa inaasahan mo.

Ilang minuto ang nakalipas, ang modelo ay umiral sa isang lugar na abstrakto sa internet.

Ngayon ay direktang tumatakbo ito sa sarili kong makina.

Walang API dashboard. Walang credits. Walang billing page. Walang cloud dependency.

Isa lamang lokal na proseso gamit ang sarili kong hardware sa totoong oras.

At nang mapaandar ko na ang unang modelo, mabilis na lumala ang sitwasyon.

Ang nagsimula bilang isang simpleng eksperimento ay unti-unting umunlad sa isang mas malaking proyekto sa imprastraktura.

Dahil kapag napagtanto mo na gumagana pala talaga ang lokal na AI, ang susunod mong iisipin ay:

"Hanggang saan ko kaya ito dadalhin?"

Kaya natural lang, nagsimula akong bumuo ng isang buong stack sa paligid nito.

Paggawa ng AI Server sa Isang Homelab#

Noong panahong iyon, ang aking homelab ay nakapaghawak na ng ilang self-hosted na serbisyo.

Pag-stream ng media. Mga reverse proxy. Mga container. Imbakan. Access sa VPN. Mga kagamitan ng developer.

Unti-unting naging isa pang patong ang AI sa ibabaw ng ecosystem na iyon.

Sinimulan kong ilagay ang lahat sa mga lalagyan gamit ang Docker para mapanatiling nakahiwalay at mapapamahalaan ang mga deployment.

Sa halip na ituring ang AI bilang isang nakapag-iisang eksperimento, sinimulan ko itong isama sa parehong mindset ng imprastraktura na ginamit ko na para sa iba pang bahagi ng aking server stack.

Ang ibig sabihin niyan ay:

  • mga lalagyang permanente
  • mga awtomatikong pag-restart
  • sentralisadong networking
  • Pagdaan GPU
  • reverse proxy routing
  • malayuang pag-access
  • pagsubaybay sa paggamit ng mapagkukunan

Unti-unti, ang lokal na AI ay hindi na parang isang bagong bagay at nagsimulang magmukhang isang aktwal na serbisyo na tumatakbo sa loob ng aking imprastraktura.

At sa totoo lang, ang transisyon na iyon ay isa sa pinakamasayang bahagi ng buong karanasan.

Dahil ang AI stack ay nagsimulang natural na humalo sa iba pang bahagi ng homelab.

Ang aking server ay hindi na lamang:

  • isang server ng media
  • isang sistema ng imbakan
  • isang makinang pang-virtualisasyon

Nagiging AI server na rin ito.

Pagdaragdag ng Wastong Interface#

Masaya ang command line noong una, pero gusto ko ng mas magagamit para sa pang-araw-araw na pakikipag-ugnayan.

Doon ko idinagdag ang Open WebUI sa ibabaw ng Ollama.

Ang nag-iisang karagdagan na iyon ay lubos na nagpabago sa karanasan.

Sa halip na makipag-ugnayan sa mga modelo sa pamamagitan lamang ng mga utos ng terminal, bigla akong nagkaroon ng:

  • isang modernong interface ng chat
  • pagpapalit ng modelo
  • kasaysayan ng pag-uusap
  • mga daloy ng trabaho na may maraming modelo
  • interaksyon ng dokumento
  • isang mas pinong karanasan sa pangkalahatan

Ang setup ay nagsimulang hindi na parang isang backend experiment at mas parang isang self-hosted na bersyon ng mga komersyal na AI platform.

Maliban sa pagkakataong ito, lahat ay tumatakbo nang lokal.

Walang mga kahilingang umaalis sa network. Walang cloud inference na nangyayari sa ibang lugar. Walang pagdepende sa external uptime.

Sarili ko lang na imprastraktura ang direktang naghahatid ng mga tugon ng AI mula sa aking hardware.

At kakaiba, napakasarap sa pakiramdam noon.

Ang Sandali GPU#

Isa sa mga pinaka-interesante na bahagi ng paglalakbay ay ang pagkaunawa kung gaano kahalaga GPU acceleration kapag sinimulan mo nang seryosohin ang paggamit ng local AI.

Teknikal na gumagana CPU inference, ngunit nang paganahin ko GPU acceleration, ganap na nagbago ang karanasan.

Ang mga tugon ay naging mas mabilis. Ang mga modelo ay naging mas interactive. Ang buong sistema ay naging praktikal para sa totoong pang-araw-araw na paggamit.

At sa totoo lang, ito ang isa pang sandali kung saan biglang naging maayos ang lahat para sa akin.

Sa loob ng maraming taon, ang mga GPU ay pangunahing ibinebenta para sa:

  • paglalaro
  • pag-render
  • pag-edit ng video

Ngayon, ang parehong hardware ay binabago na tungo sa personal na imprastraktura ng AI compute.

Ang pagbabagong iyon ay tila mahalaga sa kasaysayan.

Dahil papasok tayo sa isang mundo kung saan ang mga consumer hardware ay hindi na lamang hardware para sa libangan.

Ito ay nagiging kagamitan na ng katalinuhan.

At binabago nito nang lubusan kung paano iniisip ng mga tao ang tungkol sa mga home server.

Malayuang Pag-access at Pribadong AI Kahit Saan#

Kalaunan, gusto ko rin ng access sa mga lokal na modelo ko sa labas ng home network ko.

Kaya isinama ko ang VPN access sa setup.

Nangangahulugan iyon na ligtas kong ma-access ang aking AI stack nang malayuan nang hindi inilalantad ang buong sistema sa internet.

Tunay na binago ng bahaging ito kung gaano kapaki-pakinabang ang naging setup.

Sa puntong iyon, hindi na makaramdam ang lokal na AI server na nakatali sa isang pisikal na makinang nakaupo lang sa bahay.

Nagsimula itong parang isang pribadong kapaligiran ng AI na maaari kong ma-access mula sa kahit saan.

At dahil lahat ay self-hosted:

  • walang mga limitasyon sa paggamit
  • walang mga paghihigpit sa konteksto na nakatali sa pagpepresyo
  • walang alalahanin tungkol sa mga quota ng API
  • walang nakakagulat na pagtaas ng singil

Ang imprastraktura ay umiiral lamang at nanatiling magagamit tuwing kailanganin ko ito.

Ang Sandali na Sa Wakas ay Nag-click Ito#

Ang pinakamalaking sorpresa ay hindi ang teknolohiya mismo.

Ito ay kung gaano na magagamit ang lokal na AI.

Inaasahan ko noong una na ang karanasan ay magiging kompromiso.

Akala ko ang mga lokal na modelo ay kadalasang iiral bilang:

  • mga kawili-wiling demo
  • mga laruang pang-eksperimento
  • mga katulong na lubhang limitado

Sa halip, natagpuan ko ang aking sarili na tunay na umaasa sa kanila araw-araw.

Para sa coding. Para sa scripting. Para sa brainstorming. Para sa pag-debug ng mga isyu sa imprastraktura. Para sa pagbubuod ng teknikal na dokumentasyon. Para sa mabilis na pag-aaral ng mga hindi pamilyar na konsepto.

At sa paglipas ng panahon, may nangyaring hindi inaasahan.

Nagsimulang mag-iba ang pakiramdam ng Cloud AI.

Hindi naman mas malala, siyempre.

Malayo lang...

Dahil kapag naranasan mo nang gamitin nang buo ang AI sa sarili mong hardware, ang pakikipag-ugnayan sa cloud AI ay biglang magiging mas transaksyonal.

Magiging mapagtanto mo na:

  • lumalabas ang mga kahilingan sa iyong makina
  • may mga limitasyon sa kung saan
  • ang pag-access ay nakasalalay sa mga panlabas na sistema
  • nakakaimpluwensya ang pagpepresyo sa gawi sa paggamit

Binabago ng lokal na AI ang ugnayang iyan.

Mas malapit ang pakiramdam ng sistema. Mas personal. Mas eksperimental. Mas kontrolado.

Hindi mo na mararamdaman na parang umuupa ka ng impormasyon mula sa isang plataporma.

At simulan mong maramdaman na parang ikaw mismo ang may-ari ng bahagi ng salansanan.

Ang sikolohikal na pagbabagong iyon ay marahil ang pinakakawili-wiling bahagi ng buong proyekto.

Dahil sa maraming paraan, ang self-hosted AI ay hindi lamang tungkol sa teknolohiya.

Ito ay tungkol sa pagbabago ng ugnayan sa pagitan ng mga gumagamit at ng mismong pagkalkula.

Ito ay humuhubog na sa isang TALAGANG matibay at mahabang artikulo.

Ang susunod na dapat mong idagdag ay ang seksyon na nagbibigay sa artikulo ng mas malaking pilosopikal na pakinabang — ang bahaging nagpapahinto sa mga mambabasa at nagpapaisip nang higit pa sa "astig homelab setup."

Sa ngayon, ang iyong artikulo ay sumasaklaw sa:

  • ang emosyonal na kawit
  • ang paglipat patungo sa lokal na AI
  • ang iyong paglalakbay sa imprastraktura
  • ang sikolohikal na pagkakaiba ng pagmamay-ari

Ngayon, gusto mo ang seksyon na sumasagot sa:

"Bakit nga ba mahalaga ang kilusang ito?"

Ang Mas Malaking Larawan#

Habang tumatagal ang oras na ginugugol ko sa pagpapatakbo ng AI sa lokal na lugar, lalo kong napagtanto na hindi lang pala ito basta trend sa self-hosting.

Parang simula ito ng mas malaking pagbabago sa kung paano nakikipag-ugnayan ang mga tao sa mismong pag-compute.

Sa loob ng maraming taon, ang karamihan sa personal na teknolohiya ay lumipat sa isang direksyon:

Patungo sa ulap.

Lumipat ang aming mga file sa cloud storage. Lumipat ang aming entertainment sa mga streaming platform. Naging mga subscription ang aming software. Naging mga inuupahang serbisyo ang aming imprastraktura.

Nanalo ang kaginhawahan.

At sa totoo lang, sa maraming paraan, binago ng cloud computing ang industriya para sa ikabubuti. Ginawa nitong naa-access ng milyun-milyong tao ang mga makapangyarihang tool nang hindi nangangailangan ng mamahaling hardware o kumplikadong mga setup.

Ngunit kasabay nito, unti-unti rin itong nagbago ng pagmamay-ari.

Itinigil na namin ang pagmamay-ari ng software. Itinigil na namin ang pagmamay-ari ng imprastraktura. Itinigil na namin ang pagkontrol sa mga sistemang inaasahan namin araw-araw.

Nakakuha kami ng kaginhawahan, ngunit nawalan kami ng lapit sa teknolohiya mismo.

At tila mas lalo pang itinutulak ng AI ang trend na iyon.

Dahil hindi tulad ng mga tradisyunal na serbisyo sa cloud, ang AI ay hindi lamang nag-iimbak ng data o naghahatid ng nilalaman.

Ito ay nagiging isang patong ng kognisyon.

Isang bagay na lalong umaasa ang mga tao para sa:

  • pag-iisip
  • pag-aaral
  • pagkamalikhain
  • pagprograma
  • awtomasyon
  • suporta sa desisyon

Lubos na binabago niyan ang usapan.

Kapag ang intelligence mismo ay naging sentralisadong imprastraktura na kontrolado ng ilang platform, ang dependency ay nagsisimulang magmukhang ibang-iba.

At sa palagay ko iyan ang isa sa mga dahilan kung bakit napakahalaga ng lokal na AI ngayon.

Hindi dahil biglang kailangan ng lahat ng GPU server sa bahay.

Pero dahil gusto ng mga tao ng mga opsyon.

Gusto nila ang kakayahang:

  • patakbuhin ang mga modelo nang pribado
  • malayang mag-eksperimento
  • nagmamay-ari ng kanilang mga daloy ng trabaho
  • maiwasan ang permanenteng pagdepende sa subscription
  • kontrolin kung saan napupunta ang kanilang data
  • magpasya kung paano maisasama ang AI sa kanilang buhay

Sa maraming paraan, ang lokal na AI ay parang katulad ng sinaunang etos ng internet:

  • desentralisasyon
  • eksperimento
  • pagiging bukas
  • personal na pagmamay-ari

Iyan ang bahagi ng dahilan kung bakit kahanga-hanga ang kasalukuyang sandali.

Sa unang pagkakataon, ang mga advanced na modelo ng AI ay hindi na ganap na nakakulong sa likod ng imprastraktura ng negosyo.

Nagiging sapat na ang mga ito para mapadali ng mga indibidwal ang kanilang pagpapatakbo.

At kapag nangyari iyon, napakabilis kumalat ng inobasyon.

Magsisimula kang makakita ng mga developer na gumagawa ng:

  • mga lokal na katulong sa pag-coding
  • mga pribadong kagamitan sa pananaliksik
  • Mga homelab na pinapagana ng AI
  • mga personal na sistema ng automation
  • mga offline na daloy ng trabaho ng AI
  • mga ganap na self-hosted na AI ecosystem

Hindi dahil sinabihan sila ng mga kumpanya.

Pero dahil sa wakas ay kaya na rin nila.

At sa totoo lang, sa tingin ko ay maaga pa tayo.

Sa ngayon, ang self-hosted AI ay tila medyo eksperimental pa rin. Malalaki ang laki ng modelo. May mga limitasyon sa hardware. Marami pa ring tao ang natatakot sa pagiging kumplikado ng pag-setup.

Ngunit ang bilis ng pag-unlad ay walang katotohanan.

Lumiliit at nagiging mas matalino ang mga modelo. Bumibilis ang hinuha. Nagiging mas may kakayahan ang mga consumer GPU. Mabilis na umuunlad ang open-source tooling.

Kung paano naging normal ang mga self-hosting media server sa paglipas ng panahon, hindi ako magugulat kung kalaunan ay magiging karaniwan din ang mga personal na AI server.

Ilang taon na ang nakalilipas, ang pagpapatakbo ng sarili mong cloud storage ay tila angkop lamang.

Ngayon, kaswal na tumatakbo ang mga tao:

  • Mga sistema ng NAS
  • Mga stack ng Docker
  • mga VPN sa bahay
  • mga server ng smart home
  • Mga kumpol ng Kubernetes

Ang AI ay parang susunod na natural na patong na idinagdag sa ibabaw ng ecosystem na iyon.

At sa totoo lang, ang posibilidad na iyon ay higit na nagpapasaya sa akin kaysa sa walang katapusang pagrenta ng impormasyon mula sa cloud magpakailanman.

Mga Pangwakas na Kaisipan#

Noong una akong nagsimulang mag-eksperimento sa lokal na AI, inaasahan ko ang isang masayang proyektong pang-side project.

Isang bagay na teknikal. Isang bagay na pansamantala. Isang bagay na interesante na subukan sa loob ng ilang katapusan ng linggo.

Sa halip, lubos nitong binago ang aking pananaw tungkol sa imprastraktura ng AI.

Dahil kapag naranasan mo nang magpatakbo ng malalakas na language model nang direkta sa sarili mong hardware, magsisimula nang mag-iba ang buong ideya ng AI.

Hindi gaanong parang isang malayuang serbisyo. Mas parang isang personal na kagamitan.

Ang teknolohiya ay parang mas malapit. Mas nasasalat. Mas kontrolado.

At marahil iyon ang bahaging pinakanagulat ko.

Ang self-hosting AI ay hindi lamang tungkol sa pagtitipid ng pera o pag-iwas sa mga limitasyon sa API.

Tungkol ito sa pagmamay-ari.

Pagmamay-ari ng iyong mga kagamitan. Pagmamay-ari ng iyong mga daloy ng trabaho. Pagmamay-ari ng iyong datos. Pagmamay-ari ng katalinuhan na patuloy mong inaasahan araw-araw.

Para sa akin, iyan ang dahilan kung bakit napaka-interesante ng paglalakbay na ito.

Hindi dahil ganap na pinapalitan ng lokal na AI ang cloud AI.

Kundi dahil binibigyan nito ang mga indibidwal ng kakayahang lumahok sa bagong panahong ito ng pagkokompyuter sa sarili nilang mga pamamaraan.

At sa totoo lang, sa tingin ko ay simula pa lang ng pagbabagong iyon ang nakikita natin.