RAG ili fino podešavanje: šta je zaista potrebno vašem proizvodu?

Timovi često pitaju da li treba da „fino podese model“, iako im je zapravo potrebno da model odgovara na pitanja koristeći njihove podatke. To su različiti problemi sa različitim rešenjima, a njihovo mešanje jedna je od najčešćih i najskupljih grešaka u primenjenoj veštačkoj inteligenciji.

Koristite generisanje potpomognuto pronalaženjem podataka (RAG) da modelu pružite znanje koje nema. Koristite fino podešavanje da promenite način na koji se model ponaša — format, ton ili izvršavanje uskog i ponavljajućeg zadatka. Većini proizvoda mnogo je potrebnije prvo rešenje.

RAG povezuje model sa vašim podacima u trenutku upita: pronalazi relevantne dokumente i daje ih modelu kao kontekst. Odgovori zato ostaju aktuelni dok se podaci menjaju, mogu da sadrže izvore koje prikazujete korisnicima i smanjuju rizik da model izmisli činjenice. Za asistente, podršku zaposlenima i sve što se oslanja na vaše znanje, RAG je gotovo uvek pravi početak.

Fino podešavanje menja podrazumevano ponašanje modela. Najviše vredi kada su vam potrebni dosledan izlazni format, određen stil ili odličan rezultat na uskom zadatku velikog obima za koji imate kvalitetne primere. Ono ne uči model pouzdano novim činjenicama i mora se ponoviti kada se podaci ili zahtevi promene.

Postavite sledeća pitanja:

• Da li je modelu potrebno znanje koje nema? → RAG.
• Da li odgovor mora ostati aktuelan dok se podaci menjaju? → RAG.
• Da li su vam potrebni izvori ili mogućnost revizije? → RAG.
• Da li vam je potreban dosledan format ili stil u ponavljajućem zadatku? → Fino podešavanje.
• Da li imate veliki skup kvalitetnih ulaznih i izlaznih primera? → Fino podešavanje je moguće.

Počnite kvalitetnim promptovima i RAG-om. Uvedite evaluaciju kako biste merili kvalitet. Fino podešavanje koristite tek kada imate konkretan problem u ponašanju koji promptovi i pronalaženje podataka ne mogu da reše — i podatke koji to podržavaju. Nije skupa sama tehnika, već izbor pogrešne tehnike i otkrivanje te greške tri meseca kasnije.