Învățarea prin recompensă, numită în engleză reinforcement learning, este o metodă prin care un program învață să aleagă acțiuni bune încercând, primind un semnal pozitiv sau negativ și ajustându-și comportamentul. Spre deosebire de alte metode, nu i se dau răspunsuri corecte gata făcute; află treptat ce funcționează. Lista de verificare de mai jos te ajută să recunoști când o problemă se potrivește acestei metode și ce capcane apar.
Ideea de bază: agent, mediu, acțiune, recompensă
Metoda se descrie prin patru elemente. Agentul este programul care învață. Mediul este lumea în care acționează: un joc, o simulare, un robot într-o încăpere. Acțiunea este ce alege agentul la fiecare pas. Recompensa este un număr care spune cât de bună a fost acea alegere, pozitiv când e bine, negativ când e rău. Agentul urmărește să obțină, pe termen lung, cât mai multă recompensă totală.
O comparație din viața reală este dresajul unui câine cu recompense: nu îi explici regulile, dar îl răsplătești când face ce vrei. Diferența: programul poate repeta încercări de milioane de ori într-o simulare, fără oboseală.
Cum se deosebește de alte tipuri de învățare
În învățarea supervizată, modelul primește exemple cu răspunsul corect și învață să le reproducă; în cea nesupervizată, caută structuri în date fără etichete. Prima distincție clară, cu exemple, este în materialul despre învățarea supervizată și nesupervizată. Învățarea prin recompensă adaugă o dimensiune nouă: timpul. Acțiunea de acum poate avea efect abia peste mai mulți pași, iar sistemul trebuie să învețe ce alegeri duc la rezultate bune în final, nu doar imediat.
Lista de verificare: se potrivește problema ta?
- Există un șir de decizii, nu o decizie izolată? Metoda e utilă când acțiunile se leagă una de alta, cum se întâmplă într-un joc sau în controlul unui robot.
- Poți defini clar „ce înseamnă bine”? Fără o recompensă bine gândită, agentul nu știe încotro să meargă.
- Poți simula mediul sau poți încerca des, fără costuri mari? Încercările sunt numeroase; în lumea reală, fiecare greșeală poate costa.
- Există un echilibru între explorare și exploatare? Agentul trebuie să încerce lucruri noi, dar și să folosească ce a aflat deja.
- Poți monitoriza comportamentul învățat? Verifică dacă agentul rezolvă problema reală sau doar „păcălește” recompensa.
- Există alternativa unei metode mai simple? Dacă ai deja date cu răspunsuri corecte, învățarea supervizată este adesea mai eficientă.
Explorare sau exploatare: dilema centrală
Presupune că mergi zilnic la restaurante și ai găsit unul bun. Merită să mergi mereu acolo (exploatare) sau să încerci altele noi, riscând să mănânci prost, dar poate descoperind ceva și mai bun (explorare)? Un agent de învățare se confruntă cu aceeași dilemă la fiecare pas. Dacă explorează prea puțin, rămâne blocat într-o soluție mediocră; dacă explorează prea mult, nu profită de ce a învățat. Algoritmii reglează acest echilibru, de obicei explorând mai mult la început și mai puțin spre final.
Un exemplu simplu de recompensă bine gândită: un sistem care reglează încălzirea unei clădiri. Poți recompensa menținerea temperaturii într-un interval confortabil și penaliza consumul de energie. Agentul învață, prin încercări în simulare, când să pornească încălzirea mai devreme, când să profite de căldura rămasă și cum să reacționeze la zile mai friguroase. Dacă omiți penalizarea pentru consum, va menține temperatura perfectă și va risipi energie. Dacă omiți confortul, va economisi energie lăsând oamenii să înghețe. Echilibrul dintre obiective se stabilește de oameni, nu de agent.
Capcane frecvente
Cea mai cunoscută se numește „specificarea greșită a recompensei”. Dacă premiezi un indicator, nu intenția din spatele lui, agentul găsește scurtături neașteptate. Exemplu: un program de joc recompensat pentru punctaj poate descoperi un defect care îi dă puncte la nesfârșit, în loc să joace „corect”. Sistemul face exact ce i-ai cerut, nu ce voiai.
A doua capcană este costul datelor: fiecare lecție vine prin încercări, deci procesul poate dura mult și consuma resurse. A treia este fragilitatea: un agent antrenat într-o simulare poate funcționa prost în lumea reală, dacă simularea nu seamănă destul cu realitatea.
Un alt exemplu ajută la intuiție: un aspirator robot care învață harta unei case. La început se lovește de mobilă și ocolește obstacole la întâmplare. După multe încercări, primește „recompense” pentru acoperirea întregii suprafețe și „penalizări” pentru ciocniri, așa că ajunge să aleagă trasee mai bune. Nu a primit niciun plan gata făcut; a descoperit unul. În lumea reală, însă, majoritatea dispozitivelor de acest fel vin deja antrenate din fabrică.
Unde se folosește
| Domeniu | Ce se învață | Observație |
|---|---|---|
| Jocuri | Strategii, ordinea mutărilor | Mediu ușor de simulat, reguli clare |
| Robotică | Mers, prindere, echilibru | Se antrenează mult în simulare înainte de testarea fizică |
| Optimizarea resurselor | Programarea sarcinilor, consum energetic | Recompensa se leagă de costuri și eficiență |
| Recomandări și reclame | Ce se afișează în funcție de reacții | Necesită atenție la efecte pe termen lung |
| Asistenți conversaționali | Preferințe umane pentru răspunsuri | Oamenii evaluează răspunsuri, iar modelul este ajustat după aceste evaluări |
Cum îți formezi o idee clară
Dacă ai întâlnit expresia într-un articol sau într-un produs, întreabă-te trei lucruri: ce este recompensa, cine a ales-o și ce ar putea face agentul ca să o obțină fără să rezolve problema reală? Aceste întrebări deschid discuția în loc să o închidă cu un cuvânt la modă. Ele se aplică la fel de bine unui program de jocuri și unui sistem care optimizează consumul de energie al unei clădiri.
Pentru context mai larg, secțiunea AI pe înțeles grupează explicațiile despre diferite tipuri de învățare. Ghidurile din LumeaTehnologiei le leagă de exemple din viața digitală de zi cu zi. Învățarea prin recompensă nu e magie, ci un proces de încercare și corecție, cu toate avantajele și capcanele unui astfel de proces.
