19/07/2007

Mecanismul prin care neuronii învaţă prin recompense şi pedepse, descoperit la Cluj

Mecanismul prin care neuronii învaţă prin recompense şi pedepse, descoperit la Cluj
Foto: Jurnalul "Neural Computation", unde au aparut rezultatele
Un cercetător clujean a descoperit un mecanism prin care o reţea de neuroni simulaţi pe calculator poate să înveţe să aibă un anumit comportament, doar pe baza recompenselor şi pedepselor primite de la cel care antrenează reţeaua.


Categorie: IT
Autor: Cristian Presură



Mecanismul a fost descoperit prin deducţie matematică şi eficacitatea lui a fost demonstrată ulterior prin simulări pe calculator. Articolul care prezintă această descoperire a apărut în revista Neural Computation, cea mai importantă revistă ştiinţifică din domeniul reţelelor neuronale, revistă editată de prestigiosul Massachusetts Institute of Technology (MIT) din SUA.

Învăţarea prin recompense şi pedepse este tipul de învăţare prin care, de exemplu, se dresează un animal. Chiar dacă un câine nu înţelege iniţial care este sensul unei comenzi, dacă execută din întâmplare comanda şi este apoi recompensat cu o bomboană, va învăţa ulterior să facă lucrul cerut doar auzind comanda. Analog, dacă un animal sau un copil este pedepsit pentru că a făcut un anumit lucru, comportamentul respectiv va fi făcut mai rar în viitor. Mecanismul descoperit de Răzvan Florian, de la Centrul de Cercetări Cognitive şi Neuronale (Coneural) din Cluj, elucidează modul în care această învăţare poate avea loc prin modificarea tăriei conexiunilor dintre neuroni (celulele din creier). Modificarea tăriei unei conexiuni (sinapse) depinde de intervalele de timp dintre pulsurile emise de cei doi neuroni conectaţi şi de mărimea recompenselor, respectiv a pedepselor primite.

Mecanismul a fost descoperit prin deducţie matematică şi eficacitatea lui a fost demonstrată ulterior prin simulări pe calculator. De exemplu, un vierme simulat pe calculator a învăţat pe baza acestui mecanism să găsească o sursă de mâncare. Mecanismul foloseşte componente deja observate de neurologi în creier, şi este deci foarte probabil ca să funcţioneze şi în creierul nostru.

Articolul care prezintă această descoperire a apărut în revista Neural Computation, cea mai importantă revistă ştiinţifică din domeniul reţelelor neuronale, revistă editată de prestigiosul Massachusetts Institute of Technology (MIT) din SUA. Este pentru prima dată când un articol din România este acceptat spre publicare în această revistă, înfiinţată acum 18 ani.

Cercetătorii clujeni vor folosi în viitor metoda de învăţare descoperită pentru instruirea roboţilor. „Prin acest tip de învăţare, roboţii ar putea fi instruiţi de către orice utilizator, şi ar putea să îndeplinească o gamă variată de sarcini, spre deosebire de roboţii care pot avea doar comportamente stereotipe, implementate de programatori înainte de livrarea roboţilor către utilizatorii finali”, spune Florian.

Capacitatea de a învăţa permanent, în interacţiune cu mediul, este crucială pentru ca roboţii să poată fi folosiţi în medii ale căror caracteristici se schimbă tot timpul, aşa cum sunt o banală bucătărie, în care permanent apar schimbări în poziţiile obiectelor sau obiecte noi. Mecanismele de învăţare de genul celui descoperit de Răzvan Florian sunt deci elemente critice pentru ca să putem avea în viitor roboţi care să facă curăţenie sau de mâncare în casă. Conform fondatorului Microsoft, Bill Gates, robotica va fi în următorii ani cel mai „fierbinte” domeniu al tehnologiei, urmând ca roboţii să fie din ce în ce mai prezenţi în viaţa noastră, în domenii cum ar fi asistenţa pentru oamenii în vârstă sau cu dizabilităţi sau industria construcţiilor.

Articolul ştiinţific în care a fost publicată descoperirea: R. V. Florian (2007), Reinforcement learning through modulation of spike-timing-dependent synaptic plasticity. Neural Computation 19 (6), pp. 1468-1502. http://www.mitpressjournals.org/doi/abs/10.1162/neco.2007.19.6.1468

Site-ul Centrului pentru Cercetări Cognitive şi Neuronale: http://www.coneural.org/

[www.stiinta.info]

Comentarii

Adauga un comentariu

Adauga un comentariu

This is a captcha-picture. It is used to prevent mass-access by robots. (see: www.captcha.net)
Introdu codul:
Numele dumneavoastra:
Comentariu. Atentie, salveaza textul inainte de a-l trimite, ca o precautiune... Poti selecta tot comentariul cu CTRL-A si copia cu CTRL-C:
 
  • October 3, 2009, 4:02 pm - puiu



  • August 6, 2009, 8:39 am - florian r. t.

    Vedeti-va de treaba cu robotii, mai trebuie sa treaca 1000 de ani, ca sa ne dam seama ca nu putem face o inteligenta artificiala care sa se bazeze pe principiile creierului.


  • May 6, 2008, 8:12 am - kerosen

    oare intainte de a invata ceva pe robot, nu ai la baza cele trei legi fundamentale ale roboticii dezvoltate de Asimov sau ai uitat de ele?


  • March 29, 2008, 4:40 am - xavier

    Sunt de acord, dar, daca acele recompense sunt date gresit, spre exemplu : un robot loveste un om; stapanul robotului il recompenseaza intr-un mod nefiresc, incurajandu-l sa faca rau;
    Acuma intrebarea mea: robotii nu ar trebui mai intai "invatati" in laborator daca anumite actiuni sunt bune sau rele si apoi livrati viitorilor "consumatori" ?