Intel·ligència artificial: La Reial Acadèmia Sueca de Ciències ha anunciat la concessió del Premi Nobel de Física d'enguany a John J. Hopfield i a Geoffrey E. Hinton "per descobertes i invencions fundacionals que permeten l'aprenentatge automàtic amb xarxes neurals artificials". Hopefield i Hinton es repartiren el premi a parts iguals.
Esquema d’una xarxa de Hopfield de quatre nodes. Cada node té un llindar a partir del qual passa de l’estat ‘off’ a l’estat ‘on’. L’estat de la xarxa neural consisteix en identificar quins nodes es troben en estat ‘on’ en cada moment.
John J. Hopfield
John Joseph Hopfield (*Chicago, 15.7.1933) és fill del matrimoni format pels físics John Joseph Hopfield (1891-1953) i Helen S. Hopfield (1899-1989). Es graduà en física al Swarthmore College de Pennsylvania (1954). La seva tesi doctoral a la Cornell University, que defensà reeixidament en el 1958, realitzada sota la supervisió d’Albert Overhauser (1925-2011), tractava d’una teoria de mecànica quàntica sobre la contribució dels excitons-polaritons a la constant dielèctrica de cristalls. Després investigà durant dos anys l’estructura d’hemoglobina al grup de biologia teòrica dels Bell Laboratories. Successivament fou professor de física a la University of California, Berkeley; de física a la Princeton University; de química i biologia al California Institute of Technology; i finalment ocupà la plaça Howard A. Prior de biologia molecular a Princeton. En el 1974 descrigué una de les vies cinètiques responsables de la reducció d’errors en processos biosintètics com ara la replicació de l’ADN (Hopfield, 1974). En el 1986 fou un dels fundadors del programa doctoral de Computació i Sistemes Neurals del Caltech. Actualment és professor emèrit de biologia molecular a la Princeton University.
Geoffrey E. Hinton
Geoffrey E. Hinton (*Londres, 6.12.1947) es formà al Clifton College de Bristol i al King’s College de Cambridge, on passà successivament per les ciències naturals, la història de l’art i la filosofia. En el 1970 es graduà en psicologia experimental. Realitzà una tesi doctoral sobre el rol de la relaxació en la visió a la University of Edinburgh, sota la supervisió de Christopher Longuet-Higgins (1923-2004), que defensà reeixidament en el 1978. Passa després per la MRC Applied Psychology Unit de la University of Sussex, per la University of California, San Diego i la Carnegie Mellon University. Fou el primer director de la Gatsby Charitable Foundation Computational Neuroscience Unit al University College London. Fou fundador de la companyia DNNresearch Inc., que el 2013 fou adquirida per Google, i per això treballà en el programa Google Brain des de llavors fins el 2023. Actualment és professor emèrit del Department of Computer Science del University College of Toronto. També és assessor del programa Learning in Machines & Brains del Canadian Institute for Advanced Research.
Xarxes neurals artificials
John J. Hopfield i Geoffrey E. Hinton utilitzaren eines físiques per posar les bases de l'aprenentatge mecànic mitjançant xarxes neurals artificials. Hopfield creà una estructura amb memòria associativa que pot emmagatzemar i reconstruir informació (com ara imatges). Hinton inventà un mètode que pot descobrir independentment propietats en una sèrie de dades (com ara identificar elements en imatges).
Les xarxes neurals artificials s'inspiren en les connexions sinàptiques entre neurones del cervell i d'altres regions del sistema nerviós d'animals. Els nodes de la xarxa neural artificial són anàlegs a les neurones i tenen valor intrínsec relacionat amb la seva potència. Els nodes de la xarxa poden connectar entre ells (en analogia a les sinapsis neuronals). La plasticitat d'una xarxa neural consisteix fonamentalment en la potenciació o repressió d'aquestes connexions. L'ensinistrament de la xarxa pot consistir en l'enfortiment de la connexió entre nodes d'alt valor.
La xarxa de Hopfield, desenvolupada a principi dels anys 1980, empra com a base física l'espín atòmic (Hopefield, 1982). L'entrenament consisteix en la minimització de l'energia del sistema, en el benentès que cada node pot adoptar dos valors, on i off. Això fou assajat amb la interpretació d'imatges incompletes o distorsionades, cosa que es podia assolir amb una xarxa formada per 30 nodes, un total de 435 connexions i mig miler de paràmetres. Les xarxes de Hopfield tenen la capacitat d’emmagatzemar patrons i el mètode per recrear-los. Amb David W. Tank les desenvolupà com a eina de computació (Hopfield & Tank, 1985; Hopfield & Tank, 1986). Les xarxes modernes de Hopfield aconseguiren ampliar la capacitat d’emmagatzematge de memòria (Krotov & Hopfield, 2016).
Juntament amb David Ackley i Terry Sejnowski (*1947), Hinton inventà les màquines de Boltzmann com a contrapartida estocàstica i generativa de les xarxes de Hopfield (Ackley et al., 1985). La màquina de Boltzmann pot aprendre a reconèixer elements característics d’una sèrie de dades. El seu fonament procedeix de la com física estatística tracta els sistemes integrats per nombrosos components similars a través de les equacions formulades per Ludwig Boltzmann (1844-1906). L’entrenament de la màquina de Boltzmann es fa amb exemples que molt probablement sorgiran quan aquesta entri en funcionament. Entre les aplicacions de la màquina de Boltzmann hi ha la classificació d’imatges o la creació de nous exemples d’un tipus de patró.
La màquina de Boltzmann funciona habitualment amb dos tipus de nodes. Els nodes visibles (v) són els que reben l’input d’informació. La resta (h) són nodes amagats. Així doncs hi ha dues capes, una visible i una amagada. En el funcionament de la màquina hi ha una o més normes que indiquen com s’actualitzen els valors de nodes a cada pas. Després d’una sèrie de passes, les propietats de la xarxa són fixades, per bé que continua evolucionat el patró dels nodes. Cada patró possible té una probabilitat específica determinada per l’energia de la xarxa segons l’equació de Boltzmann.
A la UC San Diego, Hinton, juntament amb David E. Rumelhart (1942-2011) i Ronald J. Williams (1945-2024), aplicà l’algoritme de propagació inversa d’errors a xarxes neurals de multinivell (Rumelhart et al., 1986).
L’aprenentatge de la màquina de Boltzmann no es fa mitjançant instruccions preestablertes, sinó per l’input d’exemples als quals s’ha d’adaptar. Hinton et al. (2006) introduïren un algoritme d’aprenentatge ràpid per a xarxes profundes. La xarxa és integrada per una sèrie de màquines de Boltzmann disposades en capes. Mitjançant un pre-entrenament, les connexions queden optimitzades de cara a l’entrenament posterior. Això fou assajat en el reconeixement d’elements en imatges.
Lligams:
- Pressmeddelande: Nobelpriset i fysik 2024.
- Neural networks and physical systems with emergent collective computational abilities. J. J. Hopfield. PNAS 79: 2554-2558 (1982).
- A learning algorithm for boltzmann machines. David H. Ackley, Geoffrey E. Hinton, Terrence J. Sejnowski. Cognitive Science 9: 147-169 (1985).
- “Neural” computation of decisions in optimization problems. J. J. Hopfield, D. W. Tank. Biological Cybernetics 52: 141-152 (1985).
- Computing with Neural Circuits: A Model. John J. Hopfield, David W. Tank. Science 233: 625-633 (1986).
- Learning representations by back-propagating errors. David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams. Nature 323: 533-536 (1986).
- A fast learning algorithm for deep belief nets. Geoffrey E Hinton , Simon Osindero, Yee-Whye Teh. Neural Comput. 18: 1527-1554 (2006).
- Dense Associative Memory for Pattern Recognition. Dmitry Krotov, John J. Hopfield. Advances in Neural Information Processing Systems 29 (NIPS 2016).
- Una xarxa pentaneuronal inspirada en abelles per distingir entre parells i senars fins a quaranta (01/05/2022)
Cap comentari:
Publica un comentari a l'entrada