L'aprenentatge profund ha aconseguit resultats notables en camps com la visió per computador, el reconeixement de la parla o el processament del llenguatge natural. Alguns dels avenços més importants dels últims anys s'han produït gràcies al Transformer, un tipus de xarxa neuronal basada en el mecanisme d’atenció. Aquesta arquitectura, que inicialment va provocar una millora notable en la tasca de traducció automàtica, ha revolucionat multitud de camps d’investigació, fins i tot més enllà del processament del llenguatge natural.
En aquesta xerrada, Gerard I. Gállego farà una introducció al Transformer i exposarà quines en són les aplicacions més destacades. La sessió començarà amb una introducció al mecanisme d'atenció, que és el component principal del Transformer. A continuació, es definiran els mòduls que formen part de la seva arquitectura bàsica. Seguit d’això, es descriuran les variants del Transformer més conegudes, com BERT o GPT-3, i les seves propietats més rellevants. Finalment, s’exposaran, des d’un punt de vista més general, algunes aplicacions que han transcendit a camps més enllà del processament de llenguatge escrit.
Aquesta open class es realitzarà en anglès.
El ponent
Gerard I. Gállego és graduat en Enginyeria de Tecnologies i Serveis de Telecomunicació per la Universitat Politècnica de Catalunya (UPC) i màster en Tecnologies Avançades de la Telecomunicació, amb especialització en Deep Learning for Multimedia Processing. Actualment, és doctorand en Traducció Automàtica al Departament de Teoria del Senyal i Comunicacions de la UPC, i codirector del postgrau en Artificial Intelligence with Deep Learning de la UPC School.
La sessió es farà en línia mitjançant l'eina Google Meet.
També pots seguir l'Open Class amb el teu dispositiu mòbil, descarregant-te la versió corresponent de l'app Google Meet per Android o iOS.
Més entrades de Formació
Comentaris