{"id":6598,"date":"2018-12-25T14:54:29","date_gmt":"2018-12-25T14:54:29","guid":{"rendered":"http:\/\/algerienetwork.com\/science-tec\/?p=6598"},"modified":"2020-07-31T11:30:05","modified_gmt":"2020-07-31T11:30:05","slug":"reseaux-de-neurones-artificiels","status":"publish","type":"post","link":"https:\/\/algerienetwork.com\/sciences-tec\/reseaux-de-neurones-artificiels\/","title":{"rendered":"R\u00e9seaux de neurones artificiels"},"content":{"rendered":"

Les re\u0301seaux de neurones, inspire\u0301s de la structure du cerveau humain, sont au c\u0153ur des progre\u0300s re\u0301cents de l\u2019intelligence artificielle. Dote\u0301s de capacite\u0301s impressionnantes, ils arrivent a\u0300 reconnai\u0302tre des images avec grande pre\u0301cision et sont utilise\u0301s dans les voitures autonomes. Ils peuvent lire et e\u0301crire et me\u0302me jouer a\u0300 des jeux vide\u0301os! Ces re\u0301seaux utilisent des principes mathe\u0301matiques relativement simples pour repre\u0301senter ces connaissances pourtant complexes. Survolons certains de ces concepts les plus importants.<\/span><\/big><\/p><\/blockquote>\n

1 De\u0301tecter les cancers<\/span><\/h3>\n

La Dre Douggie est une me\u0301decin-oncologue de renomme\u0301e mondiale. Chaque jour, elle diagnostique la pre\u0301sence de me\u0301lanomes, synonymes de cancer de la peau,chez ses patients. Son expertise est telle qu\u2019elle ne suffit plus a\u0300 la ta\u0302che et son ho\u0302pital aimerait pouvoir l\u2019aider en cre\u0301ant une application, un programme informatique, pour identifier automatiquement les me\u0301lanomes avec le me\u0302me taux de succe\u0300s que la me\u0301decin. L\u2019ho\u0302pital demande donc son aide pour de\u0301velopper une telle application.<\/p>\n

1.1 Une premie\u0300re approche<\/span><\/h3>\n

Pour mieux formaliser le processus menant a\u0300 un diagnostic, la Dre Douggie a une ide\u0301e. En premier, elle va re\u0301colter les donne\u0301es me\u0301dicales de ses anciens patients, mais pas n\u2019importe quelles donne\u0301es : celles qui selon elle l\u2019aident a\u0300 pre\u0301dire si un patient a un me\u0301lanome ou non.<\/p>\n

De\u0301notons ces donne\u0301es, pour chaque patient, par le vecteur x<\/mi>.<\/mo><\/math>\u00ab\u00a0>x<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

Ensuite, elle cherchera une formule mathe\u0301matique qui, a\u0300 partir de x<\/mi>,<\/mo><\/math>\u00ab\u00a0>x<\/span><\/span>,<\/span><\/span><\/span><\/span><\/span><\/p>\n

permet de de\u0301terminer si un patient est atteint d\u2019un me\u0301lanome ou non. Une fois cette formule trouve\u0301e, elle pourra e\u0302tre utilise\u0301e pour pre\u0301dire si de nouveaux patients ont un me\u0301lanome ou non.<\/p>\n

Ce processus, et surtout les me\u0301thodes permettant de trouver automatiquement cette formule, se nomme apprentissage automatique. La formule elle-me\u0302me constitue un mode\u0300le, c\u2019est-a\u0300-dire une repre\u0301sentation mathe\u0301matique simplifie\u0301e du processus de diagnostic. Plus pre\u0301cise\u0301ment, on cherche une fonction f<\/mi><\/math>\u00ab\u00a0>f<\/span><\/span><\/span><\/span><\/span><\/p>\n

qui transforme les donne\u0301es x<\/mi><\/math>\u00ab\u00a0>x<\/span><\/span><\/span><\/span><\/span> en pre\u0301diction y<\/mi>,<\/mo><\/math>\u00ab\u00a0>y<\/span><\/span>,<\/span><\/span><\/span><\/span><\/span> soit f<\/mi>(<\/mo>x<\/mi>)<\/mo>=<\/mo>y<\/mi>.<\/mo><\/math>\u00ab\u00a0>f<\/span><\/span>(<\/span><\/span>x<\/span><\/span>)<\/span><\/span>=<\/span><\/span>y<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

Dans notre cas, y est une variable avec deux valeurs possibles, soit une valeur indiquant la pre\u0301sence d\u2019un me\u0301lanome et une autre indiquant son absence. On peut donner la valeur nume\u0301rique de 1 au premier cas et de 0 au second.<\/p>\n

\"neurones-3\"Le nombre d\u2019heures d\u2019exposition au soleil par anne\u0301e ainsi que l\u2019a\u0302ge du patient sont deux caracte\u0301ristiques que la Dre Douggie utilise pour e\u0301tablir son diagnostic. Pour chacun de ses patients, elle utilise donc ces deux variables que l\u2019on de\u0301note x<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

et x<\/mi>2<\/mn><\/msub>.<\/mo><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span> L\u2019ensemble des caracte\u0301ristiques de chaque patient constitue alors ce qu\u2019on appelle un jeu de donne\u0301es : {<\/mo>(<\/mo>x<\/mi>1<\/mn><\/msub>,<\/mo>x<\/mi>2<\/mn><\/msub>,<\/mo>y<\/mi>)<\/mo>}<\/mo><\/math>\u00ab\u00a0>{<\/span><\/span>(<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>,<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>,<\/span><\/span>y<\/span><\/span>)<\/span><\/span>}<\/span><\/span><\/span><\/span><\/span><\/p>\n

. Ce jeu de donne\u0301es contenant 37 paires est illustre\u0301 a\u0300 la figure a\u0300 gauche.<\/p>\n

Apre\u0300s quelques minutes de re\u0301flexion, la Dre Douggie trouve une droite entre les variable x<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

et x<\/mi>2<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

:<\/p>\n

a<\/mi>x<\/mi>1<\/mn><\/msub>+<\/mo>b<\/mi>x<\/mi>2<\/mn><\/msub>+<\/mo>c<\/mi>=<\/mo>0<\/mn><\/math>\u00ab\u00a0>a<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>+<\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>+<\/span><\/span>c<\/span><\/span>=<\/span><\/span>0<\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

qui semble bien se\u0301parer les patients cance\u0301reux des autres. Par ta\u0302tonnement, elle de\u0301termine la valeur des parame\u0300tres a<\/mi>,<\/mo>b<\/mi>,<\/mo>c<\/mi><\/math>\u00ab\u00a0>a<\/span><\/span>,<\/span><\/span>b<\/span><\/span>,<\/span><\/span>c<\/span><\/span><\/span><\/span><\/span><\/p>\n

qui semblent le mieux se\u0301parer les patients selon leur pathologie. Les donne\u0301es et la droite trouve\u0301e sont illustre\u0301es a\u0300 la figure ci-dessous.<\/p>\n

\"neurones-2\"<\/p>\n

La droite indique ce que l\u2019on nomme la frontie\u0300re de classification : d\u2019un co\u0302te\u0301, les patients sont pre\u0301sume\u0301s avoir un me\u0301lanome et de l\u2019autre, non. On peut donc utiliser cette droite pour classifier les patients en suivant la re\u0300gle suivante :<\/p>\n

y<\/mi>=<\/mo>{<\/mo>1<\/mn><\/mtd>si<\/mtext>a<\/mi>x<\/mi>1<\/mn><\/msub>+<\/mo>b<\/mi>x<\/mi>2<\/mn><\/msub>+<\/mo>c<\/mi>&#x2265;<\/mo>0<\/mn><\/mtd><\/mtr>0<\/mn><\/mtd>sinon<\/mtext><\/mtd><\/mtr><\/mtable><\/mo><\/mrow>.<\/mo><\/math>\u00ab\u00a0>y<\/span><\/span>=<\/span><\/span>{<\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span>si<\/span><\/span><\/span>a<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>+<\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>+<\/span><\/span>c<\/span><\/span>\u2265<\/span><\/span>0<\/span><\/span><\/span><\/span><\/span>0<\/span><\/span><\/span><\/span><\/span><\/span>sinon<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

Dans cet exemple, a<\/mi><\/math>\u00ab\u00a0>a<\/span><\/span><\/span><\/span><\/span><\/p>\n

et b<\/mi><\/math>\u00ab\u00a0>b<\/span><\/span><\/span><\/span><\/span> sont des valeurs positives, puisque les variables x<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span> et x<\/mi>2<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

sont toutes les deux corre\u0301le\u0301es positivement avec la pre\u0301sence d\u2019un me\u0301lanome. De plus, l\u2019e\u0301quation est en fait un plan a\u0300 deux dimensions dans un espace tridimensionnel.<\/p>\n

Me\u0302me si, a\u0300 premie\u0300re vue, cette fonction semble poser un bon diagnostic, elle se trompe en fait cinq fois. Trois patients en sante\u0301 auraient e\u0301te\u0301 diagnostique\u0301s comme ayant un me\u0301lanome (cercles rouges) tandis que deux patients avec me\u0301lanome auraient e\u0301te\u0301 manque\u0301s (e\u0301toiles rouges). Puisque la base de donne\u0301es contient 37 patients, l\u2019erreur de classification est de 5\/37=13,5 %. Encourage\u0301e par ces re\u0301sultats, la Dre Douggie croit cependant qu\u2019il y a lieu d\u2019ame\u0301liorer ce mode\u0300le. Elle de\u0301cide donc de poursuivre la recherche.<\/p>\n

1.2 Un autre essai<\/span><\/h3>\n

\"neurones-3\"Les concentrations sanguines de deux prote\u0301ines, Gamma et Beta, l\u2019ont toujours aide\u0301e a\u0300 pre\u0301dire la pre\u0301sence de la maladie. Cependant, la Dre Douggie n\u2019a jamais re\u0301ussi a\u0300 expliquer comment elle interpre\u0301tait leur niveau pour re\u0301aliser son diagnostic. Elle s\u2019est toujours fie\u0301e a\u0300 son intuition, qui est devenue de plus en plus pre\u0301cise avec le temps. La me\u0301decin cre\u0301e donc un deuxie\u0300me jeu de donne\u0301es, illustre\u0301 a\u0300 la figure ci-contre.<\/p>\n

A\u0300 premie\u0300re vue, il semble exister une fonction (un peu serpentine) qui ne ferait que deux erreurs! Cependant, elle serait loin d\u2019e\u0302tre line\u0301aire. Dre Douggie essaie plusieurs fonctions candidates. Elle commence par des fonctions polynomiales de degre\u0301 1<\/mn>(<\/mo>a<\/mi>x<\/mi>1<\/mn><\/msub>+<\/mo>b<\/mi>x<\/mi>2<\/mn><\/msub>+<\/mo>c<\/mi>=<\/mo>0<\/mn>)<\/mo><\/math>\u00ab\u00a0>1<\/span><\/span>(<\/span><\/span>a<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>+<\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>+<\/span><\/span>c<\/span><\/span>=<\/span><\/span>0<\/span><\/span>)<\/span><\/span><\/span><\/span><\/span><\/p>\n

et de degre\u0301 2<\/mn>(<\/mo>a<\/mi>x<\/mi>1<\/mn>2<\/mn><\/msubsup>+<\/mo>b<\/mi>x<\/mi>1<\/mn><\/msub>x<\/mi>2<\/mn><\/msub>+<\/mo>c<\/mi>x<\/mi>2<\/mn>2<\/mn><\/msubsup>+<\/mo>d<\/mi>=<\/mo>0<\/mn>)<\/mo>.<\/mo><\/math>\u00ab\u00a0>2<\/span><\/span>(<\/span><\/span>a<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span>+<\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>+<\/span><\/span>c<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span>+<\/span><\/span>d<\/span><\/span>=<\/span><\/span>0<\/span><\/span>)<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

Elle tente ensuite des sinusoi\u0308dales (<\/mo>x<\/mi>2<\/mn><\/msub>=<\/mo>a<\/mi>sin<\/mi>&#x2061;<\/mo>(<\/mo>b<\/mi>x<\/mi>1<\/mn><\/msub>)<\/mo>)<\/mo>,<\/mo><\/math>\u00ab\u00a0>(<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>=<\/span><\/span>a<\/span><\/span>sin<\/span><\/span><\/span>(<\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>)<\/span><\/span>)<\/span><\/span>,<\/span><\/span><\/span><\/span><\/span><\/p>\n

des exponentielles (<\/mo>x<\/mi>2<\/mn><\/msub>=<\/mo>a<\/mi>e<\/mi>b<\/mi>x<\/mi>1<\/mn><\/msub><\/mrow><\/msup>)<\/mo><\/math>\u00ab\u00a0>(<\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>=<\/span><\/span>a<\/span><\/span>e<\/span><\/span><\/span>b<\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>)<\/span><\/span><\/span><\/span><\/span><\/p>\n

et plusieurs autres. Malheureusement, rien ne permet de bien de\u0301partager les donne\u0301es.<\/p>\n

1.3 Un re\u0301seau de neurones<\/span><\/h3>\n

\"neurones-4\"La Dre Douggie est sur le point de tout abandonner lorsque son bon ami, le Dr Hinton, lui propose d\u2019utiliser un re\u0301seau de neurones artificiels. \u00ab Un re\u0301seau de neurones artificiels? Qu\u2019est-ce que c\u0327a mange en hiver, c\u0327a? \u00bb demande Dre Douggie. \u00ab Eh bien, c\u2019est un type de fonction qui peut lui-me\u0302me mode\u0301liser toutes les fonctions existantes. Tu n\u2019auras plus a\u0300 e\u0301mettre et a\u0300 tester des hypothe\u0300ses, comme : est-ce qu\u2019une fonction cubique collerait bien a\u0300 mon jeu de donne\u0301es? Le re\u0301seau de neurones s\u2019en occupe, et il n\u2019y a pas grand-chose a\u0300 son e\u0301preuve! \u00bb re\u0301plique le Dr Hinton.<\/p>\n

La Dre Douggie reste sceptique; c\u0327a lui semble un peu trop beau pour e\u0302tre vrai. Tout de me\u0302me, elle laisse le Dr Hinton essayer ses re\u0301seaux de neurones sur son jeu de donne\u0301es. Quelques minutes plus tard, le Dr Hinton aboutit a\u0300 la fonction illustre\u0301e a\u0300 la figure ci-contre.<\/p>\n

La Dre Douggie est bouche be\u0301e. Elle a passe\u0301 une semaine a\u0300 essayer d\u2019identifier LA fonction parfaite et n\u2019a abouti a\u0300 rien. Le Dr Hinton l\u2019a trouve\u0301e quasi instantane\u0301ment gra\u0302ce a\u0300 ses re\u0301seaux de neurones. L\u2019erreur de classification, qui e\u0301tait 13,5 %, descend donc a\u0300 2\/37= 5,4 %.<\/p>\n

2 Comment c\u0327a fonctionne?<\/span><\/h3>\n

\"neurones-5\"Le sche\u0301ma ci-contre illustre le re\u0301seau de neurones utilise\u0301 par le Dr Hinton. Les deux e\u0301le\u0301ments au c\u0153ur de ce sche\u0301ma sont d\u2019une part les neurones<\/em> (cercles) et de l\u2019autre les connexions<\/em> (fle\u0300ches). Les connexions transmettent l\u2019information entre les neurones qui, pour leur part, proce\u0300dent a\u0300 des calculs a\u0300 partir des informations rec\u0327ues. L\u2019information se transmet dans le sens des connexions, a\u0300 partir des neurones observe\u0301s qui correspondent aux donne\u0301es jusqu\u2019a\u0300 la pre\u0301diction.<\/p>\n

La force de ces mode\u0300les est de combiner les neurones, chacun repre\u0301sentant une fonction relativement simple, pour obtenir des fonctions tre\u0300s complexes.<\/p>\n

De\u0301cortiquons ce qui se passe lorsqu\u2019un re\u0301seau de neurones fait une pre\u0301diction. Rappelons-nous qu\u2019un re\u0301seau de neurones est une fonction f<\/mi>(<\/mo>x<\/mi>)<\/mo>=<\/mo>y<\/mi>,<\/mo><\/math>\u00ab\u00a0>f<\/span><\/span>(<\/span><\/span>x<\/span><\/span>)<\/span><\/span>=<\/span><\/span>y<\/span><\/span>,<\/span><\/span><\/span><\/span><\/span><\/p>\n

ou\u0300 x<\/mi><\/math>\u00ab\u00a0>x<\/span><\/span><\/span><\/span><\/span> repre\u0301sente les caracte\u0301ristiques d\u2019un patient du jeu de donne\u0301es et ou\u0300 y<\/mi><\/math>\u00ab\u00a0>y<\/span><\/span><\/span><\/span><\/span><\/p>\n

est la pre\u0301diction.<\/p>\n

La premie\u0300re e\u0301tape est pluto\u0302t simple : on inse\u0300re les donne\u0301es x<\/mi><\/math>\u00ab\u00a0>x<\/span><\/span><\/span><\/span><\/span><\/p>\n

dans le re\u0301seau de neurones f<\/mi>.<\/mo><\/math>\u00ab\u00a0>f<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

Dans notre cas, c\u2019est la paire de concentrations (Gamma, Beta) que nous inse\u0301rons dans les neurones observe\u0301s (en bleu) du re\u0301seau. La figure illustre cette e\u0301tape.<\/p>\n

Les deuxie\u0300me et troisie\u0300me e\u0301tapes sont tre\u0300s inte\u0301ressantes. Une par une, les couches transforment le jeu de donne\u0301es de fac\u0327on a\u0300 ce qu\u2019on puisse line\u0301airement se\u0301parer les ronds des e\u0301toiles. Plus pre\u0301cise\u0301ment, les connexions vont cre\u0301er un nouvel espace vectoriel<\/em> et y transporter le jeu de donne\u0301es de fac\u0327on a\u0300 ce que les cercles soient se\u0301pare\u0301s des e\u0301toiles.<\/p>\n

Ces calculs\u2013qui utilisent des ope\u0301rations simples comme des multiplications et des additions\u2013ont lieu dans chaque neurone. On peut visualiser le proce\u0301de\u0301 dans les parties b) et c) de la figure ci-dessous. Le jeu de donne\u0301es transforme\u0301 est donc \u00ab stocke\u0301 \u00bb dans les neurones cache\u0301s (en mauve) du re\u0301seau. Nous les appelons ainsi puisque ce sont des repre\u0301sentations du jeu de donne\u0301es que nous n\u2019observons pas dans le monde re\u0301el. D\u2019un autre point de vue, les axes qui correspondaient aux prote\u0301ines Gamma et Beta en a) deviennent l\u2019intensite\u0301 de l\u2019activation des deux neurones en b) et c). Pour en savoir plus sur l\u2019activation des neurones, voir l\u2019encadre\u0301 \u00ab Activation des neurones \u00bb.<\/p>\n

\"neurones-6\"<\/p>\n

\n

Activation des neurones<\/span><\/h2>\n

Un peu comme dans nos cerveaux, dans un re\u0301seau de neurones artificiels, les neurones s\u2019activent ou non en fonction des signaux rec\u0327us. Plus pre\u0301cise\u0301ment, chaque neurone calcule une transformation affine de ses entre\u0301es. Chaque entre\u0301e est multiplie\u0301e par un coefficient unique aussi appele\u0301 poids<\/em>. Par exemple un neurone ayant deux entre\u0301es calcule donc :<\/p>\n

p<\/mi>=<\/mo>w<\/mi>0<\/mn><\/msub>+<\/mo>w<\/mi>1<\/mn><\/msub>x<\/mi>1<\/mn><\/msub>+<\/mo>w<\/mi>2<\/mn><\/msub>x<\/mi>2<\/mn><\/msub><\/math>\u00ab\u00a0>p<\/span><\/span>=<\/span><\/span>w<\/span><\/span><\/span>0<\/span><\/span><\/span><\/span>+<\/span><\/span>w<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>+<\/span><\/span>w<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n<\/div>\n

ou\u0300 l\u2019ordonne\u0301e a\u0300 l\u2019origine w<\/mi>0<\/mn><\/msub><\/math>\u00ab\u00a0>w<\/span><\/span><\/span>0<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

est aussi appele\u0301e biais<\/em>.<\/p>\n

Ensuite, une fonction non line\u0301aire transforme la sortie o<\/mi><\/math>\u00ab\u00a0>o<\/span><\/span><\/span><\/span><\/span><\/p>\n

de chaque neurone. Cette fonction non line\u0301aire, souvent appele\u0301e fonction d\u2019activation<\/em>, est primordiale pour le re\u0301seau de neurones puisqu\u2019elle permet au re\u0301seau d\u2019apprendre une frontie\u0300re de classification non line\u0301aire (comme a\u0300 la figure a\u0300 droite par exemple). Un exemple d\u2019une telle fonction souvent utilise\u0301e est la fonction sigmoi\u0308de :<\/p>\n

&#x03C3;<\/mi>(<\/mo>p<\/mi>)<\/mo>=<\/mo>1<\/mn>1<\/mn>+<\/mo>e<\/mi>&#x2212;<\/mo>p<\/mi><\/mrow><\/msup><\/mrow><\/mfrac>.<\/mo><\/math>\u00ab\u00a0>\u03c3<\/span><\/span>(<\/span><\/span>p<\/span><\/span>)<\/span><\/span>=<\/span><\/span>1<\/span><\/span><\/span>1<\/span><\/span>+<\/span><\/span>e<\/span><\/span><\/span>\u2212<\/span><\/span>p<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

\"neurones-8\"Maintenant que nous avons compris le fonctionnement d\u2019un neurone, reprenons le re\u0301seau du Dr Hinton. La figure montre comment a e\u0301te\u0301 calcule\u0301 le premier neurone de la premie\u0300re couche cache\u0301e.<\/p>\n

Les connexions w<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>w<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

et w<\/mi>2<\/mn><\/msub><\/math>\u00ab\u00a0>w<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span><\/span><\/span> ainsi que le biais w<\/mi>0<\/mn><\/msub><\/math>\u00ab\u00a0>w<\/span><\/span><\/span>0<\/span><\/span><\/span><\/span><\/span><\/span><\/span> combinent line\u0301airement x<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span> et x<\/mi>2<\/mn><\/msub><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>2<\/span><\/span><\/span><\/span><\/span><\/span><\/span> en une sortie pre\u0301activation p<\/mi>1<\/mn><\/msub>.<\/mo><\/math>\u00ab\u00a0>p<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span> Ensuite, la fonction sigmoi\u0308de calcule l\u2019activation du neurone h<\/mi>1<\/mn><\/msub>.<\/mo><\/math>\u00ab\u00a0>h<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span> Si la valeur de p<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>p<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span> est suffisamment petite, le neurone ne sera pas active\u0301 (<\/mo>h<\/mi>1<\/mn><\/msub>&#xA0;<\/mtext>0<\/mn>)<\/mo>.<\/mo><\/math>\u00ab\u00a0>(<\/span><\/span>h<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span> <\/span><\/span>0<\/span><\/span>)<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span> Par contre, si la valeur de p<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>p<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span> est grande, le neurone h<\/mi>1<\/mn><\/msub><\/math>\u00ab\u00a0>h<\/span><\/span><\/span>1<\/span><\/span><\/span><\/span><\/span><\/span><\/span><\/p>\n

sera actif est sa valeur de sortie se rapprochera de 1.<\/p>\n

Dans un re\u0301seau, les signaux se de\u0301placent une couche a\u0300 la fois en partant des donne\u0301es. Les neurones de la premie\u0300re couche cache\u0301e calculent donc une transformation des donne\u0301es x<\/mi>i<\/mi><\/msub>.<\/mo><\/math>\u00ab\u00a0>x<\/span><\/span><\/span>i<\/span><\/span><\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

\n

Les neurones de la seconde couche cache\u0301e utilisent les sorties des neurones de la premie\u0300re couche. Et ainsi de suite jusqu\u2019a\u0300 la sortie du re\u0301seau\u2026<\/p>\n<\/div>\n

\"neurones-7\"La dernie\u0300re e\u0301tape peau ne le diagnostic : on retrouvera dans le neurone jaune la probabilite\u0301 qu\u2019un patient ait une tumeur cance\u0301reuse. Le re\u0301seau de neurones trace une frontie\u0300re line\u0301aire pour se\u0301parer les patients. S\u2019il estime qu\u2019un patient est en sante\u0301, les e\u0301tapes 2 et 3 le de\u0301placeront bien a\u0300 la gauche de la frontie\u0300re, que l\u2019on peut voir a\u0300 la partie d) de la figure. S\u2019il estime que le patient est malade, les e\u0301tapes 2 et 3 le de\u0301placeront bien a\u0300 la droite. Par contre, si le re\u0301seau est moins confiant en son diagnostic, il de\u0301placera le patient plus pre\u0300s de la frontie\u0300re. C\u2019est pourquoi on peut interpre\u0301ter la distance entre la frontie\u0300re et un patient comme la confiance du re\u0301seau de neurones en son diagnostic. Par exemple, si un patient est exactement sur la frontie\u0300re, c\u2019est que le re\u0301seau est inde\u0301cis.<\/p>\n

Les re\u0301seaux de neurones excellent dans la vision par ordinateur qui cible la compre\u0301hension automatique d\u2019informations visuelles. Par exemple, un re\u0301seau de neurones pourrait reconnai\u0302tre la race d\u2019un chien a\u0300 partir de sa photo. Un re\u0301seau de neurones pourrait e\u0301galement de\u0301crire une image comme celle ci-contre.<\/p>\n

Les re\u0301seaux de neurones peuvent aussi ge\u0301ne\u0301rer des images on ne peut plus re\u0301alistes. Sauriez-vous discerner la vraie photo de celle ge\u0301ne\u0301re\u0301e par un re\u0301seau de neurones dans la figure ci-dessous?<\/p>\n

\"neurones-9\"<\/p>\n

Les re\u0301seaux utilise\u0301s dans de telles applications sont de tre\u0300s grande taille. Dans le proble\u0300me e\u0301tudie\u0301 par la Dre Douggie, les donne\u0301es x<\/mi><\/math>\u00ab\u00a0>x<\/span><\/span><\/span><\/span><\/span><\/p>\n

qui entrent dans le re\u0301seau de neurones ont deux dimensions (concentration des prote\u0301ines Gamma et Beta). Une image d\u2019une te\u0301le\u0301vision haute de\u0301finition contient plus de 900 000 pixels, donc 900 000 dimensions ! De plus, la profondeur des re\u0301seaux (nombre de couches cache\u0301es) peut aller jusqu\u2019a\u0300 150 couches ! Le nombre total de parame\u0300tres de ces re\u0301seaux peut e\u0302tre gigantesque.<\/p>\n

Les re\u0301seaux de neurones re\u0301alisent aussi des performances impressionnantes en reconnaissance vocale. Lorsque vous parlez avec Alexa (Amazon), Siri (Apple), Cortana (Microsoft) ou a\u0300 l\u2019Assistant Google, les re\u0301seaux jouent un ro\u0302le cle\u0301 quant a\u0300 la reconnaissance des mots. Et comment toutes ces technologies produisent-elles une re\u0301ponse a\u0300 la question ou a\u0300 la demande formule\u0301e par un utilisateur? Vous l\u2019aurez devine\u0301, avec d\u2019autres re\u0301seaux de neurones !<\/p>\n

Les re\u0301seaux de neurones peuvent conduire des automobiles, jouer a\u0300 des jeux vide\u0301os, de\u0301couvrir de nouveaux me\u0301dicaments, e\u0301crire de la musique, peindre des tableaux, traduire entre plusieurs langues, contro\u0302ler des robots, etc. Bref, les re\u0301seaux de neurones ne cessent de nous e\u0301pater par leur polyvalence et le nombre de scientifiques s\u2019y inte\u0301ressant en divers domaines progresse a\u0300 toute allure. D\u2019ailleurs, bien malin qui sait tout ce qu\u2019ils pourront nous aider a\u0300 re\u0301soudre. Les re\u0301seaux de neurones ont re\u0301volutionne\u0301 le domaine de la vision informatique.<\/p>\n

\n

Les r\u00e9seaux de neurones, c\u2019est un peu canadien !<\/span><\/h2>\n
\n

\"Les<\/p>\n

Les \u00abp\u00e8res\u00bb de l\u2019apprentissage profond: Yan LeCun, Geoffrey Hinton et Yoshua Bengio (tir\u00e9 de la page Facebook de Andrew Ng)<\/p>\n<\/div>\n

L\u2019id\u00e9e des r\u00e9seaux de neurones artificiels a vu le jour en 1943. Leur popularite\u0301 a fluctue\u0301 avec le temps, mais ce n\u2019est qu\u2019au de\u0301but des anne\u0301es 2000, apre\u0300s des anne\u0301es de recherche, que Geoff Hinton, de la University of Toronto, Yoshua Bengio, de l\u2019Universite\u0301 de Montre\u0301al, et Yann LeCun de la New York University ont pu de\u0301montrer les capacite\u0301s de ces re\u0301seaux a\u0300 apprendre des ta\u0302ches complexes. L\u2019Institut canadien de recherches avance\u0301es (ICRA) les a subventionne\u0301s, lorsque les entreprises et les autres pays avaient baisse\u0301 les bras. Aujourd\u2019hui, le terme apprentissage profond<\/em> de\u0301signe le champ portant sur les re\u0301seaux de neurones.<\/p>\n<\/div>\n

\n

Comment le re\u0301seau apprend<\/em>-il a\u0300 transformer les donne\u0301es?<\/span><\/h2>\n

Tout c\u0327a est bien beau, mais comment le re\u0301seau de neurones apprend<\/em>-il une ta\u0302che? Plus pre\u0301cise\u0301ment, comment le re\u0301seau trouve-t-il les connexions pour correctement de\u0301placer les patients en sante\u0301 d\u2019un co\u0302te\u0301 de la frontie\u0300re de de\u0301cision, et les patients malades de l\u2019autre. La re\u0301ponse est : avec l\u2019aide du puissant algorithme de descente du gradient<\/em>.<\/p>\n

Prenons un exemple tre\u0300s simple pour expliquer cet algorithme. Disons que l\u2019on veut pre\u0301dire la taille d\u2019un individu a\u0300 partir de son poids (voir le jeu de donne\u0301es a\u0300 la figure suivante). Un mode\u0300le tre\u0300s simple pourrait e\u0302tre y<\/mi>=<\/mo>f<\/mi>(<\/mo>x<\/mi>)<\/mo>=<\/mo>a<\/mi>x<\/mi><\/math>\u00ab\u00a0>y<\/span><\/span>=<\/span><\/span>f<\/span><\/span>(<\/span><\/span>x<\/span><\/span>)<\/span><\/span>=<\/span><\/span>a<\/span><\/span>x<\/span><\/span><\/span><\/span><\/span><\/p>\n<\/div>\n

ou\u0300 y<\/mi><\/math>\u00ab\u00a0>y<\/span><\/span><\/span><\/span><\/span> repre\u0301sente la taille d\u2019un individu et x<\/mi><\/math>\u00ab\u00a0>x<\/span><\/span><\/span><\/span><\/span><\/p>\n

son poids.<\/p>\n

\"neurones-11\"<\/p>\n

Notons que a<\/mi><\/math>\u00ab\u00a0>a<\/span><\/span><\/span><\/span><\/span><\/p>\n

est la pente de la droite. Nous voulons donc trouver la pente qui nous permettra de pre\u0301dire la taille d\u2019un individu le plus pre\u0301cise\u0301ment possible. Ce proble\u0300me, bien qu\u2019un peu diffe\u0301rent de la de\u0301tection du cancer, peut aussi e\u0302tre re\u0301solu par un re\u0301seau de neurones qui transforme les donne\u0301es. On peut utiliser la descente de gradient pour trouver la valeur de a qui donne les pre\u0301dictions les plus justes. La technique est illustre\u0301e a\u0300 la figure \u00ab Descente de gradient \u00bb.
\n\"neurones-12\"<\/p>\n

Sur la range\u0301e du haut, on montre le jeu de donne\u0301es (en vert) en plus de diffe\u0301rentes droites possibles (en mauve). Les lignes pointille\u0301es en mauve montrent l\u2019e\u0301cart entre la pre\u0301diction et le poids re\u0301el d\u2019un individu. L\u2019erreur commise par chaque droite est la somme de toutes ces distances. Sur la range\u0301e du bas, on montre l\u2019erreur totale de chaque droite. En d\u2019autres mots, la courbe verte repre\u0301sente l\u2019erreur totale en fonction de la pente de la droite.<\/p>\n

De plus, cette figure montre l\u2019e\u0301volution de la droite tout au long de l\u2019entrai\u0302nement. Au de\u0301but de l\u2019apprentissage<\/em> (coin gauche supe\u0301rieur), on essaie une pente au hasard. L\u2019erreur (en mauve) du mode\u0300le est donc relativement e\u0301leve\u0301e. Le but est de changer la pente pour minimiser l\u2019erreur. Pour trouver ce minimum, nous utilisons la de\u0301rive\u0301e de la fonction d\u2019erreur (fle\u0300che noire). La de\u0301rive\u0301e est une fonction qui pointe vers le minimum d\u2019une autre fonction. Si la de\u0301rive\u0301e est ne\u0301gative, c\u2019est que le minimum se situe vers la droite, et vice-versa. Dans notre cas, elle pointe vers la gauche. Pour cette raison, on essaie une pente plus petite et on re\u0301pe\u0300te le processus. On arre\u0302te lorsque le minimum est trouve\u0301, soit lorsque la de\u0301rive\u0301e ne pointe ni vers la gauche, ni vers la droite (elle est e\u0301gale a\u0300 0).<\/p>\n

Cet exemple est tre\u0300s simple puisqu\u2019on n\u2019entrai\u0302ne qu\u2019un seul parame\u0300tre a<\/mi>.<\/mo><\/math>\u00ab\u00a0>a<\/span><\/span>.<\/span><\/span><\/span><\/span><\/span><\/p>\n

\n

Pour trouver les bonnes connexions dans un re\u0301seau de neurones, des milliers, voire des millions de parame\u0300tres sont entrai\u0302ne\u0301s simultane\u0301ment en utilisant cette me\u0301thode de descente de gradient !<\/p>\n<\/div>\n

Pour en s<\/span>\u03b1<\/span>voir<\/span> plus<\/span>!<\/span><\/h2>\n