| 1 | <HTML>
|
|---|
| 2 |
|
|---|
| 3 | <HEAD>
|
|---|
| 4 | <TITLE>Kunstmatige intelligentie - Programmeeropgave 3 - Neurale netwerken</TITLE>
|
|---|
| 5 | </HEAD>
|
|---|
| 6 |
|
|---|
| 7 | <BODY BGCOLOR="#FFFFFF" TEXT="black" LINK="blue" VLINK="red" ALINK="green">
|
|---|
| 8 |
|
|---|
| 9 | <H1>Kunstmatige intelligentie<BR>Programmeeropgave 3 van 2008 — Neurale netwerken</H1>
|
|---|
| 10 |
|
|---|
| 11 |
|
|---|
| 12 | De derde programmeeropgave (in het voorjaar van 2008) behorende bij het vak
|
|---|
| 13 | <a href="index.html">Kunstmatige intelligentie</a> gaat over
|
|---|
| 14 | <em>Neurale netwerken</em>.
|
|---|
| 15 | <br>
|
|---|
| 16 | Het is de bedoeling een eenvoudig Neuraal netwerk (NN)
|
|---|
| 17 | te programmeren met één verborgen laag
|
|---|
| 18 | dat Poker-handen kan classificeren.
|
|---|
| 19 | (Als je geen Poker speelt, geen zorg.)
|
|---|
| 20 | We gebruiken files van de
|
|---|
| 21 | <a href="http://archive.ics.uci.edu/ml/">UCI Machine Learning Repository</A>,
|
|---|
| 22 | en wel in het bijzonder de
|
|---|
| 23 | <a href="http://archive.ics.uci.edu/ml/datasets/Poker+Hand">Poker Hand Data set</a>.
|
|---|
| 24 | We willen het soort hand te bepalen, gegeven (alle?) informatie over de kaarten.
|
|---|
| 25 | <p>
|
|---|
| 26 | Het NN heeft een twee- tot tiental invoerknopen
|
|---|
| 27 | (evenveel als er kenmerken zijn),
|
|---|
| 28 | één of meer (?) uitvoerknopen,
|
|---|
| 29 | en een tussen 1 en 40 in te stellen
|
|---|
| 30 | aantal verborgen knopen. Verder zijn er twee bias-knopen,
|
|---|
| 31 | één op invoernivo en
|
|---|
| 32 | één op verborgen nivo.
|
|---|
| 33 | Gebruik <em>BackPropagation</em> als leermethode;
|
|---|
| 34 | redelijke waarden zijn wellicht: leersnelheid 0.1 tot 0.9,
|
|---|
| 35 | aantal verborgen knopen 3 en 100000 voorbeelden in totaal.
|
|---|
| 36 | <br>
|
|---|
| 37 | Test allereerst het netwerk op een paar
|
|---|
| 38 | "eenvoudige" functies van twee variabelen,
|
|---|
| 39 | bijvoorbeeld
|
|---|
| 40 | <em>XOR(x,y)</em> voor <em>x,y=0,1</em>,
|
|---|
| 41 | respectievelijk
|
|---|
| 42 | <em>f(x,y) = sin(2πx) cos(2πy)</em> voor <em>0 ⩽ x ⩽ 1</em> en <em>0 ⩽ y ⩽ 1</em>.
|
|---|
| 43 | Besteed hier in het verslag <em>kort</em> aandacht aan.
|
|---|
| 44 | Het netwerk heeft hier dus één uitvoerknoop.
|
|---|
| 45 |
|
|---|
| 46 | <p>
|
|---|
| 47 | Schrijf vervolgens zonodig een klein
|
|---|
| 48 | <A HREF="../introperl.html">Perl</A>-programma
|
|---|
| 49 | (voor Perl, zie ook
|
|---|
| 50 | <A HREF="/home/avdberg/perl.ppt">Arjan's PowerPoint presentatie</A>
|
|---|
| 51 | of
|
|---|
| 52 | <A HREF="perl.pdf">acht sheets in PDF</A>)
|
|---|
| 53 | dat de benodigde kenmerken/attributen uit de poker-files opslaat
|
|---|
| 54 | in het gewenste formaat, bijvoorbeeld
|
|---|
| 55 | allemaal, of juist een samenspel van enkele.
|
|---|
| 56 | Kun je bijvoorbeeld twee combinaties van attributen maken,
|
|---|
| 57 | zodat het netwerk toch goed presteert?
|
|---|
| 58 | Waarden tussen 0 en 1, graag, wellicht gescheiden door spaties.
|
|---|
| 59 | <br>
|
|---|
| 60 | Train daarna het netwerk hierop met BackPropagation,
|
|---|
| 61 | en geef resultaten van de experimenten. Denk
|
|---|
| 62 | aan het gebruiken van aparte training-set en test-set,
|
|---|
| 63 | zie de UCI-website.
|
|---|
| 64 | Ook een simpel statistiekje over de invoerfile doet het goed.
|
|---|
| 65 | En hoe doet het naieve algoritme (gok de meest voorkomende) het?
|
|---|
| 66 | <br>
|
|---|
| 67 | Het is goed genoeg om één uitvoerknoop te nemen,
|
|---|
| 68 | waarbij bijvoorbeeld 6 (full house) als 0.6 wordt
|
|---|
| 69 | gerepresenteerd: locaal coderen. Het is ook mogelijk
|
|---|
| 70 | — voor liefhebbers — om 10 knopen
|
|---|
| 71 | te nemen, waarbij knoop 6 staat voor full house: gedistribueerd coderen.
|
|---|
| 72 | <p>
|
|---|
| 73 | Gebruik <a href="http://www.gnuplot.info/"><tt>gnuplot</tt></a>
|
|---|
| 74 | om voor het verslag
|
|---|
| 75 | enkele grafieken te plotten, bijvoorbeeld met verschillende
|
|---|
| 76 | aantallen verborgen knopen, leersnelheden en
|
|---|
| 77 | stopcriteria.
|
|---|
| 78 | <br>
|
|---|
| 79 | Maak een file <tt>plot.p</tt> met daarin bijvoorbeeld<br>
|
|---|
| 80 | <tt> set xrange [0:1]<br>
|
|---|
| 81 | set yrange [0:1]<br>
|
|---|
| 82 | set pm3d<br>
|
|---|
| 83 | splot sin(2*pi*x)*cos(2*pi*y)</tt><br>
|
|---|
| 84 | En laad deze file in <tt>gnuplot</tt> met <tt>gnuplot> load "plot.p"</tt>.
|
|---|
| 85 | <br>
|
|---|
| 86 | Als je een netwerk hebt om deze functie te benaderen,
|
|---|
| 87 | kun je het beste aan het eind van je
|
|---|
| 88 | programma alle benodigde trio's <em>(x,y,netwerkuitvoer)</em> afdrukken in een file
|
|---|
| 89 | (zeg <tt>net.uit</tt>;
|
|---|
| 90 | één trio per regel),
|
|---|
| 91 | waarbij <em>x</em> met kleine stapjes door het interval <em>[0,1]</em> loopt,
|
|---|
| 92 | en <em>y</em> idem,
|
|---|
| 93 | terwijl <em>netwerkuitvoer</em> de bijbehorende
|
|---|
| 94 | uitvoer van het getrainde netwerk is.
|
|---|
| 95 | In
|
|---|
| 96 | <tt>gnuplot</tt> kun je eenvoudig een grafiekje
|
|---|
| 97 | van netuitvoer en beoogde functie maken met behulp van:<br>
|
|---|
| 98 | <tt> gnuplot> splot "net.uit", sin(2*pi*x)*cos(2*pi*y)</tt>
|
|---|
| 99 | <br>
|
|---|
| 100 | Hierbij kun je zonodig PostScript-uitvoer genereren
|
|---|
| 101 | met behulp van<br>
|
|---|
| 102 | <tt> gnuplot> set terminal postscript eps enhanced color</tt><BR>
|
|---|
| 103 | <tt> gnuplot> set output "file.ps"</tt><br>
|
|---|
| 104 | vlak voor het <tt>(s)plot</tt>-commando te geven
|
|---|
| 105 | (of <tt>enhanced monochrome</tt> voor grijswaarden-plaatjes).
|
|---|
| 106 | En dat allemaal in een plot-file, dan hoef je het niet steeds
|
|---|
| 107 | over te tikken.
|
|---|
| 108 | <br>
|
|---|
| 109 | Op internet staat alles en meer over <tt>gnuplot</tt>, bijvoorbeeld
|
|---|
| 110 | <a href="http://www.gnuplot.info/">hier</a> of
|
|---|
| 111 | <a href="http://t16web.lanl.gov/Kawano/gnuplot/index-e.html">daar</a>.
|
|---|
| 112 | <br>
|
|---|
| 113 | Kijk verder in de
|
|---|
| 114 | <A HREF="../stuva1/lshort.pdf">LaTeX-handleiding</A>
|
|---|
| 115 | (Hoofdstuk 4.1) hoe je PostScript-files in LaTeX kunt importeren.
|
|---|
| 116 | <p>
|
|---|
| 117 | Leg in het verslag ook <em>kort</em> BackPropagation uit, met de formules,
|
|---|
| 118 | en een referentie naar Russell en Norvig.
|
|---|
| 119 | <br>
|
|---|
| 120 | In te leveren: geprint verslag (in LaTeX gemaakt; de C++-code als Appendix,
|
|---|
| 121 | zie verder
|
|---|
| 122 | <a href="index.html#practicum">hier</a>
|
|---|
| 123 | voor opmerkingen over het verslag),
|
|---|
| 124 | en per email: C++- en Perl-code.
|
|---|
| 125 | Stuur svp geen emails met LaTeX/PS/PDF.
|
|---|
| 126 |
|
|---|
| 127 | <p>
|
|---|
| 128 | Deadline: <b>dinsdag 8 april 2008</b>.
|
|---|
| 129 |
|
|---|
| 130 | <P>
|
|---|
| 131 | <hr>
|
|---|
| 132 | <p>
|
|---|
| 133 | Vragen en/of opmerkingen kunnen worden gestuurd
|
|---|
| 134 | naar: <em><A HREF="mailto:kosters@liacs.nl">kosters@liacs.nl</A></em>.
|
|---|
| 135 | <p>
|
|---|
| 136 | 17 maart 2008 — <b>http://www.liacs.nl/home/kosters/AI/nn08.html</b>
|
|---|
| 137 |
|
|---|
| 138 | </BODY>
|
|---|
| 139 |
|
|---|
| 140 | </HTML>
|
|---|
| 141 |
|
|---|
