De derde programmeeropgave (in het voorjaar van 2011) behorende bij het vak
Kunstmatige intelligentie gaat over
Neurale netwerken.
Het NN heeft een 16-tal invoerknopen
(evenveel als er kenmerken zijn),
één uitvoerknoop,
en een tussen 1 en 40 in te stellen
aantal verborgen knopen. Verder zijn er twee bias-knopen,
één op invoernivo en
één op verborgen nivo.
Gebruik BackPropagation als leermethode;
redelijke waarden zijn wellicht: leersnelheid 0.1 tot 0.9,
aantal verborgen knopen 6 en tig-duizenden voorbeelden in totaal (veel meer dan 20000).
Test allereerst het netwerk op een paar
"eenvoudige" functies van twee variabelen,
bijvoorbeeld
XOR(x,y) voor x,y=0,1,
respectievelijk
f(x,y) = sin(2πx) cos(2πy) voor 0 ⩽ x ⩽ 1 en 0 ⩽ y ⩽ 1.
Besteed hier in het verslag kort aandacht aan.
Nogmaals, het netwerk heeft dus één uitvoerknoop.
Schrijf vervolgens zonodig een klein
Perl-programma
(voor Perl, zie ook
acht sheets in PDF)
dat de benodigde kenmerken/attributen uit de letters-file opslaat
in het gewenste formaat, bijvoorbeeld
alle attributen, of juist een samenspel van enkele.
Alle waardes moeten omgezet worden naar een getal tussen 0 en 1,
bijvoorbeeld door te delen door de maximale waarde van het betreffende attribuut.
Waarden tussen 0 en 1 dus, wellicht gescheiden door spaties.
Dat geldt ook voor de target-waarde.
Maak twee verschillende doelen:
Gebruik gnuplot
om voor het verslag
enkele grafieken te plotten, bijvoorbeeld met verschillende
aantallen verborgen knopen, leersnelheden en
stopcriteria.
Maak een file plot.p met daarin bijvoorbeeld
set xrange [0:1]
set yrange [0:1]
set pm3d
splot sin(2*pi*x)*cos(2*pi*y)
En laad deze file in gnuplot met gnuplot> load "plot.p".
Als je een netwerk hebt om deze functie te benaderen,
kun je het beste aan het eind van je
programma alle benodigde trio's (x,y,netwerkuitvoer) afdrukken in een file
(zeg net.uit;
één trio per regel),
waarbij x met kleine stapjes door het interval [0,1] loopt,
en y idem,
terwijl netwerkuitvoer de bijbehorende
uitvoer van het getrainde netwerk is.
In
gnuplot kun je eenvoudig een grafiekje
van netuitvoer en beoogde functie maken met behulp van:
gnuplot> splot "net.uit", sin(2*pi*x)*cos(2*pi*y)
Hierbij kun je zonodig PostScript-uitvoer genereren
met behulp van
gnuplot> set terminal postscript eps enhanced color
gnuplot> set output "file.ps"
vlak voor het (s)plot-commando te geven
(of enhanced monochrome voor grijswaarden-plaatjes).
En dat allemaal in een plot-file, dan hoef je het niet steeds
over te tikken.
Op internet staat alles en meer over gnuplot, bijvoorbeeld
hier of
daar.
Kijk verder in de
LaTeX-handleiding
(Hoofdstuk 4.1) hoe je PostScript-files in LaTeX kunt importeren.
Leg in het verslag ook kort BackPropagation uit, met de formules,
en een referentie naar Russell en Norvig.
In te leveren: geprint verslag (in LaTeX gemaakt; de C++-code als Appendix,
zie verder
hier
voor opmerkingen over het verslag),
en per email: C++- en Perl-code.
Stuur svp geen emails met LaTeX/PostScript/PDF.
Deadline: dinsdag 12 april 2011.
Vragen en/of opmerkingen kunnen worden gestuurd naar: kosters@liacs.nl.
18 maart 2011 — http://www.liacs.nl/home/kosters/AI/nn11.html