Kunstmatige intelligentie

Dit is de website van het tweedejaars college Kunstmatige intelligentie; voor de bacheloropleiding met dezelfde naam: zie elders.
Svp aanmelden via Brightspace. En voor het (her)tentamen ook via uSis.

De colleges zijn op woensdagmiddagen van 13:15 tot 15:00 uur in zaal 3 van het Gorlaeus, in de periode van 15 februari tot en met 24 mei 2023 (niet op 29 maart). Als het goed is, zijn de colleges na afloop ook op video beschikbaar via de video-pagina, evenals trouwens de video's van vorig jaar (2022) en de korte video's van voorjaar 2021. Zie ook hier.
De werkcolleges zijn op donderdagochtenden van 9:00 tot 10:45 uur in de computerzalen 302, 303 en 306 van het Snellius, in de periode van 9 februari tot en met 25 mei 2023 (niet op 30 maart, niet op 27 april en niet op 18 mei).
De eerste activiteit is dus het werkcollege van donderdagochtend 9 februari 2023!

Het vak Kunstmatige intelligentie, ook wel AI (van Artificial Intelligence) genoemd, wordt verzorgd door dr. W.A. (Walter) Kosters, geassisteerd door Teun Bergsma, Luuk Deen, Xander Lenstra, Justin de Rooij en Michael de Rooij. en wordt in het voorjaar van 2023 gegeven. (Eerstvolgende keer daarna: voorjaar 2024.)

Note that the course is in DUTCH.

Algemene informatie (punten, tentamen, opgaven) | Materiaal (boek) | Archief (oude tentamens) | Practicum | Colleges (sheets, video's)

Algemene informatie

Het vak levert 6 (zes) ECTS punten op. Naast het voldoende maken van het tentamen is het hiervoor ook nodig het practicum voldoende te hebben. Het eindcijfer wordt grotendeels bepaald door het tentamencijfer, enigszins afgerond in de richting van het gemiddelde practicumresultaat (indien dat het eindcijfer verhoogt), mits beide voldoende zijn (om precies te zijn: als het practicum voldoende is, en het gemiddelde practicumcijfer G groter is dan het tentamencijfer T, wordt het eindcijfer hun gemiddelde, (G+T)/2, waarbij dit maximaal 1 punt meer mag worden dan T; anders wordt het eindcijfer gelijk aan het tentamencijfer (dit geldt ook als het practicum nog onvoldoende is)). Het eindcijfer wordt afgerond op het dichtstbijzijnde getal uit de verzameling {1,2,3,4,5, 6,6.5,7,7.5,8,8.5,9,9.5,10}. Ten einde het practicum voldoende te maken, moeten de vier opgaven alle met minstens een 6 of een "OK" beoordeeld zijn (die laatste telt voor een zes voor de berekening van het gemiddelde G); er mag één 5 bij zijn. Als een opgave niet aan de eisen voldoet, moet deze zo snel mogelijk worden aangevuld; lever in dat geval ook de nagekeken eerdere versie van het verslag weer in.
Het college is in eerste instantie bedoeld voor tweedejaars studenten Informatica, maar is ook interessant voor andere belangstellenden; voorkennis van de programmeertaal C++ is sterk aan te raden.

De tentamendata in 2023 zijn:

woensdag 7 juni 2023, 9:00-12:00 uur; locatie: Universitair Sportcentrum
hertentamen: woensdag 12 juli 2023, 9:00-12:00 uur; locatie: Universitair Sportcentrum

Alle cijfers, ook die van de programmeeropgaven, worden beschikbaar gesteld via Brightspace.

Tijdens de werkcolleges wordt er gewerkt aan kleine opgaven, aan oude tentamenopgaven en aan de programmeeropgaven — en de bijbehorende verslagen. Er zijn vier (gedeeltelijke) sommen-werkcolleges:

9 maart 2023 — Opgaven 1, in het bijzonder: 2, 3, 7, 8, 14
13 april 2023 — Opgaven 1 (vervolg), in het bijzonder: 11, 16, 17
11 mei 2023 — Opgaven 2, in het bijzonder: 19, 23, 27, 29, 10
25 mei 2023 — Opgaven 2 (vervolg), in het bijzonder: 30, 31, 33, 13

Er zijn hiervan uitwerkingen beschikbaar, en ook een aantal video's met bijbehorende scans:

     Uitwerking Opgave 11 — Uitwerking Opgave 16 — Uitwerking Opgave 17 — scans 11/16/17
     Uitwerking Opgave 27 — Uitwerking Opgave 10 — scans 27/10
     Uitwerking Opgave 31 — Uitwerking Opgave 33 — scans 31/33

Geef opmerkingen svp door.

Materiaal

Gebruik wordt gemaakt van het boek Artificial intelligence, A modern approach van Stuart J. Russell en Peter Norvig, fourth edition, Pearson, 2020. Het kost circa 150 euro; ook aangeboden voor 80 euro (paperback).
In het bijzonder worden uit dit boek de volgende hoofdstukken behandeld (voor de hoofdstukken uit de vorige drukken, zie de geschiedenis; bij de Colleges staan ook paginanummers): 1 (Introduction; lezen), 2 (Intelligent agents; lezen), 3 (Solving problems by searching; uitgebreid), 4.1 (Search in complex environments; uitgebreid), 5 (Adversarial search and games; uitgebreid), 6 (Constraint satisfaction problems; uitgebreid), 7 (Logical agents; lezen, met name Wumpus), 8 (First-order logic; lezen, met name Wumpus), 13 (Probabilistic reasoning; uitgebreid; lees ook 12, Quantifying uncertainty), 19 (Learning from examples; uitgebreid tot en met 19.3), en 21 (Deep learning; uitgebreid, maar niet alles), grotendeels in deze volgorde. Lees ook eens Hoofdstuk 27 (Philosophy, ethics, and safety of AI). Dit studiejaar nauwelijks Robotics, geen Natural Language Processing (NLP).

En met behulp van een MOOC kun je ook veel leren over dit onderwerp!

Daarnaast werd in een redelijk ver verleden nog speciaal aandacht besteed aan het onderwerp Data mining, maar aangezien er nu een apart derdejaars vak is met die titel ...

Overige literatuur (niet kopen — tenzij je erg veel geld hebt):

Ethem Alpaydin, Introduction to machine learning, The MIT Press, fourth edition, 2020.
Christopher M. Bishop, Pattern recognition and machine learning, Springer, 2006.
George F. Luger, Artificial intelligence, Structures and strategies for complex problem solving, Addison-Wesley, sixth edition, 2009.
Tom M. Mitchell, Machine learning, McGraw-Hill, 1997.
Mehryar Mohri, Afshin Rostamizadeh and Ameet Talwalkar, Foundations of machine learning, The MIT Press, 2012.
Michael Negnevitsky, Artificial intelligence, A guide to intelligent systems, Pearson, third edition, 2011.
Georgios N. Yannakakis and Julian Togelius, Artificial intelligence and games, Springer, 2019.

Voor de opgaven, uitwerkingen en video's daarover, zie bij Algemene informatie.

Archief

Een stel oude tentamens:

tentamen 2 juni 2014 (in PDF); uitwerkingen (in PDF)
video's: - Uitwerking Opgave 1 van 2.6.2014 — Uitwerking Opgave 2 van 2.6.2014 — Uitwerking Opgave 3 van 2.6.2014 — Uitwerking Opgave 4 van 2.6.2014
tentamen 1 juni 2015 (in PDF); uitwerkingen (in PDF, gescand)
tentamen 31 mei 2016 (in PDF); uitwerkingen (in PDF, gescand)
tentamen 29 mei 2017 (in PDF)
tentamen 18 juni 2018 (in PDF); uitwerkingen (in PDF)
tentamen 17 juni 2019 (in PDF); uitwerkingen (in PDF, gescand); opgave 4e
tentamen 11 juni 2021 (in PDF); uitwerkingen (in PDF, gescand)
tentamen 16 juni 2022 (in PDF); uitwerkingen (in PDF)
tentamen 7 juni 2023 (in PDF); uitwerkingen (in PDF)

Er is meer informatie te vinden over het college gedurende de afgelopen jaren.

Practicum

Voor iedere practicumopgave (met maximaal twee personen te maken) moeten digitaal worden ingeleverd: een minstens drie pagina's (laten we zeggen vijf pagina's, afgezien van de Appendix) tellend verslag in LaTeX (dit is een GROTE tekst in PDF; zie ook LaTeX in één pagina; of een heel korte zichzelf uitleggende voorbeeldfile) en een werkend programma, ook opgenomen in de Appendix van het verslag; stuur geen executables. Het verslag moet een duidelijke opbouw hebben, bijvoorbeeld:

Inleiding ("dit is de tweede opdracht van het college ...", met verwijzing naar de website)
Uitleg probleem (plaatje; "de spelregels zijn ...", gebruikte definities)
Relevant werk ("stelling zegt dat ...")
Aanpak (plaatje; "een drielaags neuraal netwerk ...")
Implementatie ("een 2-dimensionaal array"; "C++"; kort!)
Experimenten (tabel, grafiek)
Conclusie en verder onderzoek ("ging fout als de testopstelling niet verlicht was")
Referenties (genummerd; naar alle wordt verwezen; "handleiding Java-robots ...", "Russell en Norvig ...", "sheets college ...")
Een fatsoenlijke referentie ziet er uit als:
[1] S.J. Russell en P. Norvig, Artificial intelligence, A modern approach, fourth edition, Pearson, 2020
Appendix: het programma; gebruik package listings, zie onder.
In geval van aangepaste code: geef alleen de wijzigingen.

Er is een klein skelet voor de verslagen: verslag.tex, dat deze PDF-versie op kan leveren. Zie ook diverse opmerkingen.

De deadlines zijn strikt, overleg eventueel met de docent(en). Voor alle opdrachten geldt dat ze nog voorlopig zijn, aanvullingen tijdens het semester zullen zeker voorkomen. Eigen initiatief wordt —na overleg— op prijs gesteld.
De opgaven worden per stuk als volgt beoordeeld: er wordt gekeken naar het verslag en het programma (met name werking en leesbaarheid); originaliteit beinvloedt de eind-afronding.
Het practicum bestaat zoals gezegd uit vier opgaven:

Monte Carlo & Clobber; deadline woensdag 1 maart 2023, 13:15 uur
Zie hier.
Agenten & Robotica; deadline woensdag 22 maart 2023, 13:15 uur
Zie hier.
A*; deadline woensdag 26 april 2023, 13:15 uur
Zie hier.
Neurale netwerken; deadline woensdag 24 mei 2023, 13:15 uur
Zie hier.

Colleges

Tijdens de colleges wordt het volgende behandeld. Het programma is uiteraard voorlopig, zelfs als het semester voorbij is — op deze webpagina is steeds de meest actuele versie te vinden. En voor de liefhebbers: alle 360 sheets (in PDF; 14 MB; versie 2023). Geen tentamenstof: sheets over RoboCom; sheets over Robotica; sheets over MDP's. (In de 2023-versie met 360 sheets gaat het om sheets 70-78, 236-241, 269-273 en 300; vaak aangegeven met Ξ.) Er worden op het tentamen vanzelfsprekend ook zaken gevraagd die niet (letterlijk) op de sheets staan ...

woensdag 15 februari 2023
Algemene introductie; het practicum, met name de eerste opgave.
Hoofdstuk 1 (Introductie) in vogelvlucht, p. 1-35 uit [RN, vierde druk] (p. 1-30 uit [RN, derde druk]); zie de sheets:
Introductie

video's:
- video college 15 februari 2023
- video college 9 februari 2022 (vorig jaar 2022; sheets in eigen window erbij openen)
- Introductie (1/3), sheet 1/12 (korte video's voorvorig jaar 2021)
- Introductie (2/3), sheet 13/29
- Introductie (3/3), sheet 30/42

leuk leesvoer

Alan M. Turing, Computing machinery and intelligence
Mind 59 (1950) 433-460
doi:10.1093/mind/LIX.236.433; ophalen vanaf een PC binnen de universiteit

Jason Hutchens, How to pass the Turing test by cheating
Technical report, 1997

Long Ouyang et al., Training language models to follow instructions with human feedback
arXiv:2203.02155, 2022

woensdag 22 februari 2023
Hoofdstuk 2 (Intelligente agenten), p. 36-62 uit [RN, vierde druk] (p. 34-59 uit [RN, derde druk]); zie de sheets:
Intelligente agenten
video's:
- video college 22 februari 2023
- video college 16 februari 2022 (vorig jaar)
- Intelligente agenten (1/2), sheet 1/11 (korte video's vorig jaar 2021)
- Intelligente agenten (2/2), sheet 12/25
- video college 13 februari 2020 (voorvorig jaar)
En een paar sheets over Combinatorial Game Theory (dat heeft met Clobber te maken ... en is geen tentamenstof).
woensdag 1 maart 2023
Algemene informatie over de tweede practicum-opgave.
Hoofdstukken 7 (Logische agenten) en 8 (Eerste orde logica), p. 208-224, 237-240 en 251-271 uit [RN, vierde druk] (p. 234-252, 265-267 en 285-306 uit [RN, derde druk]); zie de sheets:
Logisch redenerende agenten
video's:
- video college 1 maart 2023
- video college 23 februari 2022 (vorig jaar)
- Logisch redenerende agenten (1/3), sheet 1/10 (korte video's voorvorig jaar 2021)
- Logisch redenerende agenten (2/3), sheet 11/18
- Logisch redenerende agenten (3/3), sheet 19/31
woensdag 8 maart 2023
Hoofdstuk 3 (Probleemoplossen en zoeken), p. 63-84 uit [RN, vierde druk] (p. 64-109 uit [RN, derde druk]); zie de sheets:
Probleemoplossen en zoeken
video's:
- video college 8 maart 2023
- video college 2 maart 2022 (vorig jaar)
- Tweede programmeeropgave (1/4), sheet 2/10: RoboCom (korte video's voorvorig jaar 2021)
- Probleemoplossen en zoeken (1/3), sheet 1,11/20
- Probleemoplossen en zoeken (2/3), sheet 21/30
- Probleemoplossen en zoeken (3/3), sheet 31/47
woensdag 15 maart 2023
Hoofdstuk 3.5/3.6 (Gericht zoeken), p. 84-100 uit [RN, vierde druk] (p. 120-130 uit [RN, derde druk]); zie de sheets:
Gericht zoeken
video's:
- video college 15 maart 2023
- video college 9 maart 2022 (vorig jaar)
- Gericht zoeken (1/2), sheet 1/11 (korte video's voorvorig jaar 2021)
- Gericht zoeken (2/2), sheet 12/24
Aanbevolen sommen: Opgaven 1 (van 2): 2, 3, 7, 8, 14.

woensdag 22 maart 2023
Hoofdstuk 5 (in de internationale editie zijn de hoofdstukken 5 en 6 omgewisseld ...; Spel(l)en), p. 146-170 uit [RN, vierde druk] (p. 161-190 uit [RN, derde druk],) inclusief uitleg over de derde programmeeropgave; zie de sheets:
Spel(l)en

video's:
- video college 22 maart 2023
- video college 16 maart 2022 (vorig jaar)
- Spellen (1/4), sheet 1/10 (korte video's voorvorig jaar 2021)
- Spellen (2/4), sheet 11/20

leuk leesvoer

H. Jaap van den Herik, Jos W.H.M. Uiterwijk en Jack van Rijswijck, Games solved: Now and in the future
Artificial Intelligence 134 (2002) 277-311
doi:10.1016/S0004-3702(01)00152-7; ophalen vanaf een PC binnen de universiteit

Jonathan Schaeffer, Neil Burch, Yngvi Björnsson, Akihiro Kishimoto, Martin Müller, Robert Lake, Paul Lu en Steve Sutphen,
Checkers is solved
Science 317 (2007) 1518-1522
doi:10.1126/science.1144079; ophalen vanaf een PC binnen de universiteit

David Silver et al., A general reinforcement learning algorithm that masters chess, shogi and Go through self-play
Science 362 (2018) 1140-1144
doi:10.1126/science.aar6404; ophalen vanaf een PC binnen de universiteit

woensdag 29 maart 2023 collegevrije week

woensdag 5 april 2023
Spel(l)en — vervolg, zie de sheets:
Spel(l)en
video's:
- video college 5 april 2023
- video college 23 maart 2022 (vorig jaar)
- Spellen (3/4), sheet 21/28 (korte video's voorvorig jaar 2021)
- Spellen (4/4), sheet 29/38

woensdag 12 april 2023
Hoofdstuk 6 (Constraint Satisfaction Problemen), p. 180-199 uit [RN, vierde druk] (p. 202-223 uit [RN, derde druk]); zie de sheets:
CSP's

video's:
- video college 12 april 2023
- video college 6 april 2022 (vorig jaar)
- Constrained Satisfaction Problemen (1/3), sheet 1/11 (korte video's voorvorig jaar 2021)
- Constrained Satisfaction Problemen (2/3), sheet 12/23
- Constrained Satisfaction Problemen (3/3), sheet 24/35

Maak de volgende sommen: Opgaven 1 (van 2): 11, 16, 17.

leuk leesvoer

Rodney A. Brooks, Intelligence without representation
Artificial Intelligence 47 (1991) 139-159
doi:10.1016/0004-3702(91)90053-M; ophalen vanaf een PC binnen de universiteit

woensdag 19 april 2023
Hoofdstuk 19.1/4 (Leren), p. 651-672 en p. 677-679 uit [RN, vierde druk] (p. 693-758 uit [RN, derde druk]); zie de sheets:
Leren
video's:
- video college 19 april 2023
- video college 13 april 2022 (vorig jaar)
- Leren (1/3), sheet 1/10 (korte video's voorvorig jaar 2021)
- Leren (2/3), sheet 11/20
- Leren (3/3), sheet 21/31
- Uitwerking Opgave 11 — Uitwerking Opgave 16 — Uitwerking Opgave 17 — bijbehorende scans 11/16/17
woensdag 26 april 2023
Hoofdstuk 21 (Deep learning), p. 750-775 uit [RN, vierde druk] (p. 727-737 uit [RN, derde druk]); zie de sheets:
Deep learning & Neurale netwerken

Algemene informatie over de vierde practicum-opgave.
video's:
- video college 26 april 2023
- video college 20 april 2022 (vorig jaar)
- Deep learning & Neurale netwerken (1/4), sheet 1/10 (korte video's voorvorig jaar 2021)
- Deep learning & Neurale netwerken (2/4), sheet 11/20

Maak de volgende sommen: Opgaven 2 (van 2): 19, 23, 27, 29, 10.
donderdag 27 april 2023 geen werkcollege

woensdag 3 mei 2023
Deep learning — vervolg; zie de sheets:
Deep learning & Neurale netwerken

video's:
- video college 3 mei 2023
- video college 4 mei 2022 (vorig jaar)
- Deep learning & Neurale netwerken (3/4), sheet 21/28 (korte video's voorvorig jaar 2021)
- Deep learning & Neurale netwerken (4/4), sheet 29/35
- Uitwerking Opgave 27 — Uitwerking Opgave 10 — bijbehorende scans 27/10

leuk leesvoer

William S. Noble, What is a support vector machine?
Nature Biotechnology 24 (2006) 1565-1567
doi:10.1038/nbt1206-1565; ophalen vanaf een PC binnen de universiteit

Yann LeCun, Yoshua Bengio en Geoffrey Hinton, Deep learning
Nature 521 (2015) 436-444
doi:10.1038/nature14539; ophalen vanaf een PC binnen de universiteit

woensdag 10 mei 2023
Hoofdstuk 4.1 (Locaal zoeken en Optimalisatie), p. 110-119 uit [RN, vierde druk] (p. 126-129 uit [RN; derde druk]); zie de sheets:
Locaal zoeken en Optimalisatie
video's:
- video college 10 mei 2023
- video college 11 mei 2022 (vorig jaar)
- Locaal zoeken en optimalisatie (1/2), sheet 1/13 (korte video's voorvorig jaar 2021)
- Locaal zoeken en optimalisatie (2/2), sheet 13/25
woensdag 17 mei 2023
Hoofdstuk 12 (Onzekerheid; kort) en Hoofdstuk 13 (Bayesiaanse netwerken), p. 385-402 en p. 412-436 uit [RN, vierde druk] (p. 480-499 en 510-529 uit [RN, derde druk]); zie de sheets:
Bayesiaanse netwerken
video's:
- video college 17 mei 2023
- video college 18 mei 2022 (vorig jaar)
- Bayesiaanse netwerken (1/3), sheet 1/8 (korte video's voorvorig jaar 2021)
- Bayesiaanse netwerken (2/3), sheet 9/17
- Bayesiaanse netwerken (3/3), sheet 18/25

Maak de volgende sommen: Opgaven 2 (van 2): 30, 31, 33, 13. donderdag 18 mei 2023 geen werkcollege
woensdag 24 mei 2023
Van alles, waaronder een samenvatting en oud tentamen (18 juni 2018) (met antwoorden).
video's:
- video college 24 mei 2023
- video college 25 mei 2022 (vorig jaar)
- Samenvatting (korte video voorvorig jaar 2021)
- Uitwerking Opgave 1 van 2.6.2014 — Uitwerking Opgave 2 van 2.6.2014 — Uitwerking Opgave 3 van 2.6.2014 — Uitwerking Opgave 4 van 2.6.2014 — bijbehorende scans tentamen 2.6.2014
- Uitwerking Opgave 31 — Uitwerking Opgave 33 — bijbehorende scans 31/33

Genoemde hoofdstukken komen steeds uit het boek van Russell en Norvig — met dank voor een flink gedeelte van de sheets en veel plaatjes.

13 juli 2023 — http://www.liacs.leidenuniv.nl/~kosterswa/AI/index.html