CHIPS

In 'Chips' van 9 november legt Rik Smits helder en begrijpelijk uit hoe een artificieel neuron werkt. Echter, ik zou een kanttekening willen plaatsen bij een opmerking aan het einde van de column.

Hierin wordt verteld dat een neuron in principe een '1' of een '0' binnenkrijgt. Dit is niet het geval. Bij het gebruik van neurale netwerken gaat men niet uit van binaire waarden, hoewel dit in principe mogelijk zou zijn, maar van continue grootheden. Het probleem bij het gebruik van binaire waarden is dat dit een stapfunctie vereist en dat dit tot gevolg heeft dat een netwerk niet meer te trainen is (zie boek van Minsky & Papert). Dit geldt voornamelijk bij het veelgebruikte 'backpropagation model'. In reguliere neurale netwerken gebruikt men de sigmoïde functie die wel 'trainbaar' is (deze is namelijk continu differentieerbaar), maar geen '0' of '1' geeft. Wanneer men dan toch een binaire output wenst, kan men alsnog drempelen naar '0' of '1'.