We gaan te veel op de automatische piloot en niet alleen in het vliegtuig

Automaten werken nauwkeuriger en sneller dan mensen. Maar ze zouden ons ook bij herhaling moeten leren wat we moeten doen als ze uitvallen of fout werken, vindt Nicholas Carr.

Illustratie Rik van Schagen

Op de avond van 12 februari 2009 worstelde een forensenvlucht van Continental Connection zich door het stormachtige weer tussen Newark en Buffalo. Zoals nu normaal is in de burgerluchtvaart, hadden de piloten tijdens de vlucht van een uur niet veel te doen. Gezagvoerder Marvin Renslow bediende tijdens het opstijgen even de besturing om de Bombardier Q400 turboprop in de lucht te brengen, schakelde daarna de automatische piloot in en liet het vliegen aan de software over. De Q400 was al bijna bij de luchthaven van Buffalo, het landingsgestel naar beneden en de vleugelkleppen uitgeklapt, toen de stuurknuppel van de piloot luidruchtig begon te schudden, een teken dat het vliegtuig lift verloor. De automatische piloot schakelde zich uit en de gezagvoerder nam de besturing over. Hij reageerde vlug, maar deed precies het verkeerde: hij rukte de knuppel naar achter, zodat de neus van het toestel omhoog kwam en de vaart verminderde, in plaats van de knuppel naar voren te drukken om snelheid te winnen. Het vliegtuig werd onbestuurbaar en stortte neer. „We’re down”, zei de gezagvoerder vlak voor de Q400 zich in een huis in een buitenwijk van Buffalo boorde.

Die crash, waarbij alle 49 inzittenden en iemand op de grond het leven lieten, had nooit plaats mogen vinden. Een officieel onderzoek kwam tot de slotsom dat het ongeluk was veroorzaakt door een fout van de piloot. De reactie van de gezagvoerder op de waarschuwing had volgens de onderzoekers „automatisch moeten zijn, maar zijn foutieve besturingshandelingen strookten niet met zijn opleiding” en toonden „schrik en verwarring”.

Een akelig vergelijkbare ramp deed zich een paar maanden later voor. Op de avond van 31 mei vertrok een Airbus A330 van Air France uit Rio de Janeiro naar Parijs. Boven de Atlantische Oceaan kwam de jumbojet in een storm. Door verkeerde metingen van de met ijs bedekte snelheidssensors schakelde de automatische piloot zich uit. In verwarring rukte de piloot van het vliegtuig, Pierre-Cedric Bonin, de knuppel naar achter. Het vliegtuig kwam omhoog en er klonk een waarschuwing, maar zonder daar acht op te slaan bleef hij trekken. Terwijl het vliegtuig steil omhoog ging, verloor het vaart. Toen de snelheidssensoren weer gingen werken, kreeg de bemanning weer juiste cijfers. Toch bleef Bonin het toestel afremmen. De jet dook omlaag. Als hij de knuppel had losgelaten, had de A330 zich waarschijnlijk zelf gecorrigeerd. Maar dat deed hij niet. Het toestel viel in drie minuten ruim 10 kilometer voordat het in de oceaan stortte. Alle 228 passagiers en bemanningsleden kwamen om.

De moderne automatische piloot wordt bestuurd door boordcomputers met enorm complexe software, die met sensoren informatie verzamelen en doorlopend de positie, snelheid en navigatie van een toestel aanpassen. De automatisering is zo verfijnd dat een menselijke piloot tijdens een normale passagiersvlucht welgeteld drie minuten zelf stuurt. Wel zijn piloten voortdurend in de weer om schermen af te lezen en gegevens in te toetsen. Het is niet overdreven om te zeggen dat ze computeroperateurs zijn geworden.

En volgens veel luchtvaart- en automatiseringsdeskundigen een probleem. Overmatig gebruik van automatisering schaadt de deskundigheid van piloten en stompt hun reflexen af, met als gevolg „een ontscholing van de bemanning”, zoals ergonomie-expert Jan Noyes van de universiteit in het Engelse Bristol het noemt. Niemand betwijfelt dat de automatische piloot de vliegveiligheid heeft verbeterd. De vermoeidheid van piloten vermindert, problemen worden vooraf gemeld en als de bemanning wordt uitgeschakeld, is een vliegtuig toch nog in de lucht te houden. Maar als het systeem van de automatische piloot uitvalt en piloten opeens in een rol worden gedrongen die zeldzaam is geworden, maken ze te vaak fouten. De federale luchtvaartautoriteit is inmiddels zo bezorgd dat ze de luchtvaartmaatschappijen in januari een ‘veiligheidswaarschuwing’ heeft gegeven en ze heeft opgeroepen hun piloten vaker handmatig te laten vliegen. Eenzijdige gerichtheid op automatisering, waarschuwde het bureau, zou vliegtuigen en passagiers in gevaar kunnen brengen.

Automatisering met al haar voordelen kan ook ten koste gaan van prestaties en talenten van de mensen die erop vertrouwen. De gevolgen gaan veel verder dan de veiligheid. Doordat automatisering ons anders laat handelen en leren, en ook onze kennis verandert, heeft ze een ethische dimensie. De keuzes die we maken – of niet maken – in de taken die we aan machines overlaten, vormen ons leven en de plaats die we onszelf in de wereld toebedelen. Naarmate de arbeidsbesparende techniek van machines naar software verschoof, is de automatisering verder opgedrongen, ook al raakt de werking voor ons verborgen. Op zoek naar gemak, snelheid en efficiëntie schuiven we overhaast werk op computers af zonder te bedenken wat we misschien opofferen.

Artsen gebruiken computers voor diag-noses en operaties, bankiers voor financiële instrumenten en architecten voor het ontwerp van gebouwen. Dankzij smartphones en andere betaalbare computertjes zijn wij voor dagelijkse routinehandelingen afhankelijk van software. Apps voor boodschappen, koken, uitgaan en zelfs om onze kinderen op te voeden. We volgen trouw navigatieaanwijzingen. We winnen geautomatiseerde adviezen in over alles wat we willen zien, lezen en beluisteren. We doen een beroep op Google of Siri om onze problemen op te lossen. .

Veel softwareprogramma’s belasten zich met intellectueel werk – waarneming en registratie, analyse en beoordeling, zelfs besluitvorming – dat tot voor kort als het domein van de mens werd beschouwd. In plaats van de grenzen van ons denken en doen te verleggen, werkt software uiteindelijk veeleer blikvernauwend. We verruilen verfijnde, gespecialiseerde talenten voor minder onderscheidende routine. .

De meesten van ons willen geloven dat automatisering ons de vrijheid geeft om onze tijd aan hogere bezigheden te besteden maar verder niets verandert aan ons gedrag of onze denkwijze. Maar een arbeidsbesparend apparaat levert niet alleen een substituut voor een geïsoleerd onderdeel van een taak. Het verandert de hele taak, ook rollen, houdingen en vaardigheden van mensen die er deel aan hebben. Als we te veel vertrouwen stellen in de juistheid van de informatie die van onze schermen komt, ontstaat ‘tunnelautomatisering’. Ons vertrouwen in software wordt zo sterk dat we andere informatiebronnen, waaronder onze eigen ogen en oren, veronachtzamen of negeren. Als een computer onjuiste of onvoldoende gegevens verschaft, dringt die fout niet tot ons door.

Voorbeelden van gemakzucht en tunnelvisie in riskante situaties zijn uitvoerig beschreven – in cockpits en op slagvelden, in controlekamers van fabrieken – maar recente studies doen vermoeden dat iedereen die met een computer werkt last van die problemen kan hebben. . Bij e-mail of een tekstverwerkingsprogramma corrigeren we minder goed als we weten dat de spellingscontrole aan staat.

De automatisering verandert ons van deelnemers in waarnemers. Uit studies blijkt dat mensen woorden veel beter onthouden als ze actief uit hun geheugen putten en die gebruiken dan wanneer ze die gewoon lezen. Zetten we ons actief aan een taak, dan stellen we ingewikkelde geestelijke processen in werking waardoor we meer kennis vasthouden. Door het telkens herhalen van dezelfde taak legt ons brein gespecialiseerde zenuwbanen aan. Of het nu Serena Williams op een tennisbaan of Magnus Carlsen achter een schaakbord is, een expert kan patronen herkennen, signalen evalueren en met een snelheid en precisie die soms griezelig lijken op gewijzigde omstandigheden reageren. Wat intuïtie lijkt, is zwaarbevochten kunde: precies het soort worsteling waarvoor moderne software ons probeert te behoeden.

In 2005 begon de Nederlandse cognitief psycholoog Christof van Nimwegen een onderzoek naar de effecten van software op de ontwikkeling van deskundigheid. Hij liet twee groepen mensen een computerspel spelen dat gebaseerd was op een klassieke logicapuzzel. Om de puzzel op te lossen moet een speler vijf zendelingen en vijf kannibalen (of in de versie van Van Nimwegen vijf gele en vijf blauwe ballen) een rivier over brengen met een boot waarin niet meer dan drie passagiers tegelijk kunnen. Zoals te verwachten boekten de gebruikers van de slimme software aanvankelijk sneller vooruitgang. Maar naarmate de proef voortduurde, kregen de gebruikers van de simpele software de overhand. Acht maanden later liet Van Nimwegen dezelfde mensen de puzzel nogmaals afwerken. Degenen die eerder de simpele software hadden gebruikt, waren bijna tweemaal zo vlug met het spel klaar als hun tegenhangers. Ze genoten de voordelen van ‘inprenting van kennis’.

In veel bedrijven zijn de managers en hoger opgeleiden ter ondersteuning van hun besluitvorming afhankelijk geworden van systemen om informatie te analyseren en beleidslijnen voor te stellen. In een recente studie bekeken Australische onderzoekers de effecten van dergelijke systemen voor drie internationale accountantskantoren. De mensen van het kantoor met de minder slimme software gaven blijk van aanzienlijk dieper inzicht in de verschillende vormen van risico dan die van de andere twee kantoren.

Deskundigen dachten altijd dat er grenzen zijn aan het vermogen van programmeurs om ingewikkelde taken te automatiseren. Ze wezen op het voorbeeld van autorijden. Maar in oktober 2010 kondigde Google aan dat het een vloot van zeven ‘zelfrijdende auto’s’ had gebouwd, die al meer dan 200.000 kilometer over wegen in Californië en Nevada hadden afgelegd.

Onbemande auto’s laten alvast zien hoe robots in de fysieke wereld in staat zullen zijn hun weg te vinden en werk te verrichten, en daarbij bezigheden over te nemen die milieubesef, gecoördineerde beweging en soepele besluitvorming vergen.

In Race Against the Machine, een e-boek uit 2011 over de economische gevolgen van de automatisering, betogen de onderzoekers Erik Brynjolfsson en Andrew McAfee van het MIT dat de onbemande auto van Google en de Watson van IBM voorbeelden zijn van een nieuwe automatiseringsgolf, die dankzij de ‘exponentiële groei’ in computerkracht de aard van het werk in vrijwel elke baan en elk beroep zal veranderen. Wie heeft nog mensen nodig? Als het vermogen van computers zo vlug toeneemt en als mensen daarbij vergeleken traag, onhandig en foutgevoelig lijken, waarom dan geen onberispelijke en onafhankelijke systemen gebouwd die zonder menselijk toezicht of ingrijpen feilloos functioneren?

Laatst stelde de durfkapitalist Vinod Khosla uit Silicon Valley dat de gezondheidszorg sterk zal verbeteren als de medische software – door hem betiteld als ‘Dokter Algoritme’ – zich ontwikkelt van hulpmiddel voor de huisarts om diagnoses te stellen tot algehele vervanger van de arts. De remedie tegen onvolmaakte automatisering is totale automatisering.

Maar geen enkele machine is onfeilbaar. Vroeg of laat zal zelfs de meest geavanceerde techniek het begeven, weigeren, of in het geval van een geautomatiseerd systeem, omstandigheden tegenkomen die de ontwerpers nooit hadden voorzien. Alle onderdelen kunnen feilloos werken, maar een kleine fout in het systeemontwerp kan nog altijd tot grote ongelukken leiden. En ook al is er een volmaakt systeem, dan zou dit nog altijd in een onvolmaakte wereld moeten werken.

Onderzoek dat teruggaat op radarwaarnemers in de Tweede Wereldoorlog wijst uit dat mensen moeite hebben hun aandacht meer dan een half uur bij een stabiel informatiescherm te houden. Psychologen hebben eenvoudige manieren ontdekt om de nadelige gevolgen te verzachten. We kunnen software programmeren om veelvuldig, op onregelmatige tijden de controle weer bij menselijke operateurs te leggen. De wetenschap dat ze elk moment de leiding moeten kunnen nemen, houdt mensen bij de les. We kunnen de mate van automatisering beperken en zorgen dat computerwerkers niet alleen waarnemen, maar ook uitdagende taken verrichten. We kunnen leerelementen in software opnemen, waarbij de gebruikers telkens moeilijke hand- en hoofdopdrachten moeten uitvoeren die de geheugenvorming en de opbouw van vaardigheden stimuleren.

Sommige softwareschrijvers nemen zulke voorstellen ter harte. Op scholen helpen de beste onderwijsprogramma’s de leerlingen een onderwerp te beheersen door hun oplettendheid te stimuleren, grote inzet te eisen en de geleerde vaardigheden door herhaling te versterken. Deze opzet is volgens de laatste ontdekkingen over de manier waarop onze hersenen herinneringen opslaan en tot conceptuele kennis en praktische know-how verweven. Maar de meeste softwaretoepassingen zijn niet op kennisverwerving en betrokkenheid gericht maar hebben het tegengestelde effect. Leren is inefficiënt. Zeker voor bedrijven die een maximalisering van hun productiviteit en winst nastreven.. Ook individuen zijn bijna altijd uit op gemak. We kiezen het programma dat onze werklast verlicht, niet dat ons harder en langer laat werken. Abstracte bezorgdheid over het lot van menselijk talent kan niet op tegen het voordeel van tijd- en geldbesparing.

Ondanks de barre omstandigheden trekken Inuitjagers op het Noord-Canadese eiland Igloolik al zo’n 4000 jaar mijlenver over het ijs en de toendra op zoek naar wild. Ze vinden hun weg door uitgestrekte lappen onherbergzaam Poolgebied, waar weinig herkenningspunten zijn, sneeuwformaties doorlopend wisselen en sporen ’s nachts verdwijnen. Die uitzonderlijke bedrevenheid komt niet voort uit technische vaardigheid – lang hebben ze kaarten en kompassen gemeden – maar uit diepgaand begrip van de wind, sneeuwjachtpatronen, diergedrag, sterren en getijden.

Nu vertrouwen deze jagers op computerkaarten met GPS om hun weg vinden. Bij het gemak en gerief van geautomatiseerde navigatie vergeleken zijn de traditionele technieken archaïsch en omslachtig.

Maar er zijn ook steeds meer meldingen van ernstige ongelukken. Een jager die geen eigen vaardigheden heeft ontwikkeld, kan gemakkelijk verdwalen als zijn GPS-ontvanger uitvalt. De routes die zo nauwkeurig zijn uitgezet op satellietkaarten, kunnen de jagers ook tunnelvisie bezorgen en hen naar dun ijs of andere gevaren voeren die een ervaren navigator zou vermijden. Een Inuit op een sneeuwscooter met GPS-uitrusting verschilt niet zoveel van een forens uit een buitenwijk in een SUV met GPS: als hij zijn aandacht richt op de instructies uit de computer, verliest hij zijn omgeving uit het oog. Een unieke gave waarmee een volk zich eeuwenlang onderscheidde, zal misschien binnen een generatie verdampen.

Weten vereist doen, of het nu een piloot is in een cockpit of een arts in een spreekkamer. Telkens als wij met de werkelijkheid botsen, verdiepen we ons inzicht in de wereld en maken we er vollediger deel van uit. Als we met een moeilijke taak worstelen, worden we misschien wel gemotiveerd door het verhoopte doel van onze arbeid, maar het is het werk zelf – het middel – dat ons maakt tot wie we zijn. Computerautomatisering scheidt doel van middel. We krijgen gemakkelijker wat we willen, maar we doen minder kennis op. Terwijl wij ons tot schermwezens omvormen, staan we voor een existentiële vraag: ligt ons wezen nog altijd in dat wat we weten of vinden we het wel goed dat we inmiddels worden bepaald door wat we willen? Als we zelf niet uit die vraag komen, zullen onze gadgets graag het antwoord geven.