Branded Content
Branded Content XTR Branded Content is de commerciële content op nrc.nl. De inhoud valt buiten de redactionele verantwoordelijkheid van NRC Media.
Judith Kurvers gebruikt samen met haar vierjarige dochter Bettie, die doof werd geboren, de app StorySign.
Judith Kurvers gebruikt samen met haar vierjarige dochter Bettie, die doof werd geboren, de app StorySign.
Digitale technologie helpt

Hoe slechthorende kinderen leren lezen met een app

Voor dove en slechthorende kinderen is leren lezen en schrijven een grote uitdaging. Technologische innovatie helpt hen, in de vorm van een app die kinderboeken omzet in gebarentaal.


Opgroeien met een auditieve beperking betekent meer dan niet of nauwelijks kunnen horen. Waar horende kinderen de hele dag door - op straat, thuis, via verschillende media - informatie tot zich krijgen, gebeurt dat bij dove en slechthorende kinderen een stuk minder. Dat beïnvloedt hun taalontwikkeling en sociaal-emotionele ontwikkeling. Ook het leren lezen en schrijven, iets wat normaal gesproken gebeurt door klanken te koppelen aan woorden, is voor hen moeilijker. Ze ‘spreken’ de Nederlandse Gebarentaal, een taal die je niet kunt opschrijven en waarvoor onlangs een initiatiefwet bij de Tweede Kamer werd ingediend om officieel erkend te worden. Het is een taal die een heel andere grammatica, zinsbouw en woordenschat kent dan het gesproken Nederlands. Ruim 1 op de 1000 kinderen in ons land wordt doof of ernstig slechthorend geboren, aldus het Nederlands Huisartsen Genootschap. Technologische ontwikkelingen bieden mogelijkheden in de vorm van een app. Zo helpt de app StorySign kinderen met een auditieve beperking bij het leren lezen.

Vechten om de telefoon

Judith Kurvers gebruikt de app graag samen met haar vierjarige dochter Bettie, die doof werd geboren. Inmiddels kan ze dankzij twee cochleair implantaten anderen wel horen, maar niet altijd goed verstaan. „Bettie heeft gebaren, oogcontact en lipbeweging nodig om mensen te kunnen begrijpen.” Kurvers leest haar dochter voor met gebaren en gebruikt ter aanvulling StorySign. De app maakt ook gebruik van de Nederlandse Gebarentaal. „Als ik Bettie voorlees, ga ik tegenover haar zitten en richt zij de telefoon op het boek. Ze hoort dat ik praat, ziet de gemarkeerde woorden en focust zich op de gebaren, die ik tegelijkertijd uitbeeld. Ik denk dat ze daardoor echt beter leert lezen.” Soms bedient Betties zesjarige broer Douwe, die kan lezen en horen, de app. „Samen hebben ze er veel lol mee. Soms is het vechten om de telefoon,” vertelt Kurvers. „Het is mooi dat technologie Bettie helpt bij het lezen en dat we alle gezinsleden nu kunnen betrekken bij het voorlezen. Dat hoeft geen een-op-eenmoment meer te zijn.” Precies het doel van de app, die de komende jaren doorontwikkeld wordt. „Als je menselijke expertise en technologie samenvoegt, kun je tot grote hoogten stijgen”, zegt Ivo van den Brand, die bij Huawei aan StorySign werkt.

Een avatar en gebarentaal

„Als je geen voorleesmoment met je kind kunt beleven omdat hij of zij niet, of niet goed, kan horen, is dat heel frustrerend,” zegt Van den Brand. „Met de app wilden we daarom niet alleen kinderen helpen bij het leren lezen, maar het ook mogelijk maken om samen met familieleden te lezen. Zelfs als zij geen gebarentaal kunnen.” Dat is gelukt: in de app selecteer je een titel, bijvoorbeeld ‘Dribbel naar het museum’, en je slaat het bijbehorende boek open. Daar hou je je telefoon boven, zodat de camera de woorden herkent, legt Van den Brand uit. “Op je telefoonscherm verschijnt dan Star, een avatar die de tekst direct vertaalt naar gebarentaal.” De woorden die dit augmented reality-figuurtje uitbeeldt worden direct blauw gemarkeerd in de app. Hierdoor koppelen kinderen de betekenis aan geschreven woorden én leren voorlezers meteen een woordje gebarentaal. Aardman Animations, bekend van kleifigurenserie Wallace & Gromit, ontwikkelde de animatie. In Nederland werd ook de hulp van de Federatie van Ouders van Dove Kinderen (FODOK) ingeschakeld. „Zonder steun van de dovengemeenschap kunnen we StorySign niet ontwikkelen,” zegt Van den Brand. „Zij checken bijvoorbeeld of de vertaling klopt.”

Ideaal tijdens bedtijd

Het ingewikkelde vertaalproces neemt per boek tien tot twaalf weken in beslag. Experts lezen elk boek in 13 talen voor in gebarentaal, terwijl geavanceerde sensoren elke beweging vastleggen, van handgebaren tot schouderbewegingen en gezichtsuitdrukkingen. Het resultaat is een complex animatiemodel, dat aan de avatar wordt gekoppeld. Zo wordt de juiste animatie getoond, zodra de app een woord herkent. Dit gebeurt allemaal met behulp van kunstmatige intelligentie en een techniek die optical character recognition heet. De app werkt ook als je de telefoon scheef houdt of als het donker is – ideaal tijdens bedtijd en in kinderhanden.

Een volledig verbonden en intelligente wereld
Huawei is een toonaangevende wereldwijde leverancier van infrastructuur voor informatie- en communicatietechnologie (ICT). Met geïntegreerde oplossingen in vier domeinen – telecomnetwerken, IT, slimme apparaten en cloud-diensten – streeft Huawei ernaar om digitale oplossingen naar elke persoon, woning en organisatie te brengen voor een volledig verbonden, intelligente wereld. Meer weten over de activiteiten van Huawei? huawei.com

Tekst: Kim van der Meulen