Hoe werkt een facefilter?

Computer vision

Om een augmented reality facefilter op een foto te zetten, moeten Instagram en Snapchat weten wat ze zien. Maar hoe doen zo’n apps — of zeg maar computers — dat? Ze maken hiervoor gebruik van ​‘computer vision’. Dat informaticadomein leert computers de bijzonderheden van ons menselijke zicht, zodat ze mensen en voorwerpen in foto’s en video’s kunnen herkennen. Het is dankzij computer vision dat Facebook je vrienden kan taggen in je foto’s en dat zelfrijdende auto’s obstakels kunnen vermijden.

Stap 1

Het gezicht detecteren Goed, je smartphone kan dus zien. Maar eigenlijk ziet hij alleen data — een verzameling enen en nullen die de kleurcode van elke afzonderlijke pixel weergeven. Maar hoe herkent hij daar dan een gezicht in? Daarvoor steunt hij op het feit dat alle menselijke gezichten vergelijkbare eigenschappen hebben: hun neusbrug is lichter dan hun zijkant en hun ooggebied is donkerder dan hun jukbeenderen en voorhoofd. Met de hulp van het Viola-Jones-algoritme lijst de computer dan alle lichte en donkere pixelgebieden op. Matchen die voor een deel van de afbeelding met de contrasten in een menselijk gelaat? Dan besluit hij: hier bevindt zich het gezicht.

Stap 2

Een gezichtsmodel maken Nadat het gezicht gedetecteerd is, is het tijd om een stapje verder te gaan: de computer zal nu je gelaatstrekken lokaliseren met de hulp van het Active Shape Model. Dit gezichtsmodel werd samengesteld door op duizenden gezichten handmatig de gezichtsranden aan te duiden. Samen vormden die het ​‘gemiddeld gezicht’. Maar — we voelen je al komen — jij bent natuurlijk allesbehalve gemiddeld. Daarom onderzoekt je smartphone de gelijkenissen en verschillen met jouw gezicht. Hierdoor kan hij het standaard gezichtsmodel aanpassen, zodat het zich verschuift en afstemt op jouw unieke gezicht. Ook wanneer je dat beweegt of verplaatst.

Stap 3

Tijd voor creativiteit Wanneer de computer je gezicht en gelaatstrekken heeft ​‘gezien’, kan het die beginnen pimpen: de gezichtsvorm aanpassen, de oogkleur wijzigen, vormpjes en accessoires toevoegen, of zelfs regenbogen uit je open mond laten vliegen. Mogelijkheden genoeg om je helemaal uit te leven. Veel plezier ermee!