5 plannen die Apple mogelijk met gezichtsherkenning heeft

Apple heeft de afgelopen tijd meerdere bedrijven gekocht die werken aan software voor gezichtsherkenning. Maar wat is het bedrijf van plan met die overnames?

Faceshift, Polar Rose en PrimeSense

Apple nam recentelijk het Zwitserse bedrijf Faceshift over. De reden voor de inlijving is nog niet bekend, maar omdat Faceshift heeft gewerkt aan de motion capture-technologie van de nieuwe Star Wars-film is het in ieder geval een opvallende koop. Faceshift is daarnaast niet het enige door Apple gekochte bedrijf dat werkt aan gezichtsherkenningstechnologie. In 2010 werd het Zweedse Polar Rose overgenomen en in 2013 het Israëlische bedrijf PrimeSense. Maar waarom?

Allereerst Polar Rose. Dit bedrijf bezit technologie waarmee foto’s gesorteerd kunnen worden op basis van wat er op de beelden is te zien. Vergelijkbaar dus met wat Google doet met zijn Foto’s-app. Polar Rose is echter voornamelijk goed in het kunnen aangeven wie er op de foto’s is te zien. Vlak voor de overname zette het bedrijfje een zelf gemaakte plug-in offline, waarmee gezichten op websites als Flickr en Facebook herkend konden worden.

En dan PrimeSense, het Israëlische bedrijf dat in 2013 werd ingelijfd. PrimeSense is gespecialiseerd in 3D-sensortechnologie, die bijvoorbeeld wordt gebruikt in Microsofts Kinect voor de Xbox-spelcomputers. Hiermee kun je als persoon worden gezien als een 3D-object in een driedimensionale ruimte in plaats van een plat beeld.

Eén van de redenen voor een bedrijf als Apple om andere bedrijfjes over te nemen is de patenten die deze bezitten. Zo heeft Faceshift patenten die betrekking hebben op motion capture, met een focus op films en games. Het bedrijf heeft zich gespecialiseerd in technologie die expressies van mensen kan herkennen. Zo heeft het vrij recentelijk software gemaakt waarmee via Skype iemands gezicht in real-time omgezet kan worden naar een 3D-avatar. Denk hierbij aan een hoofd van een groene orc die jouw expressies heeft. Deze technologie wordt al in films gebruikt, maar heeft ook voor communicatie tal van mogelijkheden.

Wat is Apple van plan?

Dat Apple bezig is om gezichten te herkennen roept uiteraard tal vragen op over zowel beveiliging als privacy. Het bedrijf zal de technologieën waarschijnlijk pas aan het werk zetten als het die vragen kan beantwoorden. Wij verwachten in ieder geval de gezichtsherkenning terug te zien in (een aantal van) de volgende functies.

1. Toestelontgrendeling

Eerder dit jaar kreeg Apple het patent toegewezen om een iPhone te ontgrendelen met een selfie. Het gaat hier om “Low treshhold face recognition’, dat staat voor laagdrempelige gezichtsherkenning. Het idee is dat Apple je gezicht kan herkennen, zelfs bij slecht licht, om daarmee je telefoon te ontgrendelen. Hierdoor heb je dus geen toegangscode en geen vingerafdruk meer nodig. Op Android-toestellen is een vergelijkbare optie al langer aanwezig, maar het zogeheten Face Unlock is minder betrouwbaar dan een inlogcode of je vingerafdruk.

De functie kan natuurlijk ook doorgevoerd worden naar andere apps op je iPhone of iPad. Denk aan het inloggen bij je bank en het doen van betalingen. De technologie van de opgekochte bedrijven zou deze herkenning zo goed kunnen maken, dat het hiervoor veilig genoeg is. Er moeten geen fouten gemaakt worden, bijvoorbeeld dat je plots niet meer herkend wordt met andere make-up, een baard of een nieuw kapsel. Ook is het van belang dat het systeem zich niet kan vergissen en iemand anders, zoals een familielid die op je lijkt, toegang geeft.

2. Gezichtsherkenning in foto’s

Een andere manier waarop Apple gezichtsherkenning wil inzetten is voor foto’s, zo blijkt uit een ander patent van het bedrijf. Zodra je een foto van een groep mensen maakt, wil Apple gezichten herkennen zodat je de foto makkelijk met deze personen kunt delen. Het is vergelijkbaar met wat Facebook doet als je een nieuwe foto uploadt en direct vrienden worden herkend. Het idee van Apple is wel dat gebruikers eerst toestemming moeten geven om hun gezicht herkenbaar te maken in andermans foto’s.

Eerder konden Apple-apparaten al gezichten herkennen via de app Faces. Die vergeleek echter enkel gezichten in foto’s met elkaar. Dus als je in een foto een bepaalde persoon hebt getagd, zal de app in andere foto’s dezelfde persoon kunnen herkennen. Met de juiste gezichtsherkenningtechnologie en bijhorende data zou die eerste stap niet eens meer nodig zijn.

3. Entertainment en auto’s

Wat als je iPhone, iPad of juist de Apple TV kan zien hoe jij je voelt tijdens het kijken van bepaalde media en zich daar aan kan aanpassen? Hier kan vooral de technologie van PrimeSense van pas komen, omdat de gemaakte sensoren voor Microsoft Kinect zelfs kunnen zien of je hart sneller gaat kloppen van iets wat je op het scherm ziet. Gaat je hartslag een tikje omhoog als Chris Hemsworth of Scarlett Johansson op het scherm verschijnt? Dan kunnen er andere films met die acteurs aangeraden worden. Of de televisie gaat automatisch uit als je in slaap valt. In games zou de technologie gebruikt kunnen worden om snel, makkelijk en accuraat een virtuele avatar van jezelf te maken.

Deze mogelijkheden voor entertainment zouden ook toepasbaar zijn in de auto. Niet enkel om je als eigenaarte herkennen wanneer je de auto wil openen of starten, maar ook om te zien hoe jij je voelt tijdens het autorijden. Hoe alert ben je? Dut je wellicht in? Als Apple signalen snel herkent door je gezicht te bestuderen, kan daarop gereageerd worden voor extra veiligheid tijdens het rijden.

4. FaceTime en Siri

Een virtuele versie van jezelf zou ook op een leuke manier geïmplementeerd worden in bijvoorbeeld FaceTime. Snapchat heeft al allerlei manieren om je opgenomen selfie-filmpje op te leuken met bijvoorbeeld maskers en andere effecten, maar met de technologie die Apple nu in handen heeft zou je een compleet andere wezen kunnen worden in gesprekken met anderen terwijl alle bewegingen in je gezicht wel overgezet worden.

Maar ook de communicatie met Siri kan een stuk uitgebreider worden met deze technologie. Siri is nu al goed in het herkennen van je stem, maar wat als hij ook je hoofd gaat herkennen en je emoties kan interpreteren door je gezichtsuitdrukkingen? Siri zou zo veel meer kunnen betekenen. En zodra ook de Apple Watch een camera krijgt, kun je een bijzonder uitgebreide persoonlijke assistent bij je dragen.

5. Virtual/augmented reality

De overgenomen bedrijven werken allemaal aan technologie die ook gebruikt wordt in virtual en augmented reality. Bedrijven als Google, Microsoft en HTC zetten hoog in op VR en AR, maar Apple heeft vooralsnog niets laten zien. Het is aannemelijk dat het bedrijf achter de schermen bezig is met een eigen interpretatie van hoe deze technologie de wereld kan verrijken.

Vorig jaar zocht Apple nog naar een nieuwe werknemer die op VR gebaseerde apps kan maken. Tevens heeft het sinds 2006 patenten in huis die betrekking hebben op virtual reality en augmented reality. Eerder heeft Apple zelfs nog het Duitse Metaio overnomen, dat augmented reality-software maakt.

Augmented reality betekent dat je omgeving verrijkt wordt met virtuele elementen, zoals bij Microsofts Hololens het geval is. De Hololens werkt echter ook nog met een enorme bril. Hoe gezichtsherkenning gaat werken met een bril op je hoofd is dus nog maar de vraag. Het is goed mogelijk dat Apple zoekt naar een manier om AR voor elkaar te krijgen zonder een log apparaat op je hoofd. Hoewel de techniek nog niet zover lijkt te zijn om daar iets elegants van te maken, zou Apple ons daar best mee kunnen verrassen.