Facebook maakt foto’s doorzoekbaar met artificiële intelligentie
Facebook is niet alleen een plaats waar mensen hun meningen delen, maar is ook het platform bij uitstek om foto’s van (on)belangrijke momenten aan je vrienden te laten zien. Om het sociale medium toegankelijker te maken voor mensen met een visuele beperking, zorgde Facebook er eerder al voor dat de beelden automatisch van alt-tekst werden voorzien. Deze tekst wordt door software gebruikt aan mensen met een visuele beperking mee te delen wat er in een foto te zien is. Facebook vergroot het nut van de technologie door het koppelen aan zoekopdrachten.
Ben je op zoek naar die ene foto waar je vriend een reusachtige pizza eet? Typ de zoekopdracht in op Facebook en alle jouw foto’s en deze van vrienden waarin iemand een pizza aan het eten is, zal worden getoond. Om dit te verwezenlijken zonder dat je één voor één al je foto’s van de juiste tags moet voorzien, maakt Facebook op de achtergrond gebruik van artificiële intelligentie. De AI is getraind met een erg grote hoeveelheid foto’s en is voortaan in staat om de inhoud van foto’s met een redelijke zekerheid te benoemen.
Twee technieken
In een blogpost legt Facebook uit dat het op de achtergrond gebruik maakt van twee technieken. In de eerste plaats gebeurt er beeldherkenning. Een deep neural netwerk met miljoenen leerbare parameters is getraind met tientallen miljoenen foto’s. Hierdoor kan het netwerk automatisch een groot aantal concepten voorspellen, zoals taferelen (bv. tuinen), objecten (bv. auto’s), dieren, belangrijke plaatsen (bv. het Atomium) en kledij (bv. een sjaal).
Verder zoekt het netwerk ook naar betekenissen op hoog niveau. Deze betekenissen worden gehaald uit de laatste lagen van het deep neural netwerk en zijn rijk aan bruikbare informatie, waarmee de zoekresultaten kunnen worden verfijnd.
Beperkt beschikbaar
Momenteel is de nieuwe functie enkel in de Verenigde Staten beschikbaar voor foto’s. Facebook ziet echter een grote toekomst in de technologie. “Met computerzichtmodellen die pixelperfect worden en Facebook die zich richt op video’s en andere formaten, kan Lumos helpen bij het ontsluiten van nieuwe mogelijkheden in een betrouwbare, snelle en schaalbare manier. Ook kan het de weg openen naar rijkere productervaringen in de nabije toekomst.
https://www.facebook.com/Engineering/videos/10154900873827200/
Facebook is niet alleen een plaats waar mensen hun meningen delen, maar is ook het platform bij uitstek om foto’s van (on)belangrijke momenten aan je vrienden te laten zien. Om het sociale medium toegankelijker te maken voor mensen met een visuele beperking, zorgde Facebook er eerder al voor dat de beelden automatisch van alt-tekst werden voorzien. Deze tekst wordt door software gebruikt aan mensen met een visuele beperking mee te delen wat er in een foto te zien is. Facebook vergroot het nut van de technologie door het koppelen aan zoekopdrachten.
Ben je op zoek naar die ene foto waar je vriend een reusachtige pizza eet? Typ de zoekopdracht in op Facebook en alle jouw foto’s en deze van vrienden waarin iemand een pizza aan het eten is, zal worden getoond. Om dit te verwezenlijken zonder dat je één voor één al je foto’s van de juiste tags moet voorzien, maakt Facebook op de achtergrond gebruik van artificiële intelligentie. De AI is getraind met een erg grote hoeveelheid foto’s en is voortaan in staat om de inhoud van foto’s met een redelijke zekerheid te benoemen.
Twee technieken
In een blogpost legt Facebook uit dat het op de achtergrond gebruik maakt van twee technieken. In de eerste plaats gebeurt er beeldherkenning. Een deep neural netwerk met miljoenen leerbare parameters is getraind met tientallen miljoenen foto’s. Hierdoor kan het netwerk automatisch een groot aantal concepten voorspellen, zoals taferelen (bv. tuinen), objecten (bv. auto’s), dieren, belangrijke plaatsen (bv. het Atomium) en kledij (bv. een sjaal).
Verder zoekt het netwerk ook naar betekenissen op hoog niveau. Deze betekenissen worden gehaald uit de laatste lagen van het deep neural netwerk en zijn rijk aan bruikbare informatie, waarmee de zoekresultaten kunnen worden verfijnd.
Beperkt beschikbaar
Momenteel is de nieuwe functie enkel in de Verenigde Staten beschikbaar voor foto’s. Facebook ziet echter een grote toekomst in de technologie. “Met computerzichtmodellen die pixelperfect worden en Facebook die zich richt op video’s en andere formaten, kan Lumos helpen bij het ontsluiten van nieuwe mogelijkheden in een betrouwbare, snelle en schaalbare manier. Ook kan het de weg openen naar rijkere productervaringen in de nabije toekomst.
https://www.facebook.com/Engineering/videos/10154900873827200/
