Facebook AI Rosetta kan memes lezen
In tijden van een groeiende hoeveelheid haatspraak en andere onethische content op het sociale mediaplatform, heeft Facebook een Artificiële Intelligentie ontwikkeld die hen kan helpen met het opsporen en modereren hiervan. Het systeem kreeg de naam Rosetta mee en maakt gebruik van machine learning om tekst in afbeeldingen (zoals bijvoorbeeld memes) en video om te zetten naar een formaat dat makkelijker leesbaar is voor andere machines.
Rosetta, genoemd naar een stuk steen dat in 1799 gevonden werd nabij Rosetta en vertalingen tussen Grieks, Egyptische hiërogliefen en demotische tekens mogelijk maakte, doorzoekt zo’n 1 miljard afbeeldingen en videoframes per dag op zowel Facebook als Instagram, en dat in een groot aantal talen.
Om zijn werk te kunnen doen, bakent het systeem eerst rechthoekige regio’s af waarvan het denkt dat ze tekst bevatten. Hiervoor gebruikt het een convolutioneel neuraal netwerk om de afbeelding in tekst om te zetten. Dat kan vanuit het Engels en andere Germaanse talen maar ook vanuit talen zoals Arabisch.
Simpele toepassingen van de data zijn het optimaliseren van de zoekfunctionaliteit en het zorgen voor een betere gebruikservaring, zoals voor mensen met een beperking die gebruik maken van schermlezers. Natuurlijk zou Facebook Facebook niet zijn als het ook niet wat groter dacht. Uiteraard gaat het systeem dus ook gebruikt kunnen worden om de newsfeed op de platformen nog beter aan te passen aan de gebruiker.
In tijden van een groeiende hoeveelheid haatspraak en andere onethische content op het sociale mediaplatform, heeft Facebook een Artificiële Intelligentie ontwikkeld die hen kan helpen met het opsporen en modereren hiervan. Het systeem kreeg de naam Rosetta mee en maakt gebruik van machine learning om tekst in afbeeldingen (zoals bijvoorbeeld memes) en video om te zetten naar een formaat dat makkelijker leesbaar is voor andere machines.
Rosetta, genoemd naar een stuk steen dat in 1799 gevonden werd nabij Rosetta en vertalingen tussen Grieks, Egyptische hiërogliefen en demotische tekens mogelijk maakte, doorzoekt zo’n 1 miljard afbeeldingen en videoframes per dag op zowel Facebook als Instagram, en dat in een groot aantal talen.
Om zijn werk te kunnen doen, bakent het systeem eerst rechthoekige regio’s af waarvan het denkt dat ze tekst bevatten. Hiervoor gebruikt het een convolutioneel neuraal netwerk om de afbeelding in tekst om te zetten. Dat kan vanuit het Engels en andere Germaanse talen maar ook vanuit talen zoals Arabisch.
Simpele toepassingen van de data zijn het optimaliseren van de zoekfunctionaliteit en het zorgen voor een betere gebruikservaring, zoals voor mensen met een beperking die gebruik maken van schermlezers. Natuurlijk zou Facebook Facebook niet zijn als het ook niet wat groter dacht. Uiteraard gaat het systeem dus ook gebruikt kunnen worden om de newsfeed op de platformen nog beter aan te passen aan de gebruiker.
