Captionbot weet wat er op je foto’s staat
Microsoft kondigde gisteren de introductie van bots aan, maar de techreus koppelde daar meteen een aantal geavanceerde artificieel intelligente API’s aan. Op die manier maakt Microsoft jaren aan AI-onderzoek en machine learning gratis beschikbaar voor ontwikkelaars. Een voorproefje van wat dat precies inhoudt vind je op captionbot.ai, de thuis van Captionbot.
Captionbot bekijkt je afbeeldingen en weet wat er op staat. Het systeem werd door middel van neurale netwerken en machine learning getraind om objecten, mensen en dieren te herkennen op afbeeldingen. De technologie er achter is erg gelijkaardig aan wat Google doet met Foto’s. Ook die app weet wat er op je kiekjes staat. Google gebruikt die kennis om afbeeldingen te indexeren zodat je er naar kan zoeken, Microsoft niet.
Captionbot staat nog in zijn kinderschoenen en is eerder een showcase dan een praktisch product. We vroegen de bot enkele foto’s te beschrijven met wisselend succes. Op bovenstaande afbeelding zie je de hoofdredacteur van ZDNet. Microsofts AI kan nog geen belangrijke personen herkennen dus de bot houdt het op ‘Ik denk dat het een man is die aan een bureau zit met een laptop’. Helemaal juist.
Meestal herkent Captionbot wel wat er gaande is maar Darth Vader is het systeem onbekend. Wanneer het systeem het onderwerp niet kan beschrijven is het daar eerlijk in en vertelt het wat het wel ziet. In dit geval denkt Captionbot dat het tafereel zich binnen afspeelt en dat er een tafel en een raam in het spel is, niet slecht.
Een duidelijke toepassing voor een tool als Captionbot is een applicatie zoals Google Foto’s maar Microsoft wil dat aan ontwikkelaars over laten. Zij kunnen aan de slag gaan met de API’s die achter Captionbot schuil gaan om zo hun eigen apps te maken. In dit scenario vertelt de website in natuurlijke volzinnen wat hij ziet, maar de detectie kan ook op een abstractere manier gebeuren. Tijdens Build zagen we bijvoorbeeld hoe afbeeldingen vertaald kunnen worden in een oplijsting van gedetecteerde objecten met een bijhorende zekerheidsscore. Ontwikkelaars kunnen die detectie dan weer gebruiken voor andere toepassingen binnen hun eigen apps.
Tijdens de conferentie maakte Microsoft duidelijk dat Captionbot nog niet op punt staat. Zo heeft Captionbot nog niets zinnigs te zeggen over de meeste kunst (‘Ik denk dat het een schilderij aan de muur is’, bij de toch wel bekende Schreeuw van Munch) al blijkt het beeldherkenningsalgoritme toch al de nodige humor te bezitten. De perfecte herkenning en de bijhorende omschrijving van de Mona Lisa toont dat aan.
Microsoft kondigde gisteren de introductie van bots aan, maar de techreus koppelde daar meteen een aantal geavanceerde artificieel intelligente API’s aan. Op die manier maakt Microsoft jaren aan AI-onderzoek en machine learning gratis beschikbaar voor ontwikkelaars. Een voorproefje van wat dat precies inhoudt vind je op captionbot.ai, de thuis van Captionbot.
Captionbot bekijkt je afbeeldingen en weet wat er op staat. Het systeem werd door middel van neurale netwerken en machine learning getraind om objecten, mensen en dieren te herkennen op afbeeldingen. De technologie er achter is erg gelijkaardig aan wat Google doet met Foto’s. Ook die app weet wat er op je kiekjes staat. Google gebruikt die kennis om afbeeldingen te indexeren zodat je er naar kan zoeken, Microsoft niet.
Captionbot staat nog in zijn kinderschoenen en is eerder een showcase dan een praktisch product. We vroegen de bot enkele foto’s te beschrijven met wisselend succes. Op bovenstaande afbeelding zie je de hoofdredacteur van ZDNet. Microsofts AI kan nog geen belangrijke personen herkennen dus de bot houdt het op ‘Ik denk dat het een man is die aan een bureau zit met een laptop’. Helemaal juist.
Meestal herkent Captionbot wel wat er gaande is maar Darth Vader is het systeem onbekend. Wanneer het systeem het onderwerp niet kan beschrijven is het daar eerlijk in en vertelt het wat het wel ziet. In dit geval denkt Captionbot dat het tafereel zich binnen afspeelt en dat er een tafel en een raam in het spel is, niet slecht.
Een duidelijke toepassing voor een tool als Captionbot is een applicatie zoals Google Foto’s maar Microsoft wil dat aan ontwikkelaars over laten. Zij kunnen aan de slag gaan met de API’s die achter Captionbot schuil gaan om zo hun eigen apps te maken. In dit scenario vertelt de website in natuurlijke volzinnen wat hij ziet, maar de detectie kan ook op een abstractere manier gebeuren. Tijdens Build zagen we bijvoorbeeld hoe afbeeldingen vertaald kunnen worden in een oplijsting van gedetecteerde objecten met een bijhorende zekerheidsscore. Ontwikkelaars kunnen die detectie dan weer gebruiken voor andere toepassingen binnen hun eigen apps.
Tijdens de conferentie maakte Microsoft duidelijk dat Captionbot nog niet op punt staat. Zo heeft Captionbot nog niets zinnigs te zeggen over de meeste kunst (‘Ik denk dat het een schilderij aan de muur is’, bij de toch wel bekende Schreeuw van Munch) al blijkt het beeldherkenningsalgoritme toch al de nodige humor te bezitten. De perfecte herkenning en de bijhorende omschrijving van de Mona Lisa toont dat aan.
