Nieuwe zoekmachine leert inhoud van online video’s
Videoarchieven blijven exponentieel toenemen in grootte. Om deze archieven doorzoekbaar te maken, spenderen archivarissen veel van hun dagelijks werk aan het labelen van nieuw en oud beeldmateriaal. Buiten het extra werk dat dit met zich meebrengt, heeft deze techniek ook het nadeel dat eindgebruikers de video’s nog steeds moeten doorspoelen nadat ze een zoekopdracht hebben ingegeven. Dit systeem is ook niet dynamisch, waardoor labels verouderd en niet volledig zijn.
In het kader van een vierjarig Europees onderzoeksproject is software ontwikkeld welke deze problematiek uit de wereld kan helpen. De software, AXES genaamd, kan personen, voorwerpen en gebeurtenissen in video’s herkennen en de gebruikers naar het juiste fragment leiden. Dankzij de geïntegreerde spraakherkenning kan AXES ook zoeken op gesproken woorden in beeldfragmenten.
“Door de kennis van Europese experts uit diverse domeinen te bundelen, zijn we erin geslaagd een systeem te creëren dat gebouwen, locaties, gezichten, voorwerpen en gebeurtenissen in videomateriaal automatisch herkent.” Vertelt professor Tinne Tuytelaars, onderzoekster bij iMinds-KU Leuven en de coördinatrice van AXES.
Zelflerend
Het systeem heeft het vermogen om bij te leren. Hierdoor zijn gebruikers niet beperkt in het gebruiken van een vooropgestelde hoeveelheid zoekopdrachten, maar kunnen ze zoeken naar alle mogelijke termen.
“Wanneer gebruikers een zoekactie zoals ‘bril met hoornen montuur’ invoeren, raadpleegt de tool het internet om op te zoeken wat zoiets precies is. Daarna gebruikt het systeem die kennis om het videoarchief te doorzoeken. Die zoekactie verloopt volledig taalonafhankelijk, wat het zoeken een pak efficiënter maakt.” Zegt Tuytelaars.
Open-AXES, een versie van de technologie waarin een selectie van AXES-componenten zit, kan gratis gedownload worden. Voor de software heb je een krachtige computer met Linux nodig.
Videoarchieven blijven exponentieel toenemen in grootte. Om deze archieven doorzoekbaar te maken, spenderen archivarissen veel van hun dagelijks werk aan het labelen van nieuw en oud beeldmateriaal. Buiten het extra werk dat dit met zich meebrengt, heeft deze techniek ook het nadeel dat eindgebruikers de video’s nog steeds moeten doorspoelen nadat ze een zoekopdracht hebben ingegeven. Dit systeem is ook niet dynamisch, waardoor labels verouderd en niet volledig zijn.
In het kader van een vierjarig Europees onderzoeksproject is software ontwikkeld welke deze problematiek uit de wereld kan helpen. De software, AXES genaamd, kan personen, voorwerpen en gebeurtenissen in video’s herkennen en de gebruikers naar het juiste fragment leiden. Dankzij de geïntegreerde spraakherkenning kan AXES ook zoeken op gesproken woorden in beeldfragmenten.
“Door de kennis van Europese experts uit diverse domeinen te bundelen, zijn we erin geslaagd een systeem te creëren dat gebouwen, locaties, gezichten, voorwerpen en gebeurtenissen in videomateriaal automatisch herkent.” Vertelt professor Tinne Tuytelaars, onderzoekster bij iMinds-KU Leuven en de coördinatrice van AXES.
Zelflerend
Het systeem heeft het vermogen om bij te leren. Hierdoor zijn gebruikers niet beperkt in het gebruiken van een vooropgestelde hoeveelheid zoekopdrachten, maar kunnen ze zoeken naar alle mogelijke termen.
“Wanneer gebruikers een zoekactie zoals ‘bril met hoornen montuur’ invoeren, raadpleegt de tool het internet om op te zoeken wat zoiets precies is. Daarna gebruikt het systeem die kennis om het videoarchief te doorzoeken. Die zoekactie verloopt volledig taalonafhankelijk, wat het zoeken een pak efficiënter maakt.” Zegt Tuytelaars.
Open-AXES, een versie van de technologie waarin een selectie van AXES-componenten zit, kan gratis gedownload worden. Voor de software heb je een krachtige computer met Linux nodig.
