De relevantie van het realtimeweb

Als er al één universele waarheid is over het internet, is het dat mensen het nú willen.

De afgelopen vijftien jaar hebben we de verwachtingen van hoe snel informatie ons moet bereiken serieus bijgesteld. Een vertraging van enkele minuten voor een belangrijk nieuwsverhaal is onaanvaardbaar. Toen Michael Jackson vorig jaar overleed, dacht Google dat de explosieve zoektocht naar informatie een aanval op hun diensten was.

Steeds vaker duikt de term ‘realtimezoeken’ op. Voor zolang het internet al bestaat, zijn zoekopdrachten de poort naar informatie, en de grote spelers op deze markt stropen de mouwen op om een nieuwe uitdaging aan te pakken: hoe kan de explosie van snel geproduceerde content van nieuwsorganisaties, blogs en gebruikers van sociale media op een relevante manier georganiseerd worden? En liefst onmiddellijk, als het even kan.

[related_article id=”158901″]

“Als informatie die relevant is voor wat ik zoek enkele seconden daarvoor gegenereerd wordt, moet die meteen beschikbaar zijn”, zegt Amit Singhal, een legende uit de zoekindustrie die bij Google verantwoordelijk is voor het realtime-zoekproject. “Het is verschrikkelijk moeilijk.”

Evolutie van internetzoeken
Google geeft intussen al zo’n vier maanden lang realtime-resultaten weer op zijn pagina’s, en eerder gooiden Google en Microsoft het al op een akkoordje met Twitter om uit de pijplijn met berichten van de microblogdienst te mogen tappen. Vandaag staat zoeken in realtime nog in zijn kinderschoenen, maar het is zonder twijfel de volgende stap in de evolutie van zoeken op het internet.

Maar wat is realtimecontent nu precies? De meeste mensen zijn het erover eens dat het vooral draait over het concept van microbloggen, of het onmiddellijk publiceren van content via sociale media. “Maar in de praktijk betekent realtimezoeken eigenlijk gewoon ‘zoeken op Twitter’”, zegt Danny Sullivan van Search Engine Land.

"Niet alleen de update, maar ook de link"
Paul Yiu, een van de realtime-experts bij Microsofts Bing, is het daar grotendeels mee eens, maar benadrukt dat er twee verschillende componenten zijn: “Enerzijds heb je de inhoud van de statusupdate of de post, maar er is ook de link die vaak gedeeld wordt in zo’n update. En voor de zoekopdracht van een gebruiker kunnen ze allebei belangrijk zijn.”

De link die gedeeld wordt, is relevanter dan de boodschap zelf. Dat is de stelling die het bedrijf OneRoit als uitgangspunt heeft genomen. Wie op zoek gaat naar informatie over iets wat pas gebeurd is, krijgt bij OneRoit de resultaten van een analyse van de links die gedeeld worden in statusupdates en sites zoals Digg, om te bepalen wat de meest relevante stukken zijn die er op dat moment beschikbaar zijn.

Het signaal uit de realtimeruis
“We filteren de realtimeruis om er het bruikbare signaal uit te halen”, zegt Tobias Peggs, de oprichter van OneRiot. “Neem nu de recente bomaanslagen in Moskou: je krijgt dan een relevante link naar een stuk in de Los Angeles Times, en geen tweets van duizenden gebruikers die allemaal hun eigen variant op “OMG, de bomaanslagen in Moskou zijn vreselijk!” de wereld insturen.

Zoeken in realtime begint bij de vaststelling dat iets dat aan het gebeuren is belangrijk is. De grote spelers zoals Google en Yahoo hebben de luxe om pieken in hun zoeklogs te vergelijken met pieken over bepaalde onderwerpen in de feeds die ze realtime binnenkrijgen. En als er over eenzelfde onderwerp pieken zijn in de zoekmachines en in de realtime-resultaten, weten ze dat er iets aan het gebeuren is.

Kwaliteit, autoriteit en semantiek
Het realtime-blokje dat soms opduikt tussen de zoekresultaten van Google, staat er dus niet altijd. En om te bepalen wat er opduikt in dat blokje, tellen voor Google drie dingen: kwaliteit, de autoriteit van de auteur en een semantische evaluatie.

Het is geen exacte wetenschap op dit moment. Iedereen die al eens naar een live berichtenstroom heeft gekeken tijdens een nieuwsgebeurtenis, zal opmerken dat er heel veel lawaai wordt gemaakt van Twittergebruikers met tien volgers en blogposts die niet meer doen dan naar blogposts verwijzen.

“We krijgen simpelweg niet de kans om deze informatie op dezelfde manier te controleren en ordenen op relevantie als andere informatie”, zegt Shashi Seth van Yahoo.

Vooral Twitter
Iedereen die zich bezighoudt met realtimezoeken probeert zo veel mogelijk bronnen te betrekken, maar eigenlijk draait het momenteel vooral om Twitter.

“Het verhaal van Twitter is behoorlijk uitzonderlijk, aangezien het een van de weinige bedrijven is die erin geslaagd zijn om Google geld te laten ophoesten voor content”, zegt Sullivan. Concrete bedragen zijn niet bekend, maar er wordt gespeculeerd dat Google enkele miljoenen dollars betaalde in ruil voor toegang tot de Twitter-‘brandslang’.

Volgens Business Week wist Twitter zo’n 25 miljoen dollar te halen uit de verschillende deals met Microsoft en Google – een bedrag dat nooit werd bevestigd.

Maar waarom zouden de zoekmachines geld moeten betalen? Omdat Twitter te moeilijk is om af te speuren en te indexeren op de manier dat dat door de traditionele zoekmachines gebeurt voor de rest van het internet. De drie grote zoekbedrijven hebben nu dus deals waarbij Twitter de content bij hen aflevert, waardoor ze zichzelf heel wat tijd, energie en geld besparen.

Dan volgt een andere vraag: als de kwaliteit van zoeken in realtime zo afhankelijk is van bedrijven die al dan niet een licentie op die content toelaten, zou het dan niet kunnen dat deze zoekvariant gefragmenteerd zal worden door zakelijke belangen? Zou Google hypothetisch als enige de inhoud van Twitter kunnen aanbieden, terwijl de concurrentie van Microsoft exclusief content van Facebook aanbiedt?

Deadlines zijn verleden tijd
Wat er ook gebeurt, voor mediabedrijven zijn deadlines verleden tijd. Het uitgesteld publiceermodel is achterhaald. En steeds meer mensen beseffen dat er een publiek is voor de gedachten, uitspattingen en banale momenten in hun dagelijkse leven.

Dit heeft een explosie van content tot resultaat, een van het type dat de dromen van Google-baas Eric Schmidt om op een dag het hele web geïndexeerd te hebben als een zeepbel uit elkaar laat spatten. Die droom is intussen volledig achterhaald.

Werk aan de winkel
Als zoekmachines zelf relevant willen blijven, moeten ze iets zinnigs doen met deze content. En tenzij sociale netwerken hun data ‘ontdekbaar’ maken, zullen deze zoekmachines niet meteen de realtimecontent-ontdekkers worden die hun pr-mensen nu al denken dat ze zijn.

In de komende jaren zal het belang van realtimezoeken alleen nog maar toenemen, en dat hebben de zoekmachines begrepen. Ze zijn ervan overtuigd dat het een erg strategisch en belangrijk aspect is, en gaan er ongetwijfeld nog verder in investeren.

Als er al één universele waarheid is over het internet, is het dat mensen het nú willen.

De afgelopen vijftien jaar hebben we de verwachtingen van hoe snel informatie ons moet bereiken serieus bijgesteld. Een vertraging van enkele minuten voor een belangrijk nieuwsverhaal is onaanvaardbaar. Toen Michael Jackson vorig jaar overleed, dacht Google dat de explosieve zoektocht naar informatie een aanval op hun diensten was.

Steeds vaker duikt de term ‘realtimezoeken’ op. Voor zolang het internet al bestaat, zijn zoekopdrachten de poort naar informatie, en de grote spelers op deze markt stropen de mouwen op om een nieuwe uitdaging aan te pakken: hoe kan de explosie van snel geproduceerde content van nieuwsorganisaties, blogs en gebruikers van sociale media op een relevante manier georganiseerd worden? En liefst onmiddellijk, als het even kan.

[related_article id=”158901″]

“Als informatie die relevant is voor wat ik zoek enkele seconden daarvoor gegenereerd wordt, moet die meteen beschikbaar zijn”, zegt Amit Singhal, een legende uit de zoekindustrie die bij Google verantwoordelijk is voor het realtime-zoekproject. “Het is verschrikkelijk moeilijk.”

Evolutie van internetzoeken
Google geeft intussen al zo’n vier maanden lang realtime-resultaten weer op zijn pagina’s, en eerder gooiden Google en Microsoft het al op een akkoordje met Twitter om uit de pijplijn met berichten van de microblogdienst te mogen tappen. Vandaag staat zoeken in realtime nog in zijn kinderschoenen, maar het is zonder twijfel de volgende stap in de evolutie van zoeken op het internet.

Maar wat is realtimecontent nu precies? De meeste mensen zijn het erover eens dat het vooral draait over het concept van microbloggen, of het onmiddellijk publiceren van content via sociale media. “Maar in de praktijk betekent realtimezoeken eigenlijk gewoon ‘zoeken op Twitter’”, zegt Danny Sullivan van Search Engine Land.

"Niet alleen de update, maar ook de link"
Paul Yiu, een van de realtime-experts bij Microsofts Bing, is het daar grotendeels mee eens, maar benadrukt dat er twee verschillende componenten zijn: “Enerzijds heb je de inhoud van de statusupdate of de post, maar er is ook de link die vaak gedeeld wordt in zo’n update. En voor de zoekopdracht van een gebruiker kunnen ze allebei belangrijk zijn.”

De link die gedeeld wordt, is relevanter dan de boodschap zelf. Dat is de stelling die het bedrijf OneRoit als uitgangspunt heeft genomen. Wie op zoek gaat naar informatie over iets wat pas gebeurd is, krijgt bij OneRoit de resultaten van een analyse van de links die gedeeld worden in statusupdates en sites zoals Digg, om te bepalen wat de meest relevante stukken zijn die er op dat moment beschikbaar zijn.

Het signaal uit de realtimeruis
“We filteren de realtimeruis om er het bruikbare signaal uit te halen”, zegt Tobias Peggs, de oprichter van OneRiot. “Neem nu de recente bomaanslagen in Moskou: je krijgt dan een relevante link naar een stuk in de Los Angeles Times, en geen tweets van duizenden gebruikers die allemaal hun eigen variant op “OMG, de bomaanslagen in Moskou zijn vreselijk!” de wereld insturen.

Zoeken in realtime begint bij de vaststelling dat iets dat aan het gebeuren is belangrijk is. De grote spelers zoals Google en Yahoo hebben de luxe om pieken in hun zoeklogs te vergelijken met pieken over bepaalde onderwerpen in de feeds die ze realtime binnenkrijgen. En als er over eenzelfde onderwerp pieken zijn in de zoekmachines en in de realtime-resultaten, weten ze dat er iets aan het gebeuren is.

Kwaliteit, autoriteit en semantiek
Het realtime-blokje dat soms opduikt tussen de zoekresultaten van Google, staat er dus niet altijd. En om te bepalen wat er opduikt in dat blokje, tellen voor Google drie dingen: kwaliteit, de autoriteit van de auteur en een semantische evaluatie.

Het is geen exacte wetenschap op dit moment. Iedereen die al eens naar een live berichtenstroom heeft gekeken tijdens een nieuwsgebeurtenis, zal opmerken dat er heel veel lawaai wordt gemaakt van Twittergebruikers met tien volgers en blogposts die niet meer doen dan naar blogposts verwijzen.

“We krijgen simpelweg niet de kans om deze informatie op dezelfde manier te controleren en ordenen op relevantie als andere informatie”, zegt Shashi Seth van Yahoo.

Vooral Twitter
Iedereen die zich bezighoudt met realtimezoeken probeert zo veel mogelijk bronnen te betrekken, maar eigenlijk draait het momenteel vooral om Twitter.

“Het verhaal van Twitter is behoorlijk uitzonderlijk, aangezien het een van de weinige bedrijven is die erin geslaagd zijn om Google geld te laten ophoesten voor content”, zegt Sullivan. Concrete bedragen zijn niet bekend, maar er wordt gespeculeerd dat Google enkele miljoenen dollars betaalde in ruil voor toegang tot de Twitter-‘brandslang’.

Volgens Business Week wist Twitter zo’n 25 miljoen dollar te halen uit de verschillende deals met Microsoft en Google – een bedrag dat nooit werd bevestigd.

Maar waarom zouden de zoekmachines geld moeten betalen? Omdat Twitter te moeilijk is om af te speuren en te indexeren op de manier dat dat door de traditionele zoekmachines gebeurt voor de rest van het internet. De drie grote zoekbedrijven hebben nu dus deals waarbij Twitter de content bij hen aflevert, waardoor ze zichzelf heel wat tijd, energie en geld besparen.

Dan volgt een andere vraag: als de kwaliteit van zoeken in realtime zo afhankelijk is van bedrijven die al dan niet een licentie op die content toelaten, zou het dan niet kunnen dat deze zoekvariant gefragmenteerd zal worden door zakelijke belangen? Zou Google hypothetisch als enige de inhoud van Twitter kunnen aanbieden, terwijl de concurrentie van Microsoft exclusief content van Facebook aanbiedt?

Deadlines zijn verleden tijd
Wat er ook gebeurt, voor mediabedrijven zijn deadlines verleden tijd. Het uitgesteld publiceermodel is achterhaald. En steeds meer mensen beseffen dat er een publiek is voor de gedachten, uitspattingen en banale momenten in hun dagelijkse leven.

Dit heeft een explosie van content tot resultaat, een van het type dat de dromen van Google-baas Eric Schmidt om op een dag het hele web geïndexeerd te hebben als een zeepbel uit elkaar laat spatten. Die droom is intussen volledig achterhaald.

Werk aan de winkel
Als zoekmachines zelf relevant willen blijven, moeten ze iets zinnigs doen met deze content. En tenzij sociale netwerken hun data ‘ontdekbaar’ maken, zullen deze zoekmachines niet meteen de realtimecontent-ontdekkers worden die hun pr-mensen nu al denken dat ze zijn.

In de komende jaren zal het belang van realtimezoeken alleen nog maar toenemen, en dat hebben de zoekmachines begrepen. Ze zijn ervan overtuigd dat het een erg strategisch en belangrijk aspect is, en gaan er ongetwijfeld nog verder in investeren.