Grafische kaarten in oorlogstanken: de toekomst op het slagveld
De meest bijzondere spreker op het Nvidia GPU Technology Forum moet zonder twijfel Abaco zijn. Dat bedrijf verzorgt de technologie van heel wat legervoertuigen ter land, ter zee en in de lucht. Ross Newman, Senior Field Applications Engineer EMEA bij Abaco steekt van wal. “Een doosje zoals de Abaco GVC2000 is voorzien van een Intel Xeon D 12-core CPU en Nvidia GM107 640-core GPU, wat heel wat mogelijkheden biedt.”
AJAX-tank
Deze technologie is onderdeel van ’s werelds eerste volledig gedigitaliseerde pantsergevechtsvoertuig: AJAX. Het beeld van de buitenwereld wordt getoond via diverse camera’s rondom de tank. Newman: “Dankzij low-latency beeldoverdracht kan de bestuurder snelle en juiste beslissingen nemen. Het beeld verschijnt onmiddellijk op het scherm wanneer de scanlines beschikbaar zijn, zodat je niet eens het hele frame nodig hebt. Dit is nodig om bliksemsnel te reageren in het heetst van de strijd. Je wil namelijk niet dat de chauffeur zijn hoofd uit het voertuig moet steken.”
De commandant in het voertuig krijgt op verschillende schermen de verschillende missies te zien, net als de telemetrie van het voertuig. Hij staat in direct verbinding met de bestuurder en de schutter. De schutter moet het geweer stabiliseren en ballistische berekeningen uitvoeren, iets waar de GPU bij helpt zodat de schutter zich kan focussen op de livebeelden. De GPU kan zelfs heel wat taken autonoom uitvoeren. Zo kan de chip de loop automatisch een doelwit laten volgen.
Ethernetprotocol
AJAX moet ten allen tijde blijven werken, daarom is er een backbone met twee units die met elkaar in verbinding staan via glasvezel om nagenoeg synchroon te werken wanneer er eentje uitvalt. Newman: “Rondom het voertuig zit een glasvezelring die niet onderhevig is aan ruis en genoeg bandbreedte biedt. Alles in de tank gebruikt het ethernetprocotol. Dat geeft de mogelijkheid om afstanden tot 90 meter zonder problemen te overbruggen, en GPU’s kunnen video over ethernet perfect analyseren. Bovendien laat ethernet ook multicast toe, zodat videostreams door meerdere gebruikers kunnen worden geraadpleegd.”
De militaire standaard zorgt er ook voor dat via een RF-signaal een videostream met h.264-compressie nagenoeg realtime kan worden doorgestuurd met een minimale bandbreedte. Dat maakt het heel handig voor andere voertuigen rondom je om daarrond extra informatie te vergaren. Enkel voor streams worden gecomprimeerde videobeelden gebruikt. Alles in het voertuig zelf gebruikt ruwe data zonder compressie.
Hoe gecomprimeerd? 480p-resolutie is al heel wat. Streamingtechnologie staat hier lang niet zover als bijvoorbeeld bij drones. De maximale resolutie bedraagt 1.000 x 1.000 pixels op dit ogenblik, meer is er niet voor handen om te streamen.
Automatische wapendetectie
Nu er toegang is tot de videobeelden, kan de GPU zijn werk doen met computervisie-algoritmen om het voertuig slimmer te maken. Haast alle technieken die een militair voertuig toepast, vind je vandaag ook al terug bij ontwikkeling van autonome auto’s. Zo kan een militair voertuig perfect de omgeving analyseren en scannen op gebouwen, mensen, en meer specifiek wapens. Newman: “Stel dat er rechts van de weg een kind staat met een stok en links een man met een vuurwapen. De GPU berekent automatisch dat er iets mis is, en seint de commandant van het voertuig.”
Segmentatie is ook belangrijk om continu te scannen naar voorwerpen op de grond om daarop te anticiperen. Ook grondverzakkingen kunnen op die manier bliksemsnel worden gecounterd. Alle landvoertuigen hebben multispectral- en visual light-camera’s aan boord die dankzij GPU-versnelling met elkaar worden gecombineerd. Zo kan een videostream worden gecombineerd met een infraroodbeeld, zodat je letterlijk doorheen de rook van een rookbom kan kijken alsof ze er niet is.
Hoe hoog is de resolutie van de camera’s en de schermen aan boord? Dat wil Newman niet meedelen, maar in zijn slides zien we meermaals 4K als een specificatie die ondersteund wordt om weer te geven én om te analyseren door de GPU. Klinkt indrukwekkend, maar Newman laat echter uitschijnen dat, net als bij live videostreaming, de schermresolutie lang niet zover staat als je zou denken.
It’s classified
Verder wordt de GPU intensief gebruikt voor de stabilisatie van de camera’s rondom het voertuig. Vooral bij lucht en landvoertuigen is dat van levensbelang. Het volgen van vijanden op het scherm kan ook worden verbeterd door GPU-acceleratie. Newman: “We kunnen door het tracken in combinatie met ballistische informatie van camerabeelden de schutter heel wat informatie geven om de juiste beslissing te nemen. Alle beelden worden goed aan elkaar gekoppeld zodat iedereen telkens goed begrijpt waar het voertuig staat. Vandaag de dag gebeurt dat voornamelijk nog door naar verschillende schermen individueel te kijken.”
Er zit ongetwijfeld nog heel wat extra spitstechnologie in deze voertuigen, maar op heel wat vragen heeft Newman hetzelfde antwoord: “It’s classified, kan ik niets over zeggen.”
De meest bijzondere spreker op het Nvidia GPU Technology Forum moet zonder twijfel Abaco zijn. Dat bedrijf verzorgt de technologie van heel wat legervoertuigen ter land, ter zee en in de lucht. Ross Newman, Senior Field Applications Engineer EMEA bij Abaco steekt van wal. “Een doosje zoals de Abaco GVC2000 is voorzien van een Intel Xeon D 12-core CPU en Nvidia GM107 640-core GPU, wat heel wat mogelijkheden biedt.”
AJAX-tank
Deze technologie is onderdeel van ’s werelds eerste volledig gedigitaliseerde pantsergevechtsvoertuig: AJAX. Het beeld van de buitenwereld wordt getoond via diverse camera’s rondom de tank. Newman: “Dankzij low-latency beeldoverdracht kan de bestuurder snelle en juiste beslissingen nemen. Het beeld verschijnt onmiddellijk op het scherm wanneer de scanlines beschikbaar zijn, zodat je niet eens het hele frame nodig hebt. Dit is nodig om bliksemsnel te reageren in het heetst van de strijd. Je wil namelijk niet dat de chauffeur zijn hoofd uit het voertuig moet steken.”
De commandant in het voertuig krijgt op verschillende schermen de verschillende missies te zien, net als de telemetrie van het voertuig. Hij staat in direct verbinding met de bestuurder en de schutter. De schutter moet het geweer stabiliseren en ballistische berekeningen uitvoeren, iets waar de GPU bij helpt zodat de schutter zich kan focussen op de livebeelden. De GPU kan zelfs heel wat taken autonoom uitvoeren. Zo kan de chip de loop automatisch een doelwit laten volgen.
Ethernetprotocol
AJAX moet ten allen tijde blijven werken, daarom is er een backbone met twee units die met elkaar in verbinding staan via glasvezel om nagenoeg synchroon te werken wanneer er eentje uitvalt. Newman: “Rondom het voertuig zit een glasvezelring die niet onderhevig is aan ruis en genoeg bandbreedte biedt. Alles in de tank gebruikt het ethernetprocotol. Dat geeft de mogelijkheid om afstanden tot 90 meter zonder problemen te overbruggen, en GPU’s kunnen video over ethernet perfect analyseren. Bovendien laat ethernet ook multicast toe, zodat videostreams door meerdere gebruikers kunnen worden geraadpleegd.”
De militaire standaard zorgt er ook voor dat via een RF-signaal een videostream met h.264-compressie nagenoeg realtime kan worden doorgestuurd met een minimale bandbreedte. Dat maakt het heel handig voor andere voertuigen rondom je om daarrond extra informatie te vergaren. Enkel voor streams worden gecomprimeerde videobeelden gebruikt. Alles in het voertuig zelf gebruikt ruwe data zonder compressie.
Hoe gecomprimeerd? 480p-resolutie is al heel wat. Streamingtechnologie staat hier lang niet zover als bijvoorbeeld bij drones. De maximale resolutie bedraagt 1.000 x 1.000 pixels op dit ogenblik, meer is er niet voor handen om te streamen.
Automatische wapendetectie
Nu er toegang is tot de videobeelden, kan de GPU zijn werk doen met computervisie-algoritmen om het voertuig slimmer te maken. Haast alle technieken die een militair voertuig toepast, vind je vandaag ook al terug bij ontwikkeling van autonome auto’s. Zo kan een militair voertuig perfect de omgeving analyseren en scannen op gebouwen, mensen, en meer specifiek wapens. Newman: “Stel dat er rechts van de weg een kind staat met een stok en links een man met een vuurwapen. De GPU berekent automatisch dat er iets mis is, en seint de commandant van het voertuig.”
Segmentatie is ook belangrijk om continu te scannen naar voorwerpen op de grond om daarop te anticiperen. Ook grondverzakkingen kunnen op die manier bliksemsnel worden gecounterd. Alle landvoertuigen hebben multispectral- en visual light-camera’s aan boord die dankzij GPU-versnelling met elkaar worden gecombineerd. Zo kan een videostream worden gecombineerd met een infraroodbeeld, zodat je letterlijk doorheen de rook van een rookbom kan kijken alsof ze er niet is.
Hoe hoog is de resolutie van de camera’s en de schermen aan boord? Dat wil Newman niet meedelen, maar in zijn slides zien we meermaals 4K als een specificatie die ondersteund wordt om weer te geven én om te analyseren door de GPU. Klinkt indrukwekkend, maar Newman laat echter uitschijnen dat, net als bij live videostreaming, de schermresolutie lang niet zover staat als je zou denken.
It’s classified
Verder wordt de GPU intensief gebruikt voor de stabilisatie van de camera’s rondom het voertuig. Vooral bij lucht en landvoertuigen is dat van levensbelang. Het volgen van vijanden op het scherm kan ook worden verbeterd door GPU-acceleratie. Newman: “We kunnen door het tracken in combinatie met ballistische informatie van camerabeelden de schutter heel wat informatie geven om de juiste beslissing te nemen. Alle beelden worden goed aan elkaar gekoppeld zodat iedereen telkens goed begrijpt waar het voertuig staat. Vandaag de dag gebeurt dat voornamelijk nog door naar verschillende schermen individueel te kijken.”
Er zit ongetwijfeld nog heel wat extra spitstechnologie in deze voertuigen, maar op heel wat vragen heeft Newman hetzelfde antwoord: “It’s classified, kan ik niets over zeggen.”
