3D-modeling tool POINT-E (OpenAI) vrij beschikbaar
Ontwikkelaar OpenAI (een AI-start-up van Elon Musk) is vooral bekend van zijn populaire text-to-image-generator DALL-E. POINT-E draait dus rond het genereren van beelden met tekstprompts. Waar andere systemen, zoals bijvoorbeeld Googles DreamFusion, doorgaans meerdere uren (en GPU’s) nodig hebben om beelden te genereren, kan dat met POINT-E in slechts enkele minuutjes. En één GPU volstaat.
De voorbije jaren is de populariteit van text-to-image-systemen geboomd. Denk daarbij niet alleen aan DALL-E, maar ook Craiyon of DeepAI en recent Lensa. POINT-E neemt die technologie mee naar 3D-modelling. “POINT-E verschilt van andere systemen, in de zin dat het een heel groot corpus (van tekst-en-beeld-associaties) kan gebruiken om diverse en complexe opdrachtprompten uit te voeren. Tegelijkertijd is ons beeld-naar-3D-model getraind op een kleinere dataset van beeld- en 3D-koppels”, schrijft Alex Nichol, die het onderzoeksteam bij OpenAI leidt.
POINT-E werkt razendsnel
“Om een 3D-object te genereren uit een tekstprompt, samplen we eerst een beeld met het text-to-image-model. We samplen vervolgens een 3D-object, aan de hand van het vorige beeld. Deze twee stappen duren elk maar enkele seconden en er is dus geen nood aan dure optimalisatie”, aldus Nichol. Het resultaat is eerst een ruwe 1.024-puntscloud van een eerste beeld. Die wordt daarna verfijnd naar een versie van 4.096 punten. “In de praktijk gaan we ervanuit dat dat de afbeelding de relevante informatie van de tekst bevat. We conditioneren de ‘point clouds’ dus niet expliciet op de tekst”, geeft het onderzoeksteam nog mee.
De modellen van OpenAI’s POINT-E werden naar verluidt getraind op miljoenen 3D-modellen, die allemaal in een gestandaardiseerd formaat gezet werden. “Onze methode doet het inderdaad wat minder goed dan de state-of-the-art-technieken, maar produceert wel samples in een fractie van de tijd”, klinkt het.
OpenAI heeft de opensourcecode van het project beschikbaar gemaakt op Github, zodat je alvast zelf eens aan de slag kan.
Ontwikkelaar OpenAI (een AI-start-up van Elon Musk) is vooral bekend van zijn populaire text-to-image-generator DALL-E. POINT-E draait dus rond het genereren van beelden met tekstprompts. Waar andere systemen, zoals bijvoorbeeld Googles DreamFusion, doorgaans meerdere uren (en GPU’s) nodig hebben om beelden te genereren, kan dat met POINT-E in slechts enkele minuutjes. En één GPU volstaat.
De voorbije jaren is de populariteit van text-to-image-systemen geboomd. Denk daarbij niet alleen aan DALL-E, maar ook Craiyon of DeepAI en recent Lensa. POINT-E neemt die technologie mee naar 3D-modelling. “POINT-E verschilt van andere systemen, in de zin dat het een heel groot corpus (van tekst-en-beeld-associaties) kan gebruiken om diverse en complexe opdrachtprompten uit te voeren. Tegelijkertijd is ons beeld-naar-3D-model getraind op een kleinere dataset van beeld- en 3D-koppels”, schrijft Alex Nichol, die het onderzoeksteam bij OpenAI leidt.
POINT-E werkt razendsnel
“Om een 3D-object te genereren uit een tekstprompt, samplen we eerst een beeld met het text-to-image-model. We samplen vervolgens een 3D-object, aan de hand van het vorige beeld. Deze twee stappen duren elk maar enkele seconden en er is dus geen nood aan dure optimalisatie”, aldus Nichol. Het resultaat is eerst een ruwe 1.024-puntscloud van een eerste beeld. Die wordt daarna verfijnd naar een versie van 4.096 punten. “In de praktijk gaan we ervanuit dat dat de afbeelding de relevante informatie van de tekst bevat. We conditioneren de ‘point clouds’ dus niet expliciet op de tekst”, geeft het onderzoeksteam nog mee.
De modellen van OpenAI’s POINT-E werden naar verluidt getraind op miljoenen 3D-modellen, die allemaal in een gestandaardiseerd formaat gezet werden. “Onze methode doet het inderdaad wat minder goed dan de state-of-the-art-technieken, maar produceert wel samples in een fractie van de tijd”, klinkt het.
OpenAI heeft de opensourcecode van het project beschikbaar gemaakt op Github, zodat je alvast zelf eens aan de slag kan.
 vrij beschikbaar ){kind=link}