Canvas från Nvidia kan förvandla dina digitala klottringar till nära fotoreala bilder

0 Shares

I korthet: För ett par år sedan introducerade Nvidia ett AI-verktyg som kan ta en grov klotter och producera en fotorealistisk bild i realtid. Den använde generativa kontroversiella nätverk som kallades “GauGAN”, en nick till den postimpressionistiska konstnären Paul Gauguin. Nu drygt två år senare har Nvidia äntligen appen redo för allmän användning.

På onsdagen tillkännagav Nvidia en ny app som heter Canvas. Det är fortfarande i beta men är tillgängligt för alla att använda. Det är så coolt att vi redan har en säker nedladdningslänk redo för dem som vill prova. Tänk på att du behöver Windows 10 och en Nvidia GeForce Quadro eller Titan RTX GPU med drivrutin 445 eller senare (ladda ner 471.11 här).

Canvas är samma GauGAN-app som introducerades för två år sedan, men utvecklare har avsevärt förbättrat gränssnittet för att vara snävare och mer användarvänligt (video: nytt ovan, gammalt nedan). Det har också gynnats av ytterligare två års AI-utbildning på miljontals bilder.

Generativa kontroversiella nätverk (GAN) använder två neurala nätverk – en generator och en diskriminator. Generatorn, som namnet antyder, genererar något, i det här fallet, en bild. Det skickar det skapade innehållet till diskriminatorn, som utvärderar det baserat på utbildning från miljontals verkliga prover. Det ger sedan feedback till generatorn om hur man kan förbättra innehållet – i detta fall pixel-för-pixel.

”Den här tekniken syr inte bara ihop bitar av andra bilder, eller skär och klistrar in texturer”, säger Nvidias vice vd för tillämpad djuplärningsforskning Bryan Catanzaro sa 2019. ”Det syntetiserar faktiskt nya bilder, mycket liknande hur en konstnär skulle rita något . “

Resultatet är som att ha en magisk pensel som automatiskt lager i strukturer när du målar rå segmenteringskartor. Konstnärer kan arbeta på segmenteringskartan eller på själva den genererade bilden. Hur som helst är slutresultatet ett mycket övertygande foto (nedan) som kan manipuleras ytterligare med Photoshop eller andra verktyg.

Paletten har flera typer av texturer, från träd och gräs till vatten och moln. Det coola (förutom att bara måla träd och stenar med ett slag) är att texturerna är smarta. Vatten ger automatiskt lämpliga reflektioner. Om du har en scen med gräs och träd kan du snabbt ändra gräset till snö, och träden blir karga och skapar ett vinterligt utseende.

Canvas-appen fokuserar på att skapa naturlandskap. Nvidia säger dock att de underliggande nätverken kan generera andra landskapsfunktioner som människor, vägar och byggnader.

Om du känner till de tekniska aspekterna av GauGAN AI, kolla in Nvidias akademiska uppsats, som den presenterade vid konferensen för datorvision och mönsterigenkänning 2019.

0 Shares