Nyob rau hauv ib tsab xov xwm tshiab Point-E: Ib qho system rau tsim 3D taw tes huab los ntawm cov teeb liab nyuaj, pab neeg tshawb fawb OpenAI qhia Point E, 3D point huab cov ntawv sau cov txheej txheem sib txuas uas siv cov qauv sib txawv los tsim ntau yam thiab nyuaj 3D duab uas tau tsav los ntawm cov ntawv nyuaj. lus.hauv feeb ntawm ib qho GPU.
Qhov kev ua tau zoo tshaj plaws ntawm niaj hnub no lub xeev-ntawm-lub-kos duab tiam qauv tau txhawb kev tshawb fawb hauv tiam 3D cov khoom siv.Txawm li cas los xij, tsis zoo li 2D qauv, uas tuaj yeem tsim cov khoom tsim tawm hauv feeb lossis txawm vib nas this, cov khoom tsim qauv feem ntau xav tau ob peb teev ntawm GPU ua haujlwm los tsim ib qho qauv.
Nyob rau hauv ib tsab xov xwm tshiab Point-E: Ib qho system rau tsim 3D taw tes huab los ntawm cov teeb liab nyuaj, pab pawg neeg tshawb fawb OpenAI nthuav tawm Point·E, cov ntawv nyeem cov txheej txheem sib txuas rau 3D taw tes huab.Txoj hauv kev tshiab no siv tus qauv nthuav tawm los tsim cov duab sib txawv thiab nyuaj 3D los ntawm cov ntawv nyeem nyuaj hauv ib feeb lossis ob zaug ntawm ib qho GPU.
Pab pawg tau tsom mus rau qhov kev sib tw ntawm kev hloov cov ntawv rau 3D, uas yog qhov tseem ceeb rau kev ywj pheej 3D cov ntsiab lus tsim rau lub ntiaj teb tiag tiag siv xws li kev muaj tiag virtual thiab kev ua si rau kev tsim qauv.Cov txheej txheem uas twb muaj lawm los hloov cov ntawv rau 3D poob rau hauv ob pawg, txhua tus muaj nws qhov tsis zoo: 1) cov qauv tsim tuaj yeem siv los tsim cov qauv zoo, tab sis tsis tuaj yeem ntsuas tau zoo rau cov ntawv nyeem sib txawv thiab nyuaj;2) tus qauv ua ntej-kawm ntawv-duab qauv los tswj cov ntawv nyeem nyuaj thiab sib txawv, tab sis txoj hauv kev no yog kev suav siv ntau thiab tus qauv tuaj yeem yooj yim tau daig hauv cov minima hauv zos uas tsis sib haum rau cov khoom muaj txiaj ntsig lossis sib koom ua ke 3D.
Yog li ntawd, pab neeg no tau tshawb nrhiav lwm txoj hauv kev uas lub hom phiaj los ua ke cov kev muaj zog ntawm cov saum toj no ob txoj hauv kev, siv cov ntawv nyeem-rau-duab diffusion qauv kawm ntawm ntau pawg ntawv-cov duab khub (tso cai rau nws los lis ntau haiv neeg thiab cov teeb liab) thiab ib tug 3D duab diffusion qauv kawm ntawm ib tug me me ntawm cov ntawv nyeem-cov duab khub.duab-3D khub dataset.Tus qauv ntawv-rau-daim duab ua ntej ua piv txwv cov duab nkag los tsim ib qho kev sawv cev hluavtaws, thiab cov duab-rau-3D qauv tsim 3D taw tes huab raws li cov duab xaiv.
Cov lus txib cov txheej txheem tsim tawm yog raws li cov txheej txheem tsim tawm tsis ntev los no rau kev tsim cov duab los ntawm cov ntawv nyeem (Sohl-Dickstein li al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Lawv siv tus qauv GLIDE nrog 3 billion GLIDE tsis txwv (Nichol li al., 2021), zoo-tuned ntawm rendered 3D qauv, raws li lawv cov ntawv nyeem-rau-cov duab hloov qauv, thiab ib txheej ntawm diffusion qauv uas tsim RGB taw tes huab raws li lawv kev hloov pauv qauv.duab rau duab.3D qauv.
Thaum ua haujlwm dhau los siv 3D architectures los ua cov txheej txheem huab cua, cov kws tshawb fawb tau siv cov qauv hloov pauv yooj yim (Vaswani li al., 2017) los txhim kho kev ua haujlwm.Nyob rau hauv lawv cov qauv diffusion architecture, taw tes huab dluab yog thawj zaug pub rau hauv ib qho kev kawm ua ntej ViT-L/14 CLIP qauv thiab tom qab ntawd cov zis meshes tau pub rau hauv lub converter ua cov cim.
Hauv lawv txoj kev tshawb nrhiav pom, pab pawg tau muab piv rau Point·E txoj hauv kev nrog rau lwm cov qauv 3D tsim los ntawm cov qhab nia ntawm COCO cov khoom tshawb pom, segmentation, thiab kos npe datasets.Cov txiaj ntsig tau lees paub tias Point·E muaj peev xwm tsim cov duab 3D sib txawv thiab nyuaj los ntawm cov ntawv nyeem nyuaj thiab ua kom lub sijhawm inference los ntawm ib mus rau ob qhov kev txiav txim loj.Pab neeg vam tias lawv txoj haujlwm yuav txhawb nqa kev tshawb fawb ntxiv rau hauv 3D ntawv sau.
Lub ntsiab lus qhia ua ntej huab nthuav tawm qauv thiab cov lej ntsuas ntsuas muaj nyob ntawm qhov project's GitHub.Document Point-E: Ib qho system tsim 3D taw tes huab los ntawm cov lus qhia nyuaj yog nyob ntawm arXiv.
Peb paub tias koj tsis xav nco tej xov xwm lossis kev tshawb pom.Sau npe rau peb cov ntawv xov xwm Synced Ntiaj Teb AI Lub Limtiam nrov kom tau txais kev hloov tshiab AI txhua lub lim tiam.
Post lub sij hawm: Dec-28-2022