- marec 2024
"Hitra sinteza slike visoke ločljivosti z latentno kontradiktorno difuzijsko destilacijo" predstavlja nov pristop destilacije, znan kot latentna kontradiktorna difuzijska destilacija (LADD). Ta pristop je zasnovan tako, da obravnava omejitve obstoječih difuzijskih modelov, zlasti izziv počasne hitrosti sklepanja, ki ovira aplikacije v realnem času. LADD omogoča sintezo slike z visoko ločljivostjo in razmerjem stranic z učinkovito destilacijo velikih modelov latentne difuzije (LDM), kar znatno poenostavi proces usposabljanja in izboljša učinkovitost v primerjavi s prejšnjimi metodami .
Povzeli bomo ključne povzetke tega prispevka.
Uvod
Difuzijski modeli so se pojavili kot zmogljivo orodje za sintezo in urejanje slik in videa ter ponujajo visokokakovostne rezultate. Vendar pa je njihova iterativna narava, ki zahteva številne omrežne ocene za pretvorbo hrupa v koherentne slike, omejila njihovo praktičnost za aplikacije v realnem času. Za pospešitev difuzijskih modelov so bile predlagane različne strategije. LADD uvaja novo strategijo, ki izkorišča generativne funkcije vnaprej usposobljenih LDM, kar omogoča učinkovito sintezo slik z visoko ločljivostjo v delčku korakov, ki jih zahtevajo tradicionalne metode.
Ozadje
Članek se začne s pregledom difuzijskih modelov in njihove destilacije. Tradicionalni difuzijski modeli delujejo tako, da postopno odpravljajo šum slike skozi številne ponavljajoče se korake, zaradi česar je postopek počasen in računsko drag. Metode destilacije, vključno z Adversarial Diffusion Destillation (ADD), so poskušale racionalizirati ta postopek z zmanjšanjem števila potrebnih korakov. Vendar se ADD sooča z omejitvami, kot sta fiksna ločljivost usposabljanja in potreba po dekodiranju v prostor RGB za destilacijo modelov latentne difuzije, kar lahko omeji usposabljanje visoke ločljivosti.
Metodologija
LADD obravnava ta vprašanja z destilacijo neposredno v latentnem prostoru, s čimer se izogne potrebi po dekodiranju v prostor slikovnih pik in omogoča usposabljanje pri višjih ločljivostih. Za razliko od ADD, ki temelji na predhodno usposobljenem diskriminatorju, ki deluje v prostoru slikovnih pik, LADD uporablja nov pristop, kjer sta diskriminator in model učitelja poenotena in delujeta neposredno na latentih. Ta metoda ne le poenostavlja proces usposabljanja, ampak zagotavlja tudi več prednosti, vključno z učinkovitostjo, zmožnostjo zagotavljanja povratnih informacij glede na raven hrupa in zmogljivostjo za usposabljanje z več vidiki (MAR).
Poskusi in rezultati
Prispevek obširno ocenjuje LADD z različnimi poskusi in prikazuje njegovo vrhunsko zmogljivost pri sintezi slik visoke ločljivosti v samo nekaj korakih. Ko se uporablja za Stable Diffusion 3 (SD3), LADD povzroči model, imenovan SD3-Turbo, ki dosega kakovost slike, primerljivo s stanjem najsodobnejši generatorji besedila v sliko v zgolj štirih korakih. Poskusi raziskujejo tudi vpliv različnih porazdelitev hrupa učiteljev, uporabo sintetičnih podatkov, pristope latentne destilacije in obnašanje skaliranja LADD.
Primerjava z najsodobnejšim
Učinkovitost LADD je dodatno poudarjena s primerjavo s trenutnimi vodilnimi metodami v sintezi besedila v sliko in slike v sliko. SD3-Turbo se ne ujema le z zmogljivostjo svojega učiteljskega modela (SD3) v kakovosti slike, ampak tudi dokazuje pomembne izboljšave v primerjavi z drugimi osnovnimi linijami v smislu hitrosti sklepanja in poravnave slike in besedila.
Omejitve in prihodnje smeri
Kljub svojemu napredku LADD ni brez omejitev. Avtorji opažajo kompromis med zmogljivostjo modela, hitro poravnavo in hitrostjo sklepanja, kar bi lahko vplivalo na sposobnost modela, da obvlada določene izzive sinteze besedila v sliko. Prihodnje usmeritve raziskav vključujejo globlje raziskovanje tega kompromisa in razvoj strategij za izboljšanje nadzora nad prednostmi slikovnih in besedilnih navodil.
Zaključek
»Hitra sinteza slike visoke ločljivosti z latentno kontradiktorno difuzijsko destilacijo« uvaja nov pristop k sintezi slike/videoposnetka, ki znatno pospeši ustvarjanje visokokakovostnih slik iz besedilnih pozivov. Z destilacijo velikih difuzijskih modelov v latentnem prostoru LADD utira pot aplikacijam v realnem času in postavlja nov standard za učinkovitost in zmogljivost pri sintezi slike.
Code Labs Academy: Spletni tečaj kodiranja s prilagodljivimi plačilnimi načrti