انویدا و MIT هوش مصنوعی تصویر ساز Sana را معرفی کردنند

درباره سانا

Sana یک چارچوب متن به تصویر که می تواند به طور موثر تصاویری با وضوح 4096 × 4096 تولید کند. Sana می‌تواند تصاویر با وضوح بالا و با کیفیت بالا را با هم‌ترازی متن-تصویر قوی با سرعت فوق‌العاده‌ای سریع ترکیب کند که بر روی پردازنده گرافیکی لپ‌تاپ قابل نصب است.

طرح‌های اصلی عبارتند از:

رمزگذار خودکار فشرده‌سازی عمیق: بر خلاف AE‌های سنتی که تصاویر را فقط 8× فشرده می‌کنند، ما AE را آموزش دادیم که می‌تواند تصاویر را 32× فشرده کند و به طور موثر تعداد توکن‌های پنهان را کاهش دهد.

خطی DiT: ما تمام توجه وانیلی را در DiT با توجه خطی جایگزین می‌کنیم که در وضوح‌های بالا بدون کاهش کیفیت کارآمدتر است.

رمزگذار متن فقط رسیور: ما T5 را با LLM کوچک فقط رمزگشای مدرن به عنوان رمزگذار متن جایگزین کردیم و دستورالعمل های انسانی پیچیده ای را با یادگیری درون متنی طراحی کردیم تا تراز تصویر-متن را افزایش دهیم.

آموزش و نمونه‌گیری کارآمد: ما Flow-DPM-Solver را برای کاهش مراحل نمونه‌گیری با برچسب‌گذاری کارآمد عنوان و انتخاب برای تسریع همگرایی پیشنهاد می‌کنیم.

در نتیجه، Sana-0.6B با مدل انتشار غول پیکر مدرن (به عنوان مثال Flux-12B) بسیار رقابتی است، که 20 برابر کوچکتر و بیش از 100 بار در توان اندازه گیری شده سریعتر است. علاوه بر این، Sana-0.6B را می توان بر روی یک پردازنده گرافیکی لپ تاپ 16 گیگابایتی مستقر کرد که کمتر از 1 ثانیه طول می کشد تا تصویری با وضوح 1024 × 1024 ایجاد کند. سانا تولید محتوا را با هزینه کم امکان پذیر می کند.

تصاویر زیر با هوش مصنوعی Sana تولید شده‌اند: