Bir karakteri seri boyunca aynı tutmak

Çıpa bir görseldir, bir paragraf değil

Bir kimliği yerinde tutan şey daha iyi bir cümle değil, bir ek. Ye ve ark. IP-Adapter makalesinde sebebi açıkça veriyor: istediğin görseli yalnız metinden almak zor, çünkü "it often involves complex prompt engineering". Belirli bir çene hattının sıfatı yok ve hiçbir sıfat yığını bir taneye toplanmıyor. Buradaki her görsel modeli referans kabul ediyor; Seedream 5 Lite bunların en geniş kümesini okuyor, bu da bir görselin yüzü, ötekilerin kıyafeti ve odayı taşıdığı durumda işe yarıyor; referansların nasıl eklendiğini sansürsüz yapay zeka görsel düzenleme sayfası anlatıyor.

Her görsel iyi çıpa olmuyor. Düz, dengeli aydınlatılmış bir portre dramatik bir kareyi genelde yeniyor, çünkü içinde kazara kopyalanacak daha az şey var: sert bir kontur ışığı ya da güçlü bir renk baskısı da kanıt ve modelin yalnız yüzü kastettiğini bilmesinin bir yolu yok. Çıpayı sıkıcı tut, sahnelemeyi prompt yapsın.

Bir görsel kanıt olarak değil kare olarak da gelebilir; bu, başka kurallara tabi başka bir iş. Görselden videoya o ayrımı ve dayattığı kırpmayı anlatıyor.

Yetenek ilan edilir, çıkarsanmaz

Katalogdaki her model ne yaptığını yayınlıyor: görsel mi video mu, ayrıca metin ve referans kiplerinin boyutları ve fiyatları. Görsel eklersen aynı model kimliği referans kipinde çalışır; böylece model sayfası, katalog ucu ve sunucu gövdenin nasıl görünmesi gerektiği konusunda aynı şeyi söylüyor.

Referans okuyan modeller kendi alt ve üst sınırını ilan ediyor ve retler iki yönde de işliyor. Referansın üstüne kurulmuş bir model, referanssız gelen isteği geri çeviriyor. Hiç referans okumayan bir model de eki atıp yine de çizmek yerine referans taşıyan isteği geri çeviriyor. Sana para kazandıran ikinci ret: atılmış bir görsel, elinde onu hiç kullanmamış bir çıktı ve ekranda bunu söyleyen hiçbir şey bırakmıyor.

Geçerli boyutlar da modelin kendisine ait ve adı benzeyen bir akrabadan miras alınmıyor. Ekler ek ücret taşıyabiliyor; hem üretim düğmesi hem çözünürlük ve süre seçimi toplamı senin için çıkarıyor.

Bir kez çiz, kaleni sakla, geri besle

Yalnız tarifle çalışan bir modelde başla; karakter hâlâ pazarlığa açıkken ve kimseyi korumak için değil kim olduğunu bulmak için ödüyorken. Bir kare doğru olana kadar cümleyi yinele; oraya varmak kendi başına bir zanaat ve özgün karakter tasarımı o zanaatın baştan sona hâli. İllüstre ya da özgün bir karakter için o ilk tutulacak kare yapay zeka çizim ve illüstrasyon atölyesi sayfasında çiziliyor; bu rehber ondan sonra onunla ne yapacağını anlatıyor. Hentai ya da anime görünümlü bir karakter de aynı çıpa alışkanlığını izliyor; üstüne hentai yapay zeka sayfasının böyle her karaktere koyduğu kural geliyor: her karede yetişkin.

Sonra onu gerçekten sakla: dosyayı indir ki aylarca kullanmayı düşündüğün çıpa senin denetimindeki bir yerde yaşasın.

Geri vermek bağlantıyı kopyalamakla olmuyor. Biten bir üretim senin kimliğinin arkasından sunuluyor ve çizimi yapan sağlayıcı senin yerine giriş yapamıyor, yani dosya yüklenip dönen adresle eklenmeli; görselden videoya ucu ve retleri taşıyor. Panelde referans kutusu bunu senin için yapıyor; çıpa alan düzenleme modellerinden bir seçki de her birinin neyi kabul ettiğiyle tek sayfada toplu; gerisi kataloğun tamamında.

Sonraki her çekim tek bir istek, yalnız sahne başka: aynı ek, aynı karakter cümlesi, yalnız sahneleme yeniden yazılmış. API referansı gövdeyi, filtresiz prompt yazmak da karenin geri kalanının onunla birlikte oynamasını engelleyen cümle disiplinini taşıyor.

Kimlik nerede kayar, ne değiştirilir

Buradaki tekrarlanabilirlik yazabileceğin bir sayıdan değil ekten geliyor, çünkü seed sunan modellerde bile kare bir çalıştırmadan ötekine kayabiliyor, modellerin çoğunda ise seed hiç yok; çözünürlük ve süre seçimi o mekanizmayı taşıyor. Birebir aynı iki gönderim iki bağımsız çekiliş, yani yalnız tarifle bir arada tutulan bir seri yapısı gereği kayıyor.

En sık sebep, çekimler arasında promptu yeniden yazmak. Yeniden sözcüklenen her tarif, dokunmayı istemediğin her şeyi — yüz dahil — yeniden pazarlığa açıyor. Tek seferde tek yan cümle oynat ki onunla birlikte neyin oynadığını görebilesin.

İkincisi, her yeni çıktıyı çıpaya terfi ettirmek. Bir üretim girdilerini kopyalamıyor, yeniden ifade ediyor; yani çıpanın üstüne kurulmuş çıpanın üstüne kurulmuş bir çıpa başladığı yerden istikrarla uzaklaşıyor. Bir çıpa kümesi tut: ilk kale her istekte kalır, iyi yeni kareler onu emekliye ayırmak yerine kümeye katılır. Bunun zor olması senin kuruntun değil. Avrahami ve ark.'nın "The Chosen One: Consistent Characters in Text-to-Image Diffusion Models" çalışması şu gözlemle açılıyor: "the users that use these models struggle with the generation of consistent characters".

Üçüncü sebep, kayan yeri göstermeyen bir çıpa. Dörtte üç portre yalnız arkadan görünen bir tokayla ilgili hiçbir şey söylemiyor, model de onu her seferinde yeniden uyduruyor. Onu tarif eden bir cümle değil, gösteren bir görünüş ekle.

Ne yapmadığını bilmek işe yarıyor. DreamBooth (Ruiz ve ark., CVPR 2023) "just a few images of a subject" alıp modeli ince ayarlıyor, öyle ki model "learns to bind a unique identifier with that specific subject". Burada eğitim adımı yok, yani kimlik her istekte senin görsellerinden yeniden türetiliyor. Kayabilmesinin sebebi bu; iki çekim arasında hiçbir şeyi yeniden eğitmeden karakter değiştirebilmenin sebebi de.

Karakteri videoya taşımak

Video aynı yerden bölünmüyor. Görsel alan bir video modeli o görselle açılıyor, yani yaptığın kare canlandırılan şey oluyor; bu da kompozisyonu tartışmanın dışına çıkarıyor ve kırpmayı modelin değil senin kararın yapıyor. Video tarafında hiçbir şey senin için bir karakterin etrafına çekim kurmuyor, yani kimin görüneceği iş hâlâ bir görselken çözülmeli. Seedance 2.5, bizim denemelerimizde verilen kareyi en sadık tutan modeller arasındaydı ve bu yolun yetişkin sürümünü NSFW görselden videoya anlatıyor.

Sıra bundan çıkıyor: çıpayı bir görsel modelinde kur, istediğin kareyi sabit görsel olarak sahnele, o kareyi videoya ver ve karakter cümlesini birebir aynı tut ki yalnız eylem değişsin. Yolları sansürsüz yapay zeka video oluşturma sayfası, storyboard ve previz de tek bir yapım gibi okunması gereken bir çekim dizisini anlatıyor.