Tuhaflık ve anlamsızlıkla dolu memler ve kısa animasyonlar oluşturmanın tamamen yeni bir yolu. Görüntü oluşturma teknolojisi son yıllarda hızla ilerledi ancak tutarlı video oluşturmanın sağlanması, çağdaş yapay zeka modelleri için hala bir zorluk olmaya devam ediyor. Bununla birlikte, Google yakın zamanda bu alanda kayda değer bir ilerleme göstererek, video oluşturma alanında önemli ölçüde gelişmiş bir teknoloji sergiledi.
Google , şirketin video oluşturmaya yönelik en yeni yapay zeka modeli Lumiere'yi kısa süre önce tanıttı . Lumiere'in video sentezinde önemli bir gelişme olduğunu belirten Google, "gerçekçi, çeşitli ve tutarlı hareket" yaratmanın her zaman yapay zeka tabanlı video oluşturmanın ana zorluklarından biri olduğunu belirtiyor. Lumiere, görünüşte bu sorunu çözebilecek veya çözmeye çalışabilecek bir uzay-zaman yayılım modeli sunuyor.
Mountain View'un üretken yapay zeka işine yönelik son hamlesi, metinden video oluşturma, görüntüden videoya işleme ve stilize oluşturma için yeterince iyidir. Kullanıcılar, metinsel bir bilgi istemi yazarak, bir kaynak görüntü sağlayarak (görüntünün ne kadar orijinal, gerçekçi veya düzenlenmiş olursa olsun) veya hedef stil olarak bir referans görseli kullanarak tamamen yeni bir video klip oluşturabilirler.
Lumiere, yapay zeka modelinde tek bir geçişle tüm video klibi aynı anda üreten yeni bir "Uzay-Zaman U-Net mimarisi" kullanıyor. Aynı video için farklı anahtar kareleri sentezleyen mevcut modellerle karşılaştırıldığında Lumiere'in yaklaşımı, eskisinden çok daha az tuhaflıkla son teknoloji ürünü metinden videoya sonuçlar elde edebiliyor.
Lumiere'nin ek yetenekleri arasında, kaynak videoyu farklı malzemelere dönüştüren video stilizasyonu ve kaynak görüntüdeki sınırlı, vurgulanmış bir kısmı canlandırmanın bir yolunu sağlayan Sinemagraflar yer alır. Video İç Boyama özelliği, bir kızın elbisesinin renklerini, malzemelerini veya dokularını değiştirmek gibi, kaynak videonun tek bölümlerini değiştirebilir.
Google'ın resmi belgede vurguladığı gibi Lumiere, 5 saniyeden fazla sürmeyen "düşük çözünürlüklü" 1024×1024 videolar oluşturabiliyor. Önceki yapay zeka video modelleri daha uzun videolar oluşturabiliyordu ancak Google, kullanıcıların mevcut yapay zeka modellerine göre Lumiere'in çıktısını tercih ettiğini iddia ediyor. Mountain View, Lumiere'in metin açıklamalarıyla birlikte 30 milyon video içeren bir veri kümesi üzerinde eğitildiğini ancak bu kaynaklı 5 saniyelik videoların kaynağının (veya telif hakkı durumunun) şu anda bilinmediğini söylüyor.
Google araştırmacıları tarafından hazırlanan makale, Lumiere gibi video üreten yapay zeka teknolojisinin potansiyel "toplumsal etkisini" vurguluyor ve modelin birincil hedefinin "acemi kullanıcıların" yeni yaratıcı ve esnek yollarla görsel içerik oluşturmasını sağlamak olduğunu belirtiyor. Bununla birlikte, eğlencenin bozulmasını önlemek için video oluşturma modellerinin önyargılarını ve "kötü niyetli" kullanım durumlarını tespit etmeye yönelik yeni araçlar bir an önce geliştirilmelidir.
https://lumiere-video.github.io/
