Eski videoları restore eden yeni yapay zeka modeli geliştirildi

BEĞENDİM

ABONE OL

News

0

Fotoğraf ve video iyileştirme yazılımları üreten Topaz Labs, eski ve düşük çözünürlüklü videoları iyileştiren yeni yapay zeka modelini tanıttı. Şirketin yayınladığı örnek videolarda, modelin ayrıntıları önemli ölçüde arttırdığı ve videodaki kusurları büyük ölçüde azalttığı görülüyor.

Difüzyon temelli ilk video iyileştirme modeli

Şirket, Project Starlight isimli modelin video restorasyonu için geliştirilmiş difüzyon temelli ilk model olduğunu ve 6 milyardan fazla parametreye sahip yeni bir model mimarisiyle en son Nvidia donanımı üzerinde oluşturulduğunu söylüyor. Kıyaslama açısından, metin, ses, görüntü ve video istemlerini kabul edebilen OpenAI’nin GPT-4o büyük dil modeli 8 milyar parametre gerektiriyor.

Topaz Labs, modelin videodaki ayrıntıları doğru bir şekilde yeniden oluşturabildiğini ve benzersiz detay kurtarma ile eşsiz zamansal tutarlılık sunacağını vadediyor. Şirket, modelin asıl odak noktasının da tam olarak bu olduğunu belirtiyor: Birden fazla kareyi geliştirerek, hareket bozulmaları veya kareler ve nesneler arasındaki tutarsızlıklar olmadan yüksek kaliteli restorasyon sonuçları elde etmek.

Difüzyon modelleri videoyu nasıl iyileştiriyor?

Difüzyon modelleri, yüksek kaliteli bir görüntüye bakarak kademeli olarak ona gürültü ekler ve bu sürecin görüntüyü nasıl bozduğunu öğrenir. Aynı zamanda tersini de yaparak, gürültülü bir görüntüden yola çıkarak gürültü eklenmeden önce nasıl göründüğünü tahmin eder.

Project Starlight ayrıca, otomatik olarak gürültü giderme, bulanıklık azaltma, çözünürlüğü artırma ve kenar yumuşatma işlemlerini gerçekleştirme yeteneğine sahip. Özetle profesyonel programların yaptığını otomatik olarak gerçekleştirebiliyor.

Video restorasyonunda, ölçekleme, renk düzeltme ve derecelendirme, kare enterpolasyonu, hasar onarımı ve ses restorasyonu gibi çeşitli süreçler yer alıyor.  Bunların her birinde yardımcı olmak için yapay zeka destekli araçlar bukunuyor ancak şu anda en iyi sonuçları elde etmek için insanların her şeyi denetlemesi gerekiyor. Project Starlight ise bu işlemleri otomatik olarak gerçekleştiriyor.

Örnek videolara baktığımızda Project Starlight’ın çoğunlukla çok iyi bir iş çıkardığını söyleyebiliriz. Astronotlu ve kırmızı papağanlı klip özellikle çok iyi görünüyor. Ancak, boks maçı sahnesindeki detay doğruluğu beklentileri karşılamıyor. Bazı kareler, eski yapay zeka video üretim modellerinde görülen bulanık resimlere benziyor.

Topaz Labs, 10 saniyeye kadar olan videoların ücretsiz olarak restore edilebileceğini söylüyor. 5 dakikaya kadar olan klipler ise maksimum 1080p çözünürlükte işlenebilecek ve kredi kullanılmasını gerektirecek. Kurumsal sürüm ise daha uzun videoları ve daha yüksek çözünürlüklü çıktıları destekleyecek.