adlı bir makalenin önizlemesi Metinden Görüntüye Üretken Modellere Yönelik İsteme Özel Zehirlenme Saldırıları yakın zamanda arXiv’de Nightshade’in kapsamı ve işlevselliğinin ana hatlarıyla yayınlandı Bunun gibi araçlar, Vahşi Batı dönemi yapay zeka veri kazıyıcılarına karşı caydırıcı olabilir
Resim 1 ile ilgili 3
(İmaj kredisi: Chicago Üniversitesi, arXiv) (İmaj kredisi: Chicago Üniversitesi, arXiv) (İmaj kredisi: Chicago Üniversitesi, arXiv)Daha önce üretken bir yapay zekayı zehirlemenin, eğitim hattına gönderilen milyonlarca zehir örneğini gerektirebileceği düşünülüyordu Bir veri kazıyıcı daha sonra bu değiştirilmiş görüntülerden birini veri kümesine eklerse, modele “beklenmeyen davranışlar sokacak” ve onu zehirleyecektir MIT Teknoloji İncelemesi projenin arkasındaki ekiple yapılan görüşmelerden biraz daha bilgi elde etti Herkes için ücretsiz bir veri kazıma ve ardından çok az atıfla veya hiç atıf yapılmadan makine yetersizliği gibi görünen bu durum, birçok disiplinden yaratıcıların mevcut üretken yapay zeka projelerine kaşlarını çatmasına neden oldu Bunun yerine, “içerik oluşturucular için, kapsam dışında kalma/tarama yapma yönergelerini göz ardı eden web kazıyıcılara karşı son bir savunma olarak” tasarlanmıştır
Nightshade’in bazı veri zehirlenmesi etkileri şunları içerebilir: köpekler kediye dönüşüyor, arabalar ineğe dönüşüyor, kübizm animeye dönüşüyor, şapkalar tost makinesine dönüşüyor ve diğer kaoslar Nightshade, içerik oluşturucuların çevrimiçi olarak yüklenecek görsellerine fark edilemeyecek değişiklikler ekler Üstelik araştırmacılar, Nightshade’in zehir etkilerinin ilgili kavramlara “sızdığını” ve birden fazla saldırının tek bir istemde bir araya getirilebileceğini söylüyor Nihai sonuç, kullanıcı metni istemlerine dayalı olarak anlamlı görsellerin oluşturulmasını devre dışı bırakmaktır
Nightshade araştırma ekibini yöneten Chicago Üniversitesi’nden profesör Ben Zhao da arkasında Sır, içerik oluşturucuların kişisel sanat tarzlarını maskeleyerek yapay zeka şirketleri tarafından kopyalanmasını ve taklit edilmesini önleyen bir araç Nightshade’in çalışırken aşındırıcı etkilerinin örnekleri için aşağıya bakın Ancak Nightshade’in “etki için optimize edilmiş… istem odaklı bir zehirlenme saldırısı” olduğu iddia ediliyor Şu anda bile, Stability AI ve OpenAI gibi amiral gemisi yapay zeka şirketleri, yalnızca kullanıcılar seçimden çıkmak için çemberlerin içinden geçtiğinde sanat eserlerini atlıyor
Bazıları bunun yerine kullanıcıların katılımını takip etmenin yapay zeka şirketleri olması gerektiğini düşünüyorAraştırmacılar Nightshade gibi araçların gerekli özen gösterilmeden kullanılmasını istemiyorlar MIT Teknoloji İncelemesi‘nin raporu
(İmaj kredisi: Chicago Üniversitesi, arXiv)Yapay zeka modellerinin, yaratıcının açık izni olmaksızın veriler üzerinde eğitilmesi ve ardından öğrendiklerine dayanarak ‘yeni veriler üretmesi’ konusu, son aylarda haberlerde iyice yer aldı
Nightshade adlı yeni bir görüntü veri aracı, bilgisayar bilimi araştırmacıları tarafından metinden görüntüye modellere yönelik verileri “zehirlemek” için oluşturuldu Açık kaynaklı bir proje olarak hazırlanan Nightshade’in ileriki bir tarihte Glaze’e entegre edilmesiyle yapay zeka veri zehirlenmesinin bir seçenek haline gelmesi söz konusu olabilir Araç, görüntü verilerini izleyicilere zarar vermeden zehirleme kapasitesine sahip ancak DALL-E, Midjourney ve Stable Diffusion gibi üretken araçlar tarafından kullanılan yapay zeka modellerini bozacak Oldukça şaşırtıcı bir şekilde Nightshade yıkıcı işini 100’den az zehir örneğinde yapabiliyor
Nightshade, görsel sanatçılara yardımcı olmayı veya en azından yapay zeka veri kazıyıcılarını ister istemez veri toplama konusunda daha ihtiyatlı hale getirmeyi amaçlıyor