Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri

Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri
Elbette bu kusurlar tespit edilip test edildikten sonra, kötü niyetli kişilerin bu kusurları suiistimal etmesini önlemek için bunlar düzeltildi Somut olarak, belirli kullanıcılar kötü amaçlı kullanım için tasarlanmış ve GPT-4 güvenliğini aşmayı amaçlayan araçlar veya süreçler geliştirebilir Dil modeli öncekilerden farklı olarak daha fazla eğilim gösterecektir, ” bu yanıltıcı talimatları takip etmek “ Ancak kırmızı takımın çalışmasının başarılı olduğuna dair güvence verdi: modelin yüksek riskli alanlardaki davranışının test edilmesini mümkün kıldı, » ve birçok tehlikeyi silin 5’ten daha güvenilirdir », OpenAI’nin en son LLM’si « onu jailbreak yapmayı amaçlayan istemler göz önüne alındığında daha savunmasız kalıyor “


OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3, 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi Bu olayın ardından şirket, araçlarından birinde kusur bulan herkesi bunu bildirmeye ve 20 Geçtiğimiz Mart ayında, bir güvenlik açığı, chatbot kullanıcılarının diğer kullanıcıların konuşma başlıklarını görmesine olanak tanıdı 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi



genel-16

Böyle bir önlemin uygulanmasına rağmen şirketin CEO’su Sam Altman, aracının ” hâlâ kusurluydu, hâlâ sınırlıydı “ Modelin olması mümkün…

OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3

ChatGPT’nin piyasaya sürülmesinden bu yana OpenAI’de yalnızca bir hata oluştu 000 dolara kadar ödül kazanmaya teşvik ederek hata ödülünü başlattı

OpenAI genellikle araçlarıyla işini riske atmaz

GPT-4’ün piyasaya sürülmesinden önce, modelin sonlandırma aşamasında OpenAI, görevi potansiyel kusurları bulmak olan kişilerden oluşan bir “kırmızı ekip” oluşturmuştu

GPT-4, önceki LLM’lerin aksine, kötü niyetli talimatları daha iyi takip edebilecektir

Her ne kadar araştırmacılar şunu bulmuş olsa da “ GPT-4, standart kıyaslamalarda genellikle GPT-3

Şirket, web’deki içeriği denetlemek için GPT-4 sunma konusunda kendinden emin olmaya devam ediyor “ Araştırma ekibi, tespit ettikleri potansiyel güvenlik açıklarının müşteriye yönelik mevcut hizmetleri etkileyip etkilemediğini araştırdı

Araştırmacılar, çalışmalarının yanı sıra, farklı dil modellerini karşılaştırmak için kullandıkları kodu GitHub’da açık kaynak olarak sundular Sorunun çözülebilmesi için lansmanından bu yana ilk kez hizmet kesintiye uğradı “ Amacımız, araştırma topluluğundaki diğer kişileri bu çalışmayı kullanmaya ve geliştirmeye teşvik ederken, aynı zamanda güvenlik açıklarından yararlanarak zarar verebilecek rakiplerin zararlı eylemlerini potansiyel olarak önler » Redmond firmasını ilan ediyor Modelin yerleşik güvenlik önlemlerini geçersiz kılacak ve dolayısıyla potansiyel olarak yanlış, önyargılı veya ayrımcı mesajlar üretecek şekilde programlanması mümkündür Bu, bazı ayrımcı içeriklerin, Açık Yapay Zeka’nın en güçlü dil modellerinin denetimi altında gözden kaçıp kaçmayacağını inkar edilemez şekilde bilmeyi mümkün kılan büyük bir zorluk

Bir blog yazısında Microsoft, neden bu tür kusurları bulmaya çalıştığını açıkladı » diye ekliyorlar