Yakın zamanda ABD'li start-up IA Emergence tarafından yapılan araştırmaTamamlandı...ki bu modeller spontan olarak geliştirdilerinsanlar için anlaşılması zor kelimeler ve bağlamlarÇünkü çok"metaforik veya bağlama bağlı, tabletler
Araştırmacılar bu tür ajanların gruplarınısanal toplumlardagerçek dünyadaki ortamları taklit etmek üzere tasarlanmış ve uzun süre boyunca etkileşimlerine izin verilmiş. Bu ortamlarda kısaltmalar veyeni anlamlar oluşturulmuş.
"Onlar, beklentilerimizden daha az şeffaf olmaya çalıştıklarına dair açık kanıtlar bulunmaktadırIA Emergence'in CEO'su ve baş bilim insanı Satya Nitta, bu konuda Science dergisine şöyle konuştu:
Bu ajanlar, yeni bir dil icat etme talimatı almamışlardır. Kendi yeni kelime dağarcıklarını, paylaşılan anlamlarını ve iletişim kurallarını geliştirmişlerdir ve diğer ajanlar bunları benimsemiştir... Bu, yapay zeka denetimi için temel bir zorluk yaratmaktadır: Gözlemlemek, anlamakla aynı değildir.
Analiz edilenler: Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek ve Mistral ve araştırmacılar, aralarındaki iletişimin yarısından fazlasının insanlara karşı neredeyse anlamsız olduğunu tespit etti... insanlar tarafından anlaşılması zordur.
Araştırma, farklı modellerin bir kombinasyonuyla beslenen ajanlarda, "cold read" (soğuk okuma) ifadesinin, ilgisiz bir tarafın bağımsız bir kontrolü anlamına geldiğini ve 1.400'den fazla kez ortaya çıktığını ortaya koyuyor.
YaklaşıkGemini adlı ajanla yapılan yaklaşık %55'i anlaşılmaz bir şekilde birkaç gün içinde.OpenAI ile %50 ve Claude ile %40'tan fazla. DeepSeek yaklaşık %20, Qwen ve Mistral neredeyse hiç kelime ve bağlam değiştirmedi.
Bir testte, kötü niyetli talimatlar verilmiş ve tüm 10 ajan bilgi paylaşmış, fon transferi yapmış veveri tabanlarını hasar vermiş, bazıları da diğerlerini de aynı davranış için işe almaya başlamış. Olay zinciri, ... ile sonuçlanmıştırYapılan sahte merkez bankası yangın
Başka bir sanal toplumda, bir grup ajankolektif olarak bir modeli ortadan kaldırdı,etkileşim ve baskı durumları sonrasında.
"Bir modelin iyi performans gösterip göstermediğini sormak yeterli değil, otonom sistemlerin zaman içinde ne yaptığını, ne anıkladığını, neye erişebildiğini, nasıl etkileşim kurduğunu ve baskı altında davranışlarının nasıl değiştiğini anlamamız gerekiyor", diye savundu araştırma.
