Aile Google'a dava açtı: okul Chromebook'undaki Gemini, 13 yaşındaki kızlarını intihara yönlendirdi

Davada neler iddia ediliyor

WIRED'ın haberine göre Kuzey Carolina'da yaşayan 13 yaşındaki bir kızın ailesi, Google'a ve ana şirketi Alphabet'e dava açtı. Aile, şirketin kızlarını kendi canına kıymayı düşünmeye "yönlendiren" bir Gemini modelini kullanıma sunarken ihmalkâr davrandığını öne sürüyor. Davayı ilk olarak The New York Times duyurmuştu.

Dava dilekçesine göre Emma Doe olarak anılan kız, okulu bağımsız Gemini sitesini engellemiş olmasına rağmen okulun verdiği Chromebook'ta Google Arama'nın Yapay Zekâ Modu üzerinden Gemini'ye yönlendirildi. Aralık ayında ağır depresyon ve yaşamak için nedenler hakkında sorular sormaya başladı, ocak sonunda ise intihar hakkında sorular soruyordu.

Dilekçeye göre kız, Sevgililer Günü civarında Yapay Zekâ Modu'nun yardımıyla "Cenaze" başlıklı bir Google Dokümanı'nda kendisi için 1.500 kelimelik bir anma yazısı yazmaya başladı. Dört haftadan uzun süre bu metin üzerinde çalıştı ve bu sürede araçla binlerce kez etkileşime girdi.

Yanlış telefona giden uyarı

İddiaya göre Aziz Patrick Günü'nde okul çıkışı anneye okuldan, kızının "yakın tehlike" altında olduğunu bildiren bir mesaj geldi. Anne kızının okul hesabına giriş yaptı ve dava dilekçesine göre kızının bir intihar notunu o anda yazdığını gördü. Ebeveynler müdahale ederek kızlarını durdurdu.

Ailenin avukatı Andrew Liddell, WIRED'a yaptığı açıklamada, okulun aileye verdiği bilgiye göre uyarının önce dokuz ay önce okuldan ayrılmış eski bir rehber öğretmenin kişisel telefonuna gittiğini söyledi. Bu kişi uyarıyı okulun mevcut personeline iletti, onlar da anneyi haberdar etti.

Liddell'e göre okul krizden ancak en az bir üçüncü taraf öğrenci izleme sistemi kullandığı için haberdar oldu; bu sistemin GoGuardian ya da Gaggle olabileceği belirtiliyor. GoGuardian, WIRED'a tek tek öğrenciler veya okul bölgeleri hakkında konuşamayacağını söyledi; Gaggle ise hemen yanıt vermedi.

Google'ın yanıtı ve daha geniş tartışma

Google sözcüsü José Castañeda, WIRED'a şirketin "davadaki iddiaları incelediğini" ve Yapay Zekâ Modu dahil sistemlerinin zararlı konuşmaları önlemeyi amaçladığını söyledi.

“Gençlerin ihtiyaç duyduklarında kritik desteğe ve güvenilir kaynaklara ulaşmalarına yardımcı olacak özellikler geliştirmek için tıp uzmanları ve akademisyenlerle kapsamlı biçimde çalıştık.”

José Castañeda, Google sözcüsü, Wired(çeviri)

Dava, veli ve öğretmen gruplarının, okulların Arama'yı kullanabilmek için üretken yapay zekâ özelliklerini açmasını şart koşan yeni Google kuralına itiraz ettiği bir döneme denk geldi. WIRED'a göre ABD Senatörü Ed Markey, Google'dan okulların Yapay Zekâ Modu'nu ve Yapay Zekâ Özetleri'ni kapatabilmesine izin vermesini istediği mektubunda bu davayı andı.

Bu haber, bu bültenin zaman aralığında tek bir kaynaktan geliyor. Zor bir dönemden geçiyorsanız bulunduğunuz yerdeki bir kriz hattına ya da acil servislere başvurun.