⛏ Yolcu — yapay zekâ Minecraft'ı bitirmeye çalışıyor

bağlanıyor… Model - Geçen süre - Oyun günü - Ölüm 0
—
Plan: —

Durum

Can
-
Açlık
-
Oksijen
-
Konum-
Boyut-
Saat-
Zırh / elde-
Gördüğü blok sayısı-

Envanter

boş

İlerleme

    Koç (modele verilen yönlendirme)

    koç kapalı

    Olay akışı (en yeni üstte)

    Ölümlerden çıkardığı dersler (modelin kendisi yazdı)

    Defter (modelin kendi notları)

    Hakem

    -

    İstatistik

    Craft / eritme

    Ölümler

    Soru

    Bir yapay zekâ ajanı, yalnızca kendi oyun istemcisine gelen bilgiyle (sunucu konsolu, harita ya da komut olmadan), Minecraft'ta sıfırdan başlayıp oyunu bitirebilir mi? "Bitirmek", Minecraft'ın kendi ilerleme yolu demek: odun → taş alet → demir → elmas → obsidyen → Nether → blaze çubuğu → ender gözü → kale → End → ejderha.

    Kısa cevap şimdilik: henüz değil. Ama her koşuda biraz daha ileri gidiliyor. Son koşuda ilk kez Nether portalı kurulup yakıldı.

    Neden ilginç?

    • Uzun ufuk: Oyunu bitirmek binlerce karar ister. Küçük bir hata (lava düşmek, kalabalığa yakalanmak) saatlerin emeğini siler.
    • Sınırlı bilgi: Ajan dünyayı yalnız yakın çevresinden (yaklaşık 48 blok) bilir; uzaktaki her şeyi gezip keşfederek öğrenmesi gerekir.
    • İki hız: Strateji (ne yapayım?) yavaştır ve düşünmek ister; hayatta kalma (oktan kaç, sudan çık) anlık tepki ister. Deney bu iki katmanı ayrı ayrı inceliyor.
    • Ölçülebilir ilerleme: Kilometre taşları, ölüm nedenleri ve beceri başarıları her koşuda kaydedilir; böylece bir değişikliğin işe yarayıp yaramadığı sayıyla görülür.

    Kim oynuyor?

    Deney boyunca farklı "oyuncular" denendi: önce bilgisayarda yerel olarak çalışan küçük ve orta boy dil modelleri, sonra Anthropic'in Claude Haiku modeli, en son da Claude Opus 5.5 (HIGH düşünme ayarıyla) "dış oyuncu" olarak. Oyuncu kim olursa olsun aynı beceri ve refleks katmanını kullanır; böylece karşılaştırma adil kalır.

    Nasıl ölçüyoruz?

    • Her koşu ayrı kaydedilir: süre, karar sayısı, ölümler ve nedenleri, ulaşılan en ileri kilometre taşı.
    • Bir beceri ya da refleks düzeltmesi canlıya alınmadan önce ayrı bir deney alanında eski ve yeni sürümle aynı durumda denenir; yalnız sayıyla daha iyi olan canlıya geçer.
    • Sinir ağı, önce yalnız gözlemci ("gölge") olarak çalışır; kontrolü devralmadan önce gerçek oyunda ne kadar doğru karar verdiği ölçülür.

    Katmanlar

    Oyuncu (dil modeli / Claude)ne yapayım? — strateji, saniyeler Becerilertopla, yap, erit, kaz, obsidyen, portal… Reflekslerkaç, savun, sudan çık — anlık Algıyalnız botun istemcisine gelen Bot istemcisinormal bir oyuncu bağlantısı Minecraft sunucusuhayatta kalma, normal zorluk Hakemdondurma, kural denetimi Sinir ağı (gölge)izler, önerir; dokunmaz gözlem

    1. Oyuncu

    Oyuncu, botun algısından üretilen kısa bir metin raporu okur: can, açlık, envanter, çevredeki bilinen bloklar ve yaratıklar, saat. Buna göre tek bir üst düzey eylem seçer (ör. "demir cevheri topla", "fırın yap", "obsidyen yap") ve bir cümleyle neden seçtiğini yazar. Ekrandaki "Şu an" kutusu bu düşünceyi gösterir.

    2. Beceriler

    Her üst düzey eylem bir beceriye karşılık gelir. Beceriler, yol bulma, kazma, eşya yapma, eritme, savaş gibi işleri yürütür ve sonucu oyuncuya açık bir cümleyle bildirir ("12 demir topladım", "Kazma kırılmak üzere, yenisini yap"). Hata mesajları da öğreticidir; oyuncu neyin eksik olduğunu buradan öğrenir.

    3. Refleksler

    Bazı tehlikeler düşünmeyi beklemez: düşen lav, yaklaşan creeper, su altında biten hava, oka yakalanmak. Refleks katmanı saniyede birkaç kez çalışır ve gerekirse oyuncunun eylemini keserek kaçar, savunur ya da yüzeye çıkar. Kaçış refleksleri yol bulucuya güvenmez; doğrudan hareket eder, çünkü yol bulucu tehlike anında çok yavaş kalabilir.

    4. Algı (hile yok)

    Oyuncu yalnız botun oyun istemcisine gelen bilgiyi kullanır: Mineflayer'ın standart dünya bilgisi, yani yaklaşık 48 blok içindeki yüklü bloklar (yeraltındakiler dahil) ve yakındaki yaratıklar. Bu, bir insanın ekranında gördüğünden biraz fazladır (ör. duvar arkasındaki cevheri de bilir); ama dünyanın haritasını ya da uzak yerleri bilmez, keşfetmesi gerekir. Sunucu konsolu yalnız deneyi yönetmek ve hataları teşhis etmek için kullanılır; oradan öğrenilen hiçbir bilgi oyuna karışmaz.

    5. Hakem ve "düşünürken dondur"

    Tek oyunculu Minecraft'ta Esc'ye basınca oyun durur. Burada da oyuncu düşünürken dünya dondurulur ve eylem başlayınca çözülür; böylece yavaş düşünen bir model haksız yere cezalandırılmaz. Oyuncu düşünürken sağ altta "Düşündüğü için donduruldu" rozeti görünür; deney bakım ya da analiz için duraklatıldığında üstte turuncu bir şerit çıkar. Hakem ayrıca oyuncunun komut kullanmadığını ve yaratıcı kipe geçmediğini denetler.

    6. Ölçüm alanı

    Bir düzeltme önce aynı sunucunun ayrı bir köşesinde, gerçek konumun birebir kopyasında, eski ve yeni kodla ayrı ayrı denenir. Örneğin "kazma kırılınca bot çöküyor" hatası önce bu alanda yeniden üretildi, sonra düzeltildi ve ancak sağlam kazmayla da gerileme olmadığı ölçülünce canlıya alındı.

    Koşular

    Kilometre taşı: koşunun ulaştığı en ileri aşama. Süre, koşunun ilk ve son olayı arasındaki gerçek saattir (dondurulmuş süre dahil).

    Koşu başına en ileri aşama

    Ölüm nedenleri (tüm koşular)

    İskelet ve suda boğulma en büyük iki neden. Bu yüzden refleks çalışması ve sinir ağı eğitimi en çok bu iki duruma odaklanıyor.

    Ölçülerek canlıya alınan düzeltmelerden örnekler

    Her satır, aynı durumda eski ve yeni kodun ayrı ayrı denenmesinin sonucudur. İşe yaramadığı ölçülen fikirler de kaydedilir ve canlıya alınmaz.

    Neden bir sinir ağı?

    Refleksler elle yazılmış kurallardır: "creeper 6 bloktan yakınsa kaç" gibi. Kurallar sağlamdır ama her durumu öngöremez. Amaç, refleks katmanını zamanla öğrenen bir ağla güçlendirmek: ağ, gözlemden doğrudan hareket kararı versin (ileri, zıpla, dön, vur, kaz) ve kuralların kaçırdığı durumlarda da doğru davransın.

    Nasıl eğitiliyor?

    • Gözlem: Botun çevresindeki küçük bir blok küpü (7×5×7: hava, katı, su, lav, ateş…) ve bir sayı vektörü (can, hava, hız, en yakın düşmanların yönü ve uzaklığı, kazma ilerlemesi).
    • Öğretmen: Önce mevcut refleksler ve özel yazılmış bir "uzman" davranış, sonra ağın kendi hatalarının düzeltildiği turlar (DAgger yöntemi). Ağ, öğretmenin o anda ne yapacağını taklit etmeyi öğrenir.
    • Senaryolar: Ayrı bir eğitim sunucusunda kısa, zor anlar tekrar tekrar kurulur: düzlükte zombi, yaratıklı su geçidi, su altı hava cebi, eski bir ölümün birebir kopyası, iskelet kalabalığı, kapalı ama güvenli mağaralar.
    • "Ne zaman devreye gireyim?" Ağa ayrıca bir karar çıkışı eklendi: tehlike varsa devral, yoksa beceriye bırak. Bu, ağın sakin anlarda gereksiz yere karışmasını önlemek için.

    Sonuçlar (eğitim sunucusunda, her senaryo 50 deneme)

    "Çıta" mevcut elle yazılmış reflekslerdir. Ağ çoğu senaryoda çıtaya ulaştı ya da geçti; çoklu iskelet senaryosunda belirgin geride ve bunun için yeni eğitim turu sürüyor.

    Gölge kip: canlı oyunda, kontrol olmadan

    Ağ şu anda canlı oyunda gölge kipte çalışıyor: botun gözlemini alıyor ve her 100 ms'de bir ne yapacağını öneriyor, ama hiçbir tuşa basmıyor. Öneri, refleksin o anda gerçekte yaptığıyla yan yana kaydediliyor. Bu kayıtlar iki şeyi ölçüyor: ağ tehlikede refleksle aynı şeyi yapıyor mu, ve sakin anlarda gereksiz yere "devralırdım" diyor mu.

    İlk model, botun sürekli kazdığı ve kapalı tünellerde gezdiği gerçek oyunda çok sık "devralırdım" dedi (yanlış alarm). Bir sonraki model kazma, blok koyma ve duvar arkasındaki uzak düşman örnekleriyle eğitildi; oran belirgin düştü. Kontrolü ağa vermek ayrı bir karar ve ancak yanlış alarm yeterince düşük, hayatta kalma da refleksten iyi olduğunda düşünülecek.

    Sıradaki hedefler

    1. Nether'de hayatta kalmak: lav denizleri, ghast ateş topları, domuzadamlar. Gerekli: ateşe dayanıklılık, altın zırh parçası, blokla köprü kurma refleksleri.
    2. Nether kalesini bulmak ve blaze yenmek: kale tuğlalarını uzaktan tanıyan algı ve uçan, ateş atan düşmana karşı savaş becerisi.
    3. Ender incisi ve ender gözü: enderman avı, gözle kale yönü bulma.
    4. End ve ejderha.

    Bilinen zayıf noktalar (üzerinde çalışılıyor)

    • Envanter yönetimi: Kazarken toplanan taşlar envanteri hızla dolduruyor; atılan eşyalar dar tünellerde yeniden toplanıyor. Geçici çözüm: sandık.
    • Saldırırken kovalamak: Bot bir düşmanı kovalarken tehlikeli bir mağaraya inebiliyor.
    • Uzak yol bulma: 100+ blokluk yollar parçalara bölünmeden bazen bulunamıyor.
    • Çoklu iskelet ve sürüler: En çok ölüme yol açan durum; refleksler de sinir ağı da burada zorlanıyor.

    İhtiyaçlar

    • Daha çok eğitim senaryosu: Nether ortamı (ateş/lav zemini, ghast, domuzadam), kalabalık gece savaşları, yüksekten düşme anları.
    • Hesaplama gücü: Eğitim ve dünya sunucusu tek bir ev sunucusunda, tek bir tüketici GPU'su üzerinde dönüyor. Daha fazla senaryoyu paralel çalıştırmak eğitimi hızlandırır.
    • Uzun koşu verisi: Gölge kip kayıtları, ağın gerçek oyundaki davranışını ölçmenin tek yolu; saatlerce kesintisiz oyun gerekiyor.
    • Güvenli devir kapısı: Ağa kontrol verilmeden önce "ne zaman devreye girerim" kararının gerçek oyunda neredeyse hiç yanlış alarm üretmemesi gerekiyor.
    • Daha iyi değerlendirme: Aynı dünya tohumu ve başlangıçla tekrarlanabilir koşular; böylece farklı oyuncular gerçekten aynı koşulda karşılaştırılabilir.

    Oyun kuralları

    • Hayatta kalma kipi, normal zorluk; oyuncunun komut, yaratıcı kip ya da yönetici yetkisi yok.
    • Oyuncu yalnız botun algısını kullanır. Sunucu konsolundan ya da haritadan öğrenilen bilgi oyuna karışmaz; bu kural ihlal edildiğinde koşu yeni bir haritayla yeniden başlatıldı.
    • Dünya, oyuncu düşünürken dondurulur (tek oyunculu oyundaki duraklatmanın karşılığı).
    • Beceri ve refleks kodu deney boyunca gelişir; her değişiklik ölçülür ve raporlanır.

    Sık sorulanlar

    Bot hile yapıyor mu? Haritayı biliyor mu?

    Hayır. Bot yalnız kendi istemcisine gelen bilgiyi kullanır: yakın çevresindeki (yaklaşık 48 blok) bloklar ve yaratıklar. Kamera ve 3B harita yalnız izleyiciler içindir; oyuncu bunları görmez. Sunucu konsolundan öğrenilen bilgi de oyuna karışmaz.

    Neden bazen hiç hareket etmiyor?

    Büyük olasılıkla oyun donuktur. Sağ alttaki "Düşündüğü için donduruldu" rozeti oyuncunun sıradaki hamleye karar verdiğini, üstteki turuncu şerit ise deneyin bakım ya da analiz için duraklatıldığını gösterir.

    Bot ölünce ne oluyor?

    Normal oyundaki gibi: eşyalarını düşürür ve en son uyuduğu yatakta yeniden doğar. Ölüm nedeni ve öncesindeki olaylar kaydedilir; çoğu düzeltme bu kayıtlardan çıkar.

    "Dış oyuncu" ne demek?

    Oyuncunun kararları botun içindeki bir modelden değil, dışarıdan gelir. Son koşularda Claude Opus 5.5 HIGH, aynı metin raporunu okuyup aynı eylem listesinden seçerek oynuyor.

    Sinir ağı şu an botu kontrol ediyor mu?

    Hayır. Yalnız gölge kipte; öneriler kaydedilir, uygulanmaz.

    Bu sayfa hangi verileri topluyor?

    Ziyaretçilerden hiçbir kişisel veri toplanmaz; çerez, izleme ya da üçüncü taraf betiği yoktur. Gösterilen veriler yalnız oyuna ait kayıtlardır.