Derin Öğrenme Dönem Projesi · Dr. Sefa Aras

Bir arabanın CO₂'sini, hiç sürmeden tahmin etmek.

7.385 aracın teknik bilgileriyle eğitilen klasik modeller ve yapay sinir ağları. Derin öğrenme XGBoost'u yenebilir mi? Ve hepsini kandıran gizli tuzak: veri sızıntısı.

Sinir ağını eğit Sunumu aç
Semih ÖzdaşKaradeniz Teknik ÜniversitesiKasım 2026PyTorch · scikit-learn · XGBoost
0araç, Kanada hükümeti ölçümleri
0R², yapay sinir ağı (MLP, test kümesi)
0R², yakıt tüketimi modele verilince (sahte başarı)
0R², dürüst senaryoda en iyi model (XGBoost)
Veri seti

Her satır bir araç. Hepsi burada.

Kaggle'daki "CO2 Emission by Vehicles" verisi, Kanada hükümetinin resmî yakıt tüketimi ölçümlerinden derlenmiş. Dosya indirildiği haliyle kullanıldı. Aşağıda ham verinin tamamını arayıp süzebilirsin.

Engine Size (L)Motor hacmi, litre. Sayısal.
CylindersSilindir sayısı (3–16). Sayısal.
TransmissionŞanzıman kodu, ör. AS6 = seçmeli otomatik, 6 vites. Tip ve vites diye ikiye ayrıldı.
Fuel TypeX normal benzin, Z premium benzin, D dizel, E etanol (E85).
Vehicle Class16 araç sınıfı: kompakt, SUV, pikap, minivan…
Make · Model42 marka. Model adı modele girmiyor, yalnızca tanımlama için.
Fuel Consumption ×4 (sızıntı)Şehir içi, şehir dışı, birleşik tüketim. CO₂'yi neredeyse doğrudan veriyor.
CO₂ Emissions (g/km) · hedefTahmin edilen değer. Ortalama 251, en düşük 96, en yüksek 522.
Aşamalar

Ham veriden güvenilir bir tahmine.

Proje altı aşamada ilerledi. Her aşamada ne yapıldığı ve nelere bakıldığı sade bir dille anlatılıyor.

01
Veriyi bulmak
Yöntemler

Kullanılan her yöntem, basitçe.

Bir yöntemin ne olduğu, bu projede nasıl kullanıldığı, neye bakıldığı ve ne sonuç verdiği.

Sonuçlar

Sızıntı gidince gerçek ortaya çıkıyor.

Python'da 5 katlı çapraz doğrulamayla ölçülen R² değerleri. Kırmızı çubuklar tüketim dahil, yeşiller dürüst senaryo.

A · yakıt tüketimi varB · yakıt tüketimi yokEksen 0,80'den başlar
Ana bulgu

Hata 5 katına çıktı

XGBoost'un RMSE'si 2,6'dan 13,3 g/km'ye yükseldi. A senaryosundaki 0,998 iyi bir modelin değil, sızıntının işareti.

Doğrusal modeller

En çok onlar düştü

R² 0,993'ten 0,873'e indi. Tüketim olmadan ilişki doğrusal değil; ağaç modelleri etkileşimleri yakalıyor.

Sınıflandırma

Makro F1 0,879

Random Forest. Düşük ile Yüksek hiç karışmıyor; hatalar eşiğe yakın komşu sınıflarda.

Bu grafik nasıl okunur?

Her model için iki çubuk var. Kırmızı çubuk modelin yakıt tüketimini de gördüğü, yeşil çubuk görmediği durum. Çubuk sağa uzadıkça R² 1’e yaklaşır, yani tahmin iyileşir. Ne görüyoruz? Kırmızıların hepsi neredeyse en sağda (0,99): tüketim verilince her model, en basiti bile, "kusursuz" görünüyor. Yeşillerde modeller ayrışıyor: doğrusal modeller 0,87’de kalırken ağaç tabanlı modeller 0,94–0,95’e çıkıyor. Sonuç: Kırmızı çubuklar modelin başarısını değil sızıntıyı ölçüyor; asıl karşılaştırma yeşil çubuklarla yapılmalı ve orada en iyisi XGBoost.

Derin öğrenme

Sinir ağı, XGBoost'u yakalayabilir mi?

Aynı veri, aynı bölme, aynı 5 katlı çapraz doğrulama. PyTorch ile kurulan çok katmanlı algılayıcı, kategorik değişkenleri one-hot ya da öğrenilen gömmelerle alıyor.

Senaryo B · 5 katlı CV RMSE (g/km)

Mor çubuklar sinir ağları

İnce siyah çizgi ± standart sapma. Sinir ağı doğrusal modeli %30 geçiyor, k-NN ve karar ağacıyla aynı düzeyde; ağaç toplulukları (XGBoost, Random Forest) hâlâ önde.

Öğrenme eğrisi · gömmeli MLP

Erken durdurma

Eğitim kaybıDoğrulama kaybı

Ablasyon · gömmeli ağ, CV RMSE

Derinlik ve düzenlileştirme

Tek katmandan üç katmana çıkmak hatayı %7 düşürüyor. BatchNorm + Dropout küçük ama tutarlı katkı veriyor. Dört katman ek kazanç getirmiyor: bu veri boyutunda sınırlayıcı olan model değil, veri miktarı.

Neden ağaçlar hâlâ önde?

Tablo verisinin doğası

Yaklaşık 5.000 eğitim satırı, 42 kategorili marka ve eşik benzeri ilişkiler (ör. "motor 3,5 L'yi geçince sınıf değişir") ağaç modellerinin doğal gücü. Grinsztajn ve arkadaşlarının (2022) geniş karşılaştırması da orta boy tablo verisinde aynı sonucu buluyor.

Yine de sinir ağı testte 13,8 g/km hata ile XGBoost'un (13,2) çok yakınında. Sızıntılı senaryoda MLP de hatayı 3,1'e indiriyor; yani ağ da sızıntıya aynı şekilde kanıyor.

Ağ ne öğrendi?

42 markanın öğrenilmiş haritası.

Ağın her marka için öğrendiği 16 boyutlu gömme vektörü, PCA ile iki boyuta indirildi. Ağa markaların emisyonu hiç söylenmedi; harita yalnızca geri yayılımla oluştu. Üzerine gel, tıkla ya da ara.

    Renk: markanın gerçek ortalama CO₂'si · boyut: araç sayısı

    Renkler düzgün bir sıra oluşturmuyor, bu beklenen bir durum: motor hacmi ve araç sınıfı zaten girdide olduğu için gömme, markanın bunların ötesindeki etkisini kodluyor. SHAP'ta markanın payı da yalnız %10.

    Sinir ağı laboratuvarı

    Kendi sinir ağını, tarayıcında eğit.

    Mimariyi, öğrenme oranını ve dropout'u seç; Başlat'a bas. İleri yayılım, geri yayılım, Adam ve erken durdurma kütüphanesiz JavaScript ile, arka planda gerçekten çalışır. Kayıp eğrisi her devirde canlı çizilir.

    Hazır 00.0 sn

    Kayıp eğrisi log ölçek, standart hedef

    eğitimdoğrulamakesikli: en iyi devir

    Ağ –

    0devir
    –test RMSE (g/km)
    –test R²
    71girdi (one-hot + 4 sayısal)

    Gerçek ve tahmin test kümesi

    🔒 Eğitim bitince kendi aracını bu sinir ağına tahmin ettirebilirsin.

    Kendi aracını tahmin et senin eğittiğin ağ

    Tahmini emisyon– g/km
    96200300522

    Bir araç seç.

    Not: Tarayıcıdaki ağ BatchNorm ve gömme içermeyen sade bir MLP (one-hot girdi). Python'daki PyTorch ağı ile aynı fikir; bölme rastgeleliği farklı olduğundan skorlar yakın ama birebir aynı değil.

    Projenin son adımları

    Dengesizlik, yorumlama ve gerçek hayat.

    SMOTE ile kritik sınıfı kaçırmamak, SHAP ile modelin kararını açıklamak ve sonuçları bir karara bağlamak: benzinli yerine hibrit ne kazandırır?

    Test kümesi · SMOTENC yalnız eğitim katında

    Yüksek sınıf recall'u 0,79 → 0,90

    Makro F1 neredeyse aynı kalırken en kritik sınıfı (yüksek emisyon) kaçırma oranı yarıya iniyor. Bedeli: Orta sınıfın recall'unda küçük düşüş.

    SMOTE öncesi ve sonrası karmaşıklık matrisi

    XGBoost: solda SMOTE yok, sağda var. Yüksek sınıfın köşegen kutusu büyüyor.

    XGBoost (B) · ortalama |SHAP| payı

    Motor hacmi katkının yarısından fazlası

    Taban değer 251 g/km. Random Forest'ın safsızlık öneminde motor hacmi %79 çıkıyordu; SHAP etkiyi araç sınıfı ve markaya daha dengeli dağıtıyor.

    Tek araç için SHAP şelale grafiği

    6,5 L Lamborghini: yalnız motor hacmi tahmine +159 g/km ekliyor; tahmin 467, gerçek 493 g/km.

    Aynı marka + model + sınıf + yakıt eşleşmesi

    Hibrite geçersem ne kazanırım?

    Konvansiyonel tarafta aynı modelin farklı motor seçenekleri ortalanıyor (veride yıl sütunu yok).

    Yıllık CO₂ tasarrufu– kg
    Grafikler ve yorumları

    Her grafik ne anlatıyor?

    Projedeki grafiklerin her biri için: ne gösterdiği, nasıl okunacağı, ne gördüğümüz ve tek cümlelik sonuç.

    Canlı simülasyon

    Yapay zekâ şimdi, senin tarayıcında çalışıyor.

    Başlat'a bas: 7.385 aracın ham verisi gerçekten temizlenir, bölünür ve model sıfırdan eğitilir. Her adımı sağdaki kartta sade bir dille anlatıyorum; sonuçlar çıktıkça altında yorumları beliriyor.

    Hazır 00.0 sn
      Düşük CO₂OrtaYüksekSilinenTest (kilitli)7.385 araç
      00Şu an ne oluyor?

      Başlamaya hazır

      Başlat'a bastığında 8 adım sırayla çalışacak. Soldaki her kare bir araç; rengi CO₂ sınıfını gösteriyor. Her adımı burada anlatacağım.

      İpucu: "Hızlı" seçeneğiyle süreyi kısaltabilirsin.
      7.385araç seni bekliyor

      ① Öğrenme eğrisi ağaç 0 / 300

      eğitim hatasıtest hatası

      Her yeni ağaçla hatanın nasıl düştüğünü gösterir. Çizgi aşağı indikçe model öğreniyor.

      ② Sızıntılı ve dürüst skor R², test kümesi

      R² 1'e ne kadar yakınsa tahmin o kadar iyi. Kırmızı çubuklar yakıt tüketimini gören (sızıntılı) modeller.

      ③ Gerçek ve tahmin –

      Her nokta test kümesinden bir araç. Kesikli çizgiye yakın noktalar doğru tahmin.

      ④ Karbon sınıfı tahmini –

      Satır gerçek sınıf, sütun tahmin. Köşegendeki yeşil kutular doğru tahminler.

      ⑤ Model neye bakıyor? özellik önemi

      Modelin kararlarında hangi bilginin ne kadar pay aldığı.

      🔒 Simülasyon bitince az önce eğitilen modelle kendi aracını tahmin ettirebilirsin.

      ⑥ Kendi aracını tahmin et dürüst (B) model

      Tahmini emisyon– g/km
      96200300522

      Bir araç seç.

      Teknik günlük (arka planda olanların kaydı)

      Not: Tarayıcıdaki ağaç modeli, Python'daki XGBoost'un temel fikrini (art arda eklenen karar ağaçları) sıfırdan uygulayan hafif bir sürüm. Bölme rastgeleliği farklı olduğundan skorlar Python sonuçlarına yakın ama birebir aynı değil.

      Proje durumu

      Proje tamamlandı.

      Önerideki adımların hepsi bitti; üstüne derin öğrenme adımı ve sunum eklendi.

      %0tamamlandı
      • ✓
        Veri hazırlığı ve keşifsel analizTekrar temizliği, şanzıman ayrıştırma, sızıntı kanıtı
        Tamamlandı
      • ✓
        7 model × 2 senaryoGridSearchCV + 5 katlı CV; MAE, RMSE, R²
        Tamamlandı
      • ✓
        Temel sınıflandırmaSMOTE'suz lojistik regresyon ve Random Forest
        Tamamlandı
      • ✓
        SMOTE karşılaştırmasıSMOTENC, 4 sınıflandırıcı; Yüksek sınıf recall'u 0,79 → 0,90
        Tamamlandı
      • ✓
        SHAP ile yorumlamaMotor hacmi %54, araç sınıfı %14, marka %10
        Tamamlandı
      • ✓
        Benzinli → hibrit tasarruf22 eşleşen çift, yılda ≈ 951 kg CO₂
        Tamamlandı
      • ✓
        Derin öğrenme (PyTorch)MLP one-hot / gömme, ablasyon; CV RMSE 14,5 (XGBoost 13,3)
        Tamamlandı
      • ✓
        Sunum ve konuşma metni18 slayt, PDF yedekli
        Tamamlandı
      Kazanımlar

      Bu proje bana neler kattı?

      Bu aşamaya kadar öğrendiklerim. Bir kısmı teknik, bir kısmı düşünme biçimi.

      01

      Yüksek skora şüpheyle bakmak

      0,998'lik R² ilk bakışta harika görünüyordu. Bunun bir başarı değil, bir uyarı işareti olduğunu fark etmeyi öğrendim. Artık "neden bu kadar iyi?" diye sormadan sonuca güvenmiyorum.

      02

      Veri sızıntısını tanımak

      Sızıntının yalnız açık sütunlardan değil, tekrar eden satırlardan ve yanlış yapılan ölçeklemeden de gelebileceğini gördüm. Pipeline kullanmanın nedenini artık ezbere değil, yaşayarak biliyorum.

      03

      Adil değerlendirme kurmak

      Test kümesini sona kadar kilitlemek, çapraz doğrulama yapmak ve katlar arası sapmaya bakmak. Bir modeli tek bir sayıyla değil, kararlılığıyla değerlendirmeyi öğrendim.

      04

      Doğru metriği seçmek

      Dengesiz sınıflarda %60 doğruluğun hiçbir şey ifade etmeyebileceğini gördüm. Makro F1, RMSE ve MAE'nin her birinin neyi ölçtüğünü ve ne zaman yanılttığını kavradım.

      05

      Alan bilgisinin gücü

      1 litre benzinin yaklaşık 2,3 kg CO₂ ürettiğini bilmek, sızıntıyı grafiğe bakar bakmaz fark etmemi sağladı. Makine öğrenmesi, problemin fiziğini anlamadan eksik kalıyor.

      06

      Tekrar üretilebilir çalışmak

      Sabit rastgelelik tohumu, numaralı betikler, koddan otomatik üretilen rapor ve site. Aynı kodu kim çalıştırırsa aynı sonucu alıyor. Bilimsel çalışmanın temeli bu.

      07

      Derin öğrenme her zaman kazanmaz

      Sinir ağını adil koşullarda XGBoost'la yarıştırdım ve kaybettiğini dürüstçe raporladım. Model seçimini modaya değil, veriye ve ölçüme göre yapmayı öğrendim.

      08

      Ağın içini görmek

      Geri yayılımı tarayıcıda sıfırdan yazmak, gömmeleri haritalamak ve ablasyon yapmak; sinir ağını bir kara kutu olmaktan çıkarıp her parçasının ne kazandırdığını ölçmeyi öğretti.

      09

      Düzenlileştirmenin değeri

      Dropout, BatchNorm, ağırlık çürümesi ve erken durdurma. Hepsi aynı soruya cevap: model veriyi ezberlemesin, genellesin. CV ile testin birbirine yakın çıkması bunun kanıtı.

      "Bir modelin ne kadar iyi olduğunu değil, neden o kadar iyi olduğunu sormayı öğrendim."

      Sunum

      Projenin 18 slaytlık sunumu.

      Derin Öğrenme dersi için hazırlanan sunum. Tarayıcıda ok tuşlarıyla gezilir, F ile tam ekran olur; PDF yedeği de var.

      Sunumdan bir grafik

      Araç Özelliklerinden CO₂ Emisyonu Tahmini

      Problem, veri sızıntısı, klasik modeller, sinir ağı mimarisi, eğitim, ablasyon, gömmeler, SMOTE, SHAP, hibrit tasarrufu ve sonuçlar.