Derin Öğrenme · Dönem Projesi

Araç Özelliklerinden
CO₂ Emisyonu Tahmini

Klasik makine öğrenmesi ile yapay sinir ağlarının karşılaştırılması,
veri sızıntısı, sınıf dengesizliği ve model yorumlama

Semih ÖzdaşSunan
Dr. Sefa ArasDers sorumlusu
Kasım 2026Kaggle · Kanada araç verisi
01 · Problem

Neden araç emisyonunu tahmin etmek istiyoruz?

🚗

Ulaşım payı

Karayolu taşımacılığı enerji kaynaklı CO₂'nin en büyük kalemlerinden biri. Araç seçimi doğrudan karbon ayak izini belirliyor.

🧪

Ölçüm pahalı

Emisyon laboratuvar testleriyle ölçülüyor. Tasarım aşamasında, yalnız teknik özelliklerden tahmin yapabilmek değerli.

🎯

Araştırma sorusu

Motor, silindir, şanzıman, yakıt türü, sınıf ve marka bilgisinden CO₂ (g/km) ne kadar doğru tahmin edilir? Derin öğrenme klasik modelleri geçer mi?

Regresyon: CO₂ (g/km)Sınıflandırma: Düşük / Orta / YüksekYorumlama: SHAPUygulama: hibrit tasarrufu
02 · Veri seti

7.385 araç, 12 sütun: temizlikten sonra 6.281

AdımSatır
Ham veri (Kanada hükümeti, Kaggle)7.385
Birebir tekrarlar silindi6.282 (−1.103)
Tek örnekli doğalgaz aracı silindi6.281
  • %15 tekrar: aynı araç hem eğitimde hem testte olsaydı model ezberler, skor şişerdi.
  • Özellik mühendisliği: "AS6" → şanzıman tipi (AS) + vites sayısı (6) + CVT bayrağı.
  • 42 marka, 16 araç sınıfı, 4 yakıt türü. Hedef ortalaması 251 g/km (σ = 59).
CO2 dağılımı
Hedef değişkenin dağılımı
03 · Kritik bulgu

Yakıt tüketimi = veri sızıntısı

Tüketim ve CO2
Her yakıt türü kendi doğrusu üzerinde: ilişki fiziksel, istatistiksel değil

CO₂, yanan yakıt miktarıyla kimyasal olarak orantılı. Oran yakıt türü içinde neredeyse sabit:

YakıtCO₂ / tüketimσ
Etanol (E85)16,310,44
Benzin (normal / premium)23,30,24
Dizel26,890,20
Bu sütunu modele vermek, cevabı soruya yazmak demek. Bu yüzden iki senaryo kurduk:
A = tüketim var (sızıntılı) · B = tüketim yok (gerçekçi)
04 · Yöntem

Deney düzeni: her model aynı koşullarda

Ham veri7.385 araç Temizlik +özellik müh. %80 / %20test kilitli PipelineÖlçekleme + One-hotGridSearchCV · 5 kat Modeller7 klasik + 2 sinir ağıA ve B senaryosu

Ön işleme sızıntısı yok

Ölçekleme ve kodlama Pipeline içinde: istatistikler her katta yalnız eğitim kısmından hesaplanıyor.

Metrikler

MAE, RMSE, R² (CV ortalaması ± std) + hiç dokunulmamış test kümesi. Sınıflandırmada makro F1.

Tekrarlanabilir

Tüm rastgelelik tohum 42. Sinir ağları da klasik modellerle aynı bölme ve aynı CV katları üzerinde.

05 · Klasik modeller

Sızıntı başarıyı 5 kat şişiriyor

RMSE karşılaştırma
2,6g/km RMSE · XGBoost, A
R² = 0,998
13,3g/km RMSE · XGBoost, B
R² = 0,949
  • Doğrusal modeller en çok etkilenen: R² 0,993 → 0,873.
  • Tüketim yokken ilişki doğrusal değil; ağaçlar ve k-NN etkileşimleri yakalıyor.
  • CV ≈ test (13,32 / 13,18): aşırı öğrenme yok.
06 · Derin öğrenme

Soru: Bir sinir ağı XGBoost'u yakalayabilir mi?

Çok katmanlı algılayıcı (MLP)

hℓ = ReLU(BN(Wℓ hℓ−1 + bℓ))

Evrensel yaklaşım teoremi: yeterli genişlikte bir gizli katman her sürekli fonksiyonu yaklaşık temsil edebilir. Ama tablo verisinde ağaç toplulukları genelde hâlâ çok güçlü.

Tablo verisinin zorlukları

  • Az örnek: ~5.000 eğitim satırı
  • Yüksek kardinaliteli kategorik değişken: 42 marka
  • Düzensiz, eşik benzeri ilişkiler (ağaçların doğal gücü)

Çözüm denemesi: kategorikler için öğrenilebilir gömme (entity embedding).

07 · Mimari

MLP + gömme ağı (PyTorch)

Marka (42)Embedding → 16 Araç sınıfı (16)Embedding → 9 Şanzıman tipi (5)Embedding → 3 Yakıt türü (4)Embedding → 3 4 sayısal özellikmotor, silindir, vites, CVT Birleştir35 boyut Dense 128BatchNormReLUDropout 0,1 Dense 64BN · ReLUDropout Dense 32BN · ReLU Çıkış: 1CO₂ (g/km)

Gömme boyutu = min(16, (kategori sayısı + 1) / 2). Görülmemiş kategori için ayrılmış "bilinmeyen" indeksi var. Toplam ≈ 16.300 öğrenilebilir parametre.

08 · Gömme (embedding)

One-hot mu, öğrenilebilir gömme mi?

One-hot

BMW[0 0 1 0 0 … 0]
MERCEDES[0 0 0 0 1 … 0]
  • 42 boyutlu, seyrek
  • Her marka diğerlerine eşit uzaklıkta
  • Benzerlik bilgisi yok

Entity embedding

BMW[0,41 −1,2 0,07 …]
MERCEDES[0,38 −1,1 0,15 …]
  • 16 boyutlu, yoğun, geri yayılımla öğrenilir
  • Benzer davranan markalar yakınlaşır
  • Word2Vec fikrinin kategorik değişkene uyarlanmışı (Guo & Berkhahn, 2016)

Vektörlerdeki sayılar temsilîdir; gerçek öğrenilmiş gömmeler 12. slayttaki grafikte.

09 · Eğitim

Eğitim süreci ve erken durdurma

Öğrenme eğrisi
KayıpMSE (standart hedef)
OptimizasyonAdamW, lr 3·10⁻³
Weight decay10⁻⁴
Mini-batch128
LR zamanlayıcıReduceLROnPlateau ×0,5
Erken durdurmasabır 30 devir

Doğrulama kümesi her katın eğitim kısmından ayrılıyor (%15). En iyi devirdeki ağırlıklar geri yükleniyor; aşırı öğrenmeye başlayan kısım atılıyor.

Eğitim kaybının doğrulamadan yüksek olması beklenen durum: Dropout yalnız eğitimde aktif, eğitim kaybı da devir boyunca ortalanıyor.

10 · Sonuçlar

Sinir ağı rekabetçi, ama XGBoost hâlâ önde

DL ve klasik karşılaştırma
Model (B)CV RMSETest R²
XGBoost13,320,953
Random Forest13,660,950
MLP + one-hot14,530,948
MLP + gömme14,740,946
Doğrusal Regresyon20,950,878
  • Sinir ağı doğrusal modeli %30 geçiyor, k-NN ve karar ağacı düzeyinde.
  • Testte fark küçük: MLP 13,8 / XGBoost 13,2 g/km.
  • Gömme bu veri boyutunda kazanç getirmedi (fark std içinde).
  • Literatürle uyumlu: orta boy tablo verisinde ağaç toplulukları güçlü (Grinsztajn vd., 2022).
  • Senaryo A'da MLP de sızıntıyı yakalıyor: RMSE 3,1, R² 0,997.
11 · Ablasyon

Derinlik ve düzenlileştirme ne kazandırıyor?

Ablasyon
  • Derinlik işe yarıyor: tek gizli katman (32) → 15,95; üç katman → 14,88 g/km (%7 iyileşme).
  • BatchNorm + Dropout küçük ama tutarlı katkı: 14,88 → 14,74.
  • Daha derin ağ kazandırmıyor (14,79): ~5.000 satırda kapasite değil veri sınırlayıcı.
  • Daha derin ağın std'si en düşük (±0,49): güçlü düzenlileştirme katlar arası oynaklığı azaltıyor.
  • Hiçbir mimari XGBoost'un 13,32'sine inemedi; fark mimari seçiminden büyük.
12 · Ağ ne öğrendi?

Marka gömmeleri: ağ markaları nasıl temsil etti?

Marka gömmeleri PCA

16 boyutlu marka vektörleri PCA ile 2 boyuta indirildi. Renk, markanın gerçek ortalama emisyonu.

  • Ağa markaların emisyonu hiç söylenmedi; yalnız araç bazında hata geri yayıldı.
  • Gömmeler ham ortalamaya göre sıralanmıyor: motor hacmi ve sınıf zaten verildiği için ağ markanın artık etkisini kodluyor (SHAP'ta marka payı yalnız %10).
  • Gömmeler başka modellere (ör. XGBoost) hazır özellik olarak da verilebilir.
13 · Sınıflandırma

Dengesiz sınıflar ve SMOTE

SMOTE karşılaştırma

%20 / %60 / %20

Hep "Orta" diyen model %60 doğruluk alır ama makro F1 = 0,25. Doğruluk yanıltıcı.

SMOTENC, yalnız eğitim katında

imblearn Pipeline'ı: sentetik örnekler teste sızmıyor; kategorikler (marka, sınıf) geçerli değer alıyor.

Yüksek sınıf recall: 0,79 → 0,90

Makro F1 korunurken en kritik sınıfı kaçırma oranı yarıya iniyor. En iyi: XGBoost + SMOTE (makro F1 0,888).

14 · Yorumlanabilirlik

SHAP: model neye bakıyor?

SHAP beeswarm
Her nokta bir test aracı; sağ = emisyonu artırıyor
SHAP tek araç
Tek araç: 251 g/km ortalamadan 467 g/km tahmine

XGBoost (B) için ortalama |SHAP| payı: motor hacmi %54, araç sınıfı %14, marka %10, yakıt türü %7. RF önem skorunda motor hacmi %79'du; SHAP etkiyi sınıf ve markaya daha dengeli dağıtıyor.

15 · Uygulama

Benzinli yerine hibrit: yılda ~1 ton CO₂

Hibrit tasarruf
951kg CO₂ / yıl
ortalama tasarruf
%29ortalama emisyon
azalması (63 g/km)

Aynı marka + model + sınıf + yakıt türündeki hibrit ve konvansiyonel sürümler eşleştirildi (22 çift). Varsayım: 15.000 km/yıl. Konvansiyonel tarafta farklı motor seçeneklerinin ortalaması alındı.

tasarruf = Δ(g/km) × 15.000 / 1000

16 · Sonuç

Ne öğrendik?

1

Önce veriyi sorgula. R² = 0,998 bir başarı değil, sızıntı işaretiydi. Gerçekçi hata ~13 g/km (ortalamanın %5'i).

2

Derin öğrenme her zaman kazanmaz. MLP rekabetçi (R² 0,948) ama ~5.000 satırlık tablo verisinde XGBoost önde. Model seçimi veriye göre yapılmalı.

3

Düzenlileştirme ve erken durdurma şart. BatchNorm + Dropout + en iyi devre dönüş ağın aşırı öğrenmesini engelledi; CV ≈ test.

4

Dengesiz veride makro F1 + SMOTE. Yüksek emisyon sınıfında recall 0,79 → 0,90.

5

SHAP ile açıklanabilir. Motor hacmi tek başına katkının yarısından fazlası.

Gelecek çalışma: iç içe (nested) CV, marka-model grubuyla GroupKFold, TabNet / FT-Transformer gibi tabloya özel derin mimariler.

Teşekkürler

Sorular?

Tarayıcıda canlı çalışan model: yapayogrenme.semihozdas.com
Bu sunum: derinogrenme.semihozdas.com · PDF indir

scikit-learn · XGBoostKlasik modeller
PyTorchSinir ağları
imbalanced-learn · SHAPSMOTE, yorumlama
← → ile gezin · F tam ekran