Makale Özeti

Bir önceki makalemizde Veri Madenciliği Projelerinin yaşam döngüsünün ilk 2 adımı olan Data’nın toplanması ve Data’nın temizlenip,yeniden yapılandırılması aşamalarını detaylıca incelemiştik.Bu makalemizde ise;Model Oluşturma,Modelin Keşifi (Doğrulanması,değerlendirilmesi) ,Raporlama,Tahmin(Skorlama) ,Uygulamalarla Entegrasyonu ve en son olarak da Modelin yönetilmesi aşamalarını inceleyeceğiz.

Makale

İlk 2 aşamamızı bir önceki makalemizde anlatmıştık ,şimdi kaldığımız yeren itibaren (3.aşamadan itibaren) incelemeye devam ediyoruz.

3)Model Oluşturma (Model Building):Veriler temizlendikten ve değişkenler yeniden düzenlendikten sonra sıra geldi Veri Madenciliği Modelimizi oluşturmaya.Veri Madenciliği projemizde modelimizi oluştururken hedeflerimizin neler olduğunu ve hangi tip verilerle nasıl bir veri madenciliği görevini gerçekleştireceğimizi asla unutmamalıyız.Projemizin;bir sınıflandırma(classification) mı ? Birliktelik(Association,Market Basket Analyse) mi ? yoksa bir segmentasyon projesi mi olacağı gerçeğinden yola çıkarak modelimizi oluşturmalıyız.Model oluştururken iş analistlerimizle beraber ortak kararlar almak zorundayız.Örneğin telekom sektörü için bir proje gerçekleştiriyorsak;ilgili uzmanlık yetkinliklerine sahip ,bölüm yöneticilerini de proje ekibine dahil etmek akıllıca olacaktır.

Model oluşturmak veri madenciliği için çok önemli bir aşamadır.Bu aşamada öncelikle hangi tip veriyle,hangi tip veri madenciliği görevini gerçekleneceği çok iyi anlaşılmalı ve buna uygun algoritmalar seçilmelidir.Bazı durumlarda,modelin eğitilmesi öncesinde,hangi algoritmanın elimizdeki data için uygun olduğu bilinmeyebilir.Bu gibi durumlarda attribute’ların ilişkileri incelenerek hangi alogitmanın kullanılacağına karar verilebilir.Örneğin input attributelar ve tahmin edilecek(class attribute) arasında liner bir ilişki mevcutsa karar ağaçları(Decision Tree,classification algorithm) kullanılması yerinde olacaktır.Bir başka örnek için attribute’lar arasında ilişki karmaşık ise yapay sinir ağı algoritmaları kullanılmalıdır.

Modelimizin oluşturulmasında kullanacağınız algoritmanın projeniz için doğru algoritma olup olmadığını ;farklı algoritmaları “lift chart” gibi toollarda kullanarak görebilirsiniz.(Bir sonra ki adımda lift chart’dan bahsedeceğim.

4) Modelin Keşfi (Model Assessment) : Bir önceki adımımızda (Modelin Oluşturulması) farklı algoritmalara ve parametrelere göre modelimizi oluşturmaya çalıştık.Peki seçmiş olduğumuz algoritmanın bizim projemiz için en doğru algoritma olduğuna nasıl karar vereceğiz.İşte bu noktada karşılaştırma yapmak amacıyla bazı  toollar karşımıza çıkıyor.

Bu toollar arasında en sık kullanılan Lift Chart adlı tooldur.Lift Chart ile değerlerin tahmin edilmesi için model eğitilmekte ve dataset test edilmektedir.Lift Chart değerlerin tahmin edilmesi ve olasılıklarının hesaplanması esasına dayanarak,grafiksel olarak modeli bize göstermektedir.



Modelin keşfi aşamasında sadece toolları kullanıp sonucun doğru olup olmadığını teknik insanların tek başlarına karar vermesi uygun değildir.Bu aşamada çıkan örnek sonuçlar projenin yapıldığı departmanın uzmanlarıyla tartışılıp,sonucun doğruluğuna karar verilmelidir.

Bazı durumlarda model yararlı desenler (patterns) içermeyebilir.Bunun temelde 2 tane nedeni vardır.Birincisi data ,tamamen rastgele seçilmiştir.(Birçok durumda gerçek datasetler zengin bilgiler içerir).İkinci sebep ise kurulan modelde;değişkenlerin kullanım için en uygunlarından seçilmiş olmamasıdır.Bu durumla daha sık karşılaşılır,çözüm olarak data temizleme ve yeniden yapılandırma aşaması daha anlamlı değişkenler için tekrar edilir.

Veri Madenciliği birçok aşamadan oluşan bir döngü şeklinde yapıya sahip olduğundan dolayı bazı aşamalara geri dönüşler yapılabilir.

5) Raporlama:  Raporlama; veri madenciliği sonuçlarını gösterebilmek için en etkili kanaldır.Bazı veri madenciliği projelerinin amacı pazarlama çalışmaları için raporlar sunmak olabilir.Hemen hemen bütün veri madenciliği toolları kullanıcısına metinsel ve grafiksel rapor çıktıları alabilme imkanını sunar.(Desenlerle ilgili yada tahminlerle ilgili olarak.)

6)Tahminleme(Prediction,Scoring): Bazı veri madenciliği projelerinin süresinin neredeyse yarısı desenlerin bulunmasıyla geçmektedir.Daha sonrasında bulunan model kullanılarak tahminleme yapılır.(Tahminleme;prediction,veri madenciliği terminolojisinde scoring olarak da geçer)     .Tahminleme yapabilmemiz için eğitilmiş bir model ve kurgulanmak için hazır bir senaryoya ihtiyaç vardır.

Bankaların müşterilerine kredi vermek için yaptığı inceleme senaryosunu düşündüğümüzde,kredi riski üzerine eğitilmiş bir model vardır.Bankaya hergün binlerce kredi talebi gelmektedir ve bu talepler risk değerlendirme modeline göre tahminler yürütülerek,potansiyel risk oluşturan başvuruları belirlenmektedir.

7)Uygulamanın Entegrasyonu : İş uygulamalarında ki gömülü veri madenciliği entegrasyonları yapılan tüm işlerin ve çalışmaların zeka kısmını oluşturmakla birlikte analiz döngüsünün de son basamağıdır.Gartner’a göre ;önümüzdeki yıllarda daha fazla iş uygulamasının içerisinde,gömülü veri madenciliği bileşenlerini görebileceğiz ve bu tür iş uygulamaları bizim için ayrı bir değere sahip olacaktır.

Örneğin,CRM (Customer Relationship Management,Müşteri İlşikileri Yönetimi)  müşterileri segmente etmek için Veri Madenciliği özelliklerinden faydalanmaktadır.Son zamanlarda işletmelere yeni bir soluk getiren ERP (Enterprise Resource Planning ,Kurumsal Kaynak Planlama) uygulamaları ise üretim tahminleri için Veri Madenciliği özelliklerinden yararlanmaktadır.

Bir kitap alışveriş sitesini düşündüğümüzde müşterilerine gerçek zamanlı olarak kitap tavsiyelerinde bulunabiliyorsa bu, Veri Madenciliğinin bir maharetidir.İş uygulamalarının bu tip gerçek zamanlı tahminlerde bulunması,Veri Madenciliği projelerinin önemli bir aşaması olan Entegrasyon aşamasının sonunda gerçekleşmektedir.

8)Modelin Yönetimi: Buraya kadar ki aşamalarda modelimizi oluşturduk,tahminlerimizi yaptık,CRM ve ERP benzeri yapılarımızla entegrasyonu sağladık.Ama her madencilik modeli bir yaşam döngüsüne sahiptir ve bazen statik bir şekilde çalışabilir , ve sık aralıklarla tekrardan eğitilmeye ihtiyaç duymayabilir.Fakat veri’nin sıkça değiştiği durumlarda tekrar eğitilmeye ihitiyaç duymaktadır.Örneğin online kitap mağazasına hergün  yeni kitaplar ürün listesine dahil edilmektedir.Gelen her kitap içinde,hergün yeniden bir ilişki kurulması gerekmektedir.Bu süreçte madencilik modelleri sınırlıdır ve yeni versiyon sıklıkla bir model oluşturmaktadır.Eninde sonunda bu modelin doğruluğu test edilmesi ve yeni versiyonun oluşturulması otomatik işlemlerle tamamlanmış olmalıdır.

Veri Tabanlarında(RDMS) olduğu gibi madencilik modelleri için de en önemli yönetim konularının başında güvenlik konuları gelmektedir.Madencilik modelleri desenler içermektedir ve bu değişik sayıdaki desenin okuma,yazma,tahmin gibi haklarını farklı kullanıcı profilleri için korunmak zorundadır.Madencilik modeline erişecek sınırlı sayıdaki kullanıcıların,hakları proje yöneticisi tarafından gerektiğinde verilmeli yada görevlendirmeler bittiğinde geri alınmalıdır.


Bu iki makalemizde;Veri Madenciliği Projelerinin yaşam döngüsü’nün basamakları ve bu basamakların içerikleri hakkında yeterince bilgi sahibi olduğumuzu düşünüyorum.

Başka bir İş Zekası makalesinde görüşmek dileğiyle...

Bilgehan Gürünlü

www.gurunlu.com
bilgehan@gurunlu.com

Kaynaklar :

Data Mining with Sql Server 2005.
Data Mining:Concepts and Techniques.