Upload
hakan-ilter
View
254
Download
4
Embed Size (px)
Citation preview
BÜYÜK VERİ TEKNOLOJİLERİ
● Her zamankinden daha fazla veri üretiyoruz
○ Satış verileri○ Kullanıcı bilgileri○ Web sitesi hareketleri○ Sosyal medya○ E-Posta○ Sunucu logları○ Sensör verileri○ Lokasyon bilgisi○ ...
Veri Bombardımanı
Veri Bombardımanı
● Her zamankinden daha hızlı veri üretiyoruz
○ Twitter 143,199 TPS. ~500 milyon tweet
○ Google günde 5,922,000,000 arama
○ Facebook her 20 dk da 3,000,000 mesaj
○ eBay dakikada 950+ alışveriş, 180+ mobilden
○ Amazon saniyede 426 ürün satışı
○ Apple dakikada 81 iPad, 925 iPhone satışı
Veri Bombardımanı
● Her zamankinden çok çeşitli veri üretiyoruz○ Binary○ Text, CSV○ XML, JSON○ Resim, Ses, Video○ Sıkıştırılmış / Sıkıştırılmamış
● Yapılandırılmış / Yapılandırılmamış Veri○ %90 veri yapılandırılmamış, sabit bir formatı yok
Büyük Veri Nedir?
● Büyük veri içerisinde çok değerli bilgiler var
○ Pazarlama analizi○ Talep analizi○ Müşteri segmentasyonu○ Sahtecilik önleme○ Gerçek zamanlı raporlama○ Kullanıcı deneyimini geliştirme○ Ürün önerileri○ Sunucu faaliyetlerini izleme○ … ve daha fazlası
Neler Yapılabilir?
● Büyük veriyi saklamak○ Sürekli büyüyen veri ○ Storage maliyetleri○ Arşivleme zorunluluğu
● Büyük veriyi işlemek○ Donanım limitlerine takılmamalı○ 100 GB veriyi sadece okumak ~22 dk!○ Ağ darboğazı
Nasıl Yapılabilir?
● RDBMS○ Yapılandırılmamış veriye uygun değil○ Ölçeklenme problemi○ Lisans ücretleri
● Donanım Limitleri○ CPU, RAM, Disk, Network
● Yazılımsal Karmaşıklık○ Senkronizasyon, bant genişliği, erişilebilirlik, hata
toleransı
Geleneksel Yöntemlerin Problemleri
● Google File System (2003)● MapReduce (2004)● BigTable (2006)● Dremel (2010)● Sawzall (2010)
İlk Kim Başardı?
Kimler Kullanıyor?
● Esnek○ Her türlü veriyi işleyebilmeli
● Ölçeklenebilir○ İhtiyaca göre genişleyebilmeli
● Veri Garantili○ Veriler yedekli ve erişilebilir olmalı
● Düşük Maliyetli○ Açık kaynaklı projeler
Büyük Veri Teknolojileri
Açık Kaynak
● Arama motoru○ Akıllı Sıralama○ İlgili Aramalar○ Otomatik Tamamlama○ Bunu mu demek istediniz?○ Baskın kategori
● Kişiselleştirme○ İlginizi Çekebilecek Ürünler○ BBBB○ Ürün önerileri
GittiGidiyor’da Büyük Veri
● Pazarlama○ Detaylı kullanıcı profilleri○ Hedef kitle belirleme
● Segmentasyon○ Alışveriş geçmişi○ Ziyaret geçmişi
● Raporlama○ Veriambarı, Analitik Verileri, A/B Testleri○ Özel raporlar
GittiGidiyor’da Büyük Veri
Arama Motoru
Baskın kategori: Nokia kelimesiyle daha ilgili olduğu için Cep telefonu kategorisi daha üstte yer alıyor
İlgili diğer aramalar
Bunu mu demek istediniz?: Nokkia aratılmış ama Nokia olarak düzeltilmiş
İlginizi Çekebilecek ÜrünlerAna sayfada kullanıcının hareketlerine göre ürün önerisi
Buna Bakan Buna Baktı
Bu ürüne bakan kullanıcıların baktıkları diğer ürünler
Diğer Örnekler"Metallica" ile ilgili diğer aramalar
Mobil uygulama ana sayfada kişiselleştirilmiş ürün gösterimi
Autocomplete verisi
● Sınıflandırma (Classification)○ Hatalı kategorilerin tespiti○ Dolandırıcılıkla mücadele○ Duygu analizi
● Kümeleme (Clustering)○ Kullanıcıların kümelenmesi○ Ürünlerin gruplanması
● Öneri sistemleri (Recommendation)○ İçerik tabanlı○ Kullanıcı / Ürün tabanlı
Yapay Öğrenme
Büyük Veri Altyapısı
Teşekkürler!