Deduplication Nedir?

ANASAYFA > blog > deduplication nedir?

2020 yılına kadar dünyadaki toplam veri miktarının 50 kat büyüyeceğine dair tahminler havada uçuşurken, bunca verinin nasıl yönetileceği ve yedekleneceği de ayrı bir merak konusu. Bu konuda en çok ön plana çıkan yöntem ise deduplication, yani tekilleştirme.
 

Bundan birkaç ay önce Microsoft Başkan Yardımcısı Bob Kelly ile konuşurken laf arasında ilginç bir şey söylemişti. Demişti ki, “Bilişimin genelinde en verimsiz kullanılan sistemler depolama ve ağ altyapısıdır.”
 

Veri yedekleme uzmanlarının neredeyse bütün yaşamı tam da bu iki verimsiz sistemin arasında geçiyor. Bir yanda sistemlerden topladıkları yedeklerin eldeki veri depolama altyapısında mümkün olduğunca az yer kaplamasını sağlamaya çalışıyorlar, bir yandan da ağ altyapısını fazla zorlamadan eldeki verileri uzak lokasyonlarla hızlı bir şekilde aktarmakla uğraşıyorlar.
 

Uğraşıyorlar ama bir yanda veri miktarındaki büyüme, bir yanda iş sürekliliği, bir yanda regülasyonlara uyum derken yedekleme sistemlerinin üzerindeki iş yükü de çoğaldıkça çoğalıyor.
 

Bunun üzerine endüstride ‘deduplication’, yani Türkçe adıyla ‘tekilleştirme’ diye bir yöntem ortaya çıktı. Bu iş için özel olarak geliştirilen sistemler, özel veri denetleme algoritmaları derken yöntemin gayet de güzel işlediğini gördüler.

Tekilleştirme, tıpkı Mısır mitolojisinde Seth’in Osiris’i parçalara ayırıp İsis’in bu parçaları birleştirmesi gibi veriyi yedeklerken parçalara ayırıp, daha sonra gerektiğinde bu parçaları birleştirme prensibine dayalı bir teknoloji. Parçalara ayırdığınız verinin sadece değişen bölümlerini yedeklemenize imkan sağladığı için de oldukça verimli. Uygulandığı ortamlarda yedeklenecek veri miktarını onlarca, hatta zaman zaman yüzlerce kat azaltacak ölçüde başarılı sonuçlar ortaya koyuyor.
 

2020 yılına kadar dünyadaki toplam veri miktarının 50 kat artacağına dair öngörülerin havada uçuştuğu bir dünyada tam da ihtiyaç duyacağınız şey.
 

Gel gelelim, günlük yedeklenecek veri kütlesindeki değişimi neredeyse 4 KB’lik kümelere kadar bölebilen bu sistemlerin kurulumu ve işletmesi ayrı bir uzmanlık gerektiriyor. Çünkü günün sonunda bu şekilde parçalanarak aktarılmış herhangi bir yedeği tekrar hayata döndürmek isterseniz, daha önce attığınız tüm adımların farkında olmak gerekiyor. İş bir kez kontrolden çıkarsa, yandığınızın resmi.
 

Seth gibi parçalamak kolay. Zor olan İsis gibi birleştirebilmek.
 

“Bu işte tecrübe sizi bir adım öne taşır”

Türkiye’de veri yedekleme konusunda önde gelen çözüm sağlayıcılardan olan Glasshouse, tekilleştirme konusundaki tecrübesini ve uzmanlığını her fırsatta dile getiren bir şirket. 2003’ten beri yedekleme işiyle uğraşıyorlar, tekilleştirme bir kavram olarak belirdiğinde ilk sahiplenenler arasında yer almışlar.
 

Emre Pekar, tekilleştirme kavramının günümüz dünyasında hızla artan veri büyümesini karşılayacak bir teknoloji olduğunu ifade ediyor. Birçok büyük şirket için konvansiyonel veri yedekleme yaklaşımının ortaya koyduğu performans darlığı, yedekleme penceresi adı verilen yedekleme için ayrılan süreyi çoktan geçmiş.
 

“Bunu önceden görebilmek ve bu alana yatırım yapmak bir vizyon meselesiydi” diyor Pekar. “Doğru zamanda bunun geldiğini görenler çok daha hızlı yol aldılar, deneyim kazandılar. Çünkü bu işi yapacaksanız, sahip olmanız gereken en önemli şeydir deneyim.”
 

Bundan birkaç yıl öncesine kadar da tekilleştirmenin ne olduğunu anlatmak ve şirketi bu teknolojileri kullanmaya ikna etmek durumundayken, şirketler artık tekilleştirmeyi olması gereken bir özellik olarak algılamaya başlamışlar. Ama hala temkinliler, güvence arıyorlar.
 

Emre Pekar’ın deyimiyle “Şirketler tekilleştirmeyi artık yedekleme çözümlerinin bir parçası olarak görüyorlar, ama bu işler hala harcıalem olarak nitelendirmiyorlar. İnsanlar bunun gerekli olduğunun farkında ama sizi seçmeleri için tecrübenizi göstermek, müşteriyi inandırmak zorundasınız.”
 

Katlanarak artan veriyi katlayarak saklamak

Tekilleştirmenin işleyişine şöyle bir bakınca Pekar’a hak vermemek elde değil. Öncelikle yedekleme alanını ve bant genişliğini verimli kullanabilmek için veriyi deyim yerindeyse lime lime doğruyorsunuz. Bu iş o kadar küçük ölçekte gerçekleşiyor ki, gerektiğinde 16 KB’lık bir veriyi 4 KB’lık dört parçaya ayırıp sadece değişen parçayı saklayabilmeniz dahi söz konusu. Bunların bir kısmı makine çıkışında belirleniyor, kimisinin kaydı yedekleme ortamında tutuluyor.
 

Daha sonra tüm kümenin üzerine veri dilimlerinin nerede tutulduğunu, gerektiğinde nasıl birleştirileceğini gösteren bir harita yerleştiriyorsunuz. Bitti mi? Bitmedi. Bir de bu sistemin toplam bütünlüğünün kontrol altında tutulması lazım. Olası fiziksel durumlara karşı anlık görüntü alınması, felaket ihtimaline karşılık tüm bunların farklı bir konumda replikasyonu.
 

Tüm bunlara karşılık kazanç ise azımsanmayacak seviyede. “Örneğin sanal makinelerin neredeyse yarısı birbirinin aynıdır” diyor Pekar. Dolayısıyla 800 – 1.000 adet sanal makinenin olduğu bir ortamda sağlanacak kazanç öyle böyle değil. Birbirine benzeyen 10 tane sunucunuz varsa, birinin yedeğini aldığınızda diğerlerinin önemli bir bölümünü aradan çıkarmış oluyorsunuz.
 

Yakında masaüstü disklerine kadar inecek

Şu anda piyasada 170’e yakın tekilleştirme algoritması mevcut. Bu iş matematiksel modellere dayandığı için teknolojik altyapı gelişiminden de alabildiğinde faydalanıyorlar. Emre Pekar’ın ifadesiyle her yeni makine, bir öncekine kıyasla 2 – 4 kat arası performans iyileşmesi getiriyormuş.
 

Dahası yakında sadece yedekleme ortamında değil, birincil disk üzerinde de buna benzer teknolojileri kullanmaya başlayacağımızı söylüyor.
 

Tekilleştirmenin bu gelişimine karşılık veri depolama alanları da boş durmuyor elbette. “Büyük şirketlerin depolama kapasitesi her yıl ortalama yüzde 50 büyüyor” diyor Pekar, “Ama petabyte seviyesine tırmanmaya başladıkça enerji tüketimi ve sistem odasındaki yer darlığı sorun olmaya başlıyor. Bu nedenle uygulamada optimizasyon çok önemli. Yakında tüm şirketler bunun öneminin farkına varacaklar.”