Big Data (Büyük Veri) ve Büyük Veri Yöneticisi Nedir?

Big Data (Büyük Veri) ve Büyük Veri Yöneticisi Nedir? Son yıllarda sıkça duyduğumuz bir ünvan Büyük Veri Yöneticisi (Big Data Admin). Bu uzmanlıktaki kişiler ne iş yapar ve sorumlulukları nelerdir, hangi teknolojiler ile çalışırlar? Bu yazımda sizlere bunlar hakkında bilgi vermeye çalışacağım.

Öncelikle (Büyük Veri) Big Data nedir?

Örneğin arkadaşlarımız ile marka bir araba konusunda konuştuk ve o marka aracın reklamı telefonumuzda karşımıza geldi, ya da akşam işten eve dönmeden önce  arkadaşlarımızla bugün pizza mı ? yesek diye konuşsak hemen reklamı telefonumuza düşer.

Kullandığımız internete bağlı olan cihazlarımızdan sadece internette gezinmiyoruz her bir websitesi hep bir uygulama açmamız bir veri oluşturuyor , bu verilerin hepsi büyük veriyi oluşturmaktadır.

Big Data için (Büyük veri) 3 temel özellik ise, sürekli artan hacimlerde olması, önceki gelen verilere göre her gelen verinin daha hızlı gelmesi ve daha fazla çeşitlilikle gelmesi (Volume , Velocity, Variety yani 3V ) şeklindedir.

Resim-1

Büyük veri sınırsız miktarda verinin saklanması toplanması ve anlamlandırılması ile ortaya çıkar. Bu veriler farklı formatlarda olabilir bu verilerin yapay zeka, makine öğrenmesi ve birçok opensource veya enterprise ürün kullanılarak anlamlandırılması ile oluşmaktadır.

Büyük veriyi genellikle bankalar, e ticaret siteleri ve büyük markalar kullanmaktadır.

Bu veriler, müşteri davranışlarının analizi, pazarlama stratejilerinin geliştirilmesi, ürün ve hizmetlerin iyileştirilmesi gibi amaçlarla kullanılabilir.

Büyük veri, farklı kaynaklardan toplanabilir, ancak en yaygın kaynaklar arasında sosyal medya, mobil cihazlar, e-ticaret siteleri, sensörler ve IoT (Nesnelerin İnterneti) cihazları bulunur. Bu veriler, genellikle farklı formatlarda saklanır ve işlenir, ancak en yaygın olarak kullanılan formatlar arasında CSV, JSON ve NoSQL veritabanları bulunur.

Sonuç olarak, büyük veri, bugünün veri ekonomisinde önemli bir rol oynayan ve sürekli olarak büyüyen bir veri kavramıdır. Anlamlı sonuçlar çıkararak kullanılması, şirketlerin ve kurumların verimliliğini artırmasına, pazarlama stratejilerinin geliştirilmesine ve diğer çok sayıda faydaya neden olabilir.

Peki bu büyük verinin yönetiminden sorumlu büyük veri yöneticisi ne iş yapar ve hangi Teknolojileri kullanır birazda ona değinelim.

Big Data (Büyük Veri) yöneticisi kimdir?

Resim-2

Büyük veri analitik projelerinin planlanması , yönetilmesi , yürütülmesinden ve kullanılan sunucuların 7/24 sağlıklı şekilde çalışmasından sorumludur.

Ayrıca, veri güvenliği ve gizliliği konularını da yönetirler. Big Data Admin (Büyük Veri yöneticisi) profilinde çalışan kişiler , veri analistleri, veri yazılımcıları ve diğer IT profesyonelleriyle çalışır ve verianalitik projelerinin tamamlanmasını ve sonuçlarının şirkete uygulanmasını koordine eder.

Görevleri;

• Veri toplama depolama ve yapılandırma.
• Veri analitik uygulamalarının yönetini ve tasarımı
• Veri kalitesinin garanti edilmesi
• Veri güvenliği
• Ekip yönetimi

Kullandığı Teknolojiler;

Resim-3

• Veri Depolama Teknolojileri

Hadoop, NoSQL veri tabanları (MongoDB, Cassandra), SQL veri tabanları (Oracle, MySQL, SQL Server).

• Veri Analitik Teknolojileri

Apache Spark, Apache Storm, Apache HBase, Apache Hive, Apache Impala.

• Veri Görselleştirme Teknolojileri

Apache Superset, Tableau , PowerBI

• Veri Bilimi ve Makine Öğrenme Teknolojileri

Python, R, TensorFlow, PyTorch, scikit-learn, H2O

• Bulut Teknolojileri

Amazon Web Services (AWS), Microsoft Azure, Google Cloud Platform

• Veri Yönetimi ve Veri Katmanı Platformları

Apache Ni Fi

• Veri Yapısı ve Veri Modelli Olusturma Teknolojileri

Talend, Informatica, MuleSoft, Apache Nifi.

• DevOps ve Veri Yönetimi

Docker, Kubernetes, Ansible

• Veri Güvenliği ve Koruma Teknolojileri

Apache Ranger, Apache Sentry, Cloudera Navigator, Dataguard

Bu konuyla ilgili sorularınızı alt kısımda bulunan yorumlar alanını kullanarak sorabilirsiniz.

Referanslar

www.mshowto.org

Büyük veri