Apache Hadoop nədir? Onun komponentləri nələrdən ibarətdir? Big Data haqqında məlumat əldə etdiyiniz zaman gec-tez bu qəribə səslənən sözə rast gələcəksiniz: Hadoop . Bu yazıda, Big data haqqında danışarkən ağla gələn ilk şey Hadoop və onun komponentlərini izah etməyə çalışacağam. Bunu oxuyan çox insanın proqram mühəndisi olmadığını bildiyim üçün hər şeyi mümkün qədər sadələşdirməyə çalışdım.
Hadoop nədir?
Apache Hadoop, paylanmış hesablama mühitində yayılmış datanın işlənməsi üçün istifadə olunan tətbiqetmələri inkişaf etdirmək üçün istifadə olunan açıq mənbəli proqram çərçivəsidir. Fərdi kompüter sisteminin yerli fayl sistemindəki datalara bənzər şəkildə, Hadoop da, Hadoop paylanmış Fayl sistemi adlanan bir sistemdə yer alır. Əməliyyat modeli, dataları olan çoxluq qovşaqlarına (server) hesablama məntiqinin göndərildiyi ‘data yeri’ anlayışına əsaslanır. Bu hesablama məntiqi Java kimi yüksək səviyyəli bir dildə yazılmış bir proqramın tərtib edilmiş versiyasıdır. Belə bir proqram Hadoop HDFS-də saxlanan datanı emal edir.
Kompüter çoxluğu bir-biri ilə əlaqəli və vahid bir sistem kimi işləyən bir çox işləmə bölməsindən ibarətdir.
Niyə məhz Hadoop?
Çünki , Data çox olduğu üçün … RDBMS metodu ilə datanı bir kompüterdə saxlaya bilmirik. Datanı işləmək bir yana datanın saxlanılması üçün də HDFS təqdimetmə sisteminə ehtiyac var.
HDFS ilə data saxlanması Big Datanın işlənməsi problemini yarandı. Buna görə də Hadoop ekosistemi və HDFS üçün vasitələr hazırlanmışdır.
Hadoop necə meydana gəldi?
Hadoop`un inkişafı, irəli düşüncəli proqram mühəndislərinin, hər hansı bir fiziki saxlama cihazında (sabit disk kimi) pratik olaraq saxlanıb, əlçatabiləcək qədər böyük data yığınlarını, saxlaya və təhlil edəbilməsi onun sürətlə faydalı hala gəldiyini göstərdi.
Bunun səbəbi, fiziki saxlama cihazları böyüdükcə , dataları diskdən oxuyan komponent müəyyən bir seqmentə keçmək üçün daha uzun vaxt tələb edir. Bunun əvəzinə, paralel olaraq işləyən bir çox kiçik cihaz, bir böyük cihazdan daha səmərəlidir.
2008-ci ildə Yahoo Hadoop’u açıq mənbə layihəsi olaraq buraxdı. Bu gün Hadoop çərçivəsi və texnologiyaları ekosistemi, proqram təminatçılarının və töhfəçilərinin qlobal birliyi olan qeyri-kommersiya Apache Proqram Fondu (ASF) tərəfindən idarə olunur və saxlanılır. Bu qəribə adın haradan gəldiyini soruşsanız , yaradıcılardan birinin oğluna məxsus bir oyuncaq filə verilən ad olub.
Hadoop`un modulları
Hadoop “modullardan” ibarətdir, hər biri böyük data analitikası üçün hazırlanmış kompüter sistemi üçün zəruri olan müəyyən bir işi yerinə yetirir. Hadoop ən çox MapReduce və paylanmış fayl sistemi HDFS ilə tanınmışdır.
1. Hadoop Common
Hadoop Ümumi Sistemidir, istifadəçinin kompüter sistemlərinə (Windows, Unix və ya başqa) Hadoop fayl sistemində saxlanan məlumatları oxumaq üçün lazım olan vasitələri (Java`da) təqdim edir.
2. Hadoop YARN
Bu modul , datanı saxlayan və analiz aparan sistemlərin mənbələrini idarə edir. Hadoop lisenziyalı Apache proqram təməli ,Hadoop YARN’ı ‘sonrakı nəsil MapReduce’ və ya ‘MapReduce 2.0’ olaraq təyin edir.
3. HDFS (Hadoop Distributed File System)
Adi serverlərin disklərini bir araya gətirərək geniş və virtual disk yaradan fayl sistemidir. Bu şəkildə sistemdə çox böyük faylların saxlanılmasına və işlənməsinə imkan yaradır.
4. Hadoopun paylanmış data emalı modeli: Map- Reduce
Bütün datanı mərkəzə toplamadığımız üçün bütün əməliyyatlar ayrıca qovşaqlarda aparılır. Bu proseslər başa çatdıqdan sonra hər qovşaqdan qaytarılmış cavab alınır və ümumi nəticə yaranır. Bu proseslərə Map-Reduce deyilir. Map-Reduce əməliyyatlarının 6 addımda necə yerinə yetirildiyini araşdıraq.
Map-Reduce necə işləyir? 6 addımda Map-Reduce …
1- İnput(Giriş):Data girişlərinin edildiyi addımdır.
2- Splitting(Bölüşmə): Gələn data bu mərhələdə işlənməsini asanlaşdırmaq üçün hissələrə bölünür.
3- Mapping(Xəritəçəkmə): Data bu mərhələdə müvafiq qovşaqlarda paylanır və bu addımda neçə yedək nüsxəsinin olacağı bilinir . Və sonra data müvafiq qovşaqda işlənir.
4- Shuffling(Qarışıq):Data hər qovşaqda sayılır. Məsələn, bir mətn sənədi giriş olaraq vermişiksə və nəticədə hansı sözün neçə dəfə keçdiyini axtarırıqsa, bu mərhələdə söz sayları qovşaqda müəyyən edilir.
5- Reducing(Azalma): Hər qovşaqdan gələn nəticə bu mərhələdə toplanır.
6- Final Result(Yekun nəticə): Nəticələr artıq əlimizdədir. Bu barədə hesabat verə bilərik.
Hadoop komponentləri nələrdir? Nə üçün istifadə olunur?
Bu komponentləri deyərkən , istifadə sahələrinə görə qruplaşdırmaq olar:
Data Access: Pig, Hive
Data Storage: HBase, CassandraInterecation, Visualization, Execution,
Development : HCatalog, Lucene, Hama, Crunch
Data Serialization: Avro, Thrift
Data Intelligence: Drill, Mohout
Data Integration: Sqoop, Flume, Chuwka
Management: Ambari(Portal)
Monitoring: Zookeeper
Orchestration: Oozie
Bunlardan bəzilərini nəzərdən keçirək:
Hive nədir?
Hive , HQL kimi tanınan SQL`ə çox bənzər bir dil olub,Hadoop sistemlərində data əldə etmək və sorğu etmək kimi əməliyyatları həyata keçirir.
Pig nədir ?
HDFS datanın işlənməsindən cavabdehdir.Mürəkkəb data çevirmə əməliyyatlarını aparmağımızda Java`ya ehtiyac duymadan Latın kimi betik/script dili ilə təmin edilən Hadoop komponentidir. Strukturlu və struktursuz data üzərində işləyərək datanı HDFS`də saxlaya bilər. Hadoop üzərindəki datanı paralel olaraq işləyir. Bəs bunu necə edir?
Pig , latın dilindən istifadə edir. Latın dilində yazılmış tapşırıqları avtomatik olaraq Java / Map-Reduce tapşırığına çevirir. Bir sözlə , Pig Latın Script’lərini YARN-də işləyən Map-Reduce funksiyalarına çevirir. Beləliklə, HDFS qovşaqları üzərindəki data işlənmiş olur.
HBase nədir?
HDFS-də işləyən NoSQL data bazası idarəetmə sistemidir. SQL-i dəstəyi verməz. Bir HBase sistemi bir qrup cədvəldən ibarətdir və onlara daxil olmaq üçün bu cədvəllərdə əsas açar istifadə olunur.
Sqoop nədir?
ETL (Extract/Transform/Load) vasitəsi ilə Hadoop`a struktulu data ötürmək üçün istifadə olunur. Bir əmr sətiri interfeysi var.
Ambari nədir?
Hadoop qovşaqlarını idarə etmək üçün istifadə olunan veb-interfeysdir.
Flume nədir?
Axın (Streaming) dataları toplamaq və birləşdirmək üçün istifadə olunur.
Kafka nədir?
Bir mesajlaşma xidmətidir. Datanı bir axın olaraq Hadoop`a ötürür.
HCatalog nədir?
HDFS sistemində qeyd olunan hər bir datanın yerini və sxem məlumatlarını özündə saxlayır. Pig Latın dili, bu vasitə ilə HCatLoader (oxu) HCatStorer (Yazı) API ilə HCatalog tərəfindən idarə olunan cədvəllərə oxuma və yazma edir.
Hadoop’un dezavantajları nələrdir ?
Hadoopun bir çox üstünlükləri var. Bəs heç bir dezavantajı yoxdur? Əlbətdə var …
1. Hadoop, datanı kopyalayaraq ehtiyat nüsxəsinə ehtiyac duyduğuna görə lazım olan yer həcmini artırır.
2. Əsas Hadoop komponentlərinin klassik SQL sorğularına sahib olmaması bir əksiklik kimi görülə bilər.
3. Təhlükəsizlik baxımından çoxda güclü deyil, çünki datanı saxlayarkən şəbəkə üzərində şifrələmir.
4. Hadoop`un əsas komponentləri olan YARN, HDFS və Map-Reduce yetərli deyil.
Mənbə:
bernardmarr.com
Medium.com
Mediaclick.com.tr
aws.amazon.com
Hedonik alış-veriş motivasiyaları adlı yazımızı oxumaq üçün bura daxil olun.
