Pēc pusotra gada attīstības Apache programmatūras fonds ir izlaidis jaunās versijas palaišana Apache Hadoop 3.3.0, versija kurā viņš pievienoja uzlabojumus ARM platformām, atbalsts konteineru palaišanas plānošanai un citām lietām.
Apache Hadoop sevi pozicionē kā bezmaksas platformu organizēt izplatīta liela datu apjoma apstrāde, izmantojot kartes / samazināšanas paradigma, kurā uzdevums ir sadalīts daudzos mazākos izolētos gabalos, no kuriem katrs var darboties atsevišķā kopas mezglā.
Uz Hadoop balstīta krātuve tas var aptvert tūkstošiem mezglu un saturēt eksabaitus datu.
Par Apache Hadoop
Hadoop ietver Hadoop izplatītās failu sistēmas ieviešanu (HDFS), kas automātiski nodrošina datu dublēšanu un ir optimizēts MapReduce lietojumprogrammām.
Galvenā funkcionalitāte ir tā, ka efektīvai darba plānošanai katrai failu sistēmai jāzina un jānorāda sava atrašanās vieta, statīva (precīzāk, slēdža) nosaukums, kur atrodas darba ņēmēja mezgls.
Hadoop lietojumprogrammas var izmantot šo informāciju, lai palaistu darbu mezglā, kur atrodas dati, un, ja tas nav iespējams, vienā un tajā pašā plauktā / komutatorā, tādējādi samazinot tīkla trafiku.
Lai vienkāršotu piekļuvi datiem Hadoop krātuvē, Ir izstrādāta HBase datu bāze un SQL līdzīga cūku valoda, kas ir SQL tips MapReduce, kura vaicājumus var paralēlizēt un apstrādāt dažādas Hadoop platformas.
Projekts tiek vērtēts kā pilnīgi stabils un gatavs rūpnieciskai darbībai. Hadoop tiek aktīvi izmantots lielos rūpnieciskos projektos, nodrošinot iespējas, kas līdzīgas Google Bigtable / GFS / MapReduce platformai, savukārt Google oficiāli deleģētie Hadoop un citi Apache projekti ir tiesīgi izmantot ar MapReduce metodi saistītas patentu tehnoloģijas.
Hadoop ierindojas pirmajā vietā Apache krātuvēs pēc veikto izmaiņu skaita un piektajā lielākajā koda bāzē (aptuveni 4 miljoni koda rindu).
Kas jauns Apache Hadoop 3.3 versijā?
Šī jaunā Hadoop versija tiek pozicionēta kā pirmā versija, kurai ir el atbalsts ARM balstītām platformām, Ar kuru interesenti, kuri spēs ieviest šo platformu, varēs atrast jau pieejamo ARM bināro versiju.
Vēl viena no galvenajām izmaiņām, kas tiek prezentēta šajā jaunajā versijā, ir jaunās Protobuf formāta versijas ieviešana (Protokola buferi), ko izmanto strukturētu datu sērijveidošanai ir atjaunināts uz versiju 3.7.1 sakarā ar protobuf-2.5.0 filiāles dzīves cikla beigām.
Papildus tam arī S3A savienotāja iespējas jau ir paplašinātas ka tagad viņš ir pievienots atbalsts autentifikācijai, izmantojot marķierus, uzlabots atbalsts atbildes kešatmiņai ar kodu 404, augstāka S3guard veiktspēja un uzlabota darbības uzticamība.
arī Pievienots DNS izšķiršanas pakalpojums lai klients varētu noteikt serverus, izmantojot DNS, izmantojot resursdatora nosaukumus, kas ļauj jums atteikties no visu konfigurācijā esošo resursdatoru saraksta.
Kā arī atbalsts konteineru palaišanas plānošanai, izmantojot centralizētu resursu pārvaldnieku (ResourceManager), pat ar iespēju izplatīt konteinerus, ņemot vērā katra mezgla slodzi.
Starp pārējām izmaiņām, kas izceļas šīs jaunās versijas:
- Automātiskās regulēšanas problēmas ir atrisinātas ABFS failu sistēmā.
- Pievienots vietējais atbalsts Tencent Cloud COS failu sistēmai, lai piekļūtu COS objektu krātuvei.
- Tika pievienots pilns Java 11 atbalsts.
- Stabilizēja HDFS RBF (Router Based Federation) ieviešanu. HDFS maršrutētājam ir pievienotas drošības kontroles.
- Pievienots meklēšanas YARN lietojumprogrammu direktorijā (vēl viens sarunu vadītājs).
Visbeidzot, ja vēlaties uzzināt vairāk par to, varat pārbaudīt jaunās versijas informāciju vietnē sākotnējā ziņa.
Tiem, kurus interesē iespēja iegūt jauno versiju, viņi var lejupielādēt sagatavotos bināros failus Šajā saitē.