400-650-7353

精品課程

您所在的位置:首頁 > IT干貨資料 > 大數據 > 【大數據基礎知識】Hadoop之HDFS概述

【大數據基礎知識】Hadoop之HDFS概述

  • 發布: 大數據培訓
  • 來源:大數據干貨資料
  • 2021-03-03 10:44:32
  • 閱讀()
  • 分享
  • 手機端入口

隨著我們業務數據量越來越大,在一個操作系統管轄的范圍內存不下了,那么就需要分配到更多的操作系統管理的磁盤中。但是這給我們帶來的一個問題就是,更多的操作系統非常不方便集中管理和維護。這時迫切需要一種系統來管理多臺機器上的文件,這就產生了分布式文件管理系統。HDFS只是分布式文件管理系統中的一種。

HDFS(Hadoop Distributed File System),它是一個分布式文件管理系統。一是,用于存儲文件,通過目錄樹來定位文件;其次,它是分布式的,由很多服務器聯合起來實現其功能,并且集群中的服務器有各自的角色。集群不一定是分布式的,但是分布式一定是集群。HDFS的設計適合一次寫入,多次讀出的場景,但不支持文件的修改。HDFS適合用來做數據分析,并不適合用來做網盤應用。

下面我們來看下HDFS的優缺點吧。

HDFS優點:

(1) 高容錯性

a)每份數據都自動保存多個副本。HDFS正是通過增加副本的的方式來提高容錯性;

b)如果某個副本丟失,HDFS還可以自動恢復。

(2) 適合大數據處理

(a)數據規模:能夠處理數據規模達到GB、TB、甚至PB級別的數據;

(b)文件規模:能夠處理百萬規模以上的文件數量,數量相當之大。

(3) 流式數據訪問,它能保證數據的一致性。

(4) 可構建在廉價機器上,通過多副本機制,提高可靠性。這一點也是HDFS的突出優勢,高性能的集群無需采用價格高昂的服務器,而是構建在廉價的機器上呢。

HDFS缺點:

(1) 不適合低延時數據訪問,比如毫秒級的存儲數據,是做不到的。

(2) 無法高效的對大量小文件進行存儲。

a) 存儲大量小文件的話,它會占用NameNode大量的內存來存儲文件、目錄和塊信息。這樣是不可取的,因為NameNode的內存畢竟是有限的。

b) 小文件存儲的尋址時間會超過讀取時間,它違反了HDFS的設計目標。

(3) 不支持并發寫入、文件隨機修改。

a) 一個文件只能有一個寫,不允許多個線程同時寫;

b) 僅支持數據append(追加),不支持文件的隨機修改。

學習疑問申請解答
您的姓名
您的電話
意向課程
 

中公優就業

IT小助手

掃描上方二維碼添加好友,請備注:599,享學習福利。

>>本文地址:
注:本站稿件未經許可不得轉載,轉載請保留出處及源文件地址。

推薦閱讀

優就業:ujiuye

關注中公優就業官方微信

  • 關注微信回復關鍵詞“大禮包”,享學習福利
QQ交流群
在線疑問解答
(加群備注“網站”)
IT培訓交流群 加入群聊 +
軟件測試 加入群聊 +
全鏈路UI/UE設計 加入群聊 +
Python+人工智能 加入群聊 +
互聯網營銷 加入群聊 +
Java開發 加入群聊 +
PHP開發 加入群聊 +
VR/AR游戲開發 加入群聊 +
大前端 加入群聊 +
大數據 加入群聊 +
Linux云計算 加入群聊 +
優就業官方微信
掃碼回復關鍵詞“大禮包”
享學習福利

測一測
你適合學哪門IT技術?

1 您的年齡

2 您的學歷

3 您更想做哪個方向的工作?

獲取測試結果
 
課程資料、活動優惠 領取通道
 
 
国产超级VA在线观看视频|久久99国产综合精品女同|免费高清A片特级午夜毛片