已采納回答 / qq_兵刃_04412779
塊的大小設(shè)置原則:最小化尋址開小。?塊越大尋址時間越短,?傳輸一個由多個塊的組成的文件取決于磁盤傳輸速率。如尋址時間約為10ms,傳輸速率為100MB/S,為了使尋址時間僅占傳輸時間的1%,塊的大小設(shè)置約為100MB,默認(rèn)大小是64MB,現(xiàn)在在實際身纏中都是128MB了,隨著新一代磁盤去東區(qū)傳輸速率的提升,塊的大小將會被設(shè)置的更大。注意:塊的大小太大的話,一個map任務(wù)處理一個塊,那任務(wù)數(shù)就變少了,作業(yè)運(yùn)行速度也就變慢了。
2018-06-02
講師回答 / 叁金
首先我們還是要明確概念,? HDFS是什么,HDFS是分布式文件存儲系統(tǒng)。? ?從他的定義里面我們抽出兩個詞, 分布式、文件存儲系統(tǒng)。所以HDFS的核心功能就是為用戶提供更加穩(wěn)定合理的文件存儲方式。而HBase是什么呢,HBase是一個分布式列式數(shù)據(jù)庫。從它的定義里面我們可以得出? 分布式、列式、數(shù)據(jù)庫幾個關(guān)鍵詞。? ? 它首先是作為一個依托于HDFS存在的NoSql數(shù)據(jù)庫,既然是一個數(shù)據(jù)庫那里面存什么東西就是我們所決定的了。? ? ? HBase本身對于非結(jié)構(gòu)化數(shù)據(jù)支持良好,我們同樣可以將小文件直接存儲...
2018-05-20
講師回答 / 叁金
看你集群的大小和備份的數(shù)量設(shè)置了。 如果你集群有100臺? 備份數(shù)量是3? 肯定不會備份到所有的 datanode節(jié)點啊。? 注意 這里是datanode。? datanode存儲數(shù)據(jù)。
2018-05-12
已采納回答 / 叁金
將相關(guān)權(quán)限賦予指定用戶。? ? 你是在hadoop用戶下執(zhí)行的吧?? ? ?建議如果新建了hadoop用戶的話,將hadoop的安裝目錄的owner設(shè)置為hadoop 這樣不用過多考慮權(quán)限問題
2018-04-21