課程
/云計(jì)算&大數(shù)據(jù)
/大數(shù)據(jù)
/Hadoop基礎(chǔ)及演練
如果:主從節(jié)點(diǎn)全部都掛掉了,怎么保證數(shù)據(jù)的可用性呢
2018-02-04
源自:Hadoop基礎(chǔ)及演練 2-2
正在回答
服務(wù)器分布在不同的機(jī)架(雙電源),為了防止某條線路斷電導(dǎo)致服務(wù)器失效(也解決了部分網(wǎng)絡(luò)機(jī)架網(wǎng)絡(luò)出問(wèn)題的情況)
備份的過(guò)程(默認(rèn)3份) 首先,如果client是集群內(nèi)的節(jié)點(diǎn)則將第一份存儲(chǔ)在client上否則隨機(jī)存儲(chǔ)到其他節(jié)點(diǎn),第二份節(jié)點(diǎn)存儲(chǔ)到其他機(jī)架節(jié)點(diǎn),第三份存儲(chǔ)到本機(jī)架節(jié)點(diǎn)。(注此處需開(kāi)啟hadoop的機(jī)架感知屬性,默認(rèn)是關(guān)閉的,如果未開(kāi)啟機(jī)架感知 則認(rèn)為 隨機(jī)放到了三個(gè)節(jié)點(diǎn)上,防止某些節(jié)點(diǎn)出問(wèn)題造成數(shù)據(jù)丟失)
通過(guò)zookeeper實(shí)現(xiàn)的namenode主備切換,防止因?yàn)閚amenode失效造成的數(shù)據(jù)無(wú)法訪問(wèn)
正常業(yè)務(wù)集群肯定要部署集群相關(guān)的狀態(tài)監(jiān)控,出現(xiàn)問(wèn)題可以及時(shí)發(fā)現(xiàn)
如果? ? ? ? ? ? ?這個(gè)時(shí)候,你的集群還是全部掛掉了。? ? ? ? ? ? ? 此乃天災(zāi)。。。你需要考慮的不是數(shù)據(jù)的可用性了,而是千萬(wàn)不要丟失數(shù)據(jù)!
舉報(bào)
與大數(shù)據(jù)密不可分的Hadoop框架,你值得學(xué)習(xí)
3 回答讀流程的疑問(wèn)
1 回答記錄叁金老師提的兩個(gè)疑問(wèn)!
2 回答關(guān)于視頻中讀流程所舉的例子有些疑問(wèn)
1 回答咨詢您幾個(gè)問(wèn)題
1 回答out = f.read(len(data))的問(wèn)題
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號(hào)-11 京公網(wǎng)安備11010802030151號(hào)
購(gòu)課補(bǔ)貼聯(lián)系客服咨詢優(yōu)惠詳情
慕課網(wǎng)APP您的移動(dòng)學(xué)習(xí)伙伴
掃描二維碼關(guān)注慕課網(wǎng)微信公眾號(hào)
2018-02-05
服務(wù)器分布在不同的機(jī)架(雙電源),為了防止某條線路斷電導(dǎo)致服務(wù)器失效(也解決了部分網(wǎng)絡(luò)機(jī)架網(wǎng)絡(luò)出問(wèn)題的情況)
備份的過(guò)程(默認(rèn)3份) 首先,如果client是集群內(nèi)的節(jié)點(diǎn)則將第一份存儲(chǔ)在client上否則隨機(jī)存儲(chǔ)到其他節(jié)點(diǎn),第二份節(jié)點(diǎn)存儲(chǔ)到其他機(jī)架節(jié)點(diǎn),第三份存儲(chǔ)到本機(jī)架節(jié)點(diǎn)。(注此處需開(kāi)啟hadoop的機(jī)架感知屬性,默認(rèn)是關(guān)閉的,如果未開(kāi)啟機(jī)架感知 則認(rèn)為 隨機(jī)放到了三個(gè)節(jié)點(diǎn)上,防止某些節(jié)點(diǎn)出問(wèn)題造成數(shù)據(jù)丟失)
通過(guò)zookeeper實(shí)現(xiàn)的namenode主備切換,防止因?yàn)閚amenode失效造成的數(shù)據(jù)無(wú)法訪問(wèn)
正常業(yè)務(wù)集群肯定要部署集群相關(guān)的狀態(tài)監(jiān)控,出現(xiàn)問(wèn)題可以及時(shí)發(fā)現(xiàn)
如果? ? ? ? ? ? ?這個(gè)時(shí)候,你的集群還是全部掛掉了。? ? ? ? ? ? ? 此乃天災(zāi)。。。你需要考慮的不是數(shù)據(jù)的可用性了,而是千萬(wàn)不要丟失數(shù)據(jù)!