最近中文字幕高清中文字幕无,亚洲欧美高清一区二区三区,一本色道无码道dvd在线观看 ,一个人看的www免费高清中文字幕

為了賬號(hào)安全,請(qǐng)及時(shí)綁定郵箱和手機(jī)立即綁定

hadoop筆記

標(biāo)簽:
Hadoop

环境:docker
目录:hadoop将会安装在/root/hadoop

获取centos镜像及创建容器

docker pull centos
docker run -it --name hadoop centos /bin/bash

安装java

yum install -y java-1.8.0-openjdk.x86_64
yum install -y java-1.8.0-openjdk-devel.x86_64

安装工具

yum install wget.x86_64
yum -y install openssh-server openssh-clients

安装hadoop

wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gz
tar -zxvf  hadoop-2.8.5.tar.gz
mv hadoop-2.8.5/ hadoop

配置环境变量

vi  ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/export HADOOP_HOME=/root/hadoopexport PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbin

source ~/.bashrc

配置hadoop

cd /root/hadoop/etc/hadoop

//vi hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.181-3.b13.el7_5.x86_64/



//hdfs-site.xml<!--配置HDFS的冗余度--><property>
  <name>dfs.replication</name>
  <value>1</value></property><!--配置是否检查权限--><property>
  <name>dfs.permissions</name>
  <value>false</value></property> //core-site.xml<!--配置HDFS的NameNode--><property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.88.11:9000</value></property><!--配置DataNode保存数据的位置--><property><name>hadoop.tmp.dir</name><value>/root/hadoop-2.4.1/tmp</value></property>     
            
            //mapred-site.xml<!--配置MR运行的框架--><property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value></property>     
            // yarn-site.xml<!--配置ResourceManager的地址--><property>
  <name>yarn.resourcemanager.hostname</name>
  <value>192.168.88.11</value></property><!--配置NodeManager执行任务的方式--><property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value></property>

配置ssh无密码登陆

ssh-keygen -t rsa
cd ~/.ssh/
cat  id_rsa.pub >> authorized_keys

格式化及启动停止

/root/hadoop/bin/hdfs namenode -format
sh /root/hadoop/sbin/start-all.sh
sh /root/hadoop/sbin/stop-all.sh

查看运行情况

netstat   -nultp   //查看端口号
jps                         //查看java服务是否开启



作者:处在水深火热的iOS_林龙
链接:https://www.jianshu.com/p/ea58af71dac1


點(diǎn)擊查看更多內(nèi)容
TA 點(diǎn)贊

若覺(jué)得本文不錯(cuò),就分享一下吧!

評(píng)論

作者其他優(yōu)質(zhì)文章

正在加載中
  • 推薦
  • 評(píng)論
  • 收藏
  • 共同學(xué)習(xí),寫(xiě)下你的評(píng)論
感謝您的支持,我會(huì)繼續(xù)努力的~
掃碼打賞,你說(shuō)多少就多少
贊賞金額會(huì)直接到老師賬戶
支付方式
打開(kāi)微信掃一掃,即可進(jìn)行掃碼打賞哦
今天注冊(cè)有機(jī)會(huì)得

100積分直接送

付費(fèi)專欄免費(fèi)學(xué)

大額優(yōu)惠券免費(fèi)領(lǐng)

立即參與 放棄機(jī)會(huì)
微信客服

購(gòu)課補(bǔ)貼
聯(lián)系客服咨詢優(yōu)惠詳情

幫助反饋 APP下載

慕課網(wǎng)APP
您的移動(dòng)學(xué)習(xí)伙伴

公眾號(hào)

掃描二維碼
關(guān)注慕課網(wǎng)微信公眾號(hào)

舉報(bào)

0/150
提交
取消