Xing AiMing's Home Page – 邢爱明的个人网站

1、配置core-site.xml，增加如下内容 <property> <name>dfs.hosts.exclude</name> <value>/home/adam/hadoop/conf/excludes</value> </property> 2、确定需要删除的节点（测试的时候发现指定主机名会有问题，制定ip地址正常） adam@hnn:~/hadoop/conf$ cat excludes 192.168.0.131 3、刷新DataNode adam@hnn:~/hadoop/conf$ hadoop dfsadmin -refreshNodes 4、查看文件系统状态 adam@hnn:~/hadoop/conf$ hadoop dfsadmin -report 持续观察直至被删除节点出现下面的说明： Decommission Status : Decommissioned 5、停止被删除节点上的TaskTracker进程

 1、下载、解压缩hive 0.9 大家都会，就不多说了，hive放在/home/adam/hive 2、安装mysql 在ubuntu 12.04，安装比较简单，一条命令把服务器端和客户端都装好了 sudo apt-get install mysql-server 按照找到资料，应该新建一个用户来使用hive，如 create user ‘adam@localhost’ identified by ’1234′; grant all on hive.* to hive@localhost; flush previliges; 但使用新创建的用户始终无法登陆mysql，所以偷懒使用了默认的root用户。  3、修改etc/profile 增加一行 export HIVE_HOME=/home/adam/hive PATH变量增加HIVE_HOME(这一步不是必须的，主要是为了方便使用） export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PIG_HOME/bin:$HIVE_HOME/bin:$PATH  4、修改hive的配置文件 以hive-default.xml作为基本配置，hive-site.xml是需要修改配置 cp hive-default.xml.template hive-default.xml  hive-site.xml文件内容： <?xml version=”1.0″?> <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?> <configuration>   <property>     <name>javax.jdo.option.ConnectionURL</name>     <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>     <description>JDBC connect string [...]

安装环境：hadoop 0.20.2 + hbase 0.90.5 hbase下载，解压缩的过程就不多讲了，大家应该都会，主要是下面一些配置文件的修改。 网上的一些资料说hbase的配置文件中，写服务器ip地址会出错，我没有验证过。因为已经习惯使用主机名称，提前在各个服务器上已经修改了hosts文件。 $ cat /etc/hosts 127.0.0.1       localhost 192.168.0.128   hnn 192.168.0.129 hdn1 192.168.0.130 hdn2 192.168.0.131 centos   一、修改hbase-env.sh # 1. 设置jdk的路径 # The java implementation to use.  Java 1.6 required. # export JAVA_HOME=/usr/java/jdk1.6.0/ export JAVA_HOME=/home/adam/java/jdk # 2. 让hbase通过hadoop的配置文件路径，获取hadoop的信息 # Extra Java CLASSPATH elements.  Optional. # export HBASE_CLASSPATH= export HBASE_CLASSPATH=/home/adam/hadoop/conf # 3. [...]