博客
关于我
Hadoop-之数据均衡
阅读量:723 次
发布时间:2019-03-21

本文共 800 字,大约阅读时间需要 2 分钟。

Hadoop 数据均衡操作

数据的均衡问题在集群操作中经常出现,可能存在于不同节点之间,也可能出现在同一节点的多个磁盘之间。为解决这些不均衡问题,我们需要设计数据迁移和传输策略,无论是跨节点迁移还是跨磁盘迁移,均需要合理规划和执行。

节点间数据均衡

Hadoop提供了一些默认脚本来实现节点间的数据均衡。此类脚本可以通过以下路径访问:

[路径] start-balancer.sh

在进行该操作之前,务必确保集群处于空闲状态,因为否则跨节点的RPC网络传输可能会占用大量资源,导致集群在忙碌时长时间无法获取到所需的资源而导致任务运行失败。

脚本使用默认参数为10,该参数表示集群中任何两个节点的磁盘使用率之差不超过10%。可根据实际集群负载情况调整该参数。若需要停止正在进行的均衡操作,可执行:

[路径] stop-balancer.sh

磁盘间数据均衡

对于磁盘间的数据均衡,可按照以下步骤进行操作:

1. 生成均衡计划

按照以下命令生成一个均衡计划文件:

hdfs diskbalancer -plan shufang102.plan.json

该命令会生成一个JSON文件,文件名为shufang102.plan.json。文件名可根据实际需求进行命名。

2. 执行均衡计划

按照生成的计划文件执行均衡操作:

hdfs diskbalancer -execute shufang102.plan.json

3. 查看任务执行情况

在均衡操作进行期间,可以使用以下命令查看当前任务的执行状态:

hdfs diskbalancer -query shufang102

4. 取消已计划的任务

如需中止计划中的任务,可执行以下命令:

hdfs diskbalancer -cancel shufang102.plan.json

注意:上述命令仅为示例,具体操作时请根据实际环境自行调整参数和文件命名。

转载地址:http://jcygz.baihongyu.com/

你可能感兴趣的文章
MySQL-redo日志
查看>>
MySQL-【1】配置
查看>>
MySQL-【4】基本操作
查看>>
Mysql-丢失更新
查看>>
Mysql-事务阻塞
查看>>
Mysql-存储引擎
查看>>
mysql-开启慢查询&所有操作记录日志
查看>>
MySQL-数据目录
查看>>
MySQL-数据页的结构
查看>>
MySQL-架构篇
查看>>
MySQL-索引的分类(聚簇索引、二级索引、联合索引)
查看>>
Mysql-触发器及创建触发器失败原因
查看>>
MySQL-连接
查看>>
mysql-递归查询(二)
查看>>
MySQL5.1安装
查看>>
mysql5.5和5.6版本间的坑
查看>>
mysql5.5最简安装教程
查看>>
mysql5.6 TIME,DATETIME,TIMESTAMP
查看>>
mysql5.6.21重置数据库的root密码
查看>>
Mysql5.6主从复制-基于binlog
查看>>