博客
关于我
Hadoop-之数据均衡
阅读量:723 次
发布时间:2019-03-21

本文共 800 字,大约阅读时间需要 2 分钟。

Hadoop 数据均衡操作

数据的均衡问题在集群操作中经常出现,可能存在于不同节点之间,也可能出现在同一节点的多个磁盘之间。为解决这些不均衡问题,我们需要设计数据迁移和传输策略,无论是跨节点迁移还是跨磁盘迁移,均需要合理规划和执行。

节点间数据均衡

Hadoop提供了一些默认脚本来实现节点间的数据均衡。此类脚本可以通过以下路径访问:

[路径] start-balancer.sh

在进行该操作之前,务必确保集群处于空闲状态,因为否则跨节点的RPC网络传输可能会占用大量资源,导致集群在忙碌时长时间无法获取到所需的资源而导致任务运行失败。

脚本使用默认参数为10,该参数表示集群中任何两个节点的磁盘使用率之差不超过10%。可根据实际集群负载情况调整该参数。若需要停止正在进行的均衡操作,可执行:

[路径] stop-balancer.sh

磁盘间数据均衡

对于磁盘间的数据均衡,可按照以下步骤进行操作:

1. 生成均衡计划

按照以下命令生成一个均衡计划文件:

hdfs diskbalancer -plan shufang102.plan.json

该命令会生成一个JSON文件,文件名为shufang102.plan.json。文件名可根据实际需求进行命名。

2. 执行均衡计划

按照生成的计划文件执行均衡操作:

hdfs diskbalancer -execute shufang102.plan.json

3. 查看任务执行情况

在均衡操作进行期间,可以使用以下命令查看当前任务的执行状态:

hdfs diskbalancer -query shufang102

4. 取消已计划的任务

如需中止计划中的任务,可执行以下命令:

hdfs diskbalancer -cancel shufang102.plan.json

注意:上述命令仅为示例,具体操作时请根据实际环境自行调整参数和文件命名。

转载地址:http://jcygz.baihongyu.com/

你可能感兴趣的文章
MyEclipse配置SVN
查看>>
MTCNN 人脸检测
查看>>
MyEcplise中SpringBoot怎样定制启动banner?
查看>>
MyPython
查看>>
MTD技术介绍
查看>>
MySQL
查看>>
MySQL
查看>>
mysql
查看>>
MTK Android 如何获取系统权限
查看>>
MySQL - 4种基本索引、聚簇索引和非聚索引、索引失效情况、SQL 优化
查看>>
MySQL - ERROR 1406
查看>>
mysql - 视图
查看>>
MySQL - 解读MySQL事务与锁机制
查看>>
MTTR、MTBF、MTTF的大白话理解
查看>>
mt_rand
查看>>
mysql -存储过程
查看>>
mysql /*! 50100 ... */ 条件编译
查看>>
mudbox卸载/完美解决安装失败/如何彻底卸载清除干净mudbox各种残留注册表和文件的方法...
查看>>
mysql 1264_关于mysql 出现 1264 Out of range value for column 错误的解决办法
查看>>
mysql 1593_Linux高可用(HA)之MySQL主从复制中出现1593错误码的低级错误
查看>>