发门网
hadoop集群中存在配置较低的数据节点应用如何应对磁盘数据溢满的问题之rebalance
创始人
2024-03-11 22:20:53
0次

现象

登录hdfs web ui发现集群中一个节点的负载远高于另外的节点
在这里插入图片描述

分析

一般情况下集群在数据盘配置一样，几乎使用不到rebalance，但是我们的集群中有一个比较小的数据节点，因此我们需要关注各节点数据分布情况，及时进行rebalance
在这里插入图片描述

方案

方案一：

1、启动rebalance

hadoop balancer -threshold 5

2、因为rebalance期间需要占用集群资源，因此尽快完成比较重要可以使用setBalancerBandwidth设置来增加每秒流量

hadoop dfsadmin -setBalancerBandwidth 524288000 --500M

方案二：

彻底解决就需要将dw-worker-1升级到与其他数据节点相同的配置

方案选择分析

我们为什么使用方案一，因为我们仅仅是将配置较低的节点当做计算节点使用，并非数据节点

效果：

在这里插入图片描述

上一篇：Mybatis入门

下一篇：Vue3创建项目(四)main.js配置，避坑指南

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播，要解决的几个问题是：1&...
Windows10添加群晖磁盘... 在使用群晖NAS时，我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
educoder数据结构与算法...                                                   ...
MySQL下载和安装（Wind... 前言：刚换了一台电脑，里面所有东西都需要重新配置，习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile，这个类提供了一个没有缓存的二进制格式的磁盘...
有效的括号 一、题目 给定一个只包括 '('，')'，'{'，'}'...
Fluent中创建监测点 1 概述某些仿真问题，需要创建监测点，用于获取空间定点的数据࿰...
【Ctfer训练计划】——(三... 作者名：Demo不是emo  主页面链接：主页传送门 创作初心ÿ...
带头循环双向链表来咯！！！ 前言：继上文，我们了解了结构最简单的一种链表---单链表那么我们今天就来...