首页 > 其他分享 >安装cdh hadoop时丢包通不过

安装cdh hadoop时丢包通不过

时间:2022-09-22 10:55:20浏览次数:55  
标签:ethtool hadoop02 RX hadoop cdh 通不过 rc Jumbo root

一、现像:

 

 二、处理过程

第一时间找网工,更换光纤线和模块,交换机换为核心交换机,仍然这样,我一共购买了某擎四台服务器,前后所有的都是这样。

网工怀疑这批光纤线有问题,只能让我们等、等。。。。。采购

 

(1)查看当前网卡 RX/TX 参数:

[root@hadoop02 ~]# ethtool ens26f0
Settings for ens26f0:
Supported ports: [ FIBRE ]
Supported link modes: 10000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: No
Supported FEC modes: Not reported
Advertised link modes: 10000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: No
Advertised FEC modes: Not reported
Speed: 10000Mb/s
Duplex: Full
Port: FIBRE
PHYAD: 0
Transceiver: external
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes
[root@hadoop02 ~]# ethtool -g ens26f0
Ring parameters for ens26f0:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 512
RX Mini: 0
RX Jumbo: 0
TX: 512

(2)

参照

https://docs.azure.cn/zh-cn/articles/azure-operations-guide/virtual-machines/linux/aog-virtual-machines-linux-howto-optimize-performance-of-linux-nic-by-ethtool

 

Pre-set maximums 中的 RX/TX 值为该网卡的 Buffer size 最大值;
Current hardware settings 中 RX/TX 值代表该网卡当前的 Buffer size 大小。
所以,设置的 Current hardware settings 的 RX/TX 值必须在 Pre-set maximums 的限制之内。
[root@hadoop02 ~]# ethtool -G ens26f0 rx 18000 tx 2500
[root@hadoop02 ~]# ethtool -g ens26f0
Ring parameters for ens26f0:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 2504

 

[root@hadoop02 ~]# chmod -x /etc/rc.d/rc.local
[root@hadoop02 ~]# vi /etc/rc.d/rc.local

[root@hadoop02 ~]# cat /etc/rc.d/rc.local
#!/bin/bash
# THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
#
# It is highly advisable to create own systemd services or udev rules
# to run scripts during boot instead of using this file.
#
# In contrast to previous versions due to parallel execution during boot
# this script will NOT be run after all other services.
#
# Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
# that this script will be executed during boot.

touch /var/lock/subsys/local
ethtool -G ens26f0 rx 18000 tx 2500

(3)验证
[root@hadoop02 ~]# ethtool -g ens26f0
Ring parameters for ens26f0:
Pre-set maximums:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 4096
Current hardware settings:
RX: 4096
RX Mini: 0
RX Jumbo: 0
TX: 2504

 

再次安装CDH后正常

 

 但网工ping发现丢包还是有的。只能暂时先用,后面按网工要求更换光纤线和某为交换机了。

 

标签:ethtool,hadoop02,RX,hadoop,cdh,通不过,rc,Jumbo,root
From: https://www.cnblogs.com/chinaops/p/16718424.html

相关文章

  • 在输入shell命令的list_namespace时,报 :org.apache.hadoop.hbase.PleaseHoldException:
    今天弄了一下午这个问题,弄到了将近十点,终于解决了,终于解决这个问题了,感谢旭旭大佬相助,不再报错了。本来今天中午,我已经弄好了,结果我午睡了一下再看就报错了,哎。今天本来已......
  • 解决不了ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializi
    我今天真的好难受,在我结束hbase的配置的后,又是成功运行了shell命令,我以为万事大吉,结果下午再用shell命令时,给我报了这个错,我按着网上说的删了点东西,还是解决不了,难受啊。......
  • cdh环境:hue集成kerberos无法启动ktr问题处理过程
    cdh版本:ClouderaExpress6.1.0报错现象:Ifthe'renewuntil'dateisthesameasthe'validstarting'date,theticketcannotberenewed.PleasecheckyourKDCco......
  • hadoop-3.0.0-cdh6.3.2源码编译实践
    1.编译过程参考:https://blog.mygallop.cn/2020/10/centos/hadoop-cdh6-compile/2.问题记录CDH6.3.2Hadoop源码位置发生变化,新地址为https://github.com/cloudera/hado......
  • hadoop学习
    大数据技术要解决的难题——海量数据要如何存储,海量数据要如何处理?海量数据的存储问题不是现在才有的,在很早之前就用NFS(网络文件系统)将数据分开存储来解决海量数据的存......
  • Hadoop集群启动没有DataNode进程
    问题状况:问题原因:在启动Hadoop之前,进行了多次格式化,导致DataNode的ID发生了变化解决方案:我们可以删除从节点所有的DataNode资料,并重新格式化解决流程1、根据core-si......
  • Hadoop启动后无法启动NodeManager
    在配置完Hadoop集群后,使用命令:“start-all.sh”进行启动集群。然后使用命令:“jps”查看进程启动情况,发现没有NodeManager在网上搜索后发现,是因为  “NodeManager必须拥......
  • 错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster
    今天又遇到一个这种错误,头都大了(我是看尚硅谷的视频配的Hadoop),网上搜了以下原因,(59条消息)hadoop3.1.3下MapReduce操作出现错误:找不到或无法加载主类org.apache.hadoop.......
  • Hadoop遇到的问题总结
    Xshell使用的时候,使用右侧数字键盘时数字的时候,数字变成英文字母了。  解决方法:解决办法:点击文件-属性(快捷键alt+P)然后在VT模式中的数字键盘模式修改......
  • hadoop概述
    1.什么是Hadoop1)Hadoop是一个由apache基金会所开发的一种分布式系统基础框架。2)它只要解决的是海量数据的存储和海量数据的分析计算。3)从广义上来讲,hadoop通常是指Hadoo......