博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
spark集群无法分配资源
阅读量:5799 次
发布时间:2019-06-18

本文共 490 字,大约阅读时间需要 1 分钟。

hot3.png

问题1:WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

此时程序会一直loading,running,loading,running…的循环,并持续出现上面的警告。

出现这个错误很有可能是你启动spark的方式有问题。

很多人启动spark直接用start-all.sh,但是如果你在env配置文件里没有指定master的ip,这样启动就会报上面这个问题。如果没有配置可以在启动的时候指定:

在maser上用

./start-master.sh -h “ip地址”

在worker上用

./start-slave.sh spark://"master的ip":7077

其它参数在启动的时候也可以指定,端口号也可以改动。

 

 

转载于:https://my.oschina.net/u/2000675/blog/638556

你可能感兴趣的文章
jquery插件页面滚动元素进入视口触发动画jquery-aniview
查看>>
(译)MySQL:在 WHERE 条件语句中使用 IF 语句
查看>>
C++程序windows To linux移植经验案例
查看>>
论文翻译-语音合成:WaveNet
查看>>
使用Python读Excel数据Insert到MySQL
查看>>
heartbeat搭建高可用NFS
查看>>
Nginx工作原理和优化、漏洞。
查看>>
Spring Boot之使用JPA操作mysql
查看>>
Spring <context:annotation-config/>解析
查看>>
独立博客的几点建议:必须找准定位,不要太SEO
查看>>
总结:线程间频繁切换为什么耗费资源?
查看>>
加入域 找不到网络路径
查看>>
好久没写日志了,
查看>>
高可用之添加群集功能(Hyper-V)
查看>>
MySQL主从安装步骤
查看>>
×××虚拟专用网—gre配置
查看>>
EPG服务器关于TTL的BUG
查看>>
Hive的动态分区
查看>>
exception 'CALayerInvalidGeometry', reason:
查看>>
Cookie 和 Session总结
查看>>