Spark: CoarseGrainedScheduler öğesini bulamadınız

Question

Birkaç saat çalıştıktan sonra bu özel durumumu neden yaptığımı emin değilim.

Am koşu Spark 2.0.2

Herhangi ayıklama ucu

?

2016-12-27 03:11:22,199 [shuffle-server-3] ERROR org.apache.spark.network.server.TransportRequestHandler - Error while invoking RpcHandler#receive() for one-way message. 
org.apache.spark.SparkException: Could not find CoarseGrainedScheduler. 
    at org.apache.spark.rpc.netty.Dispatcher.postMessage(Dispatcher.scala:154) 
    at org.apache.spark.rpc.netty.Dispatcher.postOneWayMessage(Dispatcher.scala:134) 
    at org.apache.spark.rpc.netty.NettyRpcHandler.receive(NettyRpcEnv.scala:571) 
    at org.apache.spark.network.server.TransportRequestHandler.processOneWayMessage(TransportRequestHandler.java:180) 
    at org.apache.spark.network.server.TransportRequestHandler.handle(TransportRequestHandler.java:109) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:119) 
    at org.apache.spark.network.server.TransportChannelHandler.channelRead0(TransportChannelHandler.java:51) 
    at io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.handler.timeout.IdleStateHandler.channelRead(IdleStateHandler.java:266) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.handler.codec.MessageToMessageDecoder.channelRead(MessageToMessageDecoder.java:103) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at org.apache.spark.network.util.TransportFrameDecoder.channelRead(TransportFrameDecoder.java:85) 
    at io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:308) 
    at io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:294) 
    at io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:846) 
    at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:131) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:511) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:468) 
    at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:382) 
    at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:354) 
    at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEve 

Answer 1

Evet, şimdi bu şifreli kural dışı durumun anlamını biliyorum, yürütücü kapsayıcı eşiği aştığı için öldürüldü.
Oluşabilecek birkaç neden var ama ilk suçlu işinizi kontrol etmek veya kümenize daha fazla düğüm/yürütücü eklemeyi denemek.

Answer 2

Bir kaynak sorunu olabilir. Çekirdeklerin ve yürütücünün sayısını artırmaya çalışın ve ayrıca uygulamaya daha fazla RAM atayarak RDD'nizin bölüm numarasını bir yeniden bölümlendirme yaparak artırabilirsiniz. İdeal bölüm sayısı önceki ayarlara bağlıdır. Bu yardımcı olur umarım. Ben parquet yerine csv yani girişi için yanlış biçimde belirtirseniz bir spark.read.load için var Ya olmayan bir yol, belirtilen zaman

Answer 3

Benim için bu da oldu.

Maalesef, gerçek hata bazen sessizdir ve yığın izinin üstünde olur. Bazen, bununla birlikte daha anlamlı olacak olan başka bir dizi yığın izi bulabilirsin.