iserver 流数据服务、数据流服务不成功 [已关闭]

0 投票

使用产品:iserver 10i  操作系统:linux os7.7
数据类型: 流数据服务
问题详细描述:按照手册,安装了环境,用的内置spark,两个子节点,自己测试的websocket,还有例子的flight数据都没有走通

流处理模型:{"sparkParameter":{"checkPointDir":"tmp","interval":500},"stream":{"nodeDic":{"WebSocketClientSender":{"formatter":{"className":"com.supermap.bdt.streaming.formatter.GeoJsonFormatter"},"path":"http://192.168.1.231:8090/iserver/services/dataflow/dataflow/broadcast?token=PCJuDpGQEGeqWwDWP7uUrej2ZGO846bGBZ551-NUEEVukSfmhA_JI9pJu0JbmKrQTK_LrUX3q0XVLWSXPeozdQ..","nextNodes":[],"name":"WebSocketClientSender","prevNodes":["WebSocketReceiver"],"caption":"WebSocket发送器","description":"fsq","className":"com.supermap.bdt.streaming.sender.WebSocketClientSender"},"WebSocketReceiver":{"metadata":{"epsg":4326,"idFieldName":"id","dateTimeFormat":null,"featureType":"POINT","fieldInfos":[{"name":"id","source":"0","nType":"INT32"}]},"nextNodes":["WebSocketClientSender"],"reader":{"className":"com.supermap.bdt.streaming.formatter.GeoJsonFormatter"},"name":"WebSocketReceiver","prevNodes":[],"caption":"WebSocket接收器","className":"com.supermap.bdt.streaming.receiver.WebSocketReceiver","url":"ws://192.168.1.86:8001","description":null}}},"version":9000}

截图:

问题重现步骤: 

问题关闭原因: 内置spark集群发布 流数据服务已经走通,开始搞外部spark集群
7月 15, 2020 分类:  338次浏览 | 用户: penglai86 (5 分)
已关闭 7月 17, 2020 用户:penglai86

1个回答

0 投票
您好,您的application的cores为0,状态为waiting状态,证明一直没有获取到资源,每一个application的默认资源配置内存为4G,默认核数为机器所有核数;建议您先关闭分布式分析任务,并设置spark-defaults.conf中的资源配置
7月 16, 2020 用户: 林立勇 名扬四海 (1,030 分)

您好,spark现在可以出现application并占用cpu了,但是application的state都是exited,日志都显示job指向了

Caused by: io.netty.channel.AbstractChannel$AnnotatedConnectException: 拒绝连接: /192.168.122.1:40714
	at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
	at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
	at io.netty.channel.socket.nio.NioSocketChannel.doFinishConnect(NioSocketChannel.java:323)
	at io.netty.channel.nio.AbstractNioChannel$AbstractNioUnsafe.finishConnect(AbstractNioChannel.java:340)
	at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:633)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:580)
	at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:497)
	at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:459)
	at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858)
	at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138)

这个ip是什么ip,是否是其它虚拟网卡的ip,可以先将不用的网卡禁用
嗯,是虚拟网桥的IP,去掉了之后,调整了以下服务,内置的spark的方式走通了,现在开始搞集成外部的spark集群的方式
你好,我使用iServer 9D进行单机操作流数据的时候也出现了和你问题一样的问题,因为我是个初学者,看了你们的评论后还是不太懂具体怎么操作,如果您看到且有时间的话能告诉我解决这个问题的具体步骤吗,在这里先谢谢您了
...