hadoop_windows

Unable to find native drivers in HADOOP_HOME. Please, refer to Hadoop Wiki for more details.

link

配置环境变量 包括java和hadoop的注意一点尽量不要有空格否则在
java -version
hadoop version 的时候回报错 java_home incorrect

log-drive一次 java.io.IOException Connection reset by peer 故障排查

转载地址: https://mengkang.net/1118.html

我的弹幕服务，代码换了个环境运行，虽然服务可用，但是发现出现了如下情况，基本1秒输出来一次：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
java.io.IOException: Connection reset by peer
  at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
  at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
  at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
  at sun.nio.ch.IOUtil.read(IOUtil.java:192)
  at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
  at io.netty.buffer.PooledUnsafeDirectByteBuf.setBytes(PooledUnsafeDirectByteBuf.java:311)
  at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:853)
  at io.netty.buffer.WrappedByteBuf.writeBytes(WrappedByteBuf.java:641)
  at io.netty.channel.socket.nio.NioSocketChannel.doReadBytes(NioSocketChannel.java:240)
  at io.netty.channel.nio.AbstractNioByteChannel$NioByteUnsafe.read(AbstractNioByteChannel.java:115)
  at io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:514)
  at io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:471)
  at io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:385)
  at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:351)
  at io.netty.util.concurrent.SingleThreadEventExecutor$2.run(SingleThreadEventExecutor.java:116)
  at io.netty.util.internal.chmv8.ForkJoinTask$RunnableExecuteAction.exec(ForkJoinTask.java:1412)
  at io.netty.util.internal.chmv8.ForkJoinTask.doExec(ForkJoinTask.java:280)
  at io.netty.util.internal.chmv8.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:877)
  at io.netty.util.internal.chmv8.ForkJoinPool.scan(ForkJoinPool.java:1706)
  at io.netty.util.internal.chmv8.ForkJoinPool.runWorker(ForkJoinPool.java:1661)
  at io.netty.util.internal.chmv8.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:126)

搭建单机kafka选型

  • 选择docker容器内集成 kafka,zookeeper 的容器 

    1
    2
    ## 找到的这个 容器设置了 kafka的hostname和 zookeeper的ip ,
     docker run -d -e ADVERTISED_HOSTNAME=$(hostname -f)  -e KAFKA_ADVERTISED_HOST_NAME=192.168.248.128 -e ZOOKEEPER_IP=192.168.248.128 -p 9092:9092 -p 2181:2181 --restart=always jrottenberg/kafka-standalone

分布式事务

转载 自 掘金: https://juejin.cn/post/6844903573667446797常用的分布式事务解决方案

众所周知，数据库能实现本地事务，也就是在同一个数据库中，你可以允许一组操作要么全都正确执行，要么全都不执行。这里特别强调了本地事务，也就是目前的数据库只能支持同一个数据库中的事务。但现在的系统往往采用微服务架构，业务系统拥有独立的数据库，因此就出现了跨多个数据库的事务需求，这种事务即为“分布式事务”。那么在目前数据库不支持跨库事务的情况下，我们应该如何实现分布式事务呢？本文首先会为大家梳理分布式事务的基本概念和理论基础，然后介绍几种目前常用的分布式事务解决方案。废话不多说，那就开始吧～