1.架构设计 1.老版本master将任务直接写入zk,Work通过抢占式从zk获取任务，work与master无直接通信交互 2.新版master与work直接通信，master通过rpc远程调用将任务下发给work执行 1.1 老版(1.2.1为例)架构 1.2 新版(2.x github dev)架构 2.任务分发 2.1 老版任务分发 2.1.1 master将任务提交给...
RocketMQ 最大消费次数maxReconsumeTimes
默认事务消息最大次数transactionCheckMax=15，以及间隔时间transactionCheckInterval=60*1000 /** * The maximum number of times the message was checked, if exceed this value, this message will be discarded. ...
记一次Aviator使用不当导致的线上OOM
问题描述 是的,没错,正如题中所说是Aviator使用不当造成的OOM,为何使用不当后边说 项目上线几个月了,发现云平台时不时会重启server,一般出现在某些高峰期，比如早上7-9点,晚上12点 通过-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath,配置可以获取到dump文件 发现每次dump都是自带监控产生的oom，自带监...
raft/hashicorp raft实现源码笔记
apply case LogCommand: start := time.Now() resp = r.fsm.Apply(req.log) metrics.MeasureSince([]string{"raft", "fsm", "apply"}, start) // func (c *FSM) Apply(log *raft.Log) interface{} { buf...
Kafka Raft& Kafka3 源码剖析合集
Kafka3 kraft源码剖析合集 . Kafka3.x 请求处理Apis . Kafka3.x 元数据MetadataCache . Kafka 3.x Kraft 实现源码分析 . Kafka如何保证消息的可靠性 kafka 0.9 0.10 源码剖析合集 选举时序图1 选举时序图2 raft loop KIP-595: A Raft Protocol for t...
Flink CheckPoint实现
生成Graph的时候，依据checkpoint的配置，会注册一个JobStatusListener， ExecutionGraphBuilder.buildGraph-->executionGraph.enableCheckpointing // // interval of max long value indicates disable periodic checkpoint,...
Flink Exactly-Once
source 端 checkpoint后 kafka consumer提交offset, FlinkKafkaConsumerBase.notifyCheckpointComplete–>fetcher.commitInternalOffsetsToKafka–> AbstractFetcher.doCommitInternalOffsetsToKafka public...
Structured Streaming VS Flink
再记录下spark以及flink的一些差异 实时处理方面 spark 这里只关注structured streaming,因为工作中以sss为主，sss通常还是micro batch， 默认100 milliseconds， 但是在since Spark 2.3引入新的Continuous Processing，这个老实说感觉挺鸡勒的 sss在多流...
Kafka事务性实现
KIP-98 - Exactly Once Delivery and Transactional Messaging 事务消息示例： // Init transactions call should always happen first in order to clear zombie transactions from previous generation. //1. 初始事务 ...