delta lake API DeltaTable DeltaTable(DeltaTableOperations) executeDelete executeUpdate SQL DeltaSparkSessionExtension DeltaDataSource class DeltaDataSource extends RelationProvider with ...
分布式事务消息最终一致性解决方案
最近面试了几位开发的同学，聊到消息最终一致性方案，有的完全没用过也没看过有的用过也说不清楚，但是这个比起GTS这些，算是几年前的老话题了,如是准备再理一理： 基于本地消息服务最终一致性方案 核心： 将业务逻辑与消息记录放在同一个事务里边执行， 业务逻辑执行与消息记录一致. 1，本地业务数据处理 2.1本地消息数据处理(1+2.1需要在同一个事务)，要么成功，要么失败 2.2 ...
Delta Lake 实现Delta、Hudi、Iceberg 对比
Delta Lake Hudi 操作上 update类似insert 支持copy on Write&Read on Merge Iceberg
Flink Graph转换
transformations–>streamGraph(Operator)–>JobGraph–>ExecutionGraph StreamGraph(Operator)–>JobGraph //StreamExecutionEnvironment def execute() = javaEnv.execute() public JobExecutionResu...
Flink Join说明
Unbounded JOIN Regula/Equi-join Regularjoin,没有time相关条件？ SELECT * FROM Orders INNER JOIN Product ON Orders.productId = Product.id SELECT * FROM Orders LEFT JOIN Product ON Orders.productId = Product...
Flink NoWindowJoin原理
示例： object StreamTableExample { // ************************************************************************* // PROGRAM // **************************************************************...
FlinkSQL源码分析
基于flink-1.8, 1.9包含了blink的代码 flink SQL 示例 public static void main(String[] args) throws Exception { // check parameter if (args.length != 1) { System.err.println("P...
Flink Time Window Join原理
rules: blink: FlinkStreamRuleSets flink: FlinkRuleSets blink: StreamExecWindowJoin,StreamExecJoin RowTimeBoundedStreamJoin 继承自TimeBoundedStreamJoin，这个TimeBoundedStreamJoin(在早期名称TimeBoundedSt...
FlinkSQL
data1: (A,L-7,2019-10-06 20:41:00.001) (B,L-7,2019-10-06 20:41:05.000) (C,L-7,2019-10-29 16:12:57.999) (D,L-7,2019-10-29 16:18:31.001) data2: (A,R-2,2019-10-06 20:41:00.000) (A,R-2,2019-10-06 20:41...
Spark SQL SqlParser
解析sql生成Unresolved Logical Plan LogicalPlan有三个子类： UnaryNode 一元节点,即只有一个子节点。如 Limit、Filter 操作 BinaryNode 二元节点,即有左右子节点的二叉节点。如 Join、Union 操作 LeafNode 叶子节点,没有子节点的节点。主要用户命令类操作,如SetCommand.