什么时候Commit 当follow append log后返回leader,再次调用maybeCommit()时，第一次调用时由于follow都没有append log 半数或以上的计算是将所有的index排序后，取中间的index的大小比较？以下是过半数逻辑的优化pr: r.quorum()取半数以上 func (r *raft) quorum() int { return l...
Flink Yarn Session的启动
bin/yarn-session.sh -n 3 -s 4 -jm 4096m -tm 4096m -nm flink-1.6.0 –d 脚本yarn-session.sh的内容 bin=`dirname "$0"` bin=`cd "$bin"; pwd` # get Flink config . "$bin"/config.sh if [ "$FLINK_IDENT_STRING"...
Flink jobmanager&taskmanager的启动
YarnApplicationMasterRunner–>run()–>runApplicationMaster() // 2: the JobManager LOG.debug("Starting JobManager actor"); // we start the JobManager with its standard name ActorRef jobManager ...
抓包分析工具ngrep
安装配置 wget http://nchc.dl.sourceforge.net/sourceforge/ngrep/ngrep-1.45.tar.bz2 bzip2 -d ngrep-1.45.tar.bz2 tar xvf ngrep-1.45.tar cd ngrep-1.45 yum install libpcap libpcap-devel -y ./configure --wi...
Hive源码流程分析
主要流程 词法分析，生成AST树，ParseDriver完成。 分析AST树，AST拆分成查询子块，信息记录在QB，这个QB在下面几个阶段都需要用到，SemanticAnalyzer.doPhase1完成。 从metastore中获取表的信息，SemanticAnalyzer.getMetaData完成。 生成逻辑执行计划，SemanticAnalyzer.genPlan完成。 优...
druid & imply 入门实战
安装配置 首先安装 zookeeper,并启动 tar zxvf zookeeper-3.4.6.tar.gz cd zookeeper-3.4.6 cp conf/zoo_sample.cfg conf/zoo.cfg bin/zkServer.sh start 安装druid curl -O http://static.druid.io/artifacts/release...
Flink On Yarn
配置环境变量HADOOP_CONF_DIR,将yarn的配置文件解压在此目录 export HADOOP_CONF_DIR=/opt/soft/yarn-conf start yarn-session ./yarn-session.sh -n 8 -s 8 -jm 1024 -tm 1024 -nm flink –d Submit a job to YARN wget -O LI...
Python Iterator TypeError: object of type 'listiterator' has no len()
在计算的len的时候碰到 TypeError: object of type 'listiterator' has no len() 说明这个对象是个iterator，是没有len的，翻了下google 普遍的做法是使用len(list(iterator)) >>> l1 = [1, 2, 3] >>> it = iter(l1) >>...
pyspider爬取并解析网页中table数据的例子
主要爬取一些第三方接口参数，字段，说明信息，有很多个下面这种类似的页面，这些都是table数据 <table class="confluenceTable"> <colgroup> <col style="width: 130.0px;" /> <col style="width: 77.0px;" /> ...
pyspider爬取豆瓣电影
安装 略 pip install pyspider 使用mysql替换SQLite $ cat mysql.json { "taskdb": "mysql+taskdb://canal:canal@172.28.3.159:3306/pyspider", "projectdb": "mysql+projectdb://canal:canal@172.28.3.159:3306...