Nothing is impossible for a willing heart

2015-04-30
HELLO SAMZA

What’s Samza?

Samza是由LinkedIn贡献给Apache基金会的一项开源技术,它是一个分布式流处理框架,专用于实时数据的处理,非常像Twitter的流处理系统Storm。不同的是Samza基于Hadoop,而且使用了LinkedIn自家的Kafka分布式消息系统.而目前Apache Samza已经成为Apache基金会顶级项目!总体来说Samza服务架构由数据流层(Kafka),执行层(Yarn)以及处理层(Samza API)构成。其中Yarn作为执行层,负责调度用户编写的实现了指定Smaza接口的消息流处理任务。而Kafka既是samza处理任务的消息来源,也是samza处理过程的消息中转站,同时samza架构提供了基于内存或Rocksdb的状态存储管理(KeyValueStore)。

HELLO SAMZA
Read More

2015-03-25
hexo freemind theme

Freemind主题由百度的潘伟洲大牛贡献.在此之前一直在使用另外一个非常不错主题-chenall,但是安装相当麻烦.最近偶然将hexo升级到了3.0版本,结果出现了很多问题.更悲催的是chenall目前还不能兼容3.0版本.使用chenall主题也有相当一段时间了,也想换换感觉.于是在Github上hexo themes翻了很多主题之后选中了Freemind.本文主要记录在使用Freemind主题时的一些问题与技巧!同时测试下bootstrap与markdown tag plugins的使用!

hexo freemind theme
Read More

2015-03-13
Storm架构图(转)

Read More

2014-10-23
Storm数据相关目录结构

storm集群中的角色主要有主控节点Nimbus以及工作节点Supervisor, 两者通过Zookeeper来进行交互,nimbus通过Zookeeper来发布一些指令,supervisor去读zookeeper来执行这些指令。

Storm数据相关目录结构
Read More