Kafka-python源码学习笔记
Consumer源码解析Consumer网络模型
consumer poll解析Consumer poll 方法的真正实现是在 pollOnce() 方法中，这里直接看下其源码：
def _poll_once(self, timeout_ms, max_records):
&
...
Paxos算法学习笔记
Posted on
|
In
笔记
原文: Paxos Made Simple
Paxos算法问题描述假设有一组可以提出提案的进程集合。
一个一致性算法需要保证：在这些被提出的提案中，只有一个会被选定(Chosen)；如果，没有提案被提出，那么就不会有被选定的提案；当一个提案被选定后，进程应该可以获取被选定的提案信息(Value)。
...
Linux通用块层及iostat学习笔记
Posted on
|
In
笔记
块设备基础知识块设备操作过程
从图中可以看出，对于磁盘的一次读请求，首先经过虚拟文件系统（VFS），其次是页高速缓存（page cache），接下来是映射层（mapping layer，是具体的文件系统如ext4）、通用块层（generic block layer）、IO 调度程序（I/O sche
...
<基于存储控制器的cdp架构>论文学习笔记
Posted on
|
In
笔记
paper原文地址:https://www.research.ibm.com/haifa/projects/storage/cdp/papers/cdp_arch.pdf
概述持续数据保护(Continuous Data Protection, CDP)是一种新的存储技术，主要思想是将设备的写入记录
...
6.824分布式课程讲稿翻译-Lab2
Posted on
|
In
翻译
任务: 实现Leader选举和心跳(即不包含日志的AppendEntries RPC). Part 2A的目标是让一个Leader能被选举出来, 并在没有宕机的情况下保持Leader身份, 在这个Leader宕机或这个Leader发送/接收的包丢失时让一个新的Leader接替它. 运行go test
...
Raft论文学习笔记
Posted on
|
In
笔记
介绍
一致性算法允许一组机器像一个整体一样工作, 即使其中一些机器出现故障也能够继续工作下去, 因此一致性算法在构建可信赖的大规模软件系统中扮演着重要的角色.
过去10年里Paxos算法统治着一致性算法这一领域, 但Paxos算法十分难以理解, 且Paxos自身的算法结构需要进行大幅的修改才能够应
...
Google File System(GFS)论文学习笔记
Posted on
|
In
笔记
设计概述设计预期
预期目标:
组件失效是一种常态事件
文件普遍较大，通常在100MB以上，并要能被有效地管理(小文件需要支持，但不需要专门优化)
工作负载主要有两种读操作: 大规模流式读取和小规模随机读取
大部分文件修改是在尾部顺序追加，也支持效率不高的随机写入
并发的写操作需要使用最小的同步开销保
...
MIT 6.824分布式课程讲稿翻译 - Lec 2
Posted on
|
In
翻译
原文地址: 6.824 2017 Lecture 2: Infrastructure: RPC and threads
最经常被问到的问题: 为什么用Go?6.824过去使用的是C++, 但学生们总会把时间用在调试Bug而不是分布式系统上(例如释放了还在使用中的对象内存).
而Go能让你集中关注于分
...