- 2024-09-25MIT6.824 课程-Aurora
Aurora原文:https://xie.infoq.cn/article/09849d56c3b18064af6c7f857搬运用于参考学习ABSTRACTAmazonAurora是一个关系型数据库服务,其作为AmazonWebServices(AWS)的一部分为OLTP业务提供服务。本文描述了Aurora的体系结构以及设计该结构时的一些思考。我们认为高吞
- 2024-09-10MIT6.824 课程-Raft
FaultTolerance-Raft容错模式我们已经学习了以下几种容错模式(fault-tolerancepattern):计算冗余:MapReduce,但是所有计算由单点Master进行调度。数据冗余:GFS,也是依赖单点Master来对多个副本进行选主。服务冗余:VMware-FT依赖单个TestAndSet操作可以看出他们都依赖单
- 2024-09-10MIT6.824 课程-GFS
GFS原文:https://zhuanlan.zhihu.com/p/113161014搬运用于参考学习概述存储(Storage)是一个非常关键的抽象,用途广泛。GFS论文还提到了很多关于容错、备份和一致性的问题。GFS本身是Google内部一个很成功的实用系统,其关键点被很好的组织到一块发表成为了学术论文,从硬件到
- 2024-09-10MIT6.824 课程-PrimaryBackupReplication
PrimaryBackupReplication背景为实现可容错的服务器,主从备份是一种常用的解决方案:在开启了主动备份的系统中,备份服务器的状态需要在几乎任何时候都与主服务器保持一致,这样当主服务器失效后备份服务器才能立刻接管。实现主备间的状态同步主要包括以下两种方式:StateTransfer(
- 2024-09-10MIT6.824 课程-MapReduce
MapReduce:在大型集群上简化数据处理概要MapReduce是一种编程模型,它是一种用于处理和生成大型数据集的实现。用户通过指定一个用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合。然后,再指定一个reduce函数,它用来合并所有的具有相同中间key的中间value。现实生活中
- 2024-05-27spanner,mit6.824论文解读
为什么选择这篇论文(GoogleSpanner,OSDI2012)?宽域分布式事务的罕见示例。非常理想。但是二阶段提交被视为太慢并且容易阻塞。宽域同步复制的罕见示例。巧妙的想法:通过Paxos进行的两阶段提交。同步时间用于快速只读事务。在Google内部广泛使用。动机用例是什么?
- 2024-02-04mit6.824lab2D-Debug记录
1.死锁要提交快照的时候由于没有人取走applyCh通道里面的东西,导致死锁。具体解释:2D的测试代码中在日志达到一定大小时会调用snapshot,该函数需要申请rf.mu这个互斥锁。而在提交普通的日志条目时,错误地没有先释放锁,导致snapshot无法进行下去,相关的进程卡在rf.mu这个锁上,无法完成
- 2023-11-26MIT6.824 笔记:Lab2 Raft
MIT6.824笔记:Lab2Raft环境配置goland环境配置同级目录下其他包无法引用,需要修改相关参数
- 2023-10-08mit6.824lab2B raft
lab2b的内容主要是关于raft之中日志存储,相较于上一个2a的话,这一个部分主要实现的是日志的同步性以及当集群中存在较大规模断连之后的重新选举Leader。2023/10/822:10目前实现的结果是通过了一部分测试,但是对于TestFailNoAgree2B这个测试有通过的问题。在最后的显示出结果上是:l
- 2023-10-06mit6.824lab2A-Raft
写在前面最近更新的可能会比较慢,因为分布式系统这个部分到目前还是为爱发电。上个月是在开学考试的阶段,接下来可能会受一些项目或者学习课程安排上的影响,不过这个内容会坚持下去的。lab2A的内容主要是关于Raft中server选举的实现,论文中的Figure2以伪代码的格式给出了很多较为详
- 2023-03-13mit6.824 raft
lab2A这部分的内容是用来实现leaderelection过程,按照解释,每个节点创建之初都为follower都会有一个超时时间,超时之后我们进入leaderelection状态。过程需要currentTIme+
- 2022-10-24MIT6.824-Distributed System
Goversion:1.13.6wgethttps://dl.google.com/go/go1.13.6.linux-amd64.tar.gzsudotar-C/usr/local-xvfgo1.13-.6.linux-amd64.tar.gzsudonano~/.profile在
- 2022-10-21MIT6.824_LEC3_GFS_Outline
为什么我们要阅读GFS论文?分布式存储是关键的抽象概念接口和语法应该是怎样的?内部是怎么运行的?GFS论文对6.824这门课的很多主题有指导意义并行性能容错副本
- 2022-09-26MIT6.824 Distributed-System(Lab1)-MapReduce
Labaddress:http://nil.csail.mit.edu/6.824/2020/labs/lab-mr.htmlpaper:MapReduce:SimplifiedDataProcessingonLargeClustersJob:Yourjobistoimplement