• 2024-08-30MIT 6.5840(6.824) Lab 4:Fault-tolerant Key/Value Service 设计实现
    1实验要求本实验旨在利用lab3中的Raft库,构建一个具备容错能力的键值存储服务。服务将作为一个复制状态机,由多个服务器组成,各服务器通过Raft协议同步数据库状态。即使在部分故障或网络隔离的情况下,只要大多数服务器正常,服务仍需继续响应客户端请求。在lab4完成后,你将实现
  • 2024-05-26Distributed Transactions Mit 6.824
    Topic1:distributedtransactions=concurrencycontrol+atomiccommit传统计划:事务程序员标记代码序列的开始/结束作为事务。事务示例x和y是银行余额——数据库表中的记录。x和y位于不同的服务器上(可能在不同的银行)。x和y开始时都是$10。T1和T2是事务。
  • 2023-12-25MIT 6.824 raft01
    Raft-分布式共识算法为什么要这么设计?横向分布式,同一个模块内部为了提高系统的吞吐量而采用的多节点。优点:1.数据备份,2.负载均衡   CAP理论一致性consistency:数据强一致,读写一致。可用性availabilty:响应快。分区容错性partitiontolerance:网络环境不可靠的背景下
  • 2023-07-23Mit 6.824 学习记录
    MapReduce实验干嘛实现一个分布式的MapReduce,由两部分组成,master和worker。一个master,多个worker。在本机运行,worker和master用rpc通信。每个worker向master索要任务,从一个或多个文件读取任务的输入,执行任务,并将任务的输出写入一个或更多文件。如果超时(10s)将工作
  • 2023-06-16【翻译】6.824 lab2 Raft (自用不负责)
    介绍这是系列实验中的第一个,您将在这些实验中构建容错键/值存储系统。在本实验中,您将实现Raft,一个复制状态机协议。在下一个实验中,您将在Raft之上构建键/值服务。然后,您将在多个复制的状态机上“共享”您的服务,以获得更高的性能。复制的服务通过将其状态(即数据)的完整副本存储
  • 2023-06-046.824 Lab1
    1例子:运行非并行版mrsequential.go运行一下cd~/6.5840cdsrc/maingobuild-buildmode=plugin../mrapps/wc.gormmr-out*gorunmrsequential.gowc.sopg*.txtmoremr-out-0运行结果2工作2.1改哪些main/mrcoordinator.go和main/mrworker.go不能修改我们只需
  • 2023-04-19【MIT 6.824】学习记录
    好像2023年这个课改名成了MIT6.5840了,nevermind学习资料Schedule知乎找到一篇笔记
  • 2023-04-10MIT 6.5840 2023 Spring(6.824)LAB1:MapReduce
    MIT6.58402023Spring(6.824)LAB1:MapReduce前言本次lab主要是完成一个基于RPC远程调用的单机单文件系统的简单MapReduce框架,并完成单词计数任务。基于golang实现,单Master,多Worker。实现worker的奔溃恢复(FaultTorrance),通过超时重新执行实现。主要的任务有,RPC调用参数及返回参数
  • 2023-03-14MIT 6.824-Lab1. MapReduce 实现思路
    参考资料MapReduce论文((20221029103443-4pqvf1n"Lecture-MapReduce"))Lab1实验文档Lab1实验文档译文任务需求在一个分布式存储系统上(实验是单机),实现coord
  • 2023-02-156.824 Lab 2
    题目:http://nil.csail.mit.edu/6.824/2022/labs/lab-raft.htmlPart2A:Leaderelection为了防止所有节点同时发起选举形成活锁,节点的超时时间需要带有随机性,论文中推荐1
  • 2023-02-156.824 Lab 3
    题目:http://nil.csail.mit.edu/6.824/2022/labs/lab-kvraft.htmlPartAPartA主要有两个场景:任务1:正常场景,没有消息丢失和节点失效任务2:异常场景,例如server失效导致消
  • 2023-02-156.824 Lab 4
    题目:http://nil.csail.mit.edu/6.824/2022/labs/lab-shard.html两个组件:replicagroups:每个group负责一部分shards;shardcontroller:决定哪一个replicagroup负责哪一个
  • 2023-02-06mit 6.824 lab1 思路贴
    前言为遵守mit的约定,这个帖子不贴太多具体的代码,主要聊聊自己在码代码时的一些想法和遇到的问题。这个实验需要我们去实现一个map-reduce的功能。实质上,这个实验分为
  • 2023-01-316.824 goland环境
    【问题】2020的project,goland有gopath路径问题参考https://stackoverflow.com/questions/68138664/golang-unexpected-directory-layout-even-with-right-directory-setu
  • 2023-01-036.824-part.1
    课前论文阅读一篇论文,我用翻译插件翻译好了,你可以在我的个人网站上拿到翻译后的PDFMapReduce好像不是一个已经存在的英文单词,或者说——是作者自己的叫法作者是Google
  • 2022-12-102022-6.824-Lab2:Raft
    0.准备工作lab地址:https://pdos.csail.mit.edu/6.824/labs/lab-raft.htmlgithub地址:https://github.com/lawliet9712/MIT-6.824论文翻译地址:https://blog.csdn.net
  • 2022-12-102022-6.824-Lab1:Map&Reduce
    lab地址:https://pdos.csail.mit.edu/6.824/labs/lab-mr.html1.介绍准备工作阅读MapReduce做什么实现一个分布式的Map-Reduce结构,在原先的代码结构中6.
  • 2022-12-08MIT 6.824实验小记
    目录lab1lab2partA实现框架框架细节代码结构体定义Follower状态Candidate状态Leader状态partBlab1TODO:个人觉得lab1没啥好说的lab2虽然论文基本都看懂了,也挺好理解
  • 2022-11-076.824 lab2
    任务完成logreplication,论文5.3基于lab2A逻辑这个网站有动画演示大致过程命令发送给leader,leader复制到本地leader将日志发给followersfollower复制到本地,返回成
  • 2022-10-256.824 lab1-MapReduce
    lab1是实现MapReduce老师完成了框架的大部分我我们只需要做的是填充哪重要的几个部分2022的官方连接https://pdos.csail.mit.edu/6.824/labs/lab-mr.html准备工作下
  • 2022-10-256.824 Frangipani
    本文重点 缓存一致性、分布式事务、分布式故障恢复设计和功能之间的关联。缓存一致性是指,如果我缓存了一些数据,之后你修改了实际数据但是并没有考虑我缓存中的数据,必须
  • 2022-10-236.824笔记3
    大规模存储分布式的底层运行着一个大型分布式存储系统,并有一套接口,评估指标包括并行性能,容错,复制,一致性数据分割并放到多个服务器上,并且需要一个自动化的容错系统,一种容
  • 2022-10-216.824笔记2
    线程为每一个prc请求使用一个线程,当请求回收的时候,线程继续运作,多线程能能够开启多个网络请求,形成io并发并行化,线程用来实现并行化异步编程,事件驱动编程,又一个线程,一个循
  • 2022-10-20MIT_6.824_LEC3_GFS_FAQ翻译
    GFSFAQQ:Whyisatomicrecordappendat-least-once,ratherthanexactlyonce?为什么记录的追加是至少一次,而不是仅仅只追加一次?Section3.1,Step7,saystha
  • 2022-08-18mit 6.824 lab2A ,raft 领导人选举实现
    lab2说明:https://pdos.csail.mit.edu/6.824/labs/lab-raft.html参考博客:https://zhuanlan.zhihu.com/p/514512060实现内容:实现Raft领导选举和心跳(AppendEntries R