为了熟悉go语言，顺便了解一下MapReduce，花一个上午将go的调试功能配置好，下午将MIT的6.824课程的MapReduce功能实现了一遍，一次就把全部案例跑通过了，有点出乎意料的好。准备工作配置go的调试功能dlv，刚开始使用默认的modeauto，实际使用的是debug，无论怎样都成功不了。launch.json:

1实验要求本实验旨在利用lab3中的Raft库，构建一个具备容错能力的键值存储服务。服务将作为一个复制状态机，由多个服务器组成，各服务器通过Raft协议同步数据库状态。即使在部分故障或网络隔离的情况下，只要大多数服务器正常，服务仍需继续响应客户端请求。在lab4完成后，你将实现

Topic1：distributedtransactions=concurrencycontrol+atomiccommit传统计划：事务程序员标记代码序列的开始/结束作为事务。事务示例x和y是银行余额——数据库表中的记录。x和y位于不同的服务器上（可能在不同的银行）。x和y开始时都是$10。T1和T2是事务。

Raft-分布式共识算法为什么要这么设计？横向分布式，同一个模块内部为了提高系统的吞吐量而采用的多节点。优点：1.数据备份，2.负载均衡   CAP理论一致性consistency：数据强一致，读写一致。可用性availabilty：响应快。分区容错性partitiontolerance:网络环境不可靠的背景下

MapReduce实验干嘛实现一个分布式的MapReduce，由两部分组成，master和worker。一个master，多个worker。在本机运行，worker和master用rpc通信。每个worker向master索要任务，从一个或多个文件读取任务的输入，执行任务，并将任务的输出写入一个或更多文件。如果超时（10s）将工作

介绍这是系列实验中的第一个，您将在这些实验中构建容错键/值存储系统。在本实验中，您将实现Raft，一个复制状态机协议。在下一个实验中，您将在Raft之上构建键/值服务。然后，您将在多个复制的状态机上“共享”您的服务，以获得更高的性能。复制的服务通过将其状态(即数据)的完整副本存储

1例子：运行非并行版mrsequential.go运行一下cd~/6.5840cdsrc/maingobuild-buildmode=plugin../mrapps/wc.gormmr-out*gorunmrsequential.gowc.sopg*.txtmoremr-out-0运行结果2工作2.1改哪些main/mrcoordinator.go和main/mrworker.go不能修改我们只需

好像2023年这个课改名成了MIT6.5840了，nevermind学习资料Schedule知乎找到一篇笔记

MIT6.58402023Spring（6.824）LAB1：MapReduce前言本次lab主要是完成一个基于RPC远程调用的单机单文件系统的简单MapReduce框架，并完成单词计数任务。基于golang实现，单Master，多Worker。实现worker的奔溃恢复（FaultTorrance），通过超时重新执行实现。主要的任务有，RPC调用参数及返回参数

参考资料MapReduce论文((20221029103443-4pqvf1n"Lecture-MapReduce"))Lab1实验文档Lab1实验文档译文任务需求在一个分布式存储系统上（实验是单机），实现coord

题目：http://nil.csail.mit.edu/6.824/2022/labs/lab-raft.htmlPart2A:Leaderelection为了防止所有节点同时发起选举形成活锁，节点的超时时间需要带有随机性，论文中推荐1

题目：http://nil.csail.mit.edu/6.824/2022/labs/lab-kvraft.htmlPartAPartA主要有两个场景：任务1：正常场景，没有消息丢失和节点失效任务2：异常场景，例如server失效导致消

题目：http://nil.csail.mit.edu/6.824/2022/labs/lab-shard.html两个组件：replicagroups：每个group负责一部分shards；shardcontroller：决定哪一个replicagroup负责哪一个

前言为遵守mit的约定，这个帖子不贴太多具体的代码，主要聊聊自己在码代码时的一些想法和遇到的问题。这个实验需要我们去实现一个map-reduce的功能。实质上，这个实验分为

【问题】2020的project，goland有gopath路径问题参考https://stackoverflow.com/questions/68138664/golang-unexpected-directory-layout-even-with-right-directory-setu

课前论文阅读一篇论文，我用翻译插件翻译好了，你可以在我的个人网站上拿到翻译后的PDFMapReduce好像不是一个已经存在的英文单词，或者说——是作者自己的叫法作者是Google

0.准备工作lab地址：https://pdos.csail.mit.edu/6.824/labs/lab-raft.htmlgithub地址：https://github.com/lawliet9712/MIT-6.824论文翻译地址：https://blog.csdn.net

lab地址：https://pdos.csail.mit.edu/6.824/labs/lab-mr.html1.介绍准备工作阅读MapReduce做什么实现一个分布式的Map-Reduce结构，在原先的代码结构中6.

目录lab1lab2partA实现框架框架细节代码结构体定义Follower状态Candidate状态Leader状态partBlab1TODO:个人觉得lab1没啥好说的lab2虽然论文基本都看懂了，也挺好理解

任务完成logreplication，论文5.3基于lab2A逻辑这个网站有动画演示大致过程命令发送给leader，leader复制到本地leader将日志发给followersfollower复制到本地，返回成

lab1是实现MapReduce老师完成了框架的大部分我我们只需要做的是填充哪重要的几个部分2022的官方连接https://pdos.csail.mit.edu/6.824/labs/lab-mr.html准备工作下

本文重点 缓存一致性、分布式事务、分布式故障恢复设计和功能之间的关联。缓存一致性是指，如果我缓存了一些数据，之后你修改了实际数据但是并没有考虑我缓存中的数据，必须

大规模存储分布式的底层运行着一个大型分布式存储系统，并有一套接口，评估指标包括并行性能，容错，复制，一致性数据分割并放到多个服务器上，并且需要一个自动化的容错系统，一种容

线程为每一个prc请求使用一个线程，当请求回收的时候，线程继续运作，多线程能能够开启多个网络请求，形成io并发并行化，线程用来实现并行化异步编程，事件驱动编程，又一个线程，一个循

GFSFAQQ:Whyisatomicrecordappendat-least-once,ratherthanexactlyonce?为什么记录的追加是至少一次,而不是仅仅只追加一次？Section3.1,Step7,saystha