• 2024-11-14[LeetCode] 2064. Minimized Maximum of Products Distributed to Any Store
    Youaregivenanintegernindicatingtherearenspecialtyretailstores.Therearemproducttypesofvaryingamounts,whicharegivenasa0-indexedintegerarrayquantities,wherequantities[i]representsthenumberofproductsoftheithproducttype
  • 2024-11-13Principles of Distributed Ledgers
    PrinciplesofDistributedLedgers:CourseworkObjectiveTheobjectiveofthiscourseworkistodevelopaSoliditycontract,HumanResources,whichimplementsahumanresources(HR)paymentsystemandtodeployitonOptimism.Thiscontractwillenableahum
  • 2024-10-04Migrate SQL Server to AWS & Azure & Huawei Cloud
    MigrateSQLServertoAWSMicrosoftSQLServerAlwaysOnavailabilitygroupsprovideahighavailability(HA)anddisasterrecovery(DR)solutionforSQLServer.Anavailabilitygroupconsistsofaprimaryreplicathatacceptsread/writetraffic,andup
  • 2024-10-0128_分布式文档系统_阶段性总结以及什么是distributed document store
    1、阶段性总结1~8讲:快速入门了一下,最基本的原理,最基本的操作9~13讲:在入门之后,对ES的分布式的基本原理,进行了相对深入一些的剖析14~27讲:围绕着document这个东西,进行操作,进行讲解和分析2、什么是distributeddocumentstore到目前为止,你觉得你在学什么东西,给大家一个直观的感觉
  • 2024-09-25大数据-142 - ClickHouse 集群 副本和分片 Distributed 附带案例演示
    点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)Flink(已更完)ClickHouse(正在更新···)章节内容上节我们完成了如下的内容:副本和分片,上节主要是
  • 2024-09-07Distributed Training: DeepSpeed ZeRO 1/2/3 + Accelerate, Megatron-LM
    1IntroductionGithub:https://github.com/microsoft/DeepSpeedZeRO:MemoryOptimizationsTowardTrainingTrillionParameterModelsZeRO-Offload:DemocratizingBillion-ScaleModelTrainingZeRO-Infinity:BreakingtheGPUMemoryWallforExtremeScaleDee
  • 2024-07-23无法序列化 HighLevelGraph 类型的对象
    我编写的代码如下,importdask.arrayasdafromdistributedimportClientremote_server='localhost:8786'client=Client(remote_server)rows,cols=4123,4123chunk_rows,chunk_cols=1024,1024matrix1=da.random.random(size=(rows,cols),chun
  • 2024-07-21Redis Distributed Lock
    Author:ACatSmilingSince:2024-07-21概述锁的种类:单机版:同一个JVM虚拟机内,使用Synchronized或者Lock接口。分布式:多个不同的JVM虚拟机,单机版的线程锁机制不再起作用,资源类需要在不同的服务器之间共享。Synchronized或者Lock接口,二者都是JVM级别的锁,对于单
  • 2024-07-13PyTorch 分布式使用方式及代码解析
    一、PyTorch分布式DP与DDP1.1 PyTorch分布式支持数据并行 模型并行​​​​​​1.2 PyTorch分布式调用-DP 1.3 PyTorch分布式调用-DDP 1.4 PyTorch分布式-通信后端 gloo:具有各种原语的集体通信库,用于多机训练。Facebook
  • 2024-06-09TiDB Distributed NewSQL Database
    TiDB的全称是TiDBDistributedNewSQLDatabase,即TiDB分布式NewSQL数据库。它是一个开源的分布式关系型数据库,结合了传统关系型数据库(RDBMS)的ACID事务特性以及NoSQL数据库的分布式水平扩展能力。通过TiDB,用户可以像使用MySQL一样执行SQL查询,而TiDB的分布式架构则
  • 2024-05-26Distributed Transactions Mit 6.824
    Topic1:distributedtransactions=concurrencycontrol+atomiccommit传统计划:事务程序员标记代码序列的开始/结束作为事务。事务示例x和y是银行余额——数据库表中的记录。x和y位于不同的服务器上(可能在不同的银行)。x和y开始时都是$10。T1和T2是事务。
  • 2024-04-04Microservice - Distributed Transactions Based on Saga and Kafka in Practice
       
  • 2024-04-03Microservice - Solution Selection for Distributed Transaction Framework
      
  • 2024-03-20集中式注册表(Centralized Registry)分布式注册表(Distributed Registry)
    集中式注册表(CentralizedRegistry)是指在计算机系统中,将多个应用程序或服务的配置信息、参数设置等数据集中存储在一个统一的注册表中的管理方式。在Windows操作系统中,注册表(Registry)就是一个典型的集中式注册表系统。作用:统一管理:集中式注册表可以让多个应用程序共享同一份
  • 2024-03-14猫头虎分享已解决Bug || 分布式文件系统问题(Distributed File System Issue):DFSUnavailability, FileSystemSyncError
    博主猫头虎的技术世界
  • 2024-03-06关于debezium。kafka和sqlserver的数据同步
    直接在官网下载sqlserver的插件。DebeziumReleaseSeries2.5 下载完后将这个插件解压到linux里面。路径其实是无所谓的,我在kafka目录下,创建了一个connect目录,专门放置这些插件 然后去kafka的config目录下,修改connect-distributed.properties文件主要修改这几个点:kafka
  • 2024-02-15tensorflow distributed training in tfx pipeline run by kubeflow
    1.deployworker,parameterserveronkubernetescluster1.1buildcontainerimageofworker,parameterserver$gitclonehttps://github.com/tensorflow/ecosystem.git$cdecosystem/distribution_strategy$sudonerdctlbuild--no-cache-ttf_std_server:
  • 2024-01-27分布式训练Distributed training
    motivation为什么需要分布式训练?随着模型规模和参数量的增大,对硬件的要求也变大(算力、内存)。现实困境是单一设备有内存墙(模型需要的运算量提高很快→需要研发AI硬件(提高硬件的峰值算力)→简化或者删除其他部分(例如内存的分层架构))最新模型训练的瓶颈(特别是对NLP和推荐系统相
  • 2024-01-16Paper Reading: SoK: Data Sovereignty
    Abstract去中⼼化⾝份去中⼼化访问控制符合政策的去中⼼化计算((i)decentralizedidentity,(ii)decentralizedaccesscontrol(iii)policy-compliantdecentralizedcomputation)1.Intro虽然去中⼼化⾝份允许⽤⼾通过了解密钥来披露敏感信息,但能够控制数据访问和处理⽅
  • 2024-01-15Adaptively sharing multi-levels of distributed representations in multi-task learning
    期刊:InformationSciences”(Wang等,2022,p.226)计算机科学1区top。2022年题目:“多任务学习中自适应共享多级分布式表示”(pdf)“Adaptivelysharingmulti-levelsofdistributedrepresentationsinmulti-tasklearning”(Wang等,2022,p.226)(pd
  • 2023-11-2411.24日记
    前面有提到MapReduce框架采用非循环式的数据流模型,把中间结果写入到HDFS中,带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。因此出现了RDD这个概念。RDD(ResilientDistributedDataset)叫做弹性
  • 2023-10-21[swin-trans]分布式训练的debug:ValueError: Error initializing torch.distributed using env:// rendezvous: en
    在用torch.distributed.init_process_group(backend='nccl',init_method='env://',world_size=world_size,rank=rank)时,出现1、ValueError:Errorinitializingtorch.distributedusingenv://rendezvous:environmentvariableMASTER_ADDRexpected,b
  • 2023-10-20distributed-programming-in-java
    WEEK11MAP-REDUCEHADOOP K-VpairSparkResilientdistributeddatasetPageRankRank(B)=sum(Rank(A)/DEST_COUNT(A)) Week2SocketJVM_A->JVM_Bb:serversocketa: bSocket.accept().a.getInputStream()a,getOutputStream a:Socketa.getInputs
  • 2023-10-16google三驾马车之一:Bigtable解读(英文版)
    本文重点关注了系统设计相关的内容,paper后半部分的具体应用此处没有过多涉及。从个人笔记修改而来,因此为英文版本。Bigtable:ADistributedStorageSystemforStructuredDataDatamodel:notarelationaldatamodelABigtableisasparse,distributed,persistentmul
  • 2023-09-30the useage of edas
    EnterpriseDistributedApplicationService-AnOverviewOverthelastdecade, AlibabaCloud hascontinuouslyintroducedseveralenterprise-levelmiddlewaresolutions.Thesemiddlewareproductshaveestablishedthemselvesasleadingtoolsduetotheimpecc