• 2024-07-0530个Linux运维面试题,面试一线大厂必备!
    在本文中,我们将讨论30个Linux系统管理员面试问题以及经验丰富的专业人士的答案。(1)为什么需要LVM?LVM(Logicalvolumemanagement)推荐使用LVM管理linux服务器上的磁盘或存储,可以在线调整LVM分区的大小,而不用停止服务器。(2)如何检查内存和CPU统计信息?使
  • 2024-06-24响应式架构
    介绍响应式架构(ReactiveArchitecture)是一种面向服务和事件的系统设计方法,旨在提高系统的可扩展性、弹性和容错能力。它适用于构建分布式系统,特别是在云环境和微服务架构中。响应式架构的核心理念是通过事件驱动和数据流来实现各个组件之间的解耦,从而提高整个系统的响应能
  • 2024-06-17Flink - [07] 容错机制
    题记部分 一、一致性检查点  Flink故障恢复机制的核心,就是应用状态的一致性检查点。有状态流应用的一致性检查点,其实就是所有任务的状态,在某个时间点的一份拷贝(一份快照);这个时间点,应该是所有任务都恰好处理完一个相同的输入数据的时候。 二、从检查点恢复状态  在
  • 2024-06-15Flink快照容错处理
    通过状态快照实现容错处理#StateBackends#由Flink管理的keyedstate是一种分片的键/值存储,每个keyedstate的工作副本都保存在负责该键的taskmanager本地中。另外,Operatorstate也保存在机器节点本地。Flink定期获取所有状态的快照,并将这些快照复制到持久化的位置,
  • 2024-06-03flink状态和容错
    flink状态与容错容错:在服务器出现问题的情况下,还可以保证数据不丢失(在出错误的情况下,还能保证一个数据只被处理一次)checkpoint为了保证flink的容错,需要为状态添加checkpoint(检查点)。checkpoint使得flink能够恢复状态和在流中的位置,从而向应用提供和无故障执行时一样的语义
  • 2024-06-032024.06 面试准备
     常用名词解释 1.Dubbo与Feign的区别【yh:用的是dobbo,因为高并发考虑】1.1相同点:常见的实现远程调用的方式:Http接口(web接口、RestTemplate+Okhttp)、Feign、RPC调用(Dubbo、Socket编程)、Webservice。1.2不同点Dubbo:支持多传输协议(Dubbo、Rmi、http、redis等等),适合数
  • 2024-05-26微服务容错实战之openfeign
    Netflix开源软件套件(NetflixOpenSourceSoftware,简称NetflixOSS)是Netflix公司开源的一系列优秀的软件工具和框架,用于构建高性能、可扩展、弹性和可靠的分布式系统。提供了丰富的工具和解决方案,如Eureka、Feign、Ribbon、Hystrix、Zuul等。这里我们借助Feign、Ribbon和Hystrix
  • 2024-05-23DolphinScheduler 3.3.0版本更新一览
    ApacheDolphinScheduler即将迎来3.3.0版本的发布,届时将有一系列重要的更新和改进。在近期的社区5月份用户线上分享会上,项目PMC阮文俊为大家介绍了3.3.0版本将带来的主要更新和改进,并为大家指出了如何参与社区的方式。什么是DolphinScheduler?DolphinScheduler是一个开源的项目,
  • 2024-03-19openGauss Copy接口支持容错机制
    Copy接口支持容错机制可获得性本特性自openGauss1.0.0版本开始引入。特性简介支持将Copy过程中的部分错误导入到指定的错误表中,并且保持Copy过程不被中断。客户价值提升Copy功能的可用性和易用性,提升对于源数据格式异常等常见错误的容忍性和鲁棒性。特性描述openGauss提
  • 2024-03-14探索谷歌的秘密花园:Google文件系统GFS之旅(Google File System)
    文章目录
  • 2024-02-102024/2/10学习进度笔记
    RDD,学名可伸缩的分布式数据集(ResilientDistributedDataset)。是一种对数据集形态的抽象,基于此抽象,使用者可以在集群中执行一系列计算,而不用将中间结果落盘。而这正是之前MR抽象的一个重要痛点,每一个步骤都需要落盘,使得不必要的开销很高。对于分布式系统,容错支持是必不可少的。
  • 2024-01-29Flink 中的容错机制
    在Flink中,有一套完整的容错机制来保证故障后的恢复,其中最重要的就是检查点。1.检查点(Checkpoint)在流处理中,我们可以用存档读档的思路,就是将之前某个时间点所有的状态保存下来,这份“存档”就是所谓的“检查点”(checkpoint)。遇到故障重启的时候,我们可以从检查点中“读档”,恢复
  • 2024-01-19【Spring Cloud】微服务架构演变及微服务架构介绍
    文章目录系统架构演变单体应用架构垂直应用架构分布式架构SOA架构微服务架构微服务架构介绍微服务架构的常见问题微服务架构的常见概念服务治理服务调用服务网关服务容错链路追踪微服务架构的常见解决方案ServiceCombSpringCloudSpringCloudAlibaba总结欢迎来到阿Q社区系统架
  • 2024-01-15高可用和容错技术
    高可用技术1.1负载均衡技术硬件负载均衡器常见的硬件负载均衡器包括:F5BIG-IP系列:F5是市场上最常用的硬件负载均衡器之一。它提供了高可用性、性能优化和安全性等功能,广泛应用于企业级和云环境。CitrixNetScaler系列:Citrix的NetScaler系列产品也是常用的硬件负载均衡器之一。它提
  • 2024-01-14探索二维码:让信息传递更便捷
    二维码是一种用于储存信息的方形图形编码,它可以在多种场景中实现信息的快速传递和识别。本文将从多个方面介绍二维码的原理、类型、优势及应用场景,帮助您深入了解这一重要的物联网技术。二维码生成器|一个覆盖广泛主题工具的高效在线平台(amd794.com)https://amd794.com/q
  • 2023-12-23短视频app开发,集群容错策略的代码分析
    短视频app开发,集群容错策略的代码分析1FailoverFailover故障转移策略作为默认策略,当短视频app开发中的消费发生异常时通过负载均衡策略再选择一个生产者节点进行调用,直到达到重试次数。即使业务代码没有显示重试,也有可能多次执行消费逻辑从而造成重复数据:publicclass
  • 2023-11-18Nginx+upstream针对后端服务器容错的配置说明
    Nginx+upstream针对后端服务器容错的配置说明  熟练掌握Nginx负载均衡的使用对运维人员来说是极其重要的!下面针对Nignx负载均衡upstream容错机制的使用做一梳理性说明:一、nginx的upstream容错1)nginx判断节点失效状态Nginx默认判断失败节点状态以connectrefuse和timeou
  • 2023-11-16Hytrix容错保护
    服务降级,熔断与限流服务雪崩一条服务链上可能有多个服务,每个服务若干节点,若其中一个节点故障,上游请求打到故障的节点,加入请求一直阻塞,大量堆积的请求可能会导致服务崩溃。这就是服务雪崩什么是HystrixHystrix是Netflix的一个重要组件,提供了断路器、资源隔离与自我修复功能
  • 2023-10-19软件容错技术
           
  • 2023-09-21什么是分布式系统
    分布式系统是由多个独立计算机或服务器组成的系统,这些计算机或服务器通过网络进行通信和协作,共同完成一个或多个任务。分布式系统的设计目标是提高系统的可靠性、可扩展性、性能和容错性。在分布式系统中,各个计算机或服务器被称为节点,它们可以是物理机器、虚拟机、容器等。这些节
  • 2023-09-03flink教程:flink的有界、无界数据流、流批一体、容错能力等概念
    能否详细解释一下其中的数据流、流批一体、容错能力等概念?概述数据流:所有产生的数据都天然带有时间概念,把事件按照时间顺序排列起来,就形成了一个事件流,也被称作数据流。流批一体:首先必须先明白什么是有界数据和无界数据有界数据,就是在一个确定的时间范围内的数据流,有开始,
  • 2023-08-23OS(十六):文件管理之文件共享与保护
    文件共享:允许多个用户共享同一份文件,系统只需保留该共享文件的一份副本。1、基于索引节点的共享方式文件的物理地址及其它的文件属性属性,存放在索引节点中,文件目录中只设置文件名及指向相应索引节点的指针。 在索引节点中有一个链接计数count,表示链接到本索引结
  • 2023-08-22爬虫异常处理:异常捕获与容错机制设计
    作为一名专业的爬虫程序员,每天使用爬虫IP面对各种异常情况是我们每天都会遇到的事情。在爬取数据的过程中,我们经常会遇到网络错误、页面结构变化、被反爬虫机制拦截等问题。在这篇文章中,我将和大家分享一些关于如何处理爬虫异常情况的经验和技巧。通过异常捕获和容错机制的设计,我们
  • 2023-08-16浪潮信息开源全球首个自动并行 高容错 低延时自动驾驶计算框架AutoDRRT
    近日,2023年开放计算中国社区技术峰会(OCPChinaDay2023)在北京举行。会上,浪潮信息正式发布自动驾驶计算方案AutoDRRT(AutonomousDrivingDistributedRobustReal-Time)开源计划,为提升自动驾驶系统的自动分布式并行、高容错、低延时能力提供开源、高效的计算框架。AutoDRRT是全球首
  • 2023-08-13第四章 Sentinel--服务容错
    4.1高并发带来的问题在微服务架构中,我们将业务拆分成一个个的服务,服务与服务之间可以相互调用,但是由于网络原因或者自身的原因,服务并不能保证服务的100%可用,如果单个服务出现问题,调用这个服务就会出现网络延迟,此时若有大量的网络涌入,会形成任务堆积,最终导致服务瘫痪。接下来,