• 2025-01-06基于云效 Windows 构建环境和 Nuget 制品仓库进行 .Net 应用开发
    作者:陆冬澄、周静在现代软件研发体系中,.NET平台由于其强大的功能、灵活性和丰富的开发工具,成为了构建Windows应用程序的热门选择。无论是桌面应用、Web应用还是服务应用,.NET提供了一系列强大的框架和工具,帮助开发者高效的创建高性能、可靠的应用程序。本文将基于云效Flow
  • 2025-01-06基于云效 Windows 构建环境和 Nuget 制品仓库进行 .Net 应用开发
    作者:陆冬澄、周静在现代软件研发体系中,.NET平台由于其强大的功能、灵活性和丰富的开发工具,成为了构建Windows应用程序的热门选择。无论是桌面应用、Web应用还是服务应用,.NET提供了一系列强大的框架和工具,帮助开发者高效的创建高性能、可靠的应用程序。本文将基于云效Flow
  • 2024-12-28SonarQube+jenkins+钉钉打造质量集成管理流水线
    一、介绍与安装SonarQube是一款用于代码质量管理的开源工具,它主要用于管理源代码的质量。通过插件形式,可以支持众多计算机语言,比如java,C#,go,C/C++,PL/SQL,Cobol,JavaScrip,Groovy等。sonar可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具来检测你的代码,帮助你发
  • 2024-12-25如何做API抽象,一个在流水线上实现自缓存能力的例子
    通常每个流水线是独立执行的,每次执行的任务之间是无状态的,但是,每次任务都有输入和输出,输入是一个args是json,输出也是一个json,流水线执行环境提供了单次任务输入输出参数的持久化能力。利用这个特点,来实现一个有缓存状态的流水线执行API。首先,我们把调度平台的流水线的底层API先做
  • 2024-12-24k8s阶段10 k8s指标流水线, 自定义流水线和HPA
    1Kubernetes指标流水线资源指标Kubernetes有一些依赖于指标数据的组件,例如HPA和VPA等Kubernetes使用MetricsAPI暴露系统指标给这些组件#只暴露nodes和pods上的内存,CPU指标该API仅提供CPU和内存相关的指标数据负责支撑MetricsAPI、生成并提供指标数据的组件,成为
  • 2024-12-24【行云流水线】满足你对工作流编排的一切幻想~skr
            作者:京东零售顾铮​#**流水线模型**​众所周知,DevOps流水线(DevOpspipeline)的本质是实现自动化工作流程,用于支持软件开发、测试和部署的连续集成、交付和部署(CI/CD)实践。它是DevOps方法论的核心组成部分,旨在加速软件交付、提高质量和实现
  • 2024-12-1611.28
    另一个会导致流水线停滞的原因是计算机需要作决定。大多数情况下,在执行完一条指令后,处理器都会获取下一个内存地址中的指令继续执行。这时,多数情况下,下一条指令已经被保存在高速缓存中了。一旦流水线的第一道工序变为可用状态,指令就可以连续地进入到流水线中。但是控制转义指令略
  • 2024-12-15【Jenkins】 创建和管理任务流水线
    #自动化工作流#Jenkins#JenkinsPipeline“是否还在为了多次手动部署代码、重复测试构建而头疼?”本章节将指导您如何在Jenkins中创建和管理任务流水线(Pipeline),从而实现更复杂的自动化工作流。通过学习,您将掌握使用JenkinsPipeline的基础知识,以及如何通过代码定义流水线
  • 2024-12-15基于Filebeat打造高效日志收集流水线
    1.引言在现代的分布式系统中,日志数据的收集、存储与分析已经成为不可或缺的一部分。随着应用程序、服务和微服务架构的普及,日志数据呈现出爆炸式增长。日志不仅是系统运行的“侦探”,能够帮助我们在出现问题时进行快速排查,还能为性能调优、安全审计等方面提供宝贵的信息。
  • 2024-12-14转载:【AI系统】流水并行
    在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(ModelParallelism,MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量
  • 2024-12-14转载:【AI系统】流水并行
    在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(ModelParallelism,MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量
  • 2024-12-14转载:【AI系统】流水并行
    在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(ModelParallelism,MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量
  • 2024-12-14为什么应该尽量减少draw call?
    问题非常经典,为什么应该尽量减少DrawCall是图形渲染优化中的核心问题之一。简单来说,DrawCall的瓶颈并不仅仅是数据量,而是它对CPU/GPU协同工作和渲染流水线效率的影响。以下我们详细分析DrawCall的瓶颈来源、合并DrawCall提高效率的原因。1.什么是DrawCall
  • 2024-12-12转载:【AI系统】流水并行
    在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(ModelParallelism,MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量
  • 2024-12-12转载:【AI系统】混合并行
    混合并行(HybridParallel)是一种用于分布式计算的高级策略,它结合了数据并行和模型并行的优势,以更高效地利用计算资源,解决深度学习中的大模型训练问题。混合并行不仅能提高计算效率,还能在有限的硬件资源下处理更大的模型和数据集。在深度学习中,数据并行和模型并行各自有其适用的场景
  • 2024-12-12转载:【AI系统】流水并行
    在大模型的训练中,单个设备往往无法满足计算和存储需求,因此需要借助分布式训练技术。其中,模型并行(ModelParallelism,MP)是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行,以提高训练效率和处理更大规模的模型。模型并行主要分为朴素的模型并行、张量
  • 2024-12-09模型并行-Gpipe算法
    1.原理  与CPU的流水线的方法相同,Gpipe将模型分成多个块,每个块含有原模型的数个层。将每个块放在不同的GPU上,实现模型的流水线执行。只对模型进行切分实际上并没有达到并行的效果,因为是按照模型的层进行切分,不同层之间的前向传播和反向传播存在同步关系,所以无法并行执行。
  • 2024-12-0151单片机从入门到精通:理论与实践指南综合应用——实战篇(七)
    学完了入门篇和常用资源篇,接下来就进入了综合篇——实战篇了。大概是三个案例,写三篇博客给大家讲解,希望可以帮助大家。在生活的道路上,每一个人都会遇到挑战与困难,这些时刻或许会让前路显得模糊不清,甚至让人感到无助和迷茫。但请记住,正是这些艰难的时光塑造了更加坚强、更有智
  • 2024-12-01流水线有什么价值? 如何搭建流水线?
    前言大家好,我是老马。“大不了就进厂打螺丝”,这大概是很多人的自嘲,或者是无奈的退路。我们通常用“打螺丝”来指代一些简单、重复、机械繁琐的工作。众所周知,一件事物的复杂度是固定的,任何一个零件的加工都需要很多步骤。那么,如何让其变得简单固定呢?工厂中的流水线流水线是
  • 2024-11-30基于Jenkins构建微服务发布平台-2
    基于Jenkins构建微服务发布平台-2续——基于Jenkins构建微服务发布平台-14流水线自动发布微服务项目4.4Docker阿里云镜像加速失效解决方案在所有节点上执行。#tee/etc/docker/daemon.json<<-'EOF'{  "registry-mirrors":[      "https://do.nark.eu.org",  
  • 2024-11-30流水线并行,重计算:GPipe;1F1B(一前一后)调度机制
    目录GPipe一、GPipe的背景与目的二、GPipe的功能与特点三、GPipe的应用与效果四、GPipe的开源与可扩展性1F1B(一前一后)调度机制一、背景与基本概念二、1F1B调度机制的要求三、应用与挑战GPipe是一个基于Lingvo(Lingvo是Google基于TensorFlow二次开发的,重点针对序列
  • 2024-11-28Taro 鸿蒙技术内幕系列(四):JDImage 自研鸿蒙图片库
    作者:京东零售何骁基于Taro打造的京东鸿蒙APP已跟随鸿蒙Next系统公测,本系列文章将深入解析Taro如何实现使用React开发高性能鸿蒙应用的技术内幕背景2024年初,京东正式启动了鸿蒙APP的开发工作。由于电商APP大量依赖图片来展示商品信息,对图片库的性能和加载体验
  • 2024-11-23Hardware/Software Co-Exploration of Neural Architectures——神经架构的硬件/软件协同探索
    在一些研究工作中,探索实践与硬件平台端协同探索的方式来指导神经网络模型的结构设计优化,本文是对《Hardware/SoftwareCo-ExplorationofNeuralArchitectures》论文的阅读学习整体的论文阅读笔记,感兴趣的话可以参考下,如果想要进一步了解工作内容详情,建议移步阅读原英文论文,地
  • 2024-12-11java从入门到起飞 day03
    day03运算符和表达式运算符:对字面量或者变量进行操作的符号表达式:用运算符把字面量或者变量连接起来,符合java语法的式子就可以称为表达式。不同运算符连接的表达式体现的是不同类型的表达式。常见运算符小细节只有整数参与计算,结果只能得到整数,有小数部分则
  • 2024-12-06网络安全实验-Wireshark数据流追踪和流量抓取实验
    一、实验环境windows10物理机,windows7虚拟机,Wireshark软件二、实验目的1.了解并熟悉常用的网络嗅探方式,掌握常用抓包软件的使用方法和过滤技巧,能够对给定的数据包分析网络基本行为;2.提升网络安全实践操作能力。三、实验步骤准备阶段-在windows7上部署ftp服务器1.创建一