首页 > 其他分享 >在线型业务/大数据场景/AI时代的技术栈

在线型业务/大数据场景/AI时代的技术栈

时间:2024-04-03 10:33:06浏览次数:15  
标签:硬件资源 场景 AI 业务 技术 线型

在线型业务的技术栈

  •  首先当然是硬件,在线业务型的场景下,计算资源基本是CPU为主;存储资源则各种类型都有,主要是IO吞吐、时延、安全性等各种考虑;网络资源公网、内网类型,时延、吞吐考虑等。
  • 在硬件之上(软件定义计算/存储/网络资源),基本都会使用类似K8S,或商用VMWare之类,来更方便的使用硬件资源,
    • 这层软件的核心一方面是抽象硬件资源,方便上层根据需求来使用硬件资源,以及同时根据需求来匹配找到合适的资源,例如最简单的排他规则等等;
    • 另一方面则是充分的提升硬件资源的使用率,例如虚拟化技术、容器化技术的引入等
  • 再往上,通常就是根据业务系统的架构、建设需求做的各种中间件的选型,这些中间件最重要的是为了降低业务系统的门槛,把一些通用的技术问题解决掉,例如
    • 数据库解决OLTP类型的数据读写
    • Dubbo之类的服务框架解决跨系统间的同步通信
    • RocketMQ之类的消息中间件解决跨系统间的异步通信等。
  • 这些中间件之上,通常就是业务系统本身了,这个就完全要根据业务需求来做相应的架构设计,并且通常都会需要跟随业务的发展来不断的迭代架构(从单体 --> 分布式 --> 异地多活,推荐 郭东白《架构思维:从程序员到CTO》

大数据场景的技术栈

  • 硬件
  • 软件定义计算/存储/网络资源(Yarn)Yarn和K8S是两种不同的集群管理和调度系统,它们在管理资源和调度任务方面有着不同的设计目标和应用场景。,的区别如下:
  • 计算引擎
    • 离线型(批处理,有边界数据集):Hadoop、Spark
    • 实时型(流计算,无边界数据集):Flink
  • 数据库/存储

AI时代的技术栈(后面补充)

 

参考:AI时代的技术栈 https://mp.weixin.qq.com/s/cc1IrhTSbOyoTZ96VOikZw

标签:硬件资源,场景,AI,业务,技术,线型
From: https://www.cnblogs.com/wxdlut/p/18112127

相关文章

  • 详解Assertion desc failed at src/libswscale/swscale_internal.h:668
    目录详解Assertiondescfailedatsrc/libswscale/swscale_internal.h:668错误原因解决方案1.检查输入参数2.升级FFmpeg版本3.检查编译选项4.优化代码5.寻求帮助结论详解Assertiondescfailedatsrc/libswscale/swscale_internal.h:668在使用FFmpeg进行视......
  • 【数据库】MPP数据库的强大及适用场景(附学习笔记)
     MPP数据库基本介绍:MPP数据库,即MassivelyParallelProcessing数据库,是一种专为处理大规模数据而设计的数据库系统。其核心原理是将数据分布式存储在多个节点上,并利用并行处理技术实现高性能和可伸缩性。这种数据库系统通常用于需要处理大量数据和进行复杂分析的场景,如数据......
  • 盘点AI编程效率神器合集,代码助手工具大模型、Agent智能体
    关注wx公众号:aigc247进社群加wx号:aigc365程序员是最擅长革自己命的职业,让我们借助AI的力量一起摸鱼一起卷!据说好用的AI代码助手工具、大模型、Agent智能体微软的compoliot:AI神器之微软的编码助手Copilot-CSDN博客阿里的: 通义灵码_智能编码助手_AI编程-阿里云智谱AI的C......
  • 好书推荐 《AIGC重塑金融》
    作者:林建明来源:IT阅读排行榜本文摘编自《AIGC重塑金融:AI大模型驱动的金融变革与实践》,机械工业出版社出版这是最好的时代,也是最坏的时代。尽管大模型技术在金融领域具有巨大的应用潜力,但其应用也面临不容忽视的风险和挑战。本文将深入研究大模型在金融领域的数据隐私......
  • 基于开源IM即时通讯框架MobileIMSDK:RainbowChat-iOS端v9.0版已发布
    关于MobileIMSDKMobileIMSDK是一套专门为移动端开发的开源IM即时通讯框架,超轻量级、高度提炼,一套API优雅支持 UDP 、TCP 、WebSocket 三种协议,支持 iOS、Android、H5、标准Java、小程序、Uniapp,服务端基于Netty编写。工程开源地址是:1)Gitee码云地址:https://gitee.com/ja......
  • 使用LangChain SQLChain连接LLM和SQL数据库
    大家好,近年来大型语言模型(LLMs)因在多个领域的文本生成能力受到广泛关注。然而,LLMs有时会产生错误或生成无意义的文本,这种现象常被称为“幻觉”。例如,询问ChatGPT法国是什么时候赠送给立陶宛维尔纽斯电视塔的,ChatGPT可能错误地会回答“在1980年”,这与事实不符,因为法国与维尔纽斯......
  • 2024年AI订阅、游戏消费、流媒体订阅、域名购买等常用的美元信用卡使用场景科普大全!
    应用场景卡BIN详细应用AI软件支付534786、556150虚拟信用卡用于支付AI软件订阅,如ChatGPTPlus、OpenAI-APIKey、Midjourney、POE等。电商网站购物559666、531993适用于Amazon、Ebay、Etsy、Alibaba、Shopify、Walmart、TikTok、AliExpress、Lazada、Rakuten、Wish、BestBuy、......
  • 【Azure Function & Application Insights】在Azure Function的日志中,发现DrainMode m
    问题描述ApplicaitonInsights收集了AzureFunction的日志,定期发现有”DrainModemodeenabledTraces“。DrainMode是什么意思呢? 问题解答排出模式(Drainmode) 属于FunctionApp 缩放机制中的一部分,当后台检测到FunctionApp请求量不再需要当前的instance时会停止对......
  • Container容器:未来的最终解:Docker(入门导览)
    容器容器:可以无视机器、系统限制的时刻使用任何的软件或程序的虚拟机-容器解释:[什么是容器?|IBM备注:Docker本身并不是容器,它是创建容器的工具,是应用容器引擎优势:docker虚拟机内存轻量占用大设备几乎支持所有电子设备主要PC主机镜像复用可以打包到官方仓库,云端下载需要点......
  • Thread join()的使用场景和原理
    1、使用场景一般情况下,主线程创建并启动子线程,如果子线程中执行大量耗时运算,主线程可能早于子线程结束。如果主线程需要知道子线程的执行结果时,就需要等待子线程执行结束。主线程可以sleep(xx),但这样的xx时间不好确定,因为子线程的执行时间不确定,join()方法比较合适这个场景。......