首页 > 其他分享 >go在处理批量下载时候出现fatal error: runtime: out of memory

go在处理批量下载时候出现fatal error: runtime: out of memory

时间:2024-04-02 15:48:02浏览次数:32  
标签:fatal 请求 测试环境 memory 内存 error go runtime 下载

  • 状况,测试环境8g内存程序运行之后还剩1g多空闲内存测试环境下载二十集MP4文件就会抛出oom  同时检测不到任何panic 貌似是被liunx 直接给干掉了
  • 本地环境16g内存同样的请求能够正常请求并且返回 。 postman 也因为运行内存不够而闪退 。 使用powershell 执行请求能正常返回二进制乱码内容
  • 分析。测试环境内存资源紧张,在使用并发二十MP4文件下载的时候首先都是将这些资源加载到内存中最终打包成zip文件,所以导致内存疯涨,系统运行内存不够(大约到93%左右)go服务直接崩溃。
  • 解决方案,使用分批下载。比如5 10 集为一批。拆分成多个请求来下载。每次执行请求完成之后内存得到释放。最终能维持一个平衡不会猛涨
  • 所以所有的编写代码都需要考虑到极值问题。并给出解决方案。

标签:fatal,请求,测试环境,memory,内存,error,go,runtime,下载
From: https://www.cnblogs.com/chongyao/p/18110700

相关文章

  • KernelMemory如何操作向量数据库
    使用QdrantMemory官方其实给出了使用案例,参考Qdrant.TestApplication的Program类就可以获取基本的操作方法,这里我主要补充的几点注意事项。CreateIndexAsync:创建一个长度固定的Index空间,且向量长度必须大于0。UpsertAsync:插入或更新向量记录-插入的向量长度必须和创建时一致......
  • 快速上手SemanticKernel+KernelMemory
    本文撰写目的是旨在帮助新手快速上手,原理部分可以参考博客园大佬宵伯特的教程。KernelMemory入门系列博客:(KernelMemory--宵伯特-博客园(cnblogs.com))SemanticKernel入门系列:(SemanticKernel--宵伯特-博客园(cnblogs.com))为了方便以下SemanticKernel称作SK,Kernel......
  • QT开发:报错:QAxBase: Error calling IDispatch member Open: Exception thrown by serv
    在Qt中打开excel出现下面的错误提示:QAxBase:ErrorcallingIDispatchmemberOpen:Exceptionthrownbyserver怎么解决?错误提示通常意味着在尝试使用Qt的ActiveX模块(QAxBase)打开Excel文件时发生了异常。这可能是由于多种原因引起的,包括文件损坏、权限问题、Excel安装问题或者Q......
  • 【Python BUG】ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `CX
    报错ImportError:/usr/lib/x86_64-linux-gnu/libstdc++.so.6:version`CXXABI_1.3.9‘notfound背景开发的一个python预测程序(算法分析+应用服务),在原本的linux服务器下配置了开发环境,打包后在另一台凝思服务器解压,发现报错。应该是linux系统之间存在差异,动态库缺失......
  • GIT初次使用教程以及error总结
    一、代码提交到仓库步骤1、安装git2、鼠标右键在桌面选择如下3、找到需要提交代码的仓库点击克隆/下载4、按照步骤在git命令窗口执行如下步骤1)将仓库代码文件克隆到本地2)设置git访问仓库时本地登录邮箱和账户名称3)每次提交代码前都要gitpull一下和仓库中的代码文......
  • cURL error 60: SSL certificate problem: unable to get local issuer certificate
    阿里云短信window报cURLerror60:SSLcertificateproblem:unabletogetlocalissuercertificate原文链接:https://blog.csdn.net/qq_41408081/article/details/124309075序:帮客户接一个阿里云短信验证码提醒,新版的SDK,一下,折磨简单,在Windows上搞的差点心力交瘁,差点怀疑......
  • 报错:react.development.js:1130 Uncaught Error: Objects are not valid as a React
      原因:是因为getControl我用了异步async的方法。而调用的时候,没有加上await导致的。 解决办法:加上await就可以了 ......
  • C#中的缓存处理方案 (MemoryCache,Redis)
    缓存处理在C#和WPF日常开发中非常重要,可以提高应用程序的性能和响应速度。以下是关于缓存处理方案的知识点,以及可能会在面试中被问到的一些问题和答案:缓存处理方案的知识点:内存缓存:内存缓存是最常见的一种缓存处理方案,它将数据存储在应用程序的内存中,以提高数据的访问速......
  • MySQL数据库报错:ERROR 1364 (HY000): Field ‘authentication_string‘ doesn‘t have
    在MySQL安装和配置的过程中,遇到错误可能会让人感到困惑,尤其是当错误信息不够清晰时。本文将详细探讨一个在MySQL安装过程中较少见但可能会遇到的错误,提供一个全面的解决方案指南。错误描述在MySQL安装过程中,可能会遇到以下错误信息:ERROR1364(HY000):Field'authentica......
  • Error in callback for immediate watcher “chartsData“: “Error: Initialize fail
     在使用echarts提示dom未找到,原因就是当我们封装了echarts组件初始化传值时通常会造成过早调用,也就是在数据还未处理完就已经调用init函数进行初始化,此时dom还未挂载成功,就会报这个错,这里解决可以使用nextTick()函数在初始化时延时调用;this.$nextTick(()=>{this.draw......