首页 > 其他分享 >ossfs 禁用cache配置说明

ossfs 禁用cache配置说明

时间:2024-11-03 08:50:07浏览次数:1  
标签:ossfs listings 禁用 oss cache kwargs super

ossfs 基于oss sdk 实现了与oss fs类似的能了,但是默认是有cache 的,尤其我们的long running 任务可能会影响,造成获取的数据是不是最新的,解决方法就是直接禁用cache

参考处理

# 通过临时调整cache有效期解决
from ossfs import OSSFileSystem
fs = ossfs.OSSFileSystem(listings_expiry_time=10,cache_type="none",key=self.oss_config.get("access_key"), secret=self.oss_config.get(
    "secret_key"), endpoint=self.oss_config.get("endpoint"))

说明

可以解决实际进行cache 的处理,同时ossfs 也支持对于特定方法进行cache 控制,如下

super_kwargs = {
        k: kwargs.pop(k)
        for k in ["use_listings_cache", "listings_expiry_time", "max_paths"]
        if k in kwargs
    }  # passed to fsspec superclass
    super().__init__(**super_kwargs)

注意use_listings_cache 参数是没用的,直接配置为False 为有异常,最好的方法是配置listings_expiry_time 参数为一个比较小的就可以了

参考资料

https://github.com/fsspec/ossfs
https://github.com/fsspec/s3fs

标签:ossfs,listings,禁用,oss,cache,kwargs,super
From: https://www.cnblogs.com/rongfengliang/p/18417147

相关文章

  • 后羿 - TenSunS v1.1.0 支持对接AWS的EC2、RDS、ElastiCache
    ......
  • 企业u盘管控丨企业电脑U盘如何实现禁用功能?六个可实现方法,手把手教你!
    “U盘小身材,数据大乾坤。”正是这小小的U盘,也给企业信息安全带来了不小的隐患。员工随意使用U盘,可能导致企业数据泄露、病毒传播等严重后果。那么,企业电脑U盘如何实现禁用功能呢?本文将为你介绍六个可实现的方法,总有一个适合你。方法一:使用组策略编辑器禁用USB设备对于Wind......
  • 深入解析 Memcached原理、架构与最佳实践
    1.引言什么是Memcached?Memcached是一个高性能的分布式内存对象缓存系统,旨在通过减少数据库负载来加速动态Web应用程序。它以键值对的形式将数据存储在内存中,允许应用程序快速读取数据,从而提高响应速度和系统的可扩展性。由于其简单的设计和高效的性能,Memcached被广......
  • 禁用Hyper-V以运行虚拟化软件
    许多第三方虚拟化应用程序无法与Hyper-V协同工作。受影响的应用程序包括VMwareWorkstation和VirtualBox。这些应用程序可能无法启动虚拟机,或者可能会回退到较慢的模拟模式。 确定Hyper-V虚拟机监控程序是否正在运行若要确定Hyper-V虚拟机监控程序是否正在运......
  • Spring Cache
    1.介绍SpringCache是Spring提供的一个缓存框架,基于AOP原理,实现了基于注解的缓存功能,只需要简单地加一个注解就能实现缓存功能,对业务代码的侵入性很小。1.常用注解@EnableCaching:开启缓存注解功能@Cacheable:查询数据时缓存,将方法的返回值进行缓存。@CacheEvict:用于删除缓存,将......
  • 禁用tomcat缓存过滤器
    <!--去掉tomcat的etag和Last-Modified响应头的过滤器--> <filter> <filter-name>noetag</filter-name> <filter-class>com.epoint.basic.filter.EpointNoETagFilter</filter-class> </filter> <filter-mapping> <f......
  • element-ui table中使用type=‘selection‘ 实现禁用,勾选,默认选中不可修改 三种状态显
    element-uitable中使用type=‘selection’实现禁用,勾选,默认选中不可修改三种状态显示问题实现效果   需求1.status=‘CheckOk'时勾选框默认选中但不可修改勾选状态2.status=‘CheckFail'时勾选框禁用3.status=‘'时勾选框可以勾选实现思路采用el-table表格自......
  • 禁用Linux的地址空间随机化
    问题描述当我们学习OS的时候,往往需要接触到虚拟地址分配的相关知识。当接触到《OperatingSystems:ThreeEasyPieces》(OperatingSystems:ThreeEasyPieces)中的示例程序mem.c时(文末附上common.h)#include<unistd.h>#include<stdio.h>#include<stdlib.h>#include"c......
  • 本地缓存库分析(二):bigcache
    文章目录本系列前言整体设计处理并发访问减少GC开销读写流程缓存淘汰性能优化用varint编码复用buffer栈上计算hash值数据结构GetSetDelete过期总结本系列本地缓存库分析(一):golang-lru本地缓存库分析(二):bigcache(本文)本地缓存库分析(三):freecache(未完待续)本地缓存库分析......
  • C# DataGridView 禁用或灰显单元格 只读 清除单元格选择
    1.清除单元格选择DataGridView.ClearSelection();效果2.单元格灰显//单元格设为只读DataGridView.ReadOnly=true;//表格背景色DataGridView.BackgroundColor=SystemColors::Control;//标题栏背景色DataGridView.ColumnHeadersDefaultCellStyle.BackColor=Sys......