首页 > 数据库 >使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?

使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?

时间:2023-08-04 22:36:41浏览次数:41  
标签:存储 Mongo MongoDB mongodb 赞同 GridFS 分布式文件系统 2011


修改


写补充说明


郭理靖,京东开放平台



邓涛Kenny李波 等人赞同



压力以及数据量比较大的业务不推荐使用Mongo GridFS。
Mongo GridFS在高并发(每秒写入10M,持续半小时到一个小时)的情况下secondary会无法catch up with primary。
Mongo GridFS不是为分布式存储而设计的,它解决的问题领域是小型业务已经使MONOGODB,但是又需要存储一些文件,而且需要给这些文件加一些元信息。
用它来存储图片以小文件是比较合适的。
但是把它当大规模的分布式存储系统就不太合适的,那你应该用S3或者其它云存储解决方案了




赞同2 反对,不会显示你的姓名



使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?_数据

iammutex,NoSQLFan站长,玩过MongoDB



Gary Chen仝舟赞同



gridfs是mongodb为了解决单个document不能超过4M的问题而推出的,通过将文件进行切分(默认256k,最大4M)存成单独的document(fs.chunks中),并保存一个文件索引表(fs.files)。
从原理上可以看出,如果你的文件并不大,不超过4M(当然,还要减去一些元数据的占用),那么大可不必采用gridfs,使用传统的collection会得到更高的性能。

补充:
1.8版本中doc的上限已经从4M上调到16M,相信对于绝大多数图片来说都够了。



发布于 2011-05-03  1 条评论             

 



赞同0 反对,不会显示你的姓名



使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?_分布式存储_02

池建强,日拱一卒





你们的数据量有多大呢?是否采用了auto sharding?



发布于 2011-04-22  1 条评论             

 



赞同0 反对,不会显示你的姓名



使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?_mongodb_03

Gary Chen,产品,架构,数据.





1. 有各种成熟的分布式文件系统,如fastdfs,mfs,也可以试试
2. 使用gridFs是因为你完全信赖mongodb,但这意味着风险,非常重要的数据建议使用replication set,不依赖单机可靠性.
这里有一个公司使用了mongodb存储音乐文件
http://blog.wordnik.com/12-months-with-mongodb



发布于 2011-05-15  6 条评论             

 



赞同0 反对,不会显示你的姓名



使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?_分布式存储_04

陈振宇,机器人、自然语言处理、数据挖掘和机器翻…





我在用GridFS存储图片



发布于 2011-04-22  添加评论             

 



赞同0 反对,不会显示你的姓名



使用 MongoDB 的兄弟,有没有采用 GridFS 做分布式文件系统的?_数据_05

夏天,A competent programmer





我觉得新浪的SAE的分布式文件系统(Storage)可能用的就是Mongo GridFS。

标签:存储,Mongo,MongoDB,mongodb,赞同,GridFS,分布式文件系统,2011
From: https://blog.51cto.com/u_16088628/6969229

相关文章

  • linux上使用yum部署mongodb4.2+分片副本
    来源:https://blog.51cto.com/wutengfei/5937039系统配置Linux是有文件句柄限制的,而且默认不是很高,一般都是1024,作为一台生产服务器,其实很容易就达到这个数量。为防止服务因toomanyopenfiles错误出现宕机,这里需要对linux系统句柄数进行调整。##临时调整,系统重启即失效ulimit......
  • MongoDB
    MongoDB简介对于社交类软件的功能特点:数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态内容地理位置的查询……针对以上特点,我们来分析一下:mysql:关系型数据库(效率低)redis:redis缓存(微博,效率高,数据格式不丰富)对于数据量大而言......
  • play连接mongodb并进行查询测试
    环境准备1、 IP白名单分组添加2、 相关配置信息 application.conf增加 morphia.db.name=库名morphia.db.url=连接信息dependencies.yml增加require:-playmongo->playmongolatest.integration-org.mongodb->mongo-java-driver3.12.13-org.mongodb.m......
  • go语言mongodb操作
    MongoDB属于非关系型数据库,它是由C++编写的分布式文档数据库。内部使用类似于Json的bson二进制格式。官方文档:https://www.mongodb.com/docs/drivers/go/current/fundamentals/相关文档:https://www.w3cschool.cn/mongodb/mongodb-1uxs37ih.html连接packagemainimport(......
  • python写入mongodb时间字段格式为ISO
     #!/usr/bin/envpython#coding=utf-8importtimefromdateutilimportparserfrompymongoimportMongoClientnow=parser.parse(time.strftime("%Y-%m-%d%H:%M:%S",time.localtime()))conn=MongoClient("192.168.1.135:28001",maxPoo......
  • GFS 分布式文件系统
    GFS分布式文件系统是在企业种完成高性能,高可用的功能,GFS分布式文件系统的意义在于为大规模分布式计算环境提供了一种高效可靠的文件存储解决方案,有助于提高系统的可用性、性能和可扩展性,同时保护数据的安全性和完整性。目录一、GlusterFS概述二、GlusterFS特点三、GlusterFS......
  • mongodb数据如何导入到clickhouse
    一背景说明1开发要求mongodb里的数据需要导入到clickhouse,方便他们分析,因此才有了如下的操作,刚开始找了很多第三方的数据迁移软件,比如tapdata有这个功能,不过用过几次,经常报错,并且也是收费的。因此才决定自己写python脚本解决这个问题。2数据能否顺利导入,发现跟创建ck库里面表......
  • MongoDB数据库的部署和应用
    推荐步骤:在Centos01上部署MongoDB服务器客户端登录验证在centos01的MongoDB配置文件通过配置文件控制MongoDB服务,配置MongoDB身份验证在centos01的MongoDB服务器配置身份验证管理和修改配置文件支持验证在centos01管理MongoDB管理数据,集合批量数据管理实验步骤创建管理MongoDB组和......
  • mongodb索引大小查看
    查看数据库中索引总大小>db.stats(){"db":"abce","collections":258,"views":0,"objects":3869336,"avgObjSize":23033.87034752216,"dataSi......
  • mongodb去重统计
    MongoDB去重统计在MongoDB中,去重统计是一种常见的需求。如果我们有一个存储大量数据的集合,我们可能需要统计其中不重复的元素的数量。幸运的是,MongoDB提供了一些强大的聚合操作符和方法来实现这个目标。使用distinct()方法进行去重统计MongoDB的distinct()方法可以用于从集合中......