摘要:关于使用 Nginx 开启静态网站 Gzip 压缩的教程已经有很多了,但是好像没几个讲怎么在对象存储的静态网站中开启 Gzip 压缩。其实也不复杂,我们一起来看下~本文分享自华为云社区《将 Vue.js 项目部署至静态网站托管,并开启 Gzip 压缩》,作者:云存储开发者支持团队。关于使用 Nginx 开启静态网站 Gzip 压缩的教程已经有很多了,但是好像没几个讲怎么在对象存储的静
Read More
moregeek program
对象存储只能按文件名搜索,你out了吧_华为云开发者社区的博客-多极客编程
摘要:不少大公司的一个桶里都是几亿几十亿的对象,那他们都是怎么检索的呢?本文分享自华为云社区《对象存储只能按文件名搜索? 用 DWR + ElasticSearch 实现文件名、文件内容、图片文字的模糊搜索!》,作者:云存储开发者支持团队 。众所周知,由于对象存储的架构限制,要想检索对象存储里的文件,只能使用前缀的方式过滤,然后一页一页的列举,限制多,效率低,要是桶内对象实在太多,可能光列
Read More
Read More
基于emr的新一代数据湖存储加速技术详解_阿里云计算平台团队的博客-多极客编程
摘要:本文整理自阿里云开源大数据平台数据湖存储团队孙大鹏在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分:背景介绍JindoData 数据湖存储解决方案点击查看直播回放背景介绍大数据行业蓬勃发展,主要源自于通讯技术的发展,全球数据规模,预计2025年将增长到163ZB,相当于全球60亿人,平均每人27TB数据。数据量爆发式增长,使得企业拥有了更多数据资源。更多数据意味
Read More
Read More
从 hadoop 到云原生, 大数据平台如何做存算分离_wx630f055ce23fc的博客-多极客编程
Hadoop 的诞生改变了企业对数据的存储、处理和分析的过程,加速了大数据的发展,受到广泛的应用,给整个行业带来了变革意义的改变;随着云计算时代的到来, 存算分离的架构受到青睐,企业开开始对 Hadoop 的架构进行改造。今天与大家一起简单回顾 Hadoop 架构以及目前市面上不同的存算分离的架构方案,他们的利弊各有哪些,希望可以给正在存算分离架构改造的企业一些参考和启发。01 - Hadoop
Read More
Read More
在51cto的第一篇博文-minio对象存储工具_wx62f49e451dff9的博客-多极客编程
话说公司新项目需要用到文件存储功能,在开发阶段又觉得没有购买像阿里、腾讯的对象存储服务器,在此背景下觉得minio官方地址(网盘地址
)还是比较适合项目初期做对象存储工作使用。
minio的安装部署还是很简单的,我这是Linux环境部署。下面说一下部署流程。
单机安装:
1.上传minio文件,到服务器对应目录并解压。
命令mkdir -p /home/minio
设置用户名密码到pro
Read More
Read More
数据湖架构及概念简介_阿里云计算平台团队的博客-多极客编程
摘要:本文整理自阿里云开源大数据技术专家陈鑫伟在7月17日阿里云数据湖技术专场交流会的分享。本篇内容主要分为两个部分:数据湖演进历程云原生数据湖架构一、数据湖演进历程什么是数据湖?数据湖概念于 2010 年提出,其目的是解决传统数据仓库和数据集市所面临的两个问题:其一,希望通过统一的元数据存储解决数据集市之间的数据孤岛问题;其二,希望存储原始数据,而非存储数据集市建设过程中经过裁剪后的数据,以避免
Read More
Read More
lepton 无损压缩原理及性能分析_vivo互联网技术的博客-多极客编程
作者:vivo 互联网数据库团队- Li Shihai
本文主要介绍无损压缩图片的概要流程和原理,以及Lepton无损压缩在前期调研中发现的问题和解决方案。一、从一个游戏开始1.1 游戏找茬请拿出你的秒表计时,在15秒时间内找出下面图片的差异。时间到了,你发现两张图片的差异了吗?二、智者的成长在上面的游戏中,你可能你并没有发现两张图片间有任何差异,而实际上它们一张是3.7MB的jpg格式的原图,
Read More
Read More
InfoQ 演讲实录|对象存储 S3 在分布式文件系统中的应用-多极客编程
当前,业内擅长非结构化数据的存储方式主要是文件存储和对象存储。文件存储和对象存储各有千秋,文件存储不仅能兼顾多个应用和多个用户访问,更突出的优势是方便文件共享;对象存储凭借灵活性和扁平架构得到了广泛的好评,容量达到 EB 级以上,实现理论上的对象存储容量和对象数量无限扩充。然而,由于对象存储的访问接口协议单一,数据访问性能较差的问题,使其可适用的范围受到了一定程度的限制。以下内容是焱融科技架构师彭
Read More
Read More
手把手实践腾讯云COS对象存储的上传-多极客编程
创建腾讯云子用户创建子用户登录腾讯云--》控制台--》点击右上角--》访问管理--》用户--》用户列表--》新建用户--》快速创建如图:用户名,访问方式,用户权限对应创建用户获取秘钥创建完会弹出这个窗口,复制秘钥记录下来创建COS测试用的桶创建私有桶控制台--》搜索“对象存储”,进入存储桶列表--》创建存储桶--》默认下一步--》创建获取桶名和地域存储列表--》记录对应的存储桶名称(test007
Read More
Read More
kubernetes与velero的第一次尝试-多极客编程
背景
接上文:Kubernetes中gitlab的一次迁移。nexus也要迁移一下。这里更想体验一些velero。很多文章上面看到过:https://mp.weixin.qq.com/s/VC6kVfcBCUQfG6RwM6F1QA 。腾讯云TKE文档中也有类似的例子:https://cloud.tencent.com/document/product/457/50122。不想使用传统方式了想体
Read More
Read More
#私藏项目实操分享#【分布式技术专题】「OSS中间件系列」从0到1的介绍一下开源对象存储MinIO技术架构-多极客编程
MinIO背景介绍
MinIO创始者是Anand Babu Periasamy, Harshavardhana(戒日王)等人, Anand是GlusterFS的初始开发者、Gluster公司的创始人与CTO,Harshavardhana曾经是GlusterFS的开发人员,直到2011年红帽收购了Gluster公司。
MinIO在设计上汲取了GlusterFS的相关经验与教训,系统复杂度上作了大
Read More
Read More
#私藏项目实操分享#【分布式技术专题】「OSS中间件系列」Minio的Server端服务的架构和实战搭建-多极客编程
Minio的介绍说明
Minio是目前githug上star最多的Object Storage框架,这里Object Storage我目前的理解就是数据存储,minio可以用来搭建分布式存储服务
Minio是Apache License v2.0下发布的对象存储服务器。它与Amazon S3云存储服务兼容。它最适合存储非结构化数据,如照片,视频,日志文件,备份和容器/ VM映像。对象的大小可
Read More
Read More