Skip to main content

moregeek program

tidb 底层存储结构 lsm 树原理介绍-多极客编程

标签: 数据库 其它 分类: 数据结构 存储 数据 关系型数据库 yyds干货盘点 lsm
作者：京东物流 刘家存随着数据量的增大，传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库，我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。1 LSM 树介绍LSM 树（Log-Structured-Merge-Tree) 日志结构合并树由 Patrick O’Neil 等人在论文《The Log-St

Read More

内置类型-多极客编程

标签: c/c++ 编程语言 分类: 存储 浮点数 取值范围 内置类型
基本的内置类型：char //字符数据类型    short//短整型   int//整形   long//长整形long long//更长的整形   float//单精度浮点数   double//双精度浮点数整形家族char  :unsigned char     signed char  char到底是signed char 还是unsigned char取决于编译器通常char=signe

Read More

【c语言进阶】一.数据的储存_number 5 的博客-多极客编程

标签: c/c++ 编程语言 分类: 存储 补码 数据类型 yyds干货盘点 浮点数 有效数字
通过之前的学习，你已经入门了C语言，那我们就来尝试些小BOSS吧（一）数据类型介绍类型的意义：1. 使用这个类型开辟内存空间的大小（大小决定了使用范围）。2.如何看待内存空间的视角整型charunsigned charsigned charshortunsigned short [int]signed short [int]intunsigned intsigned intlongunsigned

Read More

EasyNLP带你玩转CLIP图文检索-多极客编程

标签: 人工智能 深度学习 分类: 存储 数据挖掘 机器学习/深度学习 算法框架/工具
作者：熊兮、章捷、岑鸣、临在导读随着自媒体的不断发展，多种模态数据例如图像、文本、语音、视频等不断增长，创造了互联网上丰富多彩的世界。为了准确建模用户的多模态内容，跨模态检索是跨模态理解的重要任务，采用一种模态的数据作为数据，检索另一种模态的数据。其中，图文检索是跨模态检索的一种主流任务，广泛应用于各种网络应用中，其难点在于跨模态的表示鸿沟（Representation Gap）。具体来说，文本和

Read More

理“ Druid 元数据”之乱-多极客编程

标签: 其他 大数据 分类: 存储 apache druid 数据集
 vivo 互联网大数据团队-Zheng Xiaofeng 一、背景Druid 是一个专为大型数据集上的高性能切片和 OLAP 分析而设计的数据存储系统。 由于Druid 能够同时提供离线和实时数据的查询，因此Druid最常用作为GUI分析、业务监控、实时数仓的数据存储系统。 此外Druid拥有一个多进程，分布式架构，每个Druid组件类型都可以独立配置和扩展，为集群提供最大的灵活性。 由于

Read More

想让DBA瞬间崩溃，那就让他去做SQL性能优化-多极客编程

标签: 数据库 sql server 分类: 数据库 sql 存储 数据 遍历
摘要：很多大数据计算都是用 SQL 实现的，跑得慢时就要去优化 SQL，但常常碰到让人干瞪眼的情况。本文分享自华为云社区《​​做 SQL 性能优化真是让人干瞪眼​​》，作者： 石臻臻的杂货铺 。很多大数据计算都是用 SQL 实现的，跑得慢时就要去优化 SQL，但常常碰到让人干瞪眼的情况。比如，存储过程中有三条大概形如这样的语句执行得很慢：select a,b,sum(x) from T group

Read More

DiskSpd 模拟VBR（Veeam Backup and Replication）的磁盘操作-多极客编程

标签: 云计算 虚拟化 分类: vmware 存储 模拟 性能 veeam
一、Microsoft© DiskSpd ​​https://github.com/microsoft/diskspd​​​​https://docs.microsoft.com/en-us/azure-stack/hci/manage/diskspd-overview​​DiskSpd是微软Windows、Windows Server和Cloud Server Infrastructure工程团

Read More

linux下大于2T的硬盘格式化问题-多极客编程

标签: linux 如何 用户 空间 移动硬盘 分类: 存储
随着硬盘的存储空间不断扩容，原先的系统文件格式有点跟不上硬盘的扩容速度，特别是对2T以上的移动硬盘，传统的MBR分区表只能支持2T的寻址空间，所以如果用MBR作为分区表，那3T硬盘就只能用2T的空间。原先我们都是用fdisk 命令来格式化硬盘的，但是它对2T以上的磁盘确没法格式化，怎么办呢？这时我们需要使用GPT分区，这种分区方式目前没有什么限制。下面说说在linux下如何格式化2T以上的磁盘，2

Read More

详解多种多样的存储快照技术-多极客编程

标签: 快照 分类: 存储
当前，快照技术已经越来越多的被应用于企业的备份恢复应用，但是对于快照技术的原理，不同快照技术的区别以及优缺点，却很少有人详细提及。面对市场中多样的快照技术，用户应该如果选择呢？　　什么是快照技术？　　快照技术主要是在操作系统以及存储技术上实现的一种记录某一时间系统状态的技术。近来，Oracle等数据库厂家以及Vmware等虚拟化产品也把这种技术引入各自的数据保护当中。　　存储中使用快照技术由于其广

Read More

Tivoli Productivity Center安装-多极客编程

标签: cognos tpc tivoli produ 分类: 存储
IBM Tivoli TotalStorage Productivity Center(TPC) 是一种存储资源管理软件，通过基于 Web 的集中式管理控制台，管理异构存储基础架构。它有助于提升数据和存储基础架构的可视化、可控化和自动化水平。具有多种存储系统的组织可以简化存储供应、性能管理和数据复制。Tivoli Storage Productivity Center 可简化以下数据和存储管理流程

Read More

MogileFS分布式文件系统-多极客编程

标签: mogilefs 分类: 存储
内容概述1、分布式文件系统介绍2、CAP理论3、常见分布式文件系统介绍4、MogileFS详细介绍    4、1MogileFS组成    4、2MogileFS特性5、MogileFS实现     5、1 node1配置Mariadb（过程略）     5、2 node1配置tracker     5、3 node2配置storage     5、4  node3配置storage     5、

Read More

几个查看系统状态的工具简介-多极客编程

分类: 存储
几个查看系统状态的工具简介linux性能分析博大精深，各工具的详情请查看man和参考网络文章。一、查看主机流量 1）iftop iftop –n –f “port 80” 了解当前服务端口的流量情况。 iftop –i eth0 –nN 了解指定网卡的流量情况。 2）iptraf 图像界面 3）netstat netstat -ant 显示对应的进程： netstat -antp [roo

Read More

分布式存储的元数据设计-多极客编程

标签: 分布式存储 元数据设计 分类: 存储
虽然分布式存储的存储层和上传下载这一层很重要，但在元数据方面有哪些选择，这些选择有什么优缺点则更为重要。鉴于此，七牛首席架构师李道兵结合自己多年的实践和思考，分享了存储设计的几大方法，并详细分析了各种方法的利弊。 常规的存储设计方法主要有以下几类。 无中心的存储设计，如GlusterFS。有中心的存储设计，如Hadoop。基于数据库的存储设计，如GridFS和HBase。绕过元数据的存储设计，如F

Read More

演示针对LVM分区的管理-多极客编程

标签: 磁盘 lvm fdisk 分类: 存储
演示针对LVM分区的管理2017/2/7 假设已经增加一块磁盘：/dev/sdb 一、将sdb配置成LVM分区 1、说明 当前系统有sda和sdb这2个物理磁盘，各有100G的大小。 [root@svr200-11 ~]# ls /dev/sd* sda   sda1  sda2  sdb    2、给sdb分区 1）最简单的方式是使用整个磁盘： [root@svr200-11 ~]# pvc

Read More

MongoDB集群部署（副本集模式）-多极客编程

标签: mongodb 集群部署 分类: 存储
一、需求背景1、现状描述(1)、针对近期出现的mongodb未授权的安全问题，导致mongodb数据会被非法访问。应安全平台部的要求，需要对所有mongodb进行鉴权设置，目前活动侧总共有4台，用于某XX产品；(2)、某XX产品用到4台mongodb，属于2015年机房裁撤的范围；(3)、早期的4台mongodb采用是的M1机型，同时在架构上采取了路由分片的模式。从目前来看，无论是数据量上，还是访

Read More

Redis集群初步设计-多极客编程

标签: 设计 集群 redis 分类: 存储
1、需求背景最近为满足业务推广活动的需求，需要对Redis集群做容灾，刚开始考虑采用最近比较火的开源方案codis。但考虑到可能会有很多坑，暂不推荐使用，作为后期预研方案。我们之前一直在采用Twemproxy做数据分片，也运行得比较稳定，所以本次出于容灾的考虑，我们又引入了Redis Sentinel来做主从切换。但问题又来了，Twemproxy本身不支持平滑重启（也就是所谓的reload）。正常

Read More

存储容灾的相关限制-多极客编程

标签: 存储 设计 远程容灾 分类: 存储
我们常常说存储容灾包括同城容灾和异地容灾，同时也包括同步容灾和异步容灾。我们常说的同步容灾最大为100公里。该数值指的实际光纤长度是100公里，而不是物理距离，因为你不可能确保两个物理地之间恰巧有一根直线连接的光纤，一般经验中常选择的同步容灾站点物理距离在50-80公里之间。具体还需要根据应用对时延的要求和两地之间的实际测量时延为依据，100公里只是理论值。存储的同步容灾只能在100公里的范围内实

Read More

Raid Group, Storage Pool, Storage Group等一些概念的区别-多极客编程

标签: emc存储 分类: 存储
EMC产品自带的帮助文档通常都有非常详尽的介绍，下面简单说一下几个主要的存储概念：RAID Group：简单来说，RAID Group就是将多个硬盘组合起来的一个集合，以实现更大容量、更快读写速度、更高冗余度等目的。常见的RAID Group类型有RAID 0、RAID 1、RAID 1/0、RAID 3、RAID 5、RAID 6。LUN：LUN是位于RAID Group之上的逻辑结构。LUN可

Read More

DAS、NAS和SAN，IPSAN的基本了解-多极客编程

标签: ipsan das、nas和san 分类: 存储
原文地址：http://bbs.linuxtone.org/home.php?mod=space&uid=14342&do=blog&id=574一、DASDAS：Direct Attached Storage,简单来说，你现在的计算机接的硬盘就是DAS的一种，诸如USB硬盘、磁带机、JBOD磁盘组、外置RAID磁盘机。即所谓的直接连接存 储设备，就是和主机系统知己诶相连

Read More

NFS部署应用实例-多极客编程

标签: linux 部署 nfs 分类: 存储
   NFS（Network File System）即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样   NFS的优点：      1. 节省本地存储空间，将常用的数据存放在一台NFS服务器上且可以通过网络访问，那么本地终端将可以减

Read More