作者:京东物流 刘家存随着数据量的增大,传统关系型数据库越来越不能满足对于海量数据存储的需求。对于分布式关系型数据库,我们了解其底层存储结构是非常重要的。本文将介绍下分布式关系型数据库 TiDB 所采用的底层存储结构 LSM 树的原理。1 LSM 树介绍LSM 树(Log-Structured-Merge-Tree) 日志结构合并树由 Patrick O’Neil 等人在论文《The Log-St
Read More
moregeek program
mssql中开启cdc导致事务日志空间被占满事件记录-多极客编程
问题描述
SQLServer中开启CDC之后,在某些情况下会导致事务日志空间被占满的现象为:
在执行增删改语句(产生事务日志)的过程中提示,The transaction log for database '***' is full due to 'REPLICATION'(数据库“***”的事务日志已满,原因为“REPLICATION”).
CDC以及复制的基本原理粗略地讲,对于日志的使用步骤如
Read More
Read More
聊聊mongodb中连接池、索引、事务-多极客编程
大家好,我是哪吒。三分钟你将学会:MongoDB连接池的使用方式与常用参数查询五步走,能活九十九?MongoDB索引与MySQL索引有何异同?MongoDB事务与ACID什么是聚合框架?在最开始接触MongoDB的时候,是通过 MongoDatabase database = new MongoClient("localhost", 27017).getDatabase("test");
Read More
Read More
docker 部署 oracle 19c-多极客编程
标签(空格分隔): Oracle 系列
一:系统环境介绍
操作系统:
centos7.9x64
oracle19c 配置说明:
主机名:
cat /etc/hosts
----
172.16.10.11 flyfish11
172.16.10.12 flyfish12
172.16.10.13 flyfish13
172.16.10.14 flyfish14
Read More
Read More
pglogical的安装配置-多极客编程
瀚高数据库目录环境文档用途详细信息环境系统平台:Linux x86-64 Red Hat Enterprise Linux 7版本:14文档用途本文主要用于介绍pglogical的安装配置详细信息一、简介pglogical 2插件(后边简称pglogical)使用发布/订阅的模式为PostgreSQL提供了逻辑流复制的实现方式。pglogicla是基于BDR项目的一部分技术发展而来。我们一般使用
Read More
Read More
带你认识数仓的增量备份核心设计-多极客编程
摘要:增量备份是重要的常规备份策略,正确快速识别增量变化文件的相关信息对增量备份至关重要。本文分享自华为云社区《其疾如风,GaussDB(DWS)增量备份核心设计》,作者: 我的橘子呢 。1、认识增量备份GaussDB(DWS)数仓的备份恢复工具Roach支持集群级增量备份。全量备份会将源数据完整备份,而增量备份仅将上次备份后所作的更改进行备份,这里的上次备份可以使全量备份,也可以是全量备
Read More
Read More
sql server——高可用技术概述-多极客编程
自从SQL Server 2005以来,微软已经提供了多种高可用性技术来减少宕机时间和增加对业务数据的保护,而随着SQL Server 2008,SQL Server 2008 R2,SQL Server 2012的不断发布,SQL Server中已经存在了满足不同场景的多种高可用性技术。 在文章开始之前,我首先简单概述一下以什么来决定使用哪一种高可用性技术。依靠什么来决定使用
Read More
Read More
基于patroni的postgresql高可用实践-多极客编程
因环境有限,本文在一台机器上实现基于Patroni的PostgreSQL高可用服务测试。1、安装软件包[root@lee ~]# yum -y install https://mirrors.tuna.tsinghua.edu.cn/postgresql/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm[root@l
Read More
Read More
既然有mysql了,为什么还要有mongodb?-多极客编程
大家好,我是哪吒,最近项目在使用MongoDB作为图片和文档的存储数据库,为啥不直接存MySQL里,还要搭个MongoDB集群,麻不麻烦?让我们一起,一探究竟,了解一下MongoDB的特点和基本用法,实现快速入门,丰富个人简历,提高面试level,给自己增加一点谈资,秒变面试小达人,BAT不是梦。三分钟你将学会:MongoDB主要特征MongoDB优缺点,扬长避短何时选择MongoDB?为
Read More
Read More
tiup部署 tidb 数据库集群-多极客编程
一、部署本地测试集群(Linux版本)适用场景:利用本地 Mac 或者单机 Linux 环境快速部署 TiDB 测试集群,体验 TiDB 集群的基本架构,以及TiDB、TiKV、PD、监控等基础组件的运行。1、创建tidb用户组及用户[root@tidb home]# groupadd tidb
[root@tidb home]# useradd tidb -r -m -g tidb
2、关闭防火
Read More
Read More
达梦数据库dm8安装准备及注意事项-多极客编程
【达梦数据库DM8安装准备】一、规划安装用户和用户组新建组[root@KylinDCA03 opt]# groupadd dinstall新建组用户[root@KylinDCA03 opt]# useradd -g dinstall -m -d /home/dmdba -s /bin/bash dmdba修改密码[root@KylinDCA03 opt]# passwd dmdba二、规划安装目录
Read More
Read More
【数据库数据恢复】windows环境下mongodb数据库文件迁移后启动报错的数据恢复案例-多极客编程
MongoDB数据库数据恢复环境:
MongoDB数据库部署在一台虚拟机上,虚拟机操作系统为Windows Server2012。
MongoDB数据库故障&分析:
由于业务发展需求,需要对MongoDB数据库内的文件进行迁移,在MongoDB服务开启的状态下用户将数据库文件复制到其他分区,将MongoDB数据库之前所在分区进行了格式化操作。迁移后用户发现数据库文件无法使用,将数据库文件拷
Read More
Read More
postgresql-多极客编程
瀚高数据库目录环境文档用途详细信息 环境系统平台:Linux x86-64 Red Hat Enterprise Linux 7版本:12 文档用途postgresql_anonymizer是对数据库中的个人识别信息或商业敏感数据进行屏蔽或替换的扩展。 详细信息1. 介绍postgresql_anonymizer是对数据库中的个人识别信息或商业敏感数据进行屏蔽或替换的扩展。该扩展使用标准sql
Read More
Read More
elasticsearch和kibana的安装-多极客编程
Elasticsearch简介
Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有。
Elasticsearch安装
添加用户 - Elasticsearch默认禁止root用户启动
#添加用户组
groupadd elasticsearch
#添
Read More
Read More
使用docker实现mysql主从同步-多极客编程
本文是以最少步骤的安装,仅实现了在docker下mysql的主从同步
1. 创建Docker镜像
创建两个MySQL版本:5.7的镜像,一个容器名称为master,另一个为slaver。
docker run -d --name master -e MYSQL_ROOT_PASSWORD=root -p 3306:3306 mysql:5.7
docker run -d
Read More
Read More
第十七章《mysql数据库及sql语言简介》第2节:mysql数据库的下载、安装和配置-多极客编程
MySQL数据库被广泛应用于各种行业软件,它开发了针对各种不同操作系统都开发了的版本。本节以Windows版本为例介绍MySQL数据库的下载、安装和配置。17.2.1MySQL的下载读者可以从MySQL官网下载MySQL数据库产品,官网地址是:https://dev.mysql.com。进入官网后可以看到如图17-1所示界面。图17-1 MySQL官网在图17-1所示的页面上单击“M
Read More
Read More
普通用户su - root切换root用户密码错误的故障-多极客编程
问题说明 使用普通用户su - root命令切换root用户,多次报密码错误,用ssh直接root用户登录, 密码确认又是正确的。$ su - root密码:su: 密码不正确$ su - root密码:su: 密码不正确查看系统登录日志 然后查看用户登录的系统日志,看错误是依赖包的问题。# tail -f /var/log/secureDec 20 03:46:50 iZn7m5cjif1k
Read More
Read More
mysql索引覆盖-多极客编程
作者:孙涛1.什么是覆盖索引通常情况下,我们创建索引的时候只关注where条件,不过这只是索引优化的一个方向。优秀的索引设计应该纵观整个查询,而不仅仅是where条件部分,还应该关注查询所包含的列。索引确实是一种高效的查找数据方式,但是mysql也可以从索引中直接获取数据,这样就不在需要读数据行了。 覆盖索引(covering index) 指一个查询语句的执行只需要从辅助索引中就可以得到查询记录
Read More
Read More
【编程实践】详解mysql在python中的使用(1)-多极客编程
前言在了解MySQL之前我们先来了解什么是数据库?以及了解数据库相关术语的介绍什么是数据库数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。每个数据库都有一个或多个不同的 API 用于创建,访问,管理,搜索和复制所存储的数据。我们也可以将数据存储在文件中,但是在文件中读写数据速度相对较慢,不利于操作所以,现在我们使用关系型数据库管理系统(RDBMS)来存储和管理大数据量。所谓的
Read More
Read More
「实操」结合图数据库、图算法、机器学习、gnn 实现一个推荐系统-多极客编程
本文是一个基于 NebulaGraph 上图算法、图数据库、机器学习、GNN 的推荐系统方法综述,大部分介绍的方法提供了 Playground 供大家学习。
基本概念
推荐系统诞生的初衷是解决互联网时代才面临的信息量过载问题,从最初的 Amazon 图书推荐、商品推荐,到电影、音乐、视频、新闻推荐,如今大多数网站、App 中都有至少一个基于推荐系统生成的供用户选择的物品列表界面。而这些物品的推荐
Read More
Read More