Skip to main content

moregeek program

分布式存储之 etcd 的集群管理_mb60939e30d6d2e的博客-多极客编程

在分布式文件存储中,我们通常会面临集群选主,配置共享和节点状态监控的问题。通过 etcd(基于 Raft 协议))可以实现超大规模集群的管理,以及多节点的服务可靠性。今天,我们就聊聊 etcd 在分布式存储中的具体应用。什么是 etcd ?etcd 是由 CoreOS 公司开发的一个开源的分布式 KV 存储,主要用于服务发现、共享配置以及一致性保障。etcd 的灵感来自于 ZooKeeper 和

Read More

京东云开发者|经典同态加密算法paillier解读 - 原理、实现和应用_京东云官方的博客-多极客编程

摘要随着云计算和人工智能的兴起,如何安全有效地利用数据,对持有大量数字资产的企业来说至关重要。同态加密,是解决云计算和分布式机器学习中数据安全问题的关键技术,也是隐私计算中,横跨多方安全计算,联邦学习和可信执行环境多个技术分支的热门研究方向。本文对经典同态加密算法Pailier算法及其相关技术进行介绍,重点分析了Paillier的实现原理和性能优化方案,同时对基于公钥的加密算法中的热门算法进行了横

Read More

高性能计算进化史_赵大奇的博客-多极客编程

前几天发了一篇高性能计算的从业经历回顾的文章,收到一封小伙伴的私信,让我说说高性能计算的发展历史。工作以来,一直在高性能计算行业打转,每天面对着各种服务器、小型机、超级计算机,对这些家伙还算熟悉,也见证了这些年,国内高性能计算从弱到强的发展历程。虽然和当下热门的手机、个人计算机行业相比,高性能计算是个冷僻的行业,知道的人不多,各种事件更是很少见诸报端,但是它在我们看不到的地方,很多新兴产业和科研生

Read More

没有使用iac的devops系统都是耍流氓_wx630f055ce23fc的博客-多极客编程

作为现代软件工程的基础实践,基础设施即代码(Infrastructure as Code, IaC)是云原生、容器、微服务以及DevOps背后的底层逻辑。应该说,以上所有这些技术或者实践都是以基础设施即代码为基本模式的一种或者多种方法的集合。基础设施即代码并不是一种特定的技术,而是一种解决问题的思路。本文将从基础设施即代码的含义,原则和落地方法三个层面来帮助你理解为什么没有使用IaC的DevOps

Read More

bcc 和 ftrace 追踪内核网络模块实战_mb60939e30d6d2e的博客-多极客编程

今天给技术伙伴们分享一下 BCC 和 Ftrace 的使用方法,在开发实践过程中会遇到哪些问题,本篇文章都将一一道来~BCC 一个用于跟踪内核和操作程序的工具集,其软件包中包含了一些有用的工具和例子,是 eBPF 技术的一个前端,集成了 ebpf/kprobe/uprobe 等工具,可以使用 Python 来封装,对一些常见功能进行了整合。而 eBPF 是近几年比较热门的一项技术,它的前身是 BP

Read More

如何在 kubernetes 中使用 yrcloudfile 的 dataload 功能?_mb60939e30d6d2e的博客-多极客编程

Kubernetes 是用于自动部署、扩展和管理容器化应用程序的一个开源的容器编排解决方案。尽管 Kubernetes 最初是为无状态应用程序设计的,但随着有状态工作负载的日益流行,Kubernetes 也可用于管理有状态应用程序。今天我们想要分享的是如何在 Kubernetes 中使用 YRCloudFile 的 DataLoad 功能。当前业内擅长非结构化数据的存储方式主要是文件存储和对象存储

Read More

一次客户需求引发的k8s网络探究 _京东云官方的博客-多极客编程

前言在本次案例中,我们的中台技术工程师遇到了来自客户提出的打破k8s产品功能限制的特殊需求,面对这个极具挑战的任务,攻城狮最终是否克服了重重困难,帮助客户完美实现了需求?且看本期K8S技术案例分享!(友情提示:文章篇幅较长,建议各位看官先收藏再阅读,同时在阅读过程中注意劳逸结合,保持身心健康!)第一部分:“颇有个性”的需求某日,我们的技术中台工程师接到了客户的求助。客户在云上环境使用了托管K8S集

Read More

【docker 那些事儿】容器网络的 “梦华录”(上篇)_shiningstar的博客-多极客编程

@toc 🌟 前言 当企业开始大规模使用 Docker 时,工程师就需要掌握很多关于网络的知识。 Docker 作为目前流行的轻量级容器技术,有很多令人称道的功能,如前面介绍的 Docker 镜像管理。 然而,Docker 也有很多不完善的地方,网络方面就是 Docker 比较薄弱的部分。 作为初学者的我们来说很有必要深入了解 Docker 的网络知识,以适应更高的网络需求。 1. 容器网络概

Read More

【docker 那些事儿】容器数据卷的本手_shiningstar的博客-多极客编程

@toc 🌟 前言 在生产环境中使用 Docker 容器,往往需要对数据进行持久化保存,或者多个容器需要共享数据。 这时就会使用到容器数据卷,通过容器数据卷管理容器数据是一项使用容器的基本技能。 我将会用两篇文章,来详细介绍容器数据卷的使用及其相关内容。 1. 容器数据卷概念 容器技术使用 rootfs 机制与 Namespace,构建出与宿主机隔离开的文件系统。在用户使用 Docker 容

Read More

服务器无法登录之迷——login界面无限循环_13043917的博客-多极客编程

     本周遇到了一个很奇葩的问题,客户的一台服务器无论如何都无法登录到机器系统里面去。可以肯定的是输入的登录密码是完全正确的,但是输入密码后,总在login登录界面无限循环。     今天抽空总结下这个问题的前因后果。      登录异常现象 1、ssh登录成功后,会立即退出。输入错误密码正常报错     输入正确密码立即退出     2、vnc本地登录,一直在login界面。输入错误密码正常

Read More

【docker 那些事儿】如何安全地进入到容器内部_shiningstar的博客-多极客编程

@[toc] 🌟 前言 镜像是构建容器的蓝图,Docker 以镜像为模板,构建出容器。 容器在镜像的基础上被构建,也在镜像的基础上运行,容器依赖于镜像。 本文将对 容器的运行 及相关内容进行详细讲解。 1. 容器运行 在 Docker 官方网站可以查询与 Docker 相关的资料以及帮助手册,但是内容都是英文的,可能会对一些小白造成困扰。(而且,访问 Docker 官方网站特别缓慢 ),所以

Read More

【docker 那些事儿】容器为什么傲娇?全靠镜像撑腰(上)_shiningstar的博客-多极客编程

@[toc] 🌟 前言 Docker 镜像是 Docker 容器的基石,容器是镜像的运行实例,有了镜像才能启动容器。 Docker 镜像是一个只读的模板,一个独立的文件系统,包括运行一个容器所需的数据,可以用来创建容器。 1. base镜像 base(基础) 镜像是指完全从零开始构建的镜像, 它不会依赖其他镜像,甚至会成为被依赖的镜像,其他镜像以它为基础进行扩展。 通常 base 镜像都是

Read More

「k8s入门指北」还不会安装docker?建议看这篇就够了_shiningstar的博客-多极客编程

@[toc] 🌟 前言 Docker 作为新兴的容器技术,目前在企业中得到了广泛的应用,市场也十分渴望相关技术人才。 由于各企业使用的服务器系统有所差异,本文章将详细介绍如何在 Windows、Linux 以及 Mac 系统下安装 Docker。 1. Windows 安装 Docker 🍑 Docker 版本 Docker 原本是 dotCloud 公司旗下一个业余的开源产品,随着 Do

Read More

分布式链路追踪jaeger + spring cloud pig在rainbond上的实践分享_rainbond的博客-多极客编程

随着微服务架构的流行,客户端发起的一次请求可能需要涉及到多个或 N 个服务,致使我们对服务之间的监控和排查变得更加复杂。 举个例子: 某条业务线的某个接口调用服务端时快时慢,这时就需要排查各个服务的日志进行分析,调动各个服务的开发人员联动排查,这种排查费时又费力。对于 ToB 的业务有时候还拿不到日志,难搞哦! 因此,就需要可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候,能够快速

Read More

混合云存储点燃万亿自动驾驶市场,加速产品落地_mb60939e30d6d2e的博客-多极客编程

导语:当前,自动驾驶已经在国内部分地区商业化试点,而一些造车新势力的量产车型,也普遍推出了自动辅助驾驶功能。随着自动驾驶的不断发展,自动驾驶背后的技术也开始备受关注。万亿自动驾驶背后,混合云存储鼎力相助近年,自动化驾驶产品和服务日趋成熟,自动驾驶市场也在快速发展。据市场研究机构 Guidehouse Insights 预计,到 2032 年,全球自动驾驶卡车和客车市场规模有望增长到 120 万辆,

Read More

云原生应用与云原生应用平台_mb62e35454a234b的博客-多极客编程

在云原生架构发展的过程同时云原生应用与云原生应用平台,那什么是云原生应用?云原生应用是在云平台上设计、开发、部署、运行的应用,云原生应用不只是将应用打包成容器镜像,还需要结合云原生技术将镜像部署到 K8s 容器上运行起来。云原生应用主要分为无状态应用和有状态应用两类:● 无状态应用∶不依赖运行环境,可以自由伸缩;比如没有采用本地内存、磁盘存储、日志等,好处是可以将应用部署到另一个全新的环境中。●

Read More

从存储角度看自动驾驶必经之路_mb60939e30d6d2e的博客-多极客编程

当前,我们生活在一个数字时代,不断通过技术与其他人联系已经成为日常需求。生活中大家使用的机器也开始逐渐变得更智能、更方便,包括每天在路上行驶的车辆。随着车辆联网程度变得越来越高,汽车联网逐渐成为人们对车辆的正常需求,而不再是妄想。在疫情、燃料成本和环境的倒推下,全球正在迅速向电动汽车过渡,加速向可持续化的方向发展。一辆普通汽车每天都会产生大量的数据,车辆相当于是一台“长了轮胎”的电脑,每当它们移动

Read More

8 年产品经验,我总结了这些持续高效研发实践经验 · 研发篇_wx60c982be69595的博客-多极客编程

**前言:**在产研全链路流程上,协同最大的目标就是团队信息的透明化,即在清晰目标的指引下进行团队信息透明的日常研发工作,助力项目/产品成功发布。基于此,研发过程是否行之有效就成为我们关注的另一重点要素。通常「研发过程」是指:代码到制品再到部署上线的全链路,这个过程是持续集成的重中之重。本期主要围绕「研发过程」展开探讨,在具体分享实践之前,笔者想先和大家畅想讨论下,在软件研发全流程中,我们需要怎样

Read More

焱融全闪 x nvidia infiniband:打造 ai 时代 gpu 计算的高性能存储技术_mb60939e30d6d2e的博客-多极客编程

InfiniBand 技术正在不断创造更高的数据吞吐量记录,目前 200Gbps 网络已经普及,400Gbps 紧随其后。同时,通过 multi-path 技术将多网卡带宽性能聚合。原生支持 RDMA 技术,在保证高带宽输出的基础上,大大降低数据访问延迟,为高性能计算、人工智能、云计算、存储等众多数据密集型应用提供了强大的网络性能支撑。焱融科技基于高性能分布式并发文件存储系统 YRCloudFil

Read More

kubernetes集群etcd数据备份与恢复实践_kubernetes-->paas平台的博客-多极客编程

1、备份有证书etcd集群数据# 首次备份,在master01节点将etcdctl工具从容器拷到master节点docker cp <etcd containerid>:/usr/local/bin/etcdctl /usr/bin/# etcd containerid可通过命令(docker ps | grep etcd)查询获得,拷贝成功后,授执行权限chmod +x /usr/b

Read More