Skip to main content

moregeek program

三大实例带你搞定 prometheus api 使用_linksla智能运维管家的博客-多极客编程

作为一位优秀的技术人员,往往能通过对数据的最大化利用来产生更多价值。而 Prometheus 的监控数据则是可以为我们所用的重要数据,它并不只能用于日常的监控和告警使用,也可以用于数据分析、成本管理等企业需求。在这种场景下,需要我们从 Prometheus 去获取相关的数据,并对其进行处理加工。关于数据的获取方法,通常会使用 Prometheus 提供的 API 来操作,本文将会对此进行讲解介绍。

Read More

算法环境jupyter安装及启动_江南独孤客的博客-多极客编程

设置密码jupyter notebook password设置配置文件jupyter notebook --generate-configc.NotebookApp.allow_root =Truec.NotebookApp.ip = '*'c.NotebookApp.open_browser = Falsec.NotebookApp.password='sha1:31aa1f72a166:6e5

Read More

cdh5部署三部曲之二:部署和设置_github.com/zq2599的博客-多极客编程

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本文是《CDH5部署三部曲》的第二篇,上一篇《CDH5部署三部曲之一:准备工作》将集群所有机器做了必要的设置,今天一起来完成CDH的部署、启动、设置等操作; master机器上的设置 SSH登录master机器,执行以下操作: 安装mariad

Read More

cdh5部署三部曲之一:准备工作_github.com/zq2599的博客-多极客编程

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 系列介绍 《CDH5部署三部曲》共三篇文章,对CDH5.7.2版本的准备、部署、启动、设置等环节进行实战,内容如下: 第一篇:《准备工作》,即CDH集群中每一台机器都要做的操作; 第二篇:《部署和设置》,本章完成CDH集群部署和启动;

Read More

一文详解gaussdb(dws) 的并发管控和内存管控_华为云开发者社区的博客-多极客编程

摘要:DWS的负载管理分为两层,第一层为cn的全局并发控制,第二层为资源池级别的并发控制。本文分享自华为云社区《​​GaussDB(DWS) 并发管控&内存管控​​》,作者: fighttingman。1背景这里将并发管控和内存管控写在一起,是因为内存管控实际是通过限制语句的并发达到内存管控的目的的。内存管控是基于语句的估算内存的前提下进行管控的,通俗的说就是语句有个估算内存,当资源池的剩

Read More

现代数据治理如何在网易数帆成功落地?_网易数帆技术社区的博客-多极客编程

导读:本文将分享网易数帆数据治理的发展过程,以及对现代数据治理的概念和理念的理解,提出现代数据治理应该与数据开发和消费很好地衔接,具备开发治理一体化、形成治理的闭环、仓内仓外统一治理和建立数据资产门户等核心特点。文章将从以下四个方面展开:网易数帆大数据简介统建中台:先设计后开发见招拆招:运动式治理治理体系:现代数据治理分享嘉宾|余利华 网易数帆 大数据产品线总经理编辑整理|许友昌 每日互动出品社区

Read More

​​​hdfs管理工具hdfs explorer ​​​_wx6369307062d07的博客-多极客编程

HDFS eXplorer安装:下载安装包:HDFS Explorer Installer.msi双机默认安装即可简单操作:1、配置链接:选择第一个 2、链接配置 注意这里链接的集群节点Namenode必须是active状态 如果配置错误就会报如下异常 链接配置的服务器必须是启动namenode服务,没有namenode服务配置链接报如下异常 2、功能清单2.

Read More

cdh6.3.1搭建教程_qq604ad839511ed的博客-多极客编程

⼀.准备⼯作1.离线部署主要分为三块:a.MySQL离线部署b.CM离线部署c.Parcel⽂件离线源部署2.规划:3.下载源:⽀持的版本 ⭐: requirements supported versionsCMcm6.3.1-redhat7.tar.gzParcelCDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcelCDH-6.3.1-1.cdh6.3.1.p0.

Read More

为什么会产生yarn,解决了什么问题,优势?_蓦然的博客-多极客编程

简单来说,yarn是为了针对MRV1的各种缺陷提出来的资源管理框架详细介绍如下Hadoop 和 MRv1 简单介绍Hadoop 集群可从单一节点(其中所有 Hadoop 实体都在同一个节点上运行)扩展到数千个节点(其中的功能分散在各个节点之间,以增加并行处理活动)。图 1 演示了一个 Hadoop 集群的高级组件。一个 Hadoop 集群可分解为两个抽象实体:MapReduce 引擎和分布式文件系

Read More

字节跳动开源数据集成引擎 bitsail 的演进历程与能力解析_字节跳动数据平台的博客-多极客编程

导读BitSail 是字节跳动开源数据集成引擎,支持多种异构数据源间的数据同步,并提供离线、实时、全量、增量场景下全域数据集成解决方案,目前支撑了字节内部和火山引擎多个客户的数据集成需求。经过字节跳动各大业务线海量数据的考验,在性能、稳定性上得到较好验证。10 月 26 日,字节跳动宣布 BitSail 项目正式在 GitHub 开源,为更多的企业和开发者带来便利,降低数据建设的成本,让数据高效地

Read More

史上最全 jenkins pipeline流水线详解_mb6242cc9db1000的博客-多极客编程

原文链接:​​​https://zhangzhuo.ltd/articles/2022/06/04/1654333399919.html​​​一、什么是流水线jenkins 有 2 种流水线分为声明式流水线与脚本化流水线,脚本化流水线是 jenkins 旧版本使用的流水线脚本,新版本 Jenkins 推荐使用声明式流水线。文档只介绍声明流水线。1.1 声明式流水线在声明式流水线语法中,流水线过程定

Read More

基于 prometheus 的监控_mb6242cc9db1000的博客-多极客编程

众所周知,大数据产品作为底层平台,其运维监控一直是生产实践的痛点难点,且在稳定运行的基础之上往往还需要对性能进行评估优化,所以其监控系统的建设显得尤为重要。Prometheus 作为云原生时代最火的监控软件,很多大数据组件或原生或以第三方插件/exporter 的形式对 Prometheus 做了支持。我使用的大数据平台是基于 K8s 运行的,有部署灵活管理方便的优点,更容易与 Prometheu

Read More

cdh重启换了namenode节点后,提示encountered exception loading fsimage_江南独孤客的博客-多极客编程

报错代码如下:Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.

Read More

特征平台在数禾的建设与应用_阿里云计算平台团队的博客-多极客编程

本篇文章为数禾科技数据开发专家杨涵冰的演讲内容整理。主要内容包括:特征平台概览特征存储服务流批一体方案模型策略调用方案​​点击查看更多技术内容​​一、特征平台概览首先是特征平台的概览,整个特征平台分成四层,分别是数据服务、存储服务、计算引擎、原始存储。数据服务层提供向外的服务,主要包括四种:一是传统的 API 点查;二是圈选查询;三是事件消息;四是同步调用计算。其中同步调用计算服务是即时计算的,相

Read More

一文读懂hbase_程序员路遥的博客-多极客编程

HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的,HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。一、主要组件HBase详细架构图解注意:HBase是依赖ZooKeeper和HDFS的,需要启动ZooKeeper和HDFS。1. Client提供了访问HBase的一系列API接口,如Java Native A

Read More

标签评分:海量标签如何进行系统治理?_mb605311eb9631f的博客-多极客编程

本篇是「标签画像系列」的第四篇,此前我们已经介绍过了标签画像体系建设方法论、标签体系设计与加工、标签加工与落库,这次我们来介绍一下「标签评分」。标签评分是标签治理的一个重要措施,通过给标签打分,可清晰直观的从各个维度评估标签,掌握标签真实使用情况,进行标签持续优化,助力业务运营。同时,也能帮助数据团队判断哪些标签更应该投入计算与存储资源,合理规划集群资源。一、为何要使用标签评分?经过前期标签体系设

Read More

使用hadoop patch包修复的一次经历_江南独孤客的博客-多极客编程

原因:因为公司的平台的数据量在30P左右,使用了Hadoop3.1.2的版本,而且使用的纠删码功能,报错信息如下:java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

Read More

跨集群distcp数据的时候报错异常java.nio.channels.unresolvedaddressexception_江南独孤客的博客-多极客编程

异常2022-10-10 19:41:55,541 INFO [IPC Server handler 17 on 33142] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1663912973547_0434_m_000000_0: Error: java.io.IOExcept

Read More

kerberos开启后服务报错unable to obtain password from user_江南独孤客的博客-多极客编程

异常日志022-10-09 10:26:16,230 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to start journalnode.org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: jn/h

Read More

火山引擎在行为分析场景下的clickhouse join优化_字节跳动数据平台的博客-多极客编程

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群背景火山引擎增长分析DataFinder基于ClickHouse来进行行为日志的分析,ClickHouse的主要版本是基于社区版改进开发的字节内部版本。主要的表结构:事件表:存储用户行为数据,以用户ID分shard存储。--列出了主要的字段信息CREATE TABLE tob_apps_all( `tea_a

Read More