标签（空格分隔）： 大数据运维专栏 一：datasophon 的介绍 1.1 datasophon 的介绍 DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。 主要有以下特性: 极易部署，1小时可完成300节点的大数据集群部署 国产化兼容，兼容ARM服务器和常用国产

Read More

一、Nifi配置1)  nifi基本配置1.      jdk配置：nifi新版本要求jdk版本必须1.8以上目录：bin/nifi.env.sh       export JAVA_HOME=/usr/java/jdk1.8   忽略此项配置，nifi将使用系统默认Java环境启动。2.  nifi运行内存配置目录：conf/bootstarp.conf  java.arg.2=-Xms2048

Read More

一、环境准备1、服务器资源分配IP服务192.168.0.11Zookeeper、NiFi、Kerberos192.168.0.12Zookeeper、NiFi192.168.0.13Zookeeper、NiFi文件下载链接：nifi-1.16.0-bin.tar.gz：​​下载​​nifi-toolkit-1.16.0-bin.tar.gz：​​下载​​相关参考文档：​​NIFI文档​​2、禁用

Read More

1、namenode职责：1.1、管理各个datanode节点1.2、管理分布式文件系统的元数据信息比如 一个文件多大，文件名，文件被切成几块，每个文件块存到哪台datanode服务上1.3、通过RPC心跳机制来监控datanode的状态。对于网络通信，http主外，rpc主内1.4、为了确保数据存储的可靠性，采用冗余机制来实现，注意：副本数量不宜过多，因为会降低整个集群的磁盘利用率，一般采用3副

Read More

Hadoop 三大组件：HDFS，MapReduce，Yarn 的架构分析和原理1引子        大数据就是将各种数据统一收集起来进行计算，发掘其中的价值。这些数据，既包括数据库的数据，也包括日志数据，还包括专门采集的用户行为数据；既包括企业内部自己产生的数据，也包括从第三方采购的数据，还包括使用网络爬虫获取的各种互联网公开数据 ...        面对如此庞大的数据，如何存储、如何有效利用

Read More

官方网址：​​http://hadoop.apache.org/​​Welcome to Apache™ Hadoop®!What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Ha

Read More

在 v1.3 版本之后，SREWorks 团队收集了较多的用户反馈，大家普遍对于 SREWorks 的内网离线安装有较大的诉求。于是团队决定进一步增强这部分的安装能力。前端工程部分 (frontend)，为了开发者更加敏捷高效的协作开发，以及便于社区开发者参与共建前端组件生态。我们对前端工程架构进行了重新梳理拆分，按照 Monorepo 模式架构演进；同时也对工程构建相关工具进行了优化升级。下面为

Read More

一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式去处理它们。           框架会对Map的输出先进行排序，然后把结果输入给Reduce任务。通常作业的输入和输出都会被存储在文件系统中，整个框架负责任务的调度和监控，以及重新执行已经关闭的任务。           通常，MapReduce框架

Read More

一，配置mapred-site.xml进入以入目录[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop复制mapred-site.xml示例文件[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml修改mapred-site.xml，增加如下

Read More

 指令说明hadoop fs -mkdir /park01在hdfs根目录下创建文件夹park01hadoop fs -ls /查看hdfs根目录下有哪些目录或文件hadoop fs -put /root/1.txt /park01将linux操作系统root目录下的1.txt放在hdfs的park01目录下hadoop fs -get /park01/jdk /home把hdfs文件系统下par

Read More

1，分布式存储团叶槲蕨，支持海量数据存储。（GB、TB、PB级别数据）2，高容错性，数据拥有多个副本（副本冗余机制）。副本丢失后，自动恢复。3，低成本部署，hadoop可在廉价的服务器上4，能够检测和快速应对硬件故障，通过RPC心跳机制来实现5，简化的一致性模型，这里指的是用户在使用HDFS时，所有关于文件相关的操作，如文件切块、块的复制、块的存储等细节并不需要去关注，所有的工作都已被框架封装完毕

Read More

DFS架构图 知识点1.HDFS Hadoop Distributed File System  Hadoop的分布式文件系统，可以存储海量数据（文件，图片，影音等），实际工作中，一般存储的都是用户的访问日志（.txt）2.HDFS之所以能够存储海量数据，原因是一个可扩展的分布式架构，硬盘存储空间不够，加服务器即可。3.HDFS是基于Google的一篇论文《Google File Syste

Read More

1，分布式存储团叶槲蕨，支持海量数据存储。（GB、TB、PB级别数据）2，高容错性，数据拥有多个副本（副本冗余机制）。副本丢失后，自动恢复。3，低成本部署，hadoop可在廉价的服务器上4，能够检测和快速应对硬件故障，通过RPC心跳机制来实现5，简化的一致性模型，这里指的是用户在使用HDFS时，所有关于文件相关的操作，如文件切块、块的复制、块的存储等细节并不需要去关注，所有的工作都已被框架封装完毕

Read More

摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。本文分享自华为云社区《​​工业数据分析为什么要用FusionInsight MRS IoTDB？​​》，作者：高深广 。随着工业互联网逐步兴起，在加速工业自动化、智能化的同时，也进一步加速工业生产时间序列数据的产生速

Read More

1、数据发布与订阅（配置中心）数据发布/订阅系统，即配置中心。需要发布者将数据发布到Zookeeper的节点上，供订阅者进行数据订阅，进而达到动态获取数据的目的，实现配置信息的集中式管理和数据的动态更新（可以把我们知道RPC的注册中心看成是此场景的应用）。发布/订阅一般有两种设计模式：推模式和拉模式，服务端主动将数据更新发送给所有订阅的客户端称为推模式；客户端主动请求获取最新数据称为拉模式，Zoo

Read More

ZAB 协议是为分布式协调服务 ZooKeeper 专门设计的一种支持崩溃恢复的原子广播协议。在 ZooKeeper 中，主要依赖 ZAB 协议来实现分布式数据一致性，基于该协议，ZooKeeper 实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性，同时其崩溃恢复过程也确保看zk集群的高可用性（HA）。Zookeeper使用一个单一主进程来接收并处理客户端的所有事务请求，并采用ZA

Read More

Zookeeper为分布式应用提供了高效且可靠的分布式协调服务，其实现依赖于ZAB协议，实现了一种主备模式的架构来保持数据的一致性（Zookeeper本身可保证分布式数据的一致性，从而可以提供高效可靠的协调服务）。Zookeeper致力于提供一个高性能、高可用，且具有严格的顺序访问控制能力（主要是写操作的严格顺序性）的分布式协调服务。可用于大型的分布式系统中。 Zookeeper作为分布式协调服务

Read More

2PC、3PC的基本概念2PC,3PC主要是基于分布式事务的分布式一致性算法（因为分布式事务也可能会导致数据的不一致问题，这跟副本的不一致性从大类上看是都归于数据的不一致）。在分布式系统中，各个节点之间在物理上相互独立，通过网络进行沟通和协调。由于存在事务机制，可以保证每个独立节点上的数据操作可以满足ACID。但是，相互独立的节点之间无法准确的知道其他节点中的事务执行情况。所以从理论上讲，两台机器

Read More

一，安装1，解压zookeeper-3.4.7.tar.gz2，cd /conf,复制 cp zoo_sample.cfg zoo.cfg二，启动cd到zookeeper-3.4.7/bin下./zkServer.sh start启动成功后Starting zookeeper ... STARTED三，关闭sh ./zkServer.sh stop关闭成功后Stopping zookeeper .

Read More

摘要：openGemini的设计和优化都是根据时序数据特点而来，在面对海量运维监控数据处理需求时，openGemini显然更加有针对性。IT运维诞生于最早的信息化时代。在信息化时代，企业的信息化系统，主要为了满足企业内部管理的需求。通常是集中、可控和固化的烟囱式架构。传统IT运维，以人力运维为主，在单点式和烟囱式的架构中，的确起到了非常重要的作用。我们知道，传统运维模式关注的是单台IT设备的故障率

Read More