标签(空格分隔): 大数据运维专栏
一:datasophon 的介绍
1.1 datasophon 的介绍
DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定、高效的大数据集群服务。
主要有以下特性:
极易部署,1小时可完成300节点的大数据集群部署
国产化兼容,兼容ARM服务器和常用国产
Read More
moregeek program
hadoop概述-多极客编程
官方网址:http://hadoop.apache.org/Welcome to Apache™ Hadoop®!What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Ha
Read More
Read More
hadoop中mapreduce配置-多极客编程
一,配置mapred-site.xml进入以入目录[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop复制mapred-site.xml示例文件[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml修改mapred-site.xml,增加如下
Read More
Read More
hdfs的常用指令-多极客编程
指令说明hadoop fs -mkdir /park01在hdfs根目录下创建文件夹park01hadoop fs -ls /查看hdfs根目录下有哪些目录或文件hadoop fs -put /root/1.txt /park01将linux操作系统root目录下的1.txt放在hdfs的park01目录下hadoop fs -get /park01/jdk /home把hdfs文件系统下par
Read More
Read More
hdfs细节-多极客编程
DFS架构图 知识点1.HDFS Hadoop Distributed File System Hadoop的分布式文件系统,可以存储海量数据(文件,图片,影音等),实际工作中,一般存储的都是用户的访问日志(.txt)2.HDFS之所以能够存储海量数据,原因是一个可扩展的分布式架构,硬盘存储空间不够,加服务器即可。3.HDFS是基于Google的一篇论文《Google File Syste
Read More
Read More
cdh问题及维护汇总-多极客编程
目录:一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、Spark九、其他错误十、日志路径维护十一、Cloudera Management Service角色迁移“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里
Read More
Read More
sqoop入门教程-多极客编程
目录一、Sqoop概述 1、简介 2、Sqoop架构原理 3、Sqoop连接器二、Sqoop安装 1、sqoop下载解压 2、sqoop配置文件 3、mysql的jar包设置 4、sqoop环境变量设置 5、sqoop安装验证 1)sqoop环境变量验证
Read More
Read More
elasticsearch集群安装-多极客编程
1、前置条件,服务器必须安装了JDK环境可使用java -version或 rpm -qa | grep jdk 验证服务器是否安装了JDK由于之前已安装过,所以这里略过。2、上传elasticsearch-7.2.0-linux-x86_64.tar.gz、kibana-7.2.0-linux-x86_64.tar.gz、node-v10.15.0-linux-x64.tar.xz 、elast
Read More
Read More
hadoop生态圈-knox网关的应用案例-多极客编程
一.Knox网关简介 据Knox官网所述(http://knox.apache.org/):Apache Knox Gateway是用于与Apache Hadoop部署的RESTAPI和UI交互的应用程序网关。Knox Gateway为与Apache Hadoop集群的所有REST和HTTP交互提供一个单一的访问点。KNOX提供三组面向用户的服务: 代理服务:Apache Knox项目的主
Read More
Read More
web版kettle安装部署_wx6369307062d07的博客-多极客编程
1、上传文件到/home/目录下 2、解压压缩包执行unzip webkettle-master.zip指令解压文件[root@hadoop2 home]# unzip webkettle-master.zip3、修改包名[root@hadoop2 home]# mv webkettle-master webkettle4、编译部署包[root@hadoop2 home]# cd webke
Read More
Read More
centos7 搭建单机spark分布式集群_wx636d0c5e64939的博客-多极客编程
(目录)
1. JDK Hadoop Spark安装与配置
1.1 解压包
官网下载jdk、hadoop、sprak对应的包,注意版本
tar -zxvf jdk-8u241-linux-x64.tar.gz
tar -zxvf hadoop-3.2.2.tar.gz
tar -zxvf spark-3.2.0-bin-hadoop3.2.taz
1.2 配置环境变量
添加配置,注意文
Read More
Read More
nifi+外部zookeeper集群部署 _qq604ad839511ed的博客-多极客编程
NIFI+外部zookeeper集群部署 1、配置jdk环境使用rpm -qa | grep jdk 指令查看服务器是否安装过jdk,这里一般用于卸载openjdk,[root@hadoop1 ~]# rpm -qa|grep java 1.1、openjdk卸载----卸载指令:[root@hadoop1 ~]# rpm -e --nodeps +安装包名 卸载使用这一行命令也可以卸载
Read More
Read More
为什么会产生yarn,解决了什么问题,优势?_蓦然的博客-多极客编程
简单来说,yarn是为了针对MRV1的各种缺陷提出来的资源管理框架详细介绍如下Hadoop 和 MRv1 简单介绍Hadoop 集群可从单一节点(其中所有 Hadoop 实体都在同一个节点上运行)扩展到数千个节点(其中的功能分散在各个节点之间,以增加并行处理活动)。图 1 演示了一个 Hadoop 集群的高级组件。一个 Hadoop 集群可分解为两个抽象实体:MapReduce 引擎和分布式文件系
Read More
Read More
安装和体验hive_github.com/zq2599的博客-多极客编程
欢迎访问我的GitHub
这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos
关于hive
Hive是种基于Hadoop的数据仓库工具,将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。
环境信息
本文对应的环境信息如下:
CentOS Linux release 7.5.1804
JDK:1.8.0_1
Read More
Read More
hadoop之初识mapreduce_chad_chang的博客-多极客编程
(初识MapReduce)
1.MapReduce计算模型介绍
1.1.理解MapReduce思想
MapReduce的思想核心是<font color=red>“分而治之”</font>。
所谓“分而治之”就是把一个复杂的问题按一定的“分解”方法分为规模较小的若干部分,然后逐个解决,分别找出各部分的解,再把把各部分的解组成整个问题的解。
这种朴素的思想来源于人们生活与工
Read More
Read More
cdh重启换了namenode节点后,提示encountered exception loading fsimage_江南独孤客的博客-多极客编程
报错代码如下:Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.
Read More
Read More
spark on k8s 在阿里云 emr 的优化实践_阿里云计算平台团队的博客-多极客编程
导读: 随着大数据技术的发展,Spark 成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中,Spark on YARN 成为主流的任务执行方式,而随着容器化概念以及存算分离思想的普及,尤其是 Spark3.1 版本下该模式的正式可用(GA),Spark on K8s 已成燎原之势。今天的介绍会围绕下面两点展开:Spark on K8s 的基础概念和特性Spark on K8s 在阿里云
Read More
Read More
hadoop-2.6.0-cdh5.9.0 安装_雍州无名的博客-多极客编程
1.hadoop-cdh下载地址http://archive.cloudera.com/cdh5/cdh/5/2.软件准备jdk-8u65-linux-x64.rpmhadoop-2.6.0-cdh5.9.0.tar.gz3.修改机器配置(1).关闭防火墙service iptables stopchkconfig iptables off(2).关闭selinuxvim /etc/sys
Read More
Read More
阿里云大数据开发三面面经,已过,面试题已配答案_蓦然的博客-多极客编程
1、SQL题自由发挥2、实习经历根据自己的来就行,一面面试题也有说3、Hadoop和Spark的相同点和不同点相同点:Hadoop和Spark都是并行计算,两者都是用MR模型进行计算。都提供了灾难恢复Hadoop将每次处理后的数据写入磁盘中,对应对系统错误具有天生优势。Spark的数据对象存储在弹性分布式数据集(RDD)中。这些数据对象既可放在内存,也可以放在磁盘,所以RDD也提供完整的灾难恢复功
Read More
Read More
阿里云大数据开发一面面经,已过,面试题已配答案_蓦然的博客-多极客编程
这份面试题时群里一位小伙伴分享的,我给这份面试题找了一些参考答案参考答案来源:大数据面试题V3.0,523道题,779页,46w字1、实习经历这一点就不多说了,每个人都不一样,根据自己的介绍就行。2、简单介绍wordcount先来看一张图具体各个阶段做了什么spliting :Documents会根据切割规则被切成若干块,map阶段:然后进行Map过程,Map会并行读取文本,对读取的单词进
Read More
Read More