Skip to main content

moregeek program

大数据平台datasophon 测试部署-多极客编程

标签: hadoop 大数据 分类: hadoop spark yyds干货盘点 大数据平台datasop datasophon
标签（空格分隔）： 大数据运维专栏 一：datasophon 的介绍 1.1 datasophon 的介绍 DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。 主要有以下特性: 极易部署，1小时可完成300节点的大数据集群部署 国产化兼容，兼容ARM服务器和常用国产

Read More

hadoop概述-多极客编程

标签: hadoop 大数据 分类: hadoop google apache yyds干货盘点
官方网址：​​http://hadoop.apache.org/​​Welcome to Apache™ Hadoop®!What Is Apache Hadoop?The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.The Apache Ha

Read More

hadoop中mapreduce配置-多极客编程

标签: hadoop 大数据 分类: hadoop xml mapreduce yyds干货盘点
一，配置mapred-site.xml进入以入目录[root@hadoop01 hadoop]# cd /home/software/hadoop-2.7.1/etc/hadoop复制mapred-site.xml示例文件[root@hadoop01 hadoop]# cp mapred-site.xml.template mapred-site.xml修改mapred-site.xml，增加如下

Read More

hdfs的常用指令-多极客编程

标签: hadoop 大数据 分类: hadoop hdfs yyds干货盘点
 指令说明hadoop fs -mkdir /park01在hdfs根目录下创建文件夹park01hadoop fs -ls /查看hdfs根目录下有哪些目录或文件hadoop fs -put /root/1.txt /park01将linux操作系统root目录下的1.txt放在hdfs的park01目录下hadoop fs -get /park01/jdk /home把hdfs文件系统下par

Read More

hdfs细节-多极客编程

标签: hadoop 大数据 分类: hadoop hdfs 元数据 yyds干货盘点
DFS架构图 知识点1.HDFS Hadoop Distributed File System  Hadoop的分布式文件系统，可以存储海量数据（文件，图片，影音等），实际工作中，一般存储的都是用户的访问日志（.txt）2.HDFS之所以能够存储海量数据，原因是一个可扩展的分布式架构，硬盘存储空间不够，加服务器即可。3.HDFS是基于Google的一篇论文《Google File Syste

Read More

cdh问题及维护汇总-多极客编程

标签: 其它 系统/运维 分类: java hadoop kafka cdh cdh维护
目录：一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、Spark九、其他错误十、日志路径维护十一、Cloudera Management Service角色迁移“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点​​这里

Read More

sqoop入门教程-多极客编程

标签: 云计算 虚拟化 分类: java hadoop sqoop sqoop教程
目录一、Sqoop概述       1、简介        2、Sqoop架构原理        3、Sqoop连接器二、Sqoop安装       1、sqoop下载解压        2、sqoop配置文件        3、mysql的jar包设置        4、sqoop环境变量设置        5、sqoop安装验证               1)sqoop环境变量验证    

Read More

elasticsearch集群安装-多极客编程

标签: linux 系统/运维 分类: linux hadoop elasticsearc yyds干货盘点
1、前置条件，服务器必须安装了JDK环境可使用java -version或 rpm -qa | grep jdk 验证服务器是否安装了JDK由于之前已安装过，所以这里略过。2、上传elasticsearch-7.2.0-linux-x86_64.tar.gz、kibana-7.2.0-linux-x86_64.tar.gz、node-v10.15.0-linux-x64.tar.xz 、elast

Read More

hadoop生态圈-knox网关的应用案例-多极客编程

标签: 大数据 其它 分类: hadoop apache http yyds干货盘点
一.Knox网关简介　　据Knox官网所述（http://knox.apache.org/）：Apache Knox Gateway是用于与Apache Hadoop部署的RESTAPI和UI交互的应用程序网关。Knox Gateway为与Apache Hadoop集群的所有REST和HTTP交互提供一个单一的访问点。KNOX提供三组面向用户的服务：　　　　代理服务：Apache Knox项目的主

Read More

web版kettle安装部署_wx6369307062d07的博客-多极客编程

标签: linux 系统/运维 分类: hadoop 配置文件 yyds干货盘点 导入数据
1、上传文件到/home/目录下 2、解压压缩包执行unzip webkettle-master.zip指令解压文件[root@hadoop2 home]# unzip webkettle-master.zip3、修改包名[root@hadoop2 home]# mv webkettle-master webkettle4、编译部署包[root@hadoop2 home]# cd webke

Read More

centos7 搭建单机spark分布式集群_wx636d0c5e64939的博客-多极客编程

标签: c/c++ 编程语言 分类: hadoop bash spark yyds干货盘点
(目录) 1. JDK Hadoop Spark安装与配置 1.1 解压包 官网下载jdk、hadoop、sprak对应的包，注意版本 tar -zxvf jdk-8u241-linux-x64.tar.gz tar -zxvf hadoop-3.2.2.tar.gz tar -zxvf spark-3.2.0-bin-hadoop3.2.taz 1.2 配置环境变量 添加配置，注意文

Read More

nifi+外部zookeeper集群部署 _qq604ad839511ed的博客-多极客编程

标签: 大数据 其它 分类: 服务器 hadoop zookeeper yyds干货盘点
NIFI+外部zookeeper集群部署 1、配置jdk环境使用rpm -qa | grep jdk 指令查看服务器是否安装过jdk,这里一般用于卸载openjdk,[root@hadoop1 ~]# rpm -qa|grep java  1.1、openjdk卸载----卸载指令：[root@hadoop1 ~]# rpm -e --nodeps +安装包名 卸载使用这一行命令也可以卸载 

Read More

为什么会产生yarn，解决了什么问题，优势？_蓦然的博客-多极客编程

标签: hadoop 大数据 分类: hadoop 应用程序 mapreduce yyds干货盘点
简单来说，yarn是为了针对MRV1的各种缺陷提出来的资源管理框架详细介绍如下Hadoop 和 MRv1 简单介绍Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高级组件。一个 Hadoop 集群可分解为两个抽象实体：MapReduce 引擎和分布式文件系

Read More

安装和体验hive_github.com/zq2599的博客-多极客编程

标签: hive 大数据 分类: hadoop hive yyds干货盘点
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 关于hive Hive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 环境信息 本文对应的环境信息如下： CentOS Linux release 7.5.1804 JDK：1.8.0_1

Read More

hadoop之初识mapreduce_chad_chang的博客-多极客编程

标签: 大数据 其它 分类: hadoop 大数据 mapreduce yyds干货盘点
(初识MapReduce) 1．MapReduce计算模型介绍 1.1．理解MapReduce思想 MapReduce的思想核心是<font color=red>“分而治之”</font>。 所谓“分而治之”就是把一个复杂的问题按一定的“分解”方法分为规模较小的若干部分，然后逐个解决，分别找出各部分的解，再把把各部分的解组成整个问题的解。 这种朴素的思想来源于人们生活与工

Read More

cdh重启换了namenode节点后，提示encountered exception loading fsimage_江南独孤客的博客-多极客编程

标签: hadoop 大数据 分类: java hadoop hdfs
报错代码如下：Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.

Read More

spark on k8s 在阿里云 emr 的优化实践_阿里云计算平台团队的博客-多极客编程

标签: 大数据 spark 分类: hadoop 数据 大数据 spark
导读： 随着大数据技术的发展，Spark 成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中，Spark on YARN 成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是 Spark3.1 版本下该模式的正式可用（GA），Spark on K8s 已成燎原之势。今天的介绍会围绕下面两点展开：Spark on K8s 的基础概念和特性Spark on K8s 在阿里云

Read More

hadoop-2.6.0-cdh5.9.0 安装_雍州无名的博客-多极客编程

标签: 其它 系统/运维 分类: java hadoop vim
1.hadoop-cdh下载地址​​http://archive.cloudera.com/cdh5/cdh/5/​​2.软件准备jdk-8u65-linux-x64.rpmhadoop-2.6.0-cdh5.9.0.tar.gz3.修改机器配置(1).关闭防火墙service iptables stopchkconfig iptables off(2).关闭selinuxvim /etc/sys

Read More

阿里云大数据开发三面面经，已过，面试题已配答案_蓦然的博客-多极客编程

标签: 大数据 其它 分类: hadoop 数据 spark yyds干货盘点
1、SQL题自由发挥2、实习经历根据自己的来就行，一面面试题也有说3、Hadoop和Spark的相同点和不同点相同点：Hadoop和Spark都是并行计算，两者都是用MR模型进行计算。都提供了灾难恢复Hadoop将每次处理后的数据写入磁盘中，对应对系统错误具有天生优势。Spark的数据对象存储在弹性分布式数据集(RDD)中。这些数据对象既可放在内存，也可以放在磁盘，所以RDD也提供完整的灾难恢复功

Read More

阿里云大数据开发一面面经，已过，面试题已配答案_蓦然的博客-多极客编程

标签: 大数据 spark 分类: hadoop spark yyds干货盘点 大数据开发面试题 大数据开发
这份面试题时群里一位小伙伴分享的，我给这份面试题找了一些参考答案参考答案来源：​​大数据面试题V3.0，523道题，779页，46w字​​1、实习经历这一点就不多说了，每个人都不一样，根据自己的介绍就行。2、简单介绍wordcount先来看一张图具体各个阶段做了什么spliting ：Documents会根据切割规则被切成若干块，map阶段：然后进行Map过程，Map会并行读取文本，对读取的单词进

Read More