Skip to main content

moregeek program

cdh问题及维护汇总-多极客编程

目录:一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、Spark九、其他错误十、日志路径维护十一、Cloudera Management Service角色迁移“无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点​​这里

Read More

群晖ds218+部署kafka-多极客编程

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 起因是懒 我是个Java程序员,在家写代码时常用到redis、mysql、kafka这些基础服务,通常做法是打开电脑,启动redis、mysql、kafka,用完再关闭电脑,总觉得这些操作挺麻烦(您想骂我懒么?您骂得对.....) 群晖解决烦恼

Read More

kafka 分区迁移统计时间脚本-多极客编程

#!/bin/bsahstarttime=`date +'%Y-%m-%d %H:%M:%S'`;echo "Start: $starttime";/app/ctgkafka/ctg_kafka_instance/13/icc-5gcmp-kafka-yl5/1/bin/kafka-reassign-partitions.sh --zookeeper 172.25.1.136:2181,172.2

Read More

【生产】kafka 调优_赵承胜博客的博客-多极客编程

适用于 es 和kafkajstat -gcutil pid jstat -gcutil pid 1000 通过 jstat -gcutil 1000 查看到kafka进程GC情况 主要看 YGC,YGCT,FGC,FGCT 这几个参数,如果这几个值不是很大,就没什么问题 YGC:young gc发生的次数 YGCT:young gc消耗的时间 FGC:full gc发生的次数

Read More

查看某个topic 消费速率_赵承胜博客的博客-多极客编程

在没有监控的情况下可以这么看查看topic 一天的消费速率#!/bin/shbrokers="ip:port"topic="CMP_RADUIS_OLL_TOPIC"path="/app/ctgkafka/ctg_kafka_instance/13/icc-5gcmp-kafka/1/bin"y1=`date -d "24 hour ago" +"%Y-%m-%d %H:%M:%S"`y2=`da

Read More

【夯实kafka实战性能调优技能】消息队列服务端出现内存溢出oom以及相关性能调优实战分析_李博alex的博客-多极客编程

内存问题本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。bin目录下的kafka-run-class.sh中须要配置的参数kafka是由scala和java编写的。因此须要调一些jvm的参数。java的内存分为堆内内存和堆外内存。JVM

Read More

kafka 简介与应用场景(一)_flyfish的博客-多极客编程

kafka 简介与应用场景(一) 标签(空格分隔): kafka系列 一:kafka 简介 二:kafka 的相关组建 三:kafka 的架构 四:kafka 的应用场景 一: kafka的简介: 1.1 kafka 的简介 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社

Read More

flink sql管理平台flink-streaming-platform-web安装搭建_大数据技术派的博客-多极客编程

我的gitee地址:https://gitee.com/ddxygq/bigdata-technical-pai 最近看到有人在用flink sql的页面管理平台,大致看了下,尝试安装使用,比原生的flink sql界面确实好用多了,我们看下原生的,通过bin/sql-client.sh命令进入那个黑框,一只松鼠,对,就是那个界面。。。。 这个工具不是Flink官方出的,是一个国内的小伙伴写的

Read More

使用kafka assistant监控kafka关键指标_4f3的博客-多极客编程

使用Kafka Assistant监控Kafka关键指标使用Kafka时,我们比较关心下面这些常见指标。 Kafka Assistant下载地址:​​http://www.redisant.cn/ka​​broker度量指标活跃控制器数量该指标表示 broker 是否就是当前的集群控制器,其值可以是 0 或 1。如果是 1,表示 broker 就是当前的控制器。任何时候,都应该只有一个 broke

Read More

spring cloud bus_spring认证的博客-多极客编程

Spring Cloud总线用轻量级消息链接分布式系统的节点 代理。然后,可以使用此代理广播状态更改(例如配置 变更)或其他管理说明。一个关键的想法是,公共汽车就像一个 用于横向扩展的 Spring 引导应用程序的分布式执行器。但是,它可以 也可用作应用程序之间的通信渠道。该项目为以下项目提供了入门 AMQP 代理或 Kafka 作为传输。Spring Cloud 是在非限制性 Apache 2.

Read More

docker搭建kafka集群_wx6369307062d07的博客-多极客编程

对于个人开发者而言,一般手头上没有多台服务器,有人可能会有云服务器,不过一般也只会买一台来用用就好;有人可能更习惯将本机当作服务器来玩。都可以。那么如何通过一台服务器或本机来搭建Kafka集群呢?无外乎两种方式,一是通过docker来搭建,每台kafka broker用不同的端口来启动,即可组成集群;二是通过虚拟机来搭建,即用VMware在服务器或本机上启动多台虚拟机,每台虚拟机都安装一个kafk

Read More

分布式流处理组件-理论篇:kafka与安装配置_俗世游子的博客-多极客编程

💯 作者: 俗世游子【谢先生】。 2014年入行的程序猿。多年开发和架构经验。专注于Java、云原生、大数据等领域技术。 💥 成就: 从CRUD入行,负责过亿级流量架构的设计和落地,解决了千万级数据治理问题。📖 同名社区:​​51CTO​​​、 ​​github​​​、掘金​、​​gitee​​​。📂 清单: ​​​goku-framework​​​、​​【更新中】享阅读II​​📚 距离上次Dev

Read More

这个bug,你中招了吗?_wx630f055ce23fc的博客-多极客编程

今天这篇文章,给大家分享一下最近看kafka源码时候,困扰我几天的疑惑,供大家一起思考讨论,确定一下它是不是一个 Bug 欢迎留言一起探讨!这个 " Bug " ,发生在分区副本进行分配的时候, 为了让大家更好的理解,我把kafka里面所有情况的分区分配规则给大家详细讲解一下 「 不想看过程,可以直接看最后的总结部分 」在kafka需要进行分区副本分配计算的地方有三个地方「 Topic创建 」的时

Read More

发送kafka消息的shell脚本_github.com/zq2599的博客-多极客编程

欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 开发和学习时需要造一些kafka消息,于是写了段脚本实现,在这里记录备忘,后面会常用到; 环境信息 Kafka:2.0.1 Zookeeper:3.5.5 shell脚本运行环境:MacBook Pro (系统:10.15.3 (19D76))

Read More

spring boot 消息传递_spring认证的博客-多极客编程

Spring Framework 为与消息传递系统的集成提供了广泛的支持,从使用 JMS API 的简化使用​​JmsTemplate​​​到异步接收消息的完整基础架构。Spring AMQP 为高级消息队列协议提供了类似的功能集。​​RabbitTemplate​​Spring Boot 还为RabbitMQ提供了自动配置选项。Spring WebSocket 原生包括对 STOMP 消息传递的

Read More

jmeter 扩展插件实现对自定义协议的支持_emq的博客-多极客编程

前言我们已经在前文中介绍了​​如何使用 JMeter 的 Java Sampler 扩展机制​​轻松实现对新协议的支持。Java Sampler 方式的优点在于实现快速,只需关注协议的逻辑部分即可;但缺点是只能以参数的方式进行互动,界面可用性不高,主要用于待测试协议的原型开发。如果希望实现类似 HTTP Sampler 的界面完整友好的协议扩展,JMeter 也提供了相应的扩展机制,接下来我们将以

Read More

线上kafka消息堆积,consumer掉线,怎么办?_wx630f055ce23fc的博客-多极客编程

线上kafka消息堆积,所有consumer全部掉线,到底怎么回事?最近处理了一次线上故障,具体故障表现就是kafka某个topic消息堆积,这个topic的相关consumer全部掉线。整体排查过程和事后的复盘都很有意思,并且结合本次故障,对kafka使用的最佳实践有了更深刻的理解。好了,一起来回顾下这次线上故障吧,最佳实践总结放在最后,千万不要错过。1、现象线上kafka消息突然开始堆积消费者

Read More

超详细部署kafka教程_大雨的博客-多极客编程

部署Kafka#官方文档http://kafka.apache.org/quickstart1、环境准备#在三个节点提前部署jdk和zookeeper[root@node1 ~]#java -versionopenjdk version "1.8.0_342"[root@node1 ~]#zkServer.sh version/usr/bin/javaZooKeeper JMX enabled b

Read More

基于 prometheus 的监控_mb6242cc9db1000的博客-多极客编程

众所周知,大数据产品作为底层平台,其运维监控一直是生产实践的痛点难点,且在稳定运行的基础之上往往还需要对性能进行评估优化,所以其监控系统的建设显得尤为重要。Prometheus 作为云原生时代最火的监控软件,很多大数据组件或原生或以第三方插件/exporter 的形式对 Prometheus 做了支持。我使用的大数据平台是基于 K8s 运行的,有部署灵活管理方便的优点,更容易与 Prometheu

Read More

实时数据湖 flink hudi 实践探索_阿里云计算平台团队的博客-多极客编程

导读:首先做个自我介绍,我目前在阿里云云计算平台,从事研究 Flink 和 Hudi 结合方向的相关工作。目前,Flink + Hudi 的方案推广大概已经有了一年半的时间,在国内流行度也已比较高,主流的公司也会尝试去迭代他们的数仓方案。所以,今天我介绍的主题是 Flink 和 Hudi 在数据湖 Streaming 方向的一些探索和实践,将会围绕以下四点展开:Apache Hudi 背景介绍Fl

Read More