Skip to main content

moregeek program

工业数据分析为什么要用fusioninsight mrs iotdb?-多极客编程

摘要:MRS IoTDB,它是华为FusionInsight MRS大数据套件中的时序数据库产品,在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。本文分享自华为云社区《​​工业数据分析为什么要用FusionInsight MRS IoTDB?​​》,作者:高深广 。随着工业互联网逐步兴起,在加速工业自动化、智能化的同时,也进一步加速工业生产时间序列数据的产生速

Read More

tdengine 3.0的学习和使用经验-多极客编程

简介:大家好,我是向阳逐梦,座右铭是向着太阳,追逐梦想。很高兴自己可以参与这次由TDengine举办的征文活动,把自己与TDengine在2022 年发生的故事用文字告诉大家。2022年即将走过,TDengine在这一年的进步相信大家都是有目共睹的,不仅GitHub突破了20000粉丝,而且还受到国内外开发者更广泛的关注。更是推出了产品的3.0版本,叠加了云原生、流计算等创新元素,解决了时序数据库

Read More

公募基金历史数据基础分析教程_dolphindb的博客-多极客编程

近年来,国内的公募基金处于高速发展阶段,对于基金数据的分析需求也越来越多。本教程以公募基金公开市场数据和历史净值数据的基础分析作为案例,介绍一些关于基金数据的基础概念和 DolphinDB 时序数据库在时间序列数据分析上的一些基础范式和方法。本教程中将会学习到:如何在 DolphinDB GUI 中绘图如何把 long-form 数据表转变为 wide-form 数据表如何计算基金的日收益率、季度

Read More

如何实时计算中证1000指数的主买/主卖交易量_dolphindb的博客-多极客编程

主买是指以卖方的报价成交,主卖是指以买方的报价成交。 一般来说,主动买入就是资金流入,主动卖出就是资金流出,所以实时统计主买/主卖交易量能够实时监控资金的流入流出情况。本文基于中证 1000 指数,介绍如何利用 DolphinDB 流数据处理框架,实时高效计算中证1000指数的主买/主卖交易量。本文包含场景概述、实现思路、实时计算主买/主卖交易量、结果展示等部分。1. 场景概述本文介绍如何使用 D

Read More

基于阿里云 k8s 的 dolphindb 套件部署教程_dolphindb的博客-多极客编程

1. 简介阿里云容器服务 Kubernetes 版(Alibaba Cloud Container Service for Kubernetes,简称 ACK)是全球首批通过 Kubernetes 一致性认证的服务平台,提供高性能的容器应用管理服务,支持企业级 Kubernetes 容器化应用的生命周期管理,让您轻松高效地在云端运行 Kubernetes 容器化应用。DolphinDB 推出 Do

Read More

三分钟了解什么是时序数据库_枫叶飘飘的博客-多极客编程

在介绍时序数据库之前,我们先来看看什么是时序数据。时序数据就是基于时间排序的数据,再通过时间坐标将这些数据连接起来,形成一个折线图,直观地展示一个指标在过去一段时间内的走势和规律,帮助定位数据异常点。时序数据库就是用来存储这些时序数据的数据库。与传统数据库相比,时序数据库需要能够长时间保存数据,且需要实时展示,这就要求时序数据库能做到持久化存储,以及数据读写的高性能。此外,对于一些复杂的场景,比如

Read More

实时行情难处理?睿凝资本选择dolphindb解决流数据难题_dolphindb的博客-多极客编程

睿凝资本 CEO 王睿、CTO Jack最初了解到DolphinDB是知乎的一条测评贴。作为KDB+的多年老用户,我对于这家对标KDB+、测评结果优秀的国产时序数据库非常感兴趣。读帖不久,前公司恰好邀请了DolphinDB的创始人周小华博士来做路演,这让我对DolphinDB有了更深的认识。告别前公司,结合多年的量化投资经验与数理专业特长,我与合伙人共同创办了北京睿凝私募基金管理有限公司。睿凝的业

Read More

dolphindb 历史数据回放功能应用:股票行情回放_dolphindb的博客-多极客编程

一个量化策略在生产(交易)环境中运行时,处理实时数据的程序通常为事件驱动。为确保研发和生产使用同一套代码,通常在研发阶段需将历史数据,严格按照事件发生的时间顺序进行回放,以此模拟交易环境。一个交易所的行情数据通常包括逐笔委托、逐笔成交、快照等多种数据。DolphinDB 提供了严格按照时间顺序将多个不同数据源同时进行回放的功能。本教程以股票行情回放为例提供一种多表回放方案。首先在第 1、2 章简要

Read More

如何高效处理面板数据_dolphindb的博客-多极客编程

时间序列数据、截面数据和面板数据是金融领域中常见的数据组织方式。面板数据包含了时间序列和横截面两个维度。在Python中,通常可以用pandas的DataFrame或numpy的二维数组来表示。在DolphinDB中面板数据也可以用表(table)或矩阵(matrix)来表示。本教程主要介绍如何在DolphinDB中表示和分析面板数据,包含的内容有:面板数据的表示方法和处理函数、SQL语句处理面板

Read More

性能提升400倍丨外汇掉期估值计算优化案例_dolphindb的博客-多极客编程

在金融领域,合约的估值计算是个常见需求。几百万个合约,由于到期时间和期限长短不同,计算时往往对应不同的利率。合约匹配利率,最常见的做法是通过循环语句对每一个合约做计算。而 DolphinDB 中,可以通过强大的表连接函数,将需要的信息关联后,再通过 SQL向量编程 进行计算。该优化方法相比循环的方法,性能提升超 400 倍。本文包含的主要内容有:外汇掉期估值的计算逻辑及数据准备、开发环境配置、外汇

Read More

如何实时计算日累计逐单资金流_dolphindb的博客-多极客编程

在股票交易市场,资金流是一个重要的量价指标。资金流指标按照是否对交易订单号进行合并计算,可以分为逐笔资金流和逐单资金流;按照统计时间,可以分为分钟资金流和日累计资金流。其中逐笔资金流的处理逻辑比较简单,直接对每一笔成交记录的成交股数或者成交金额进行大小单的判断,然后进行相关指标的计算。而逐单资金流相对复杂一些,需要先根据买卖订单号进行合并,然后进行大小单的判断和相关指标的计算。关于实时计算逐单分钟

Read More

性能提升30倍丨基于 dolphindb 的 mytt 指标库实现_dolphindb的博客-多极客编程

MyTT 是一个简单易用的 Python 库,它将通达信、同花顺、文华麦语言等指标公式最简化移植到了 Python 中,实现的常见指标包括 MACD、RSI、BOLL、ATR、KDJ、CCI、PSY 等。MyTT 全部基于 numpy 和 pandas 的函数进行封装。为了方便用户在 DolphinDB 中计算这些技术指标,我们使用 DolphinDB 脚本实现了 MyTT 中包含的指标函数,并封

Read More

对接恒生极速行情丨dolphindb nsq 插件使用教程_dolphindb的博客-多极客编程

为对接恒生 NSQ 极速行情服务软件,DolphinDB 开发了 NSQ 插件。通过该插件能够获取上海和深圳市场的行情。主要获得以下三种行情:主推-现货深度行情主推回调主推-现货逐笔成交行情主推回调主推-现货逐笔委托行情主推回调恒生电子发布的NSQ 极速行情服务软件的 SDK,名称为 HSNsqApi。其对应 linux 下的 libHSNsqApi.so 或 windows 下的 HSNsqAp

Read More

代码教程丨用 dolphindb 实时计算分钟资金流_dolphindb的博客-多极客编程

DolphinDB内置的流数据框架支持流数据的发布,订阅,预处理,实时内存计算,复杂指标的滚动窗口计算、滑动窗口计算、累计窗口计算等,是一个运行高效、使用便捷的流数据处理框架。本教程主要提供一种基于DolphinDB流数据处理框架,实时计算分钟资金流的低延时解决方案。本教程包含内容:应用场景描述开发环境配置代码开发结果展示总结1. 应用场景描述1.1 数据源本教程基于上交所2020年某日的逐笔成交

Read More

复杂因子计算优化案例:深度不平衡、买卖压力指标、波动率计算_dolphindb的博客-多极客编程

在金融行业的数据分析工作中,数据预处理及特征工程的质量往往决定了数学模型的实际效果。某些金融指标涉及原始大量数据中高维多列的复杂运算,这将耗费大量的计算资源和开发时间。本案例基于证券交易的level2快照数据,开发了10分钟频率的深度不平衡、买卖压力指标和波动率的计算脚本,旨在为DolphinDB使用者在开发其他类似因子计算脚本时提供参考范例,提高开发效率。优化前后计算效率分布式表数据总量:2,8

Read More

prometheus 2.28.0 新特性_耳东-erdong的博客-多极客编程

Prometheus ​2.28.0​​ 现在(2021.06.21)已经发布,在上个月的​​2.27.0​​之后又进行了很多的修复和改进。本次更新主要集中在 UI 、服务发现和时序数据库方面,其他方面的更新内容较少。对于 UI 这次更新将新的实验性 PromQL 编辑器设为了默认编辑器。这次也在图形界面中添加范例显示支持。这次的 UI 还有一个优化的点,我觉得很友好,当你重启 Prometheu

Read More

DolphinDB 函数化编程案例教程-多极客编程

DolphinDB支持函数化编程:函数对象可以作为高阶函数的参数。这提高了代码表达能力,可以简化代码,复杂的任务可以通过一行或几行代码完成。本教程介绍了一些常见场景下的函数化编程案例,重点介绍 DolphinDB 的高阶函数及其使用场景。内容主要包括:数据导入Lambda表达式高阶函数使用案例部分应用案例金融场景相关案例机器学习相关案例​1. 数据导入1.1 整型时间转化为 TIME 格式并导入C

Read More

DolphinDB SQL 案例教程-多极客编程

本教程重点介绍了一些常见场景下的SQL编写案例,通过优化前后性能对比或正确编写方法介绍,说明DolphinDB SQL脚本的使用技巧,案例共分四类:​条件过滤相关案例​、​分布式表相关案例​、​分组计算相关案例​及​元编程相关案例​,具体案例可通过目录快速浏览。​1 测试环境说明​处理器:Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz核数:64内存:512 G

Read More

从一次 SQL 查询的全过程看 DolphinDB 的线程模型-多极客编程

分布式系统较为复杂,无论写入还是查询,都需要多个节点的配合才能完成操作。本教程以一个分布式 SQL 查询为例,介绍 DolphinDB 分布式数据库的数据流以及其中经历的各类线程池。通过了解 SQL 查询的全过程,也可以帮助我们更好地优化 DolpinDB 的配置和性能。1. DolphinDB 线程类型woker常规交互作业的工作线程,用于接收客户端请求,将任务分解为多个小任务,根据任务的粒度自

Read More

「DolphinDB教程」如何正确定位节点宕机的原因-多极客编程

在使用DolphinDB时,有时客户端会抛出异常信息:Connection refused。此时,linux操作系统上使用ps命令查看,会发现DolphinDB进程不见了。本教程针对出现这种情况的各种原因进行定位分析,并给出相应解决方案。1.查看节点日志排查原因DolphinDB每个节点的运行情况会记录在相应的日志文件中。通过分析日志,能有效地掌握DolphinDB运行状况,从中发现和定位一些错误

Read More