xiaozhch5
-
spark sql运维,spark ui你必须看得懂!
Apache Spark 提供了一套 web 用户界面(UI),可以用来监控 Spark 集群的状态和资源消耗情况。本文翻译自spark UI官方文档:https://spark….
-
释放大数据的潜力:基于kyuubi + spark + celeborn在 Kubernetes 上构建高效的计算集群入门
在大数据处理领域,如何高效地管理和分析海量数据是每个企业都面临的挑战。Kyuubi 和 Apache Spark 是广泛应用的大数据处理工具,而 Celeborn 则作为 Spar…
-
spark使用apache paimon入门
在之前的文章,我们说到flink写入paimon入门,本文则使用spark引擎进行操作。 组件版本 paimon 0.9.0hadoop 3.3.4hive 3.1.3spark …
-
flink使用apache paimon入门
数据湖作为统一、灵活且可扩展的数据存储平台,对于提高数据分析效率、降低成本、增强数据治理和推动企业数字化转型具有核心价值,是实现数据驱动决策和业务创新的基石。 Apache Pai…
-
自决策多轮对话智能体的初步实现
随着大模型的发展,智能体也是越来越火。看到的很多例子是通过构建DAG的形式形成Agent链,和我需要的不太一样。周末有点时间也是改造了一下之前做的个人超级中心,以初步实现自决策多轮…
-
Langchain入门
LangChain 是一个用于开发由语言模型支持的应用程序的框架。 它使应用程序能够: 具有上下文感知能力:将语言模型连接到上下文源(提示说明、一些镜头示例、响应的内容等) 推理:…
-
Kubernetes 1.28:Sidecar 容器、Job和Proxy的新功能
Kubernetes 1.28 现已发布,具有 44 项新的或改进的增强功能! 此版本包含许多主要功能,例如对 sidecar 容器的内置支持、作业优化和更好的代理。 这些新功能可…
-
使用 Kubernetes 进行蓝绿部署
蓝绿部署是一种用于设置两个相同环境的软件部署技术。 服务实时流量的活动环境称为蓝色环境,空闲环境称为绿色环境。 新版本软件部署在绿色环境中,经过测试验证正常后,流量从蓝色环境转移到…
-
程序员不能不知道的13个AI开发工具
随着人工智能的进步,开发行业已经发展到了新的水平。 目前,人工智能工具在开发者中很受欢迎,因为它正在迅速重塑开发行业。 使用人工智能工具,开发人员可以自动执行重复性和日常任务,探索…
-
Harbor镜像仓库安装指南
总览 Harbor 是一个开源的企业级容器镜像注册中心和仓库管理系统。它提供了一个安全可靠的平台,用于存储、分发和管理容器镜像。以下是 Harbor 的基本介绍: 容器镜像注册中心…
-
Alluxio权限体系
该文档介绍Alluxio安全性相关的的功能。 身份验证: 如果alluxio.security.authentication.type=SIMPLE(默认情况下), Alluxio…
-
Flink SQL Gateway提交任务到flink on k8s集群
Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1….
-
腾讯大数据平台大脑AI探索与实践
导读 近年来大数据业务规模迅速增长,为大数据平台运营治理带来了新的挑战:海量大数据任务的治理,缺乏统一、标准的数据与评估模型和治理工具,难以支持对大数据任务执行效率、稳定性等进行持…
-
加速LakeHouse ACID Upsert的新写时复制方案
概述 随着存储表格式 Apache Hudi、Apache Iceberg 和 Delta Lake 的发展,越来越多的公司正在这些格式的基础上构建其 Lakehouse,以用于许…
-
debezium采集MySQL CDC指南
Debezium 是一个开源的分布式平台,用于捕获数据库的变更数据(Change Data Capture,CDC)。它支持多种数据库,包括 MySQL。下面我们详细说一下如何进行…
-
Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native
作者:张凯@阿里云、陳韋廷@Intel、周渊@Intel 一、简介 Apache Celeborn(Incubating) 是阿里云捐赠给 Apache 的通用 Remote Sh…
-
《数据库发展研究报告(2023年)》正式发布,文末附下载方式
7月4日,2023可信数据库发展大会(以下称“大会”)主论坛在北京国际会议中心成功召开。大会以“自主 创新 引领”为主题,邀请行业内近百位演讲专家围绕数据库技术、产业和生态热点进行…
-
一天一个Apache项目分享之Apache AGE
Apache AGE (incubating)是一个图形数据库,基于PostgreSQL,实现了openCypher查询语言。AGE代表”A Graph Extensi…
-
深入探究kubernetes resources – Part 2
你以为CPU请求只是用来调度的吗? 再想一想。 引入 CPU 份额,并为消除限制奠定基础! 了解 CPU 请求 在上一篇文章中,我谈到了 Kubernetes 资源管理的基础。 在…
-
深入探究kubernetes resources – Part 1
在开始使用 Kubernetes 时,社区教给我们的第一件事就是始终为我们 pod 中的每个容器设置 CPU 和内存的请求和限制。 当您指定 Pod 时,您可以选择指定容器需要多少…