后端
-
Hive表迁移到Iceberg表实践教程
使用 Apache Iceberg 作为您的数据湖表格式可以实现更快的数据湖分析、时间旅行、分区演化、ACID 事务等。Apache Iceberg 是实现开放式 Lakehous…
-
分布式应用运行时 Dapr:万物皆可 API
Dapr[1] 分布式应用运行时 Distributed Application Runtime 的首字母缩写。有关多运行时,可以看下 Bilgin Ibryam 的 Multi-…
-
Kubernetes 网络学习之 Cilium 与 eBPF
这是 Kubernetes 网络学习的第五篇笔记,也是之前计划中的最后一篇。 深入探索 Kubernetes 网络模型和网络通信 认识一下容器网络接口 CNI 源码分析:从 kub…
-
K8s为什么使用 systemd 而非 croupfs
– cgroup – cgroup 是一个 Linux 内核特性,对一组进程的资源使用(CPU、内存、磁盘 I/O 和网络等)进行限制、审计和隔离。 cg…
-
理解 Kubernetes 集群内服务通信
深入了解支持服务间通信的 3 个原生 K8s 对象:ClusterIP Service、DNS 和 Kube-Proxy。 概述传统的服务到服务通信 在进入 Kubernetes …
-
Kubernetes 中 CPU 调度管理的现状与限制
K8s 的 cpuManager 完成节点侧的 CPU 资源分配和隔离(core pinning and isolation,如何做到隔离)。 发现机器上的 CPU 拓扑 上报给 …
-
kubelet 垃圾回收机制
– Tips – ▍1. Kubernetes的垃圾回收由kubelet进行管理,每分钟会查询清理一次容器,每五分钟查询清理一次镜像。在kubelet刚启…
-
Apache Flink 实时计算在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在 Flink Forward Asia 2022 主会场的分享。本篇内容主要分为四个部分: 实时生态系统在美的的发展和…
-
Kubernetes 中 JVM 故障问题排查心得总结
在我们日常的工作当中,通常应用都会采用Kubernetes进行容器化部署,但是总是会出现一些问题,例如,JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小…
-
Calibre-web on k8s部署指南
Calibre-web 是一个便捷的电子书管理与浏览软件,它提供了一个干净的界面,可以使用现有的 Calibre 数据库浏览、阅读和下载电子书。 还可以通过应用程序本身集成谷歌驱动…
-
【2022 中国开源年度报告】云计算大事记
【中国开源年度报告】由开源社从 2015 年发起,是国内首个结合多个开源社区、高校、媒体、风投、企业与个人,以纯志愿、非营利的理念和开源社区协作的模式,携手共创完成的开源研究报告。…
-
K8s 原生支持的准入策略管理
在 Kubernetes 1.26 发布的 changelog 中,发现了一个 alpha 版本的验证准入策略的更新,其实就是可以用一种特定的语言来进行准入控制,以前我们介绍过可以…
-
B站容器云平台VPA技术实践
本期作者 许龙 哔哩哔哩资深开发工程师 崔超杰 哔哩哔哩高级开发工程师 张鹤 哔哩哔哩资深SRE工程师 一、背景 B站基于k8s构建的私有云平台已达万级节点规模,托管了公司大部分的…
-
这一招将 Numpy 加速 700 倍!!!
就其自身来说,Numpy 的速度已经较 Python 有了很大的提升。当你发现 Python 代码运行较慢,尤其出现大量的 for-loops 循环时,通常可以将数据处理移入 Nu…
-
Kubernetes 中的用户与身份认证授权
本章主要简单阐述 Kubernetes 认证相关原理,最后以实验来阐述 Kubernetes 用户系统的思路。主要内容: 了解 Kubernetes 各种认证机制的原理 了解 Ku…
-
HDFS EC 在知乎的应用
分享嘉宾: 胡梦宇 知乎大数据基础架构开发工程师 贾承昆 知乎大数据基础架构负责人 陈 曦 知乎大数据基础架构开发工程师 内容来源:作者投稿 出品社区:DataFun 1. 前言…
-
一文探寻学习DDD的意义
序: 《阿甘正传》中,阿甘开始了不停地跑步,一段时间后,后面就有了很多追随者一起跑,他们为什么跑哪? 阿甘:我也不知道,只是想跑而已。 追随者:感觉这样做是有意义的,而且阿甘也还在…
-
Flink CEP 新特性进展与在实时风控场景的落地
摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。本篇内容主要分为四个部分: Flink CEP 介绍&新功能解读 动态…
-
MapReduce实现join操作
数据准备 首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。 准备好下面两张表: (1)m_ys_lab_jointest_a(以下简…
-
人工智能时代八大类算法你了解吗?
本文导读 ❝ 「从零带你了解人工智能时代需要掌握的8大类算法,包括基础理论、关联规则分析、回归分析、分类分析、聚类分析、集成学习、自然语言处理、图像处理和深度学习。」 ❞ 1. 关…