后端
-
理解 Kubernetes 集群内服务通信
深入了解支持服务间通信的 3 个原生 K8s 对象:ClusterIP Service、DNS 和 Kube-Proxy。 概述传统的服务到服务通信 在进入 Kubernetes …
-
Kubernetes 中 CPU 调度管理的现状与限制
K8s 的 cpuManager 完成节点侧的 CPU 资源分配和隔离(core pinning and isolation,如何做到隔离)。 发现机器上的 CPU 拓扑 上报给 …
-
kubelet 垃圾回收机制
– Tips – ▍1. Kubernetes的垃圾回收由kubelet进行管理,每分钟会查询清理一次容器,每五分钟查询清理一次镜像。在kubelet刚启…
-
Apache Flink 实时计算在美的多业务场景下的应用与实践
摘要:本文整理自美的集团实时数据负责人、资深数据架构师董奇,在 Flink Forward Asia 2022 主会场的分享。本篇内容主要分为四个部分: 实时生态系统在美的的发展和…
-
Kubernetes 中 JVM 故障问题排查心得总结
在我们日常的工作当中,通常应用都会采用Kubernetes进行容器化部署,但是总是会出现一些问题,例如,JVM堆小于Docker容器中设置的内存大小和Kubernetes的内存大小…
-
Calibre-web on k8s部署指南
Calibre-web 是一个便捷的电子书管理与浏览软件,它提供了一个干净的界面,可以使用现有的 Calibre 数据库浏览、阅读和下载电子书。 还可以通过应用程序本身集成谷歌驱动…
-
【2022 中国开源年度报告】云计算大事记
【中国开源年度报告】由开源社从 2015 年发起,是国内首个结合多个开源社区、高校、媒体、风投、企业与个人,以纯志愿、非营利的理念和开源社区协作的模式,携手共创完成的开源研究报告。…
-
K8s 原生支持的准入策略管理
在 Kubernetes 1.26 发布的 changelog 中,发现了一个 alpha 版本的验证准入策略的更新,其实就是可以用一种特定的语言来进行准入控制,以前我们介绍过可以…
-
B站容器云平台VPA技术实践
本期作者 许龙 哔哩哔哩资深开发工程师 崔超杰 哔哩哔哩高级开发工程师 张鹤 哔哩哔哩资深SRE工程师 一、背景 B站基于k8s构建的私有云平台已达万级节点规模,托管了公司大部分的…
-
这一招将 Numpy 加速 700 倍!!!
就其自身来说,Numpy 的速度已经较 Python 有了很大的提升。当你发现 Python 代码运行较慢,尤其出现大量的 for-loops 循环时,通常可以将数据处理移入 Nu…
-
Kubernetes 中的用户与身份认证授权
本章主要简单阐述 Kubernetes 认证相关原理,最后以实验来阐述 Kubernetes 用户系统的思路。主要内容: 了解 Kubernetes 各种认证机制的原理 了解 Ku…
-
HDFS EC 在知乎的应用
分享嘉宾: 胡梦宇 知乎大数据基础架构开发工程师 贾承昆 知乎大数据基础架构负责人 陈 曦 知乎大数据基础架构开发工程师 内容来源:作者投稿 出品社区:DataFun 1. 前言…
-
一文探寻学习DDD的意义
序: 《阿甘正传》中,阿甘开始了不停地跑步,一段时间后,后面就有了很多追随者一起跑,他们为什么跑哪? 阿甘:我也不知道,只是想跑而已。 追随者:感觉这样做是有意义的,而且阿甘也还在…
-
Flink CEP 新特性进展与在实时风控场景的落地
摘要:本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛,在 FFA 实时风控专场的分享。本篇内容主要分为四个部分: Flink CEP 介绍&新功能解读 动态…
-
MapReduce实现join操作
数据准备 首先是准备好数据。这个倒已经是一个熟练的过程,所要做的是把示例数据准备好,记住路径和字段分隔符。 准备好下面两张表: (1)m_ys_lab_jointest_a(以下简…
-
人工智能时代八大类算法你了解吗?
本文导读 ❝ 「从零带你了解人工智能时代需要掌握的8大类算法,包括基础理论、关联规则分析、回归分析、分类分析、聚类分析、集成学习、自然语言处理、图像处理和深度学习。」 ❞ 1. 关…
-
Flink Table Store 典型应用场景
摘要:本文整理自 Apache Flink PMC 李劲松(之信)在 9 月 24 日 Apache Flink Meetup 的分享。主要内容包括: 介绍 Flink Tab…
-
如何实现一个SQL解析器
一、背景 随着技术的不断的发展,在大数据领域出现了越来越多的技术框架。而为了降低大数据的学习成本和难度,越来越多的大数据技术和应用开始支持SQL进行数据查询。SQL作为一个学习成本…
-
深入理解TEZ引擎
简介 Tez是Apache开源的支持DAG作业的计算框架,是支持HADOOP2.x的重要引擎。它源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,分解…
-
数据库关系代数详解
数据库关系代数 1. 传统的关系运算 传统的关系运算起源于数学的集合论 笛卡尔积运算 差运算 交运算 并运算 2. 专门的关系运算 数据库中特有的运算规则 选择 投影 连接 除运算…