后端

本文为《Thrift: Scalable Cross-Language Services Implementation》论文中文翻译版本，该论文为Thrift白皮书，阅读该论文对了…

摘要：本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。本篇内容主要分为四个部分： 背景介绍 实时平台建设 实时数仓探索 未来…

本文讲述了通用SQL的解析与优化。

由于工作原因，需要深入了解一下hive metastore相关源码，这几天尝试了在windows中运行hive metastore代码，这边记录一下踩坑的过程以及解决方法。 win…

分享嘉宾：王磊@快手编辑整理：Frank出品平台：DataFunTalk 导读：快手基于Hive构建数据仓库，并把Hive的元数据信息存储在MySql中，随着业务发展和数据增长，一…

本文翻译自uber文章：《One Stone, Three Birds: Finer-Grained Encryption @ Apache Parquet™》 数据访问限制、保留…

Apache Avro[1] 有模式兼容性的概念，它允许我们判定一个模式是否与一个或多个早期或更新的模式是否兼容，有兼容的变更必然意味着也可以有不兼容的变更，在这种情况下应该做什么…

Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现，当时 Hadoop 是进行大数据分析的新颖且创新的方式。 Hive 所做的是为 Hado…

分享嘉宾：吴怡雯 腾讯 高级工程师编辑整理：田长远出品平台：DataFunTalk 导读：大家好，今天分享的主题是腾讯数据湖的元数据治理实践，跟大家一起聊聊腾讯云上DLC数据湖计算…

什么是JOIN，为什么需要它们？ 在进行复杂的分析处理和数据发现时，一个表的数据通常不足以提供重要的见解，因此需要合并多个表。 SQL，作为与关系数据库通信的一种方法，允许您在表之…

选择那种数据库呢？ 在建立一个新项目时，尤其是在 Web 上的项目，选择数据库管理系统通常是事后才想到的。 大多数框架都包含一个对象关系映射 (ORM) 工具，该工具隐藏了跨平台的…

什么是异常检测 异常检测是对罕见事件、项目或关注事件的识别，因为它们与大多数处理数据的特征不同。异常，也称为异常值，可以代表安全错误、结构缺陷，甚至银行欺诈或医疗问题。异常检测主要…

接口信息 当您需要了解有关您登录的设备的网络接口的更多信息时使用接口信息命令。 IP 查看所有 IP 地址: ip a 可以使用-4或-6选项添加过滤器以仅显示 IPv4 或 IP…

业务背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信…

Flink的运⾏架构 当 Flink 集群启动后，⾸先会启动⼀个 JobManger 和⼀个或多个的 TaskManager。由 Client 提交任务给JobManager，Jo…

Hive的metastore的三种模式 内嵌Derby⽅式 这个是Hive默认的启动模式，⼀般⽤于单元测试，这种存储⽅式有⼀个缺点：在同⼀时间只能有⼀个进程连接使⽤数据库。 Loc…

常用系统工作命令 echo echo 命令用于在终端输出字符串或变量提取后的值，格式为“echo [字符串 | $变量]” date date 命令用于显示及设置系统的时间或日期，…

鲲鹏处理器为核心的华为TaiShan服务器在国产服务器中可以说是名列前茅的。不仅仅是其高效的处理性能，还有针对鲲鹏处理器进行深度优化的原生应用以及不断壮大的共建鲲鹏社区。下面以鲲鹏…

视频识别是计算机视觉中的一项核心任务，其应用范围从视频内容分析到动作识别。 然而，用于视频识别的训练模型通常需要手动注释未修剪的视频，这可能非常耗时。 为了减少收集带有注释的视频的…

蛋白质是存在于所有生物中的必需分子。 它们在我们身体的结构和功能中发挥着核心作用，并且它们还出现在我们每天遇到的许多产品中，从药物到洗衣粉等家居用品。 每个蛋白质都是一串氨基酸构建…