hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译

新增hdp仓库

在项目根目录下的pom文件中新增:

    <repository>
      <id>hdp</id>
      <url>https://repo.hortonworks.com/content/repositories/releases/</url>
    </repository>

其他pom文件修改

hive-jdbc依赖的hadoop-yarn-server-resourcemanager版本为SNAPSHOT,在仓库中都找不到,将其修改为使用项目指定的版本。

具体有如下子项目:

  • hudi-hadoop-mr中的hive-jdbc依赖

  • hudi-utilities-bundle中的hive-jdbc依赖

  • hudi-integ-test-bundle中的hive-jdbc依赖

排除掉

      <exclusions>
        <exclusion>
          <groupId>org.apache.hadoop</groupId>
          <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
        </exclusion>
      </exclusions>

新增

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-yarn-server-resourcemanager</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

编译时部分jar包在仓库中找不到或下载慢,可以从原始rpm包中将其拷贝到编译的机器,并安装到本地,例如下述jar包,例如hive-jdbc-3.1.0.3.1.4.0-315-standalone.jar等。

编译命令

mvn clean install -DskipTests -Dhadoop.version=3.1.1.3.1.4.0-315 -Dhive.version=3.1.0.3.1.4.0-315 -Dscala.version=2.12.10 -Dscala.binary.version=2.12 -Dspark.version=3.0.1

结果

hudi 0.10.0-SNAPSHOT适配hdp 3.1.5编译

0 0 投票数
文章评分

本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://lrting.top/backend/2242/

(0)
上一篇 2021-11-15 01:23
下一篇 2021-11-16 00:57

相关推荐

订阅评论
提醒
guest
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x