Apache Hudi社区周更新
2020.01.28 ~ 2020.02.03 Apache Hudi社区更新,包括开发、特性、改进、测试方面内容,本周社区主要工作是发布0.5.1版本,也包括一些技术文档的补充和更新。
开发
[Release] Apache Hudi(incubating) 0.5.1版本已经发布,0.5.1-incubating-rc1已经在general邮件列表review并且已经投票通过,所有关于0.5.1版本的release信息可以参考页面 [1] [Disscussion] 基于现在很多是直接使用HoodieSparkSource写入Hudi,因此想移除HoodieWriteClient,由于现在DataSource和DeltaStreamer都是基于HoodieWriteClient写入Hudi,因此暂时还无法删除 [2]
特性
[Hudi DAG] 为Hudi Spark任务的DAG stage定义名字,添加更友好的描述信息,以便更好理解Hudi的各阶段 [3]
[3] https://issues.apache.org/jira/browse/HUDI-92
改进
[Spark Integration] 通过maven-shade-plugin来Relocate spark-avro依赖,这样会 使得启动spark-shell来使用hudi更为简洁 [4] [Utilities] 改进scala-2.12版本编译的步骤,现在是参考spark借助change-scala-version.sh脚本来编译scala-2.12 [5]
[4] https://issues.apache.org/jira/browse/HUDI-584 [5] https://issues.apache.org/jira/browse/HUDI-585
测试
[Unit Test] 改善org.apache.hudi.common.table.HoodieTimeline的单元测试,并且为HoodieTimeline, HoodieDefaultTimeline和HoodieActiveTimeline添加新的测试用例 [6] [Testing] 在huditestsuite_refactor分支上升级了spark版本并且修复了一些测试失败,这是由于Avro依赖是Spark内置模块依赖导致 [7] [Jacoco Coverage] 修复在运行单元测试后生成的jacoco报告覆盖率,主要是将surefire插件argLine移至属性 [8] [Test Coverage] 增加HoodieReadClient测试覆盖率,为方法增加测试用例,从45%的覆盖率提升到98%的覆盖率 [9]
[6] https://issues.apache.org/jira/browse/HUDI-566 [7] https://issues.apache.org/jira/browse/HUDI-587 [8] https://issues.apache.org/jira/browse/HUDI-591 [9] https://issues.apache.org/jira/browse/HUDI-594
本文分享自微信公众号 - ApacheHudi(ApacheHudi)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。