hudi-的overwritenondefaultswithlatestavropayload-实践.docx

上传人:李司机 文档编号:6869300 上传时间:2024-03-13 格式:DOCX 页数:3 大小:15.94KB
返回 下载 相关 举报
hudi-的overwritenondefaultswithlatestavropayload-实践.docx_第1页
第1页 / 共3页
hudi-的overwritenondefaultswithlatestavropayload-实践.docx_第2页
第2页 / 共3页
hudi-的overwritenondefaultswithlatestavropayload-实践.docx_第3页
第3页 / 共3页
亲,该文档总共3页,全部预览完了,如果喜欢就下载吧!
资源描述

《hudi-的overwritenondefaultswithlatestavropayload-实践.docx》由会员分享,可在线阅读,更多相关《hudi-的overwritenondefaultswithlatestavropayload-实践.docx(3页珍藏版)》请在三一办公上搜索。

1、hudi的Overwritenondefaultswithlatestavropayload实践Overwritenondefaultswithlatestavropayload是Hudi的一个特性,用于处理写入操作时如何处理那些具有非默认配置的AVRO文件。Hudi是一个用于处理大型数据集的库,它提供了对数据的快速读取、写入和更新操作。当在Hudi中进行写入操作时,可能会遇到一些具有非默认配置的AVRO文件。这些文件可能具有不同的压缩设置、schema等。Overwritenondefaultswithlatestavropayload特性允许你在进行写入操作时,将这些具有非默认配置的AVR

2、O文件覆盖为最新的AVRO文件。下面是一个简单的实践示例,演示如何使用OVerWritenOndefaultswithlatestavropayload特性:1 .首先,确保你已经安装了Hudio你可以通过Maven或其他方式将其添加到你的项目中。2.创建一个Hudi表,并为其指定一个AVRO格式的输出目录:importorg.apache,hudi.client.HoodieWriteClient;importorg.apache,hudi.client.WriteConcurrencyMode;importorg.apache,hudi.config.HoodieWriteConfig;i

3、mportorg.apache,hudi.table.HoodieTable;importorg.apache,hudi.table.HoodieTableMetaClient;importorg.apache,hudi.table,action.HoodieWriteActions;importjava.util.Properties;publicclassHudiPracticepublicstaticvoidmain(Stringargs)/配置Hudi写入客户端Propertiesproperties-newProperties();properties.SetProperty(,ho

4、odie.write,coordinator.interval,f,20000,);properties.SetProperty(,hoodie.write,client,batch.size,1000);properties.SetProperty(,hoodie.write,client,max.outstanding,batches,10);properties.SetProperty(,hoodie.write,client,num.concurrent,writers11,5);properties.SetProperty(,hoodie.write,mode”,WriteConcu

5、rrencyMode.OPTIMISTIC_CONCURRENCY_CONTROL);properties.SetProperty(,hoodie.write,payload,f,true);properties.SetProperty(,hoodie.write.payload.type,AVRO);properties.SetProperty(,hoodie.write,metadata,true);properties.SetProperty(hoodie.write,metadata.type,AVRO);properties.SetProperty(,hoodie.write,ove

6、rwrite_non_defaults_with_latest_avro_payload1,true,f);/其他配置项./创建Hoodie写入客户端HoodieWriteClientWriteClient二HoodieWriteClient.newBuilder(),withConf(properties).withTablePath(7pathto/table,),build();/执行写入操作.)在上面的示例中,通过设置,hoodie.write,overwrite_nondefaults_with_latest_avro_pay1oad为true,我们启用了Overwritenondefaultswithlatestavropayload特性。这将允许在写入操作中覆盖具有非默认配置的AVRO文件。

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 生活休闲 > 在线阅读


备案号:宁ICP备20000045号-2

经营许可证:宁B2-20210002

宁公网安备 64010402000987号