本次主要分享关于迁移实际案例与最佳实践更加深入的探讨。
在迁移过程中，我们遇到了很多的预料之外的问题，如字符集问题，数字进位问题，各种OOM等等，更加深入地了解了Spark和RDMBS之间的差异。
在弥补鸿沟和解决问题的过程中，我们做了很多的实践，贡献给了社区很多的反馈，也解决了很多的bug。
即便对于Spark当前不能处理的场景，比如recurisvequery，也有了一些可行的探索。
此外，我们现在还开发了一套自动化框架来帮助加速迁移工作。
在这次分享中，我们会深入迁移的关键步骤，并分享踩过的一些坑，最后会介绍我们的自动化工具，如SQLConverter等。
相信对正工作在类似的任务或者即将开展类似工作的工程师们会有所帮助。
下面是PPT原文：关注Hadoop技术博文并回复ebay_spark获取本文PPT。
在迁移过程中，我们遇到了很多的预料之外的问题，如字符集问题，数字进位问题，各种OOM等等，更加深入地了解了Spark和RDMBS之间的差异。
在弥补鸿沟和解决问题的过程中，我们做了很多的实践，贡献给了社区很多的反馈，也解决了很多的bug。
即便对于Spark当前不能处理的场景，比如recurisvequery，也有了一些可行的探索。
此外，我们现在还开发了一套自动化框架来帮助加速迁移工作。
在这次分享中，我们会深入迁移的关键步骤，并分享踩过的一些坑，最后会介绍我们的自动化工具，如SQLConverter等。
相信对正工作在类似的任务或者即将开展类似工作的工程师们会有所帮助。
下面是PPT原文：关注Hadoop技术博文并回复ebay_spark获取本文PPT。
2024/3/21 13:19:03
14.5MB
大数据组件，官方版本：CDH5.9.0操作系统：CentOS7/RHEL7完整系列：oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
2024/3/18 17:28:39
176.42MB