大数据工程师必备：开源大数据存储核心技术及应用！

背景介绍

开源，已经成为全球技术创新和协同发展的一种模式，每一位开发者，都是全球科技发展的参与者。每一行开源代码的提交，每一个产品新版本的发布，每一次的交流，都在推动着中国开源和数据技术的发展。3月26日09:30-12:45，在DataFunSummit2022：大数据存储架构峰会上，由SphereEx 创始人 & CEO张亮出品的开源大数据存储论坛，将邀请来自Juicedata、亚马逊云科技、美团、StreamNative、OPPO的5位专家，分享开源大数据存储的核心技术与落地实践。

具体日程

详细介绍

出品人：张亮SphereEx 创始人 & CEO个人简介：拥有超过10年的数据库领域探索、实践经验，热爱开源，擅长分布式架构，推崇优雅代码。曾任多家知名互联网企业架构、数据库团队负责人，是数据库技术领域知名开源实践者。Apache Member、微软MVP、腾讯云TVP、Apache ShardingSphere创始人&PMC Chair，同时也是《未来架构——从服务化到云原生》作者。分享嘉宾：

1. 苏锐Juicedata合伙人

演讲议题：JuiceFS - 为云而生的分布式文件系统

议题介绍：为大家介绍 JuiceFS 诞生的背景和发展历程，以及目前的社区发展情况。介绍 JuiceFS 的架构以及背后的设计哲学。介绍几个真实场景案例，看看文件系统能提供哪些价值。

内容靓点：

1. 介绍云环境中文件存储的定位和为开发者带来的价值；

2. 介绍 JuiceFS 的架构设计以及为云环境而设计的特别之处；

3. 分享几个文件系统的应用场景，为更多的创新抛砖引玉

个人简介：我是 Juicedata 合伙人苏锐，作为 1 号成员参与创建云原生分布式文件系统 JuiceFS，先通过全球公有云上的 SaaS 产品获得国内外几十家商业客户。之后于 2021 年 1 月 JuiceFS 开源，经过一年的社区发展，在 GitHub 上获得近 5000 Star，每天有上千在线活跃集群，有 50 多位贡献者参与，已经成为一个在全球范围备受关注的开源分布式文件系统。苏锐在加入 Juicedata 前，历任互联网 O2O 汽车服务品牌功夫洗车创始人 & CEO，豆瓣电影 PM & Tech Lead。

2. 刘冰冰亚马逊云科技数据库专家

演讲议题：未来数据库需要关心的硬核创新

议题介绍：从数据库软件发展逻辑出发，结合云计算等新兴技术的发展，探讨关于数据库技术创新这个历久弥新的话题。

内容靓点：

1. 剖析开源数据库与云原生数据库的发展；

2.探讨前沿的数据库创新并解答这些创新为应用研发带来哪些改变；

3.摆脱商业数据库的桎梏，为应用开发带来新改变

个人简介：刘冰冰，数据库解决方案架构师，负责数据库解决方案的咨询与架构设计，同时致力于大数据方面的研究和推广。曾在Oracle工作多年，在数据库云规划、设计运维调优、DR解决方案、大数据和数仓以及企业应用等方面有丰富的经验。

3. 王博美团OLAP开发工程师

演讲议题：Apache Doris存储层向量化改造设计与实现

议题介绍：主要介绍了如何对Apache Doris的存储层进行向量化的改造

内容靓点：

1 Apache Doris的产品定位；

2 Apache Doris存储层现有设计分析；

3 如何对现有引擎的存储层进行向量化改造

个人简介：本科毕业在百度外卖做数据报表开发。现在在美团做OLAP引擎开发，主要参与过Apache Doris的Spark Load开发以及向量化改造。

4. 翟佳StreamNative联合创始人

演讲议题：BookKeeper -- Apache Pulsar 的高可用/强一致/低延迟的存储实现

议题介绍：Apache Pulsar采用了分层的架构，解决了存储计算的耦合，同时提供了很好的扩展性和可维护性。 Apache Pulsar是开源的下一代分布式消息平台，Apache Pulsar 在2018年9月毕业成为Apache基金会的顶级项目，并随即被 InfoWorld 评为当年的年最佳开源系统软件。Pulsar 通过存储计算分离的架构，解决了用户在使用其他消息系统中遇到的扩展和运维的难题。Pulsar 的底层存储层 Apache BookKeeper 提供了对WAL(write-ahead-log)的分布式实现。BookKeeper 结合WAL的特殊性和Paxos、ZAB等一致性协议，为 Pulsar 提供了一个高可用、强一致性、低延迟的存储基础。本次演讲内容包括：

- Pulsar 的存储层 BookKeeper 简介；

- BookKeeper 的一致性的详细实现；

- 基于 BookKeeper 作为存储层的其他分布式系统实践。

个人简介：StreamNative联合创始人，先后就读于华中科技大学计算机学院和中科院计算所。毕业后加入EMC，从事分布式、文件系统、流存储相关的设计和开发。之后加入StreamNative，从事开源项目Apache BookKeeper和Apache Pulsar的设计和开发工作，主要集中在消息和流存储方向。目前是两个项目Apache BookKeeper和Apache Pulsar的项目管理会成员。翟佳在分布式、存储、消息等领域有深厚的积累和经验，在工作过程中，在相关领域先后获得中美专利10余项。

5. 张天炯OPPO高级后端工程师

演讲议题：云原生开源分布式存储CubeFS在数据湖的探索与实践

议题介绍：

1.cubefs架构剖析：主要介绍cubefs关键设计原理

2.介绍cubefs在数据湖生态的探索：在线ec存储引擎及数据湖加速方案

3.介绍cubefs在oppo的大规模应用场景：包括数据湖AI、数据湖大数据分析、Spark Remote Shuffle

4.cubefs后续计划

内容靓点：

1.了解设计大规模分布式文件系统的关键要素

2. 如何解决数据湖存储面临的挑战

个人简介：张天炯，重庆大学计算机硕士。8年分布式存储研发经验。目前担任oppo云高级存储研发工程师，负责数据湖存储相关研发工作，致力为AI、大数据场景提供大规模、低成本、高性能的存储服务。曾先后在平安科技、中国移动、元核云从事分布式对象/块存储系统的研发，熟悉存储产品化设计、性能及稳定性优化及企业云存储解决方案。

活动报名

识别二维码大数据数据存储，免费报名报名成功后，请按照提示，入群收看。

（编辑：南平站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!