课程 / 操作系统 / 分布式存储与大数据技术分享
操作系统

分布式存储与大数据技术分享

openEuler
教师

openEuler

类别

操作系统

最后更新

2025-04-21

0 /0

关于课程

本课程聚焦分布式存储与大数据技术的实战应用,涵盖Apache Spark容器化部署、Mayastor与SPDK在Arm64架构上的优化、Ceph性能调优策略、Hadoop发行版研发实践等核心内容。通过深度解析存储系统性能瓶颈、加速技术(如bcache、A-Tune)、元数据缓存机制及SQL加速引擎,帮助学员掌握从理论到落地的全链路技术能力,适用于云计算、大数据分析及高性能存储系统的开发与运维场景。

你会学到什么?

  • 掌握Apache Spark容器镜像构建与优化方法,提升集群资源利用率。
  • 理解Mayastor与SPDK在openEuler+Arm64环境下的部署与性能调优技巧。
  • 学习存储性能优化的六大核心策略,包括硬件配置、缓存机制与工具链应用。
  • 深入Hadoop发行版的设计原理,掌握自研发行版的关键实现路径。
  • 通过五步法结合A-Tune工具,系统化优化Ceph存储性能。
  • 运用bcache技术加速Ceph与OpenStack的存储交互,实现高性能数据服务。
  • 掌握Spark SQL Native引擎的实现逻辑,提升复杂查询场景的执行效率。
  • 分析元数据缓存策略对Ceph性能的影响,设计高并发场景下的存储架构。

特色亮点

  • 实战导向:结合真实案例(如Ceph+OpenStack加速、Spark SQL引擎优化)解析技术细节。
  • 技术深度:覆盖底层存储协议(SPDK)、硬件适配(Arm64)及开源工具链(A-Tune)的深度优化方法。
  • 跨平台适配:聚焦openEuler生态与Arm64架构的结合,满足国产化技术栈需求。
  • 方法论体系:提供“五步法”等系统化性能调优框架,降低学习与实践门槛。
  • 讲师经验:基于openEuler社区一线研发经验,确保内容前沿性和实用性。

技能要求

  • 基础技能:
  • 熟悉Linux操作系统及命令行工具(如基础文件操作、进程管理)。
  • 掌握至少一种编程语言(如Python、Java或C++),理解分布式系统概念。
  • 适配范围:
  • 初级开发者:可结合课程案例快速入门分布式存储与大数据技术。
  • 中级工程师:通过深度优化模块提升技术深度,解决复杂场景问题。
  • 零基础学习者:课程内容已涵盖必要背景知识,可逐步掌握核心概念。

受众群体

  • 开发者:需掌握分布式存储与大数据技术栈的开发人员。
  • 系统架构师:关注高性能存储系统设计与优化的架构师。
  • 运维工程师:负责云计算、大数据平台运维的IT工程师。
  • 技术爱好者:对开源技术(如openEuler、Ceph、Spark)有浓厚兴趣的学习者。
  • 版权声明:本课程版权归属讲师及openEuler社区,内容仅供学习使用,未经许可不得用于商业用途。

课程大纲

分布式存储与大数据技术分享

  • Apache Spark 官方容器镜像的那些事儿
    31:56
  • Mayastor & SPDK on Arm64 openEuler
    20:05
  • 存储性能优化六板斧
    22:02
  • Apache Hadoop发行版的研发探索
    25:43
  • 利用五步法 & A-Tune优化ceph性能
    19:26
  • 使用bcache加速ceph向openstack提供高性能存储
    17:21
  • 一种Spark SQL Native引擎实现SQL加速
    26:51
  • 元数据缓存策略对Ceph性能的影响
    33:45

讲师简介

openEuler
openEuler
0 Rating 12 课程 1 学生

openEuler是由开放原子开源基金会(OpenAtom Foundation)孵化及运营的开源项目,是面向数字基础设施的开源操作系统,支持服务器、云计算、边缘计算、嵌入式等应用场景,支持多样性计算,致力于提供安全、稳定、易用的操作系统。 

openEuler已经规模应用于国计民生的千行百业,成为行业客户首选操作系统路线。据IDC中国服务器操作系统市场调研报告显示,2023年openEuler系操作系统在政府、运营商行业的新增服务器Host OS市场份额已经达到70%以上,在金融行业新增服务器Host OS达到50%以上,在电力行业新增服务器Host OS达到40%。除了这些行业之外,openEuler在互联网、制造、能源等行业都有规模商用的标杆客户。 

截至2024年9月30日,openEuler社区用户累计超过511万,加入openEuler社区的单位成员1775家,超过2万名开发者在社区持续贡献。社区累计产生189K个PRs、118.4K条Issues。

免费
免费学习本课程
课程包含:
讲座 8
技能 所有级别
证书 Yes
分享课程
页面链接
在社交媒体上分享

提供自主基础软硬件全栈课程、开源实战沙盒与生态协同服务,加速信息技术应用创新领域人才培养与产业攻坚闭环。

联系

天津滨海高新区塘沽海洋科技园信息安全产业园五号楼