开源 KDP v1.1.0 版本正式发布,新增数据集成开发应用场景

by June 2024-07-02

智领云自主研发的首个完全基于Kubernetes的容器化大数据平台,Kubernetes Data Platform (简称KDP)开源版首次面世以来的一个多月里,我们的社区不断壮大,众多开发者不仅积极采用该平台,更提出了宝贵的建议与反馈。为此,我们认真对待并记录每一项反馈。经过深入分析与精心研发,KDP v1.1.0 版本正式发布,它凝聚了我们对用户需求的深刻理解及对未来数据趋势的把握。

🚀🚀项目地址👇👇

https://github.com/linktimecloud/kubernetes-data-platform

🚀开源KDP v1.1.0版本亮点汇总🚀

新增功能

  • 网页终端:现已将cloudtty[1]集成到KDP中。用户可以通过此功能打开一个网页终端,进而访问kubectl Shell或容器Shell。这将为用户在KDP Day2运维中提供了更大的灵活性和扩展性,例如部署/观测 SparkApplication/FlinkApplication 等自定义资源应用,进行调试操作,以及容器级别文件上传下载等等。

新增应用目录

KDP新集成了DataOps领域的一些主流开源组件。用户可以利用这些数据集成开发工具来探索业务数据并搭建个性化的数据管道:

  • Airbyte[2]:Airbyte是一个开源的数据迁移基础设施,用于构建抽取与加载(EL)数据管道。其设计注重多功能性、可扩展性和易用性。
  • Apache Airflow[3]:Apache Airflow™ 是一个由社区创建的平台,用于以编程方式编写、调度和监控工作流。
  • Apache Superset[4]:Superset是一款快速、轻量、直观且选项丰富的工具,无论是简单的折线图还是高度详细的地理空间图表,都能让用户轻松地探索和可视化数据,适合各种技能水平的使用者。
  • ClickHouse[5]:ClickHouse是一款高性能、列式SQL数据库管理系统(DBMS),专为在线分析处理(OLAP)而设计。

新增教程:

Day1(KDP基础设施安装)

  • 在KubeSphere容器平台上安装KDP入门指南[6]
  • 在Rancher上安装KDP入门指南[7]

Day2(数据集成与开发)

  • 从外部HDFS导入数据到KDP[8]
  • 利用Airbyte、ClickHouse与Superset探索数据[9]

更新日志详细的更新日志,请参考:Changelog[10]

扫码获取项目地址

🚀社区🚀

我们期待您的贡献和建议!最简单的贡献方式是参与Github议题/讨论的讨论。如果您有任何问题,请与我们联系,我们将确保尽快为您解答。微信群:添加小助手微信拉您进入交流群

 钉钉群:搜索公开群组号 82250000662

🚀贡献🚀参考开发者指南,了解如何开发及贡献 KDP。https://linktimecloud.github.io/kubernetes-data-platform/docs/zh/developer-guide/developer-guide.html附录

【1】cloudtty的Git说明

https://github.com/cloudtty/cloudtty

【2】Airbyte官网

https://airbyte.com

【3】Apache Airflow官网

https://airflow.apache.org

【4】Apache Superset官网

https://superset.apache.org

【5】ClickHouse官网

https://clickhouse.com

【6】在KubeSphere容器平台上安装KDP入门指南

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-kubesphere-101.md

【7】在Rancher上安装KDP入门指南

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/install-kdp-on-rancher-101.md

【8】从外部HDFS导入数据到KDP

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/import-from-hdfs-to-hdfs.md

【9】利用Airbyte、ClickHouse与Superset探索数据

https://github.com/linktimecloud/kubernetes-data-platform/blob/main/docs/zh/user-tutorials/exploring-data-using-airbyte-clickhouse-superset.md

【10】KDP的Changelog

https://github.com/linktimecloud/kubernetes-data-platform/releases/tag/v1.1.0

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.