15a0e14c82 | ||
---|---|---|
README.md | ||
jydata_release_2024_03_06_aarch64.tar.gz | ||
jydata_release_2024_03_06_x64.tar.gz |
README.md
九源大数据智能分析系统
九源大数据智能分析系统jydata在Apache Spark的基础上构建了一套以性能为中心的高效数据处理系统。
一方面实现了一套基于C++的RDD编程接口和高性能大数据算子库以支持高性能大数据应用的编写;
另一方面提出了动静态结合的计算图使得在容错能力上等同Apache Spark。
同时,在数据预处理、图计算、机器学习等领域典型应用上进行了测试,取得了多个指标的性能优势。
该系统目前已支持TPC-DS中所有99个查询,且在相同环境下相比Apache Spark SQL达到了3.0倍以上的加速比。
该系统可以降低大数据处理的整体延迟、并可节省大数据处理的成本;
同时能够无缝部署在现有Apache Spark环境中,部署简单。因此,大数据智能分析系统具有显著的应用前景。
大数据智能分析系统支持x64和aarch64架构,已在国产鲲鹏和飞腾服务器完成验证。