jydata/README.md

1009 B
Raw Blame History

九源大数据智能分析系统

九源大数据智能分析系统jydata在Apache Spark的基础上构建了一套以性能为中心的高效数据处理系统。
一方面实现了一套基于C++的RDD编程接口和高性能大数据算子库以支持高性能大数据应用的编写
另一方面提出了动静态结合的计算图使得在容错能力上等同Apache Spark。
同时,在数据预处理、图计算、机器学习等领域典型应用上进行了测试,取得了多个指标的性能优势。
该系统目前已支持TPC-DS中所有99个查询且在相同环境下相比Apache Spark SQL达到了3.0倍以上的加速比。
该系统可以降低大数据处理的整体延迟、并可节省大数据处理的成本;
同时能够无缝部署在现有Apache Spark环境中部署简单。因此大数据智能分析系统具有显著的应用前景。 大数据智能分析系统支持x64和aarch64架构已在国产鲲鹏和飞腾服务器完成验证。