From 7fd6b0b0b6fa1c559b2c5549a9987718f6b9000e Mon Sep 17 00:00:00 2001 From: nezharen Date: Wed, 10 Apr 2024 10:51:59 +0800 Subject: [PATCH] update --- ProjectDeploy.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/ProjectDeploy.md b/ProjectDeploy.md index d15a409..9c1af47 100644 --- a/ProjectDeploy.md +++ b/ProjectDeploy.md @@ -7,7 +7,7 @@ 一方面实现了一套基于C++的RDD编程接口和高性能大数据算子库以支持高性能大数据应用的编写; 另一方面提出了动静态结合的计算图使得在容错能力上等同Apache Spark。 同时,在数据预处理、图计算、机器学习等领域典型应用上进行了测试,取得了多个指标的性能优势。 -该系统目前已支持TPC-DS中所有99个查询,且在相同环境下相比Apache Spark SQL达到了2.2倍以上的加速比。 +该系统目前已支持TPC-DS中所有99个查询,且在相同环境下相比Apache Spark SQL达到了3.0倍以上的加速比。 该系统可以降低大数据处理的整体延迟、并可节省大数据处理的成本; 同时能够无缝部署在现有Apache Spark环境中,部署简单。因此,智能大数据分析系统具有显著的应用前景。 @@ -103,7 +103,7 @@ jydata@node01$ echo 'export PATH="$SPARK_HOME/bin:$PATH"' >> ~/jydata/setenv.sh jydata@node01$ source ~/jydata/setenv.sh ``` -然后在``node01``~``node06``每个节点下载并安装Spark和CMR的依赖,Java JDK 11.0.17。 +然后在``node01`` ~ ``node06``每个节点下载并安装Spark和CMR的依赖,Java JDK 11.0.17。 x86_64环境: @@ -269,9 +269,9 @@ jydata@node01$ mv jna-5.6.0.jar net.java.dev.jna_jna-5.6.0.jar #### 1.1 HDFS及Yarn集群部署 -在``node01``~``node06``节点部署Apache Hadoop HDFS和Yarn集群,需要Apache Hadoop 3.2及以上版本。 +在``node01`` ~ ``node06``节点部署Apache Hadoop HDFS和Yarn集群,需要Apache Hadoop 3.2及以上版本。 -首先在``node01``~``node06``下载并安装Apache Hadoop和Hive的依赖,Java JDK 8u202。 +首先在``node01`` ~ ``node06``下载并安装Apache Hadoop和Hive的依赖,Java JDK 8u202。 注意这里的JDK版本与CMR使用的JDK版本不同,原因是Hive 3.1.3不支持JDK 11版本。 x86_64环境: @@ -286,7 +286,7 @@ aarch64环境: jydata@node01~node06$ tar -zxvf jdk-8u202-linux-arm64-vfp-hflt.tar.gz -C ~/jydata/local ``` -然后在``node01``~``node06``每个节点运行以下命令,安装Apache Hadoop: +然后在``node01`` ~ ``node06``每个节点运行以下命令,安装Apache Hadoop: x86_64环境: