jiuyuan
/
jydata
3
0
Fork 16
Code Issues Pull Requests Projects Releases Wiki Activity

update

This commit is contained in:
nezharen 2024-04-10 10:51:59 +08:00
parent 795481c8d5
commit 7fd6b0b0b6
1 changed files with 5 additions and 5 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

10
ProjectDeploy.md
View File

@ -7,7 +7,7 @@
一方面实现了一套基于C++的RDD编程接口和高性能大数据算子库以支持高性能大数据应用的编写；
另一方面提出了动静态结合的计算图使得在容错能力上等同Apache Spark。
同时，在数据预处理、图计算、机器学习等领域典型应用上进行了测试，取得了多个指标的性能优势。
该系统目前已支持TPC-DS中所有99个查询，且在相同环境下相比Apache Spark SQL达到了2.2倍以上的加速比。
该系统目前已支持TPC-DS中所有99个查询，且在相同环境下相比Apache Spark SQL达到了3.0倍以上的加速比。
该系统可以降低大数据处理的整体延迟、并可节省大数据处理的成本；
同时能够无缝部署在现有Apache Spark环境中，部署简单。因此，智能大数据分析系统具有显著的应用前景。
@ -103,7 +103,7 @@ jydata@node01$ echo 'export PATH="$SPARK_HOME/bin:$PATH"' >> ~/jydata/setenv.sh
jydata@node01$ source ~/jydata/setenv.sh
```
然后在``node01``~``node06``每个节点下载并安装Spark和CMR的依赖，Java JDK 11.0.17。
然后在``node01`` ~ ``node06``每个节点下载并安装Spark和CMR的依赖，Java JDK 11.0.17。
x86_64环境：
@ -269,9 +269,9 @@ jydata@node01$ mv jna-5.6.0.jar net.java.dev.jna_jna-5.6.0.jar
#### 1.1 HDFS及Yarn集群部署
在``node01``~``node06``节点部署Apache Hadoop HDFS和Yarn集群，需要Apache Hadoop 3.2及以上版本。
在``node01`` ~ ``node06``节点部署Apache Hadoop HDFS和Yarn集群，需要Apache Hadoop 3.2及以上版本。
首先在``node01``~``node06``下载并安装Apache Hadoop和Hive的依赖，Java JDK 8u202。
首先在``node01`` ~ ``node06``下载并安装Apache Hadoop和Hive的依赖，Java JDK 8u202。
注意这里的JDK版本与CMR使用的JDK版本不同，原因是Hive 3.1.3不支持JDK 11版本。
x86_64环境：
@ -286,7 +286,7 @@ aarch64环境：
jydata@node01~node06$ tar -zxvf jdk-8u202-linux-arm64-vfp-hflt.tar.gz -C ~/jydata/local
```
然后在``node01``~``node06``每个节点运行以下命令，安装Apache Hadoop：
然后在``node01`` ~ ``node06``每个节点运行以下命令，安装Apache Hadoop：
x86_64环境：