InfiniTensor

Commit Graph

Author	SHA1	Message	Date
PanZezhong1725	d1de3ab5c2	feat(dist)：分布式脚本支持混合精度 (#226 )	2024-04-07 16:57:07 +08:00
PanZezhong1725	7f6aec6c17	针对bert和gpt2模型分布式推理的优化 (#221 ) * fix(dist): 改善分布式脚本，只打印绝对误差 * feat(dist): 增加可导出onnx的pytorch运行脚本 * feat(front): 增加对Y值为-inf的where算子的图优化 * feat(kernel): 对b为常数的pow和div算子进行特判优化 * fix(front): 消除前端对global output形状信息的依赖，分布式脚本删除不必要的shape infer * feat(kernel): 针对matmul中bias为行向量时的expand操作的特化优化 * fix(kernel): 删除div pow const中不必要的同步 * Update expand.cu * fix: fix comments --------- Co-authored-by: Haojie Wang <haojie0429@gmail.com> Co-authored-by: Derui Yang <ydrml@hotmail.com>	2024-04-01 14:04:28 +08:00

Author

SHA1

Message

Date

PanZezhong1725

d1de3ab5c2

feat(dist)：分布式脚本支持混合精度 (#226 )

2024-04-07 16:57:07 +08:00

PanZezhong1725

7f6aec6c17

针对bert和gpt2模型分布式推理的优化 (#221 )

* fix(dist): 改善分布式脚本，只打印绝对误差

* feat(dist): 增加可导出onnx的pytorch运行脚本

* feat(front): 增加对Y值为-inf的where算子的图优化

* feat(kernel): 对b为常数的pow和div算子进行特判优化

* fix(front): 消除前端对global output形状信息的依赖，分布式脚本删除不必要的shape infer

* feat(kernel): 针对matmul中bias为行向量时的expand操作的特化优化

* fix(kernel): 删除div pow const中不必要的同步

* Update expand.cu

* fix: fix comments

---------

Co-authored-by: Haojie Wang <haojie0429@gmail.com>
Co-authored-by: Derui Yang <ydrml@hotmail.com>

2024-04-01 14:04:28 +08:00

2 Commits