openEuler环境下openeuler/uadk-bigdata部署避坑指南：5个关键配置步骤

openEuler环境下openeuler/uadk-bigdata部署避坑指南5个关键配置步骤【免费下载链接】uadk-bigdataUADK is a general-purpose user space accelerator framework that uses the SVA technology to provide a unified programming interface for hardware acceleration computing cryptography and compression algorithms. Uadk-bigdata provides uadk solution in bigdata scenario.项目地址: https://gitcode.com/openeuler/uadk-bigdata前往项目官网免费下载https://ar.openeuler.org/ar/在openEuler操作系统中部署UADK大数据加速解决方案时许多开发者会遇到各种配置难题和技术障碍。本文将为您提供一份完整的openeuler/uadk-bigdata部署避坑指南通过5个关键配置步骤帮助您快速搭建高性能的大数据硬件加速环境。UADK是一个基于SVA技术的通用用户空间加速器框架为硬件加速计算提供统一的编程接口而uadk-bigdata项目则提供了大数据场景下的UADK解决方案。 为什么选择UADK大数据加速UADK大数据加速解决方案通过硬件加速器显著提升加密和压缩算法的处理性能特别适用于Hadoop、HBase等大数据处理框架。在openEuler环境中这个全栈解决方案能够将硬件加速能力无缝集成到大数据软件栈中实现从底层硬件到上层应用的全链路优化。 部署前的硬件准备检查步骤1确认鲲鹏硬件加速器状态在开始部署之前首先需要确认服务器上的鲲鹏硬件加速器是否已正确启用。这是整个UADK大数据加速方案的基础。sudo ls -lat /dev/hisi*如果返回ls: cannot access /dev/hisi*: No such file or directory说明硬件加速器没有开启。此时需要检查BIOS中的SMMU配置确保Support Smmu和Smmu Work Around都设置为Enable状态。图在BIOS中启用SMMU配置是硬件加速的关键步骤步骤2配置内核启动参数为了确保内核能够正确识别和使用硬件加速器需要在Linux内核启动参数中添加以下配置hisi_zip.uacce_mode1 hisi_sec2.uacce_mode1 hisi_hpre.uacce_mode1可以通过修改/boot/efi/EFI/openEuler/grub.cfg文件来添加这些参数。重启服务器后使用lspci -tv命令检查设备是否被正确识别。 核心组件编译与安装步骤3UADK项目编译安装UADK是整个加速方案的核心组件。从官方仓库克隆代码后需要按照特定步骤进行编译git clone https://github.com/docularxu/uadk.git uadk.git cd uadk.git ./cleanup.sh ./autogen.sh ./conf.sh make sudo make install编译前需要安装依赖包sudo yum -y install autoconf automake libtool numactl-devel。安装完成后UADK库将被安装到/usr/local/lib和/usr/local/lib/uadk目录中。步骤4OpenSSL 3.0与UADK Provider集成OpenSSL 3.0与UADK Provider的集成是实现硬件加速加密的关键。首先编译安装OpenSSL 3.0./Configure enable-md2 make -s -j 100 sudo make -j 100 install接着编译安装UADK Providercd uadk_engine.git/ autoreconf -i ./configure make sudo make install重要提示安装后需要手动将uadk_provider.*文件移动到正确目录sudo mv /usr/local/lib/uadk_provider.* /usr/local/lib/ossl-modules步骤5毕昇JDK 8.0配置与KAEProvider启用毕昇JDK 8.0是支持硬件加速的Java运行时环境。编译完成后需要修改java.security文件以启用KAEProvider在${JAVA_HOME}/lib/security/java.security文件中添加security.provider.1org.openeuler.security.openssl.KAEProvider security.provider.2sun.security.provider.Sun这样设置后KAEProvider将成为Java程序SM4算法的首选Provider充分利用UADK硬件加速能力。⚡ 性能验证与测试验证UADK功能使用uadk_tool工具验证UADK基本功能uadk_tool benchmark --alg sm4-128-ctr --mode sva --opt 0 --sync --pktlen 1024 --seconds 5 --multi 1 --thread 2 --ctxnum 6验证OpenSSL集成检查OpenSSL是否正确加载了UADK Provideropenssl list -provider uadk_provider -all-algorithms | grep uadk验证HBase性能提升图使用UADK加速后HBase的性能对比测试结果图不同配置下HBase的性能表现对比️ 常见问题与解决方案问题1权限错误症状failed to open /dev/hisi_sec2-3!(err -13)解决方案为硬件加速器设备开放写权限sudo chmod 777 /dev/hisi*问题2环境变量配置症状libwd.so找不到的错误解决方案正确设置环境变量export LD_LIBRARY_PATH/usr/local/lib:${LD_LIBRARY_PATH} export OPENSSL_MODULES/usr/local/lib/ossl-modules问题3CPU占用率过高症状使用uadk_tool测试时CPU占用率达到100%解决方案启用EPOLL环境变量export WD_DIGEST_EPOLL_EN1 export WD_CIPHER_EPOLL_EN1 软件架构与工作流程图UADK大数据加速解决方案的全栈软件架构从上至下依次是HBase大数据存储和处理层JDK提供跨平台支持和性能优化OpenSSL提供安全和加密功能UADK提供硬件加速功能Linux内核驱动与硬件沟通的桥梁硬件加速器底层的鲲鹏920加速硬件 部署成功的关键检查点硬件检查确认/dev/hisi*设备存在且权限正确内核模块检查lsmod | grep uacce\|hisi_sec2\|hisi_zip\|hisi_hpre输出环境变量验证LD_LIBRARY_PATH和OPENSSL_MODULES设置Provider加载确认OpenSSL能正确识别uadk_provider性能验证使用uadk_tool进行基准测试 最佳实践建议使用Docker容器为避免对主机环境的破坏建议在Docker容器中编译和测试UADK版本管理使用项目推荐的Tag版本而非master分支确保稳定性逐步验证按照组件顺序逐个验证避免问题累积性能监控部署后持续监控硬件加速器的使用情况和性能表现通过遵循这5个关键配置步骤您可以在openEuler环境中成功部署UADK大数据加速解决方案充分利用鲲鹏920硬件加速器的强大能力显著提升大数据处理任务的性能和效率。记住每个步骤都需要仔细验证确保前一步正确无误后再进行下一步操作。图部署完成后的性能测试结果展示【免费下载链接】uadk-bigdataUADK is a general-purpose user space accelerator framework that uses the SVA technology to provide a unified programming interface for hardware acceleration computing cryptography and compression algorithms. Uadk-bigdata provides uadk solution in bigdata scenario.项目地址: https://gitcode.com/openeuler/uadk-bigdata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考