openEuler+intel-oneapi实战：手把手教你搭建AI推理平台（FastChat+Vicuna7B案例）

openEulerintel-oneapi实战手把手教你搭建AI推理平台FastChatVicuna7B案例【免费下载链接】intel-oneapioneAPI openEuler portal for maintaining the oneAPI projects项目地址: https://gitcode.com/openeuler/intel-oneapi前往项目官网免费下载https://ar.openeuler.org/ar/在人工智能快速发展的今天搭建高效的AI推理平台成为许多开发者的需求。openEuler与intel-oneapi的结合为我们提供了一个强大且灵活的解决方案。本文将详细介绍如何在openEuler系统上利用intel-oneapi搭建基于FastChat和Vicuna7B的AI推理平台让你轻松开启AI应用开发之旅。一、了解openEuler与intel-oneapiopenEuler是一款开源的操作系统具有高性能、高可靠、安全等特性。而intel-oneapi是一个开放的、基于标准的编程模型旨在简化跨不同计算架构包括CPU、GPU、FPGA等的编程。如上图所示oneAPI包含Direct Programming和API-Based Programming等部分能够为各类应用提供优化的中间件和框架支持实现对不同硬件的高效利用。二、搭建前的准备工作2.1 环境要求在openEuler环境中oneAPI框架集成基于openEuler 24.03 LTS SP1及后续版本。请确保你的系统满足这一要求。2.2 安装oneAPI低级别依赖Intel Arch SIG已将oneAPI所需的低级别软件包集成到openEuler 24.03 LTS SP1中我们可以直接安装$ sudo dnf -y install intel-gmmlib intel-gsc intel-igc-cm intel-igc-core \ intel-igc-opencl intel-level-zero-gpu intel-ocloc intel-opencl \ level-zero libmetee安装完成后openEuler上的oneAPI运行环境将支持在Intel CPU、GPU等上运行oneAPI应用。三、安装oneAPI工具包3.1 配置oneAPI仓库要安装openEuler oneAPI工具包可以配置oneAPI仓库以使用Intel官方发布的rpm包$ tee /tmp/oneAPI.repo EOF [oneAPI] nameIntel® oneAPI repository baseurlhttps://yum.repos.intel.com/oneapi enabled1 gpgcheck1 repo_gpgcheck1 gpgkeyhttps://yum.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB EOF$ sudo mv /tmp/oneAPI.repo /etc/yum.repos.d $ sudo dnf update3.2 安装必要的oneAPI基础工具包安装以下用于构建oneAPI应用的必要oneAPI基础工具包$ sudo dnf install -y intel-oneapi-dpcpp-cpp-2024.2-2024.2.1-1079 intel-oneapi-mkl-devel-2024.2.1-103 intel-oneapi-ccl-devel-2021.13.1-313.3 检查安装结果和硬件信息$ source /opt/intel/oneapi/setvars.sh $ sycl-ls运行上述命令后将显示系统中的CPU和GPU等硬件信息确认安装是否成功。四、构建和运行oneAPI示例4.1 配置环境路径链接所需的工具链并添加以下环境路径用于构建和运行oneAPI应用$ sudo ln -s /usr/lib/gcc/x86_64-openEuler-linux/12/* /usr/lib64/ $ export CPATH$CPATH:/usr/include/c/12/:/usr/include/c/12/x86_64-openEuler-linux/ $ export LD_LIBRARY_PATH/opt/intel/oneapi/2024.0/lib:$LD_LIBRARY_PATH4.2 构建并运行oneAPI示例$ git clone https://gitcode.com/openeuler/intel-oneapi $ cd oneAPI-samples/DirectProgramming/CSYCL/DenseLinearAlgebra/vector-add/ $ mkdir build cd build cmake .. $ make $ ./vector-add-buffers运行后将看到向量加法在设备上成功完成的相关信息。五、安装PyTorch的Intel扩展这一步用于安装PyTorch的Intel扩展。TorchVision和TorchAudio的安装是可选的预构建的wheel文件适用于Python 3.8、3.9、3.10、3.11$ python3 -m pip install torch2.3.1cxx11.abi torchvision0.18.1cxx11.abi torchaudio2.3.1cxx11.abi \ intel-extension-for-pytorch2.3.110xpu oneccl_bind_pt2.3.100xpu \ --extra-index-url https://pytorch-extension.intel.com/release-whl/stable/xpu/us/ $ python3 -m pip install transformers4.33.0六、进行完整性测试你可以运行一个简单的完整性测试来双重检查是否安装了正确的版本和满足要求。如果软件栈能够获取系统上正确的硬件信息将检测到PyTorch和Intel Extension for PyTorch版本、GPU卡信息等。你可以忽略一些警告信息不影响环境使用$ export OCL_ICD_VENDORS/etc/OpenCL/vendors $ python3 -c import torch; import intel_extension_for_pytorch as ipex; print(torch.__version__); print(ipex.__version__); [print(f[{i}]: {torch.xpu.get_device_properties(i)}) for i in range(torch.xpu.device_count())];七、运行LLM演示FastChatVicuna7B你可以简单地运行FastChatVicuna7B作为利用Intel oneAPI和Intel GPU的演示$ python3 -m pip install fschat[model_worker,webui]使用--device xpu/cpu标志在GPU/CPU上进行预测。例如运行一个GPU。如果你在代理后面可以尝试离线下载vicuna-7b-v1.5模型$ python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5 --device xpu通过以上步骤你就成功在openEuler系统上利用intel-oneapi搭建了基于FastChat和Vicuna7B的AI推理平台。现在你可以开始探索更多AI应用的开发和部署了【免费下载链接】intel-oneapioneAPI openEuler portal for maintaining the oneAPI projects项目地址: https://gitcode.com/openeuler/intel-oneapi创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考