是一款國產(chǎn)領(lǐng)先的AI大模型，以其卓越的推理能力和高效的文本生成技術(shù)在全球人工智能領(lǐng)域嶄露頭角。DeepSeek的推出，標(biāo)志著國產(chǎn)AI大模型在技術(shù)自主創(chuàng)新和產(chǎn)業(yè)應(yīng)用落地方面邁出了重要一步。

　　AIoT3588S-E智能主板基于Rockchip RK3588S芯片，成功實現(xiàn)DeepSeek大模型的高效移植與推理加速，為邊緣計算場景提供開箱即用的AI解決方案。如何快速將AI大模型部署到嵌入式設(shè)備?本文從模型部署到效果測試，揭秘全流程操作指南。

01.

部署過程

DeepSeek+AIoT3588S-E

　　設(shè)備連接與遠(yuǎn)程登錄

　　將AIoT3588S-E智能主板連接到顯示器，登錄后獲取IP地址，進行SSH遠(yuǎn)程登錄，以便進一步管理和查看系統(tǒng)信息。

　　模型獲取與環(huán)境配置

　　下載預(yù)量化模型：DeepSeek-R1-Distill-Qwen-1.5B_W8A8_RK3588.rkllm，更新系統(tǒng)軟件包列表，配置Python 3.8環(huán)境并安裝pip，安裝Git工具及編譯環(huán)境，以便代碼倉庫的克隆和管理。

　　獲取與編譯rkllm

　　下載好量化后的模型，在AIoT3588S-E開發(fā)板上git一下rkllm的倉庫【 rkllm倉庫地址】，修改編譯腳本，將編譯好的文件移動到rkllm目錄下，便于后續(xù)管理與執(zhí)行。

　　創(chuàng)建與運行腳本

　　進入rkllm目錄，創(chuàng)建deepseek_start.sh腳本文件并賦權(quán)777權(quán)限，編輯該腳本并設(shè)置必要的環(huán)境變量并定義啟動命令，執(zhí)行該腳本來啟動應(yīng)用程序。

02.

性能測評

DeepSeek+AIoT3588S-E

　　在完成部署后，我們針對程序運行時對主板資源的占用情況進行了測試與分析，總結(jié)了以下幾個關(guān)鍵數(shù)據(jù)：

　　CPU占用8%~27%。

　　程序執(zhí)行期間，CPU的使用率穩(wěn)定在8%到27%之間，該程序在處理任務(wù)時能夠有效利用系統(tǒng)資源，避免過度消耗。

　　內(nèi)存占用2GB。

　　程序運行時，內(nèi)存占用維持在2GB水平，反映出程序設(shè)計高效，在確保性能的同時，盡可能減少了對內(nèi)存資源的需求，有助于提升整體穩(wěn)定性及響應(yīng)速度。

　　NPU占用：三個核心負(fù)載45%~51%。

　　NPU三個核心的負(fù)載介于45%至51%，程序在進行特定計算任務(wù)時，能夠均衡地利用硬件加速資源，實現(xiàn)高效的并行處理能力。

03.

應(yīng)用效果

DeepSeek+AIoT3588S-E

　　DeepSeek-R1 是一款全能型人工智能助手，憑借強大的數(shù)據(jù)處理能力和豐富的知識庫，支持多種場景下的高效應(yīng)用，兼具快速響應(yīng)與數(shù)據(jù)安全，是用戶探索與解決問題的得力助手。在完成部署后，我們檢測了使用效果：

　　DeepSeek可以快速分析設(shè)備故障問題，并給出技術(shù)支持的建議。

　　例如：AIoT3588S-E智能主板在啟動時卡在Uboot階段時，如何通過串口日志定位問題?

　　DeepSeek可以快速分析數(shù)學(xué)問題，并按照指令生成答題過程。

　　例如：請用高斯消元法求解方程組：2x+y =5、3x-2y =8。

　　本文分享了在智能主板AIoT3588S-E上部署DeepSeek-R1(1.5B)的過程，經(jīng)過實際測試，其強大功能和高效表現(xiàn)得到了充分驗證。

　　“先進算法+硬核算力”的協(xié)同模式，是國產(chǎn)AI生態(tài)從“實驗室”走向“生產(chǎn)線”的重要過程，為開發(fā)者提供了一個即開即用的創(chuàng)新平臺，為各行各業(yè)提供了更高效、更安全、更靈活的智能化解決方案。如果您對此感興趣，歡迎隨時咨詢，我們會提供更全面的技術(shù)支持，期待與您共同探索AI應(yīng)用的無限可能。