國產(chǎn) AI 大模型 DeepSeek 以出色的性價比和高效的模型技術(shù),迅速成為全球 AI 關(guān)注的焦點(diǎn)。Firefly 開源團(tuán)隊率先實(shí)現(xiàn) AIBOX 系列產(chǎn)品對 DeepSeek-R1 的全面適配。
DeepSeek-R1 在后訓(xùn)練階段大規(guī)模使用了強(qiáng)化學(xué)習(xí)技術(shù),在僅有極少標(biāo)注數(shù)據(jù)的情況下,極大提升了模型推理能力,目前基于開源的 R1 模型具有 1.5B-70B 可選,這些蒸餾模型更合適進(jìn)行本地部署在端側(cè)使用,用于各行各業(yè)的項目落地。
Firefly 開源團(tuán)隊對 DeepSeek-R1 系列的蒸餾模型進(jìn)行移植,完成 AIBOX 系列產(chǎn)品對 DeepSeek-R1 的全面適配,以下是實(shí)機(jī)演示:
通過視頻可以看出 DeepSeek-R1-Distill-Qwen-1.5B 在深度思考階段思路清晰,并給出準(zhǔn)確回答。同時,從硬件性能方面看,AIBOX在推理階段高達(dá)到 29.187 token/s,能夠?qū)崿F(xiàn)準(zhǔn)確、快速的 AI 對話。
以下是 AIBOX 產(chǎn)品的實(shí)測結(jié)果:
AIBOX 系列產(chǎn)品具備高性能、低功耗、環(huán)境適應(yīng)性強(qiáng)等特點(diǎn),算力覆蓋 6-157 TOPS,通過搭配多樣化深度學(xué)習(xí)算法,為多個智慧行業(yè)進(jìn)行數(shù)字化賦能,AIBOX 全系列產(chǎn)品已在 Firefly 官方平臺上線,立即體驗屬于自己的本地化 DeepSeek!
如有業(yè)務(wù)需求,請聯(lián)系我們
??:4001-511-533
??:sales@t-firefly.com
2025-02-21 09:29
2025-02-10 09:44
2024-10-09 09:29
2024-08-14 14:16
2024-06-27 11:01