业界新闻

超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!

发布时间:2025-03-05 00:00:00 来源:我爱方案网 责任编辑:lina

【导读】使用瑞芯微RK3588本地部署DeepSeek,意味着千元级硬件即可本地化高效运行1.5B/7B DeepSeek模型,无需联网就可在本地处理数据,不需要将数据传输到云端,减少了网络延迟,可以快速响应应用,同时也减少了数据传输到云端时被窃取的问题,不需要借助云端就可以处理数据,也就降低了成本。快包平台可提供安全稳定且即插即用的RK3588开发板及主控芯片,帮助工程师快速实现DeepSeek应用部署。




摘要


使用瑞芯微RK3588本地部署DeepSeek,意味着千元级硬件即可本地化高效运行1.5B/7B DeepSeek模型,无需联网就可在本地处理数据,不需要将数据传输到云端,减少了网络延迟,可以快速响应应用,同时也减少了数据传输到云端时被窃取的问题,不需要借助云端就可以处理数据,也就降低了成本。快包平台可提供安全稳定且即插即用的RK3588开发板及主控芯片,帮助工程师快速实现DeepSeek应用部署。


扫码可申请免费样片以及获取产品技术规格书



超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!



RK3588是瑞芯微电子推出的一款高性能处理器,采用先进的8nm制程工艺,集成了四核Cortex-A76和四核Cortex-A55 CPU,以及Mali-G610 MP4 GPU。更重要的是,RK3588内置了独立的NPU(神经网络处理单元),可提供高达6TOPS的AI算力,为运行复杂的深度学习模型提供了强劲动力。


AI界新星DeepSeek(中文名:深度求索)在近期迅速崛起,凭借低成本、高性能的AI模型火爆全网。其核心是一个强大的语言模型,能够理解自然语言并生成高质量文本,此外DeepSeek免费向全球开发者开放,加速了AI技术普及。


在RK3588上部署Deepseek可以通过瑞芯微官方的 RKLLM量化部署,步骤如下:




1、环境搭建
基于Ubuntu系统安装RKLLM-Toolkit,创建Python3.8的Conda环境,安装量化工具链。

2、模型转换
通过transform.py脚本加载模型,结合量化校正数据集,指定目标平台为RK3588,生成适配NPU的.rkllm文件。

3、本地推理
调用RKLLM API实现交互式对话,支持多线程与NPU核心调度,1.5B模型响应延迟低至毫秒级。
本次测试使用的DeepSeek-R1-Distill-Qwen1.5B和DeepSeek-R1-Distill-Qwen7B模型,均为蒸馏模型,通过rkllm-toolkit转换成RK3588开发板支持运行的rkllm格式模型,采用w8a8量化算法,压缩模型体积同时保持精度,1.5B模型仅需1.89GB存储,7B模型仅需7.63GB存储。



DeepSeek转换完成的RKLLM模型如下图所示:


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!

(图源讯为,下同)


然后将其传输到开发板上,使用对应的可执行文件运行即可,运行之后如下图所示:


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!


接下来向该模型提出问题即可,回复内容如下所示:


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!


在回复的过程中查看CPU和NPU的利用率,可以看到CPU的占用率为84%,并且调用了NPU的3个核心进行加速推理:


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!



本地部署,释放边缘AI潜力


RK3588成功在本地部署DeepSeek,意味着无需将数据上传至云端,在设备端即可完成复杂的AI计算任务,这将带来以下优势:



  • 更低延迟: 本地处理数据,无需网络传输,显著降低延迟,满足实时性要求高的应用场景,例如工业机器视觉、自动驾驶等。
  • 更高隐私: 敏感数据无需上传至云端,有效保护用户隐私和数据安全,适用于智慧医疗、金融支付等领域。
  • 更低成本: 减少对云服务的依赖,降低网络带宽和云存储成本,更适合大规模部署。



应用场景广泛,赋能千行百业
RK3588与DeepSeek的结合,为边缘AI应用提供了强大的硬件和软件支持,将赋能以下场景:



  • 智能安防: 在智能摄像头、门禁系统等设备中,利用DeepSeek实现人脸识别、行为分析、异常检测等功能,提升安防效率和准确性。
  • 工业视觉: 在工业生产线中,利用DeepSeek实现产品质量检测、设备状态监控、机器人引导等功能,提高生产效率和产品质量。
  • 智慧医疗: 在医疗影像设备中,利用DeepSeek辅助医生进行疾病诊断和治疗方案制定,提高诊断准确性和效率。
  • 其他领域: 包括智能零售、智慧交通、智能家居等,RK3588和DeepSeek的组合将为各行各业带来创新应用。


快包电子平台推出了很多设计优化的RK3588主板方案,它们都是稳定出货、即插即用,在具体场景实现应用的产品。



瑞芯微RK3588工控机开发板


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!


方案简介:

方案基于Rockchip新一代旗舰 RK3588处理器开发设计,采用先进8nm制程工艺集成4核Cortex-A76+4核Cortex-A55架构,主频最高达2.4GHZ,支持8K超清显示,四屏异显,内置瑞芯微自研三核NPU,综合算力可达6TOPS。


方案特点:
1.6 TOPS算力加持,赋能人工智能应用
2.提供多种显示接口,支持四屏异显
3.提供丰富的CPU接口资源,满足计算链接存储需求
4.支持多种操作系统和二次开发
5.支持双千兆网口通讯


应用场景:

AGV、边缘计算、智慧大屏、高端平板、智能NVR、可视化网关等领域。


瑞芯微3588直播一体机


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!


方案简介:

瑞芯微 3588 直播机是一款即插即用直播机方案,方案可供直播机设备终端制造商开发自定义直播机。该直播机主板采用RK3588高端8核处理器,6T算力,屏幕分辨率最大可支持1920*1080,并配有两个USB3.0、一个Type-C全功能接口,方便客户组合外设,设置WiFi和4G互联,监控外设录像/编辑,快速导入产品创新。


方案特点:
SOC :RockChip RK3588
CPU :4×Cortex-A76+4×Cortex-A55
GPU :ARM Mali-G610 MP4 四核 GPU
NPU :6TOPS


应用场景:

教学培训、直播带货、产品宣传

瑞芯微RK3588边缘计算盒子


超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!


方案简介:

瑞芯微RK3588边缘计算盒子,主频高达2.4GHz,适用于边缘计算,广告机,miniPC整机,工控一体机,零售机和快递柜。支持安卓12系统,内嵌高性能AI加速硬件,支持6T算力NPU.板载LPDDR4/LPDDR4X 8G内存,EMMC标配128GB(最大可选512GB),支持WIFI6通信、10000M以太网。可直接驱动1920*1080液晶屏。


方案特点:
1.RK3588超强CPU搭载Android 12系统,速度更快,性能更强。
2.支持PCIE WIFI6,BT5.0,双天线。
3.网口设计,支持一个1000M网口。
4.分辨率最大支持4K@60。


应用场景:

边缘计算,广告机,miniPC整机,工控一体机,零售机和快递柜

扫码可申请免费样片以及获取产品技术规格书



超低成本!千元级国产开发板即可本地化部署deepSeek-r1 1.5B语言大模型!



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


我爱方案网


推荐阅读:

以太网PHY芯片的国产替代方案与应用

芝识课堂——运算放大器(一),电路设计图中给力的“三角形”

人形机器人中的毫米波雷达感应和传感器融合

ST 新款微型单片降压转换器,用于智能电表、家电和工业电源转换器提供低电压电源

Type-C端口水汽检测(LPD)技术介绍



为您推荐

Synaptics Coralboard 边缘 AI 开发板上市,DigiKey 获独家分销权 新品速递

Synaptics Coralboard 边缘 AI 开发板上市,DigiKey 获独家分销权

2026 年 10 月 20 日,Synaptics Coralboard 边缘 AI 开发板正式推出,该开发板集成 Google Research Coral NPU 与 Synaptics Astra 嵌入式处理器,由 Grinn 制造,DigiKey 作为全球独家分销商开售。Coralboard 主打低功耗、始终在线的端侧 AI 推理,自带摄像头、音视频即插即用接口,支持 USB 虚拟网卡、Wi-Fi、蓝牙等多种连接方式,适合智能摄像头、工业监测、语音交互、电池供电边缘设备。开发者可以依托这套平台快速完成原型验证,逐步推进到量产设计。

安防监控 能源电路 电源管理 互联技术 开发板

星宸科技旗下Comake发布Comake Pi D3:入门级视觉边缘计算开发板迎来“性能越级” 新品速递

星宸科技旗下Comake发布Comake Pi D3:入门级视觉边缘计算开发板迎来“性能越级”

2026年9月24日 —— 全球领先的端边侧AI芯片与解决方案提供商星宸科技(SigmaStar)今日宣布,旗下Comake开发者服务平台正式推出入门级视觉边缘计算开发板Comake Pi D3。该开发板搭载星宸科技SCM8003G AI主控芯片,具备8K@30fps解码、8TOPS NPU算力以及端侧大模型运行能力,旨在将此前主要见于中高端产品的AI推理体验下沉至入门级市场。

开发板

Microchip推出第二代PolarFire® FPGA以太网传感器桥接平台 新品速递

Microchip推出第二代PolarFire® FPGA以太网传感器桥接平台

紧凑型、高性能边缘AI系统的兴起正在重新定义传感器连接方式,推动开发人员打造面向未来的兼顾安全性与可扩展性的低功耗且节省空间的架构。为应对这些挑战,Microchip Technology(微芯科技公司)推出第二代 PolarFire® FPGA 以太网传感器桥接平台。这款开发板采用NVIDIA Holoscan传感器桥接(HSB)技术实现标准化传感器集成,体积显著缩小,可立即投入量产。

互联技术 传感技术 开发板 Nvidia(英伟达)

安谋科技Arm China闪耀WAIC | AI前瞻分享,Arm无处不在,让AI触手可及 行业活动

安谋科技Arm China闪耀WAIC | AI前瞻分享,Arm无处不在,让AI触手可及

2026 年 7 月 19 日,中国上海讯 - 国内领先的芯片IP设计与服务提供商安谋科技(中国)有限公司(以下简称“安谋科技Arm China”)近日宣布首次亮相WAIC,携手Arm生态,通过Edge AI、Physical AI、Cloud AI三大业务展区,系统呈现了计算平台、开发板、终端应用的完整AI落地图谱,诠释了无处不在的Arm技术如何驱动AI在千行百业规模化落地。The Future of AI is Built on Arm!

开发板

安谋科技亮相WAIC:全域赋能,让AI触手可及 选型指南

安谋科技亮相WAIC:全域赋能,让AI触手可及

2026 年 7 月 19 日,中国上海讯 - 国内领先的芯片IP设计与服务提供商安谋科技(中国)有限公司(以下简称“安谋科技Arm China”)近日宣布首次亮相WAIC,携手Arm生态,通过Edge AI、Physical AI、Cloud AI三大业务展区,系统呈现了计算平台、开发板、终端应用的完整AI落地图谱,诠释了无处不在的Arm技术如何驱动AI在千行百业规模化落地。The Future of AI is Built on Arm!

开发板

特别推荐

更多

行业动态

更多

技术应用

更多

选型替代

更多

产品信息

更多

热门搜索

更多

欢迎登录

没有账号,

账号注册

注册成功!

3S后自动为你跳转登陆