轰飞RK3588？开发板中的小钢炮 |搭建你的私有机器人—用AIBOX-1684X高算力AI计算盒Llama3|DeepSeek

推荐语

AIBOX-1684X，性能出众的AI开发新选择，开启你的智能机器人之旅。

核心内容：
1. AIBOX-1684X的高性能硬件配置与应用潜力
2. 强大的AI处理能力与支持的深度学习框架
3. 广泛的应用场景与规格参数详细介绍

杨芳贤

53A创始人/腾讯云(TVP)最具价值专家

一、简介

AIBOX-1684X 作为一款高性能 AI 盒子，凭借其强大的硬件配置、出色的性能表现以及丰富的功能特点，在众多领域展现出了巨大的应用潜力。无论是对于企业级用户还是个人开发者，它都提供了一个高效、灵活且可扩展的解决方案，帮助人们在人工智能领域取得更大的突破和发展。

• 3 2 TOPS 超高算力 A I 处理器

采用SOPHON AI 处理器BM1684X/BM1684，八核ARM Cortex-A53，主频最高2.3GHz，算力高达32TOPS/17.6T

• 强大的多路视频 A I 处理性能

最高支持32路1080P H.264/H.265、1路8K H.265视频解码，支持12路1080PH.264/H.265视频编码

• 支持大型语言模型的私有化部署

支持 Transformer 架构下超大规模参数模型的私有化部署，如LLaMa2、Qwen、ChatGLM等大型语言模型，以及ViT、Grounding DINO、SAM等视觉大模型

• 支持多种深度学习框架

支持CNN、RNN、LSTM等传统网络架构支持多种深度学习框架，如TensorFlow、PyTorch、MXNet、PaddlePaddle、ONNX等，并支持自定义算子开发

• AIGC图像生成模型私有化部署

支持 AIGC 领域的 Stable Diffusion V1.5图像生成模型的私有化部署，支持Docker容器化管理技术

• 广泛的应用场景

广泛适用于智能监控、AI教学、算力服务、边缘计算、大模型私有化部署、数据安全和隐私保护等场景

二、规格参数：

2.1 硬件配置

• 处理器：搭载 SOPHON 算能 AI 处理器 BM1684X，拥有八核 ARM Cortex-A53，最高主频 2.3GHz，采用 12nm 工艺制程。该处理器具备强大的计算能力，能够高效处理各种复杂的 AI 任务，为设备的稳定运行提供了有力保障。

• 内存与存储：可配置 16GB 大内存以及 128GB eMMC，这样的内存和存储组合可以满足大多数 AI 应用场景下对数据存储和读取的需求，确保系统能够快速响应并处理大量数据。

• 视频解码能力：支持 32 路 H.265/H.264 1080p@25fps 视频解码，能够同时处理多路高清视频流，适用于视频监控、视频会议等需要多路视频处理的场景。

  
  

2.2 性能表现

• 算力强大：支持 32TOPS（INT8）峰值算力，16TFLOPS（FP16/BF16）算力，2TFLOPS（FP32）高精度算力。在处理图像识别、目标检测等任务时，能够快速准确地输出结果，大大提高了工作效率。例如，在跑一张 512x512 的图时，生成时间不到 1s，跑一张 512x768 的图，时间也不过 1s 出头。

• 多路视频 AI 处理性能出色：最高支持 32 路 1080P H.264/H.265 的视频解码，32 路 1080P 高清视频全流程处理（解码 + AI 分析），能够满足视频流人脸检测、车牌识别等各类 AI 应用场景的需求，为智能安防、交通管理等领域提供了强大的技术支持。

2.3 功能特点

• 算法丰富：支持主流编程框架，工具链完备易用度高，算法迁移代价小，方便用户进行二次开发和定制化部署。同时，还支持 Transformer 架构下超大规模参数模型，如 LLaMa2、ChatGLM、Qwen 等大型语言模型的私有化部署，为用户提供了更多的选择和可能性。

• 网络通讯能力强：支持双路 1000Mbps 以太网，高速稳定的网络通讯方式，满足不同应用场景需求，确保数据传输的快速和稳定。

三、外设接口：

四、应用：快速部署 Llama3 后通过fastchat和MaxKB访问

4.0 功能框图

4.1 AXIBOX本地部署流程

使用 scp 命令将部署包传输至 AIBOX-1684X 机器：

1. 在 AIBOX-1684X 上执行 ifconfig 命令查看其 IP 地址。

2. 输入 scp 命令传输部署包，例：scp llama3.tar linaro@<aibox-ip-addr>:~/，其中 <aibox-ip-addr> 为 AIBOX-1684X 的 IP 地址。

解压部署包：tar -xvf ./llama3.tar。

一行命令部署 Llama3：./talk_to_llama3.sh。

注意：部署过程中无需联网，首次部署 Llama3 需要花费较长时间进行相应的软件安装（3-5分钟），请耐心等待。

4.1.1 调整内存

4.2 运行fastchat后通过局域网另一台机器的MaxKB访问AIBOX

4.2.1 什么是fastchat

fastChat作为一个功能强大、灵活易用的训练、部署和评估大模型的开源框架，为开发者提供了一个便捷、高效的解决方案，用以支持各种基于大型语言模型的应用和服务的开发与部署。

详解介绍见：https://github.com/lm-sys/FastChat

4.2.1.1 在model_adapter.py文件增加模型支持

class Llama3Adapter(BaseModelAdapter):
    """The model adapter for Llama-2 (e.g., meta-llama/Llama-3-8b-hf)"""
    
    def match(self, model_path: str):
        return"bmodels"in model_path.lower()

    def load_model(self, model_path: str, from_pretrained_kwargs: dict):
        print("==============>Llama3dapter:load_model")
        sys.path.append('/home/linaro/llama3/Llama3/python_demo/')
        self.devices = [0]
        import chat

        
        model = chat.Llama3()
        model.init(self.devices, "/home/linaro/llama3/bmodels/llama3-8b_int4_1dev_256.bmodel")
        
        model.temperature = 1.0
        model.top_p = 1.0
        model.repeat_penalty = 1.0
        model.repeat_last_n = 32
        model.max_new_tokens = 1024
        model.generation_mode = "greedy"
        model.prompt_mode = "prompted"
        
        tokenizer = AutoTokenizer.from_pretrained(
                "/home/linaro/llama3/Llama3/token_config/", trust_remote_code=True
            )
        
        return model,tokenizer

4.2.1.2 在 inference.py文件增加运用AIBOX算力进行推理的支持

@torch.inference_mode()
def generate_stream(
    model,
    tokenizer,
    params: Dict,
    device: str,
    context_len: int,
    stream_interval: int = 2,
    judge_sent_end: bool = False,
):
    tok_num = 0
    prompt = params["prompt"]
    system_prompt = 'You are Llama3, a helpful AI assistant.'
    EOS = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    system = {"role":"system","content":system_prompt}
    history = [system]
    answer_token = []
    
    history.append({"role":"user","content":prompt})
    
    tokens = tokenizer.apply_chat_template(history, tokenize=True, add_generation_prompt=True)
    
    #input_ids = tokenizer(prompt)
    print("===========>",prompt)
    
    token = model.forward_first(tokens)
    
    # Following tokens
    while token not in EOS and model.token_length < model.SEQLEN:
        word = tokenizer.decode(token, skip_special_tokens=True)
        answer_token += [token]
        print(word, flush=True, end="")
        tok_num += 1
        token = model.forward_next()
    output = tokenizer.decode(answer_token)
    yield {
         "text": output,
         "logprobs": None,
         "usage": {
            "prompt_tokens": model.token_length,
            "completion_tokens": tok_num,
            "total_tokens": model.token_length + tok_num,
         },
         "finish_reason": None,
    }

4.2.2 什么是MaxKB

MaxKB是一款基于大语言模型（LLM）的和RAG开源知识库问答系统。

详细介绍见：https://github.com/1Panel-dev/MaxKB

4.2.2.1  功能特点

  开箱即用：支持直接上传文档或自动爬取在线文档，能够快速构建知识库。结合智能问答功能，用户可以直接与知识库进行交互，体验出色的AI助手服务。

 模型中立：支持对接多种主流的大语言模型，包括但不限于Llama3、OpenAI、通义千问等，用户可以根据需要选择最适合自己的模型，实现个性化问答服务。

  灵活编排：内置强大的工作流引擎，允许用户编排AI工作过程，以适应各种复杂业务需求。无论是简单的知识检索还是复杂的业务流程，MaxKB都能轻松应对。

无缝嵌入：可以快速嵌入到现有的第三方业务系统中，为已有系统增添智能问答能力，显著提升系统的智能化水平。

4.2.2.2  技术架构 

   前端使用Vue.js，后端采用Python/Django，LangChain进行LLM交互，PostgreSQL/pgvector作为向量数据库，确保了系统的稳定性和性能。

4.2.2.3 应用场景 

   MaxKB广泛应用于企业内部知识库、客户服务、学术研究与教育等场景，旨在帮助企业及个人用户快速搭建智能问答平台。

4.2.3 部署结果视频

视频中聊天数据长度为4096字节 ，处理起来有些吃力。

在AIBOX系统中运行，大模型和管理大模型的后端服fastchat，后配置MaxKB在局域网中访问 AIBOX中的模型：

随着市场需求增长、 技术进步推动、  产业生态完善， 机器人AI功能正逐渐成为嵌入式开发板的趋势标配。

• 工业与消费级场景的双重驱动：智能制造领域对柔性生产、人机协作的需求催生了高精度AI机器人（如工业分拣、质检），而消费级场景（服务机器人、教育硬件、智能家居）则要求低成本、低功耗的嵌入式AI解决方案。

• 开发者生态的诉求：开源社区（如ROS、TensorFlow Lite）的成熟降低了AI算法部署门槛，开发者更倾向于选择预置AI加速功能的开发板（如树莓派CM4+NPU模块），缩短产品化周期。

  
  

• 专用芯片的爆发：嵌入式NPU（如瑞芯微RK3588的6TOPS算力）、AI加速器（如Google Coral Edge TPU）的出现，使得边缘设备能实时运行视觉SLAM、语音交互等复杂模型。

• 轻量化算法的适配：模型剪枝（Pruning）、量化（Quantization）技术将ResNet、YOLO等网络压缩至MB级，可在资源有限的MCU（如STM32H7）上部署，突破传统嵌入式算力天花板。

  
  

• 工具链闭环形成：芯片厂商（NVIDIA Jetson、地平线）提供从硬件开发套件到模型优化工具的一站式支持，而云平台（AWS IoT Greengrass、阿里云Link Edge）实现“云端训练-边缘推理”无缝衔接。

• 标准化接口的普及：MIPI-CSI摄像头接口、PCIe加速卡插槽等成为开发板标配，兼容多模态传感器与AI模块，降低二次开发成本。