2025年伊始,AI领域迎来一个重要变革 – DeepSeek R1开源发布,凭借着低成本、性能出众的优势,这个模型在短短几周内就获得空前关注。由于官网服务经常繁忙,大家开始选择使用Ollama+OpenWebUI、LM Studio等工具进行本地快速部署,从而将AI能力引入企业内网和个人PC环境。

近期腾讯朱雀实验室发现:这些广受欢迎的AI工具中普遍存在安全漏洞。如果使用不当,攻击者可能窃取用户数据、滥用算力资源,甚至控制用户设备。

文本将介绍这些流行AI工具的安全问题,以及如何使用开源的AI-Infra-Guard一键检测与收敛相关风险。

Ollama 

Ollama是一个开源应用程序,允许用户在Windows、Linux和macOS设备上本地部署和操作大型语言模型(LLM),受 Docker 的启发,Ollama 简化了打包和部署 AI 模型的过程, 现在已成为最流行的的个人电脑跑大模型的方案,目前网络上大部分本地部署DeepSeek R1的文章也是推荐的此工具。

Ollama默认启动时会开放11434端口,在此端口上公开使用restful api执行核心功能,例如下载模型,上传模型,模型对话等等。默认情况下ollama只会在本地开放端口,但是在Ollama的docker中,默认会以root权限启动,并且开放到公网上。

ollama对这些接口普遍没有鉴权,导致攻击者扫描到这些ollama的开放服务后可以进行一系列攻击手段。

1)模型删除

例如,通过接口删除模型。

2)模型窃取

通过接口查看ollama模型。

ollama支持自定义镜像源,自建一个镜像服务器,再通过接口就能轻松窃取私有模型文件。

3)算力窃取

通过接口查看ollama模型。之后便能用请求对话,窃取了目标机器的算力。

4)模型投毒

可以通过接口查看正在运行的模型,接着可以用下载有毒的模型,通过删除正常模型,在通过接口迁移有毒模型到正常模型路径,通过有毒模型污染使用者的对话。

5)远程命令执行漏洞 CVE-2024-37032

ollama在去年6月爆发过严重的远程命令执行漏洞【CVE-2024-37032】是Ollama开源框架中一个严重的路径遍历漏洞,允许远程代码执行(RCE),CVSSv3评分为9.1。该漏洞影响Ollama 0.1.34之前的版本,通过自建镜像伪造manifest文件,实现任意文件读写和远程代码执行。

  • 缓解方案

升级到最新版ollama,但是ollama官方目前无任何鉴权方案,运行ollama serve时确认环境变量OLLAMA_HOST为本地地址,避免公网运行。建议本地运行ollama再使用反向代理工具(如Nginx)为服务端增加访问保护

据统计,目前公网上仍有约4万个未设防的Ollama服务,请检查您的部署是否安全。

OpenWebUI 

openwebui是现在最流行的大模型对话webui,包含大模型聊天,上传图片,RAG等多种功能且方便与ollama集成。也是现在deepseek本地化部署常见的搭配。openwebui在历史上也出现了不少漏洞,这里挑选几个典型。

【CVE-2024-6707】一个文件黑掉你的AI

用户通过Open WebUI的HTTP界面点击消息输入框左侧的加号(+)上传文件时,文件会被存储到静态上传目录。上传文件名可伪造,未进行校验,允许攻击者通过构造包含路径遍历字符(如../../)的文件名,将文件上传至任意目录。

攻击者可通过上传恶意模型(如包含Python序列化对象的文件),反序列化后执行任意代码,或通过上传authorized_keys实现远程命令执行。

流程图如下:

  • 缓解方案

升级到最新版,避免开启用户系统。

ComfyUI

ComfyUI是现在最流行的diffusion模型应用,因其丰富的插件生态和高度定制化节点闻名,常用于文生图、文生视频等领域。

ComfyUI和Ollama一样,开发者最初可能只想在本地使用,没有任何鉴权方式,但是也有大量开放到公网的ComfyUI应用。

ComfyUI因为插件生态闻名,但是插件的作者一般为个人开发者,对安全性没有太多关注,腾讯朱雀实验室在去年就发现多个ComfyUI及其插件漏洞。

朱雀实验室历史发现漏洞:

以上大部分漏洞影响ComfyUI全系列核心代码(包含目前最新版本),部分流行插件,影响包括远程命令执行、任意文件读取/写入,数据窃取等。

  • 缓解方案

由于漏洞修复缓慢,ComfyUI最新版本目前仍然存在漏洞,不建议将其暴露公网使用。

AI-Infra-Guard: AI风险一键检测与防范

AI-Infra-Guard 是腾讯开发的一个 AI 基础设施安全评估工具,它的主要作用是帮助开发者和安全专家发现和检测 AI 系统中的潜在安全漏洞。简单来说,它是一款自动化的工具,可以扫描你的 AI 系统,找出可能存在的安全问题,并提供修复建议。

一个日常场景:

安全团队:”求求你们先把ollama的鉴权打开”

算法团队:”可是文档没说需要安全配置啊…”

运维团队:”这框架我都没听说过,怎么扫描?”

也正是这些痛点,催生了AI-Infra-Guard的诞生。

主要功能:

  1. AI 框架漏洞扫描
    • 指纹识别:AI-Infra-Guard 能够识别和扫描不同 AI 框架(如 TensorFlow、PyTorch、Langchain 等)中可能存在的漏洞。
    • 漏洞库支持:它包含了超过 200 个安全漏洞数据库,可以检测到多个常见的安全问题。
  2. 快速识别和报告安全问题
    • 该工具会分析你的 AI 系统,查找已知的漏洞,并生成报告,指出哪些部分可能有问题,帮助开发者快速修复。
  3. 高效、轻量、跨平台
    • 工具的设计非常高效且轻量级,资源消耗少。它支持多种平台,可以在不同操作系统上运行,比如 Windows、Linux、macOS 等。
  4. 灵活的扫描方式
    • 用户可以选择 本地扫描(直接扫描本地文件和系统),也可以选择 远程扫描(指定 IP 或域名进行扫描)。支持从文件中读取目标进行批量扫描。
  5. 易于使用
    • 安装简单,使用也非常方便。没有复杂的配置步骤,用户只需按照工具提供的指引进行操作,几乎可以立即开始使用。
  6. 多种漏洞匹配方式
    • AI-Infra-Guard 使用灵活的漏洞匹配规则,可以通过精确匹配、模糊匹配和正则表达式等方式进行漏洞检测,确保扫描的全面性和准确性。

具体应用:

  • AI 系统安全评估:开发者可以使用它定期检查自己开发的 AI 系统,确保没有已知的安全漏洞。
  • 漏洞修复建议:当发现漏洞时,工具会提供详细的漏洞信息和修复建议,帮助开发者及时修复问题,避免被攻击。

获取地址

开源地址:https://github.com/Tencent/AI-Infra-Guard/

下载地址(根据系统下载自己系统的版本):https://github.com/Tencent/AI-Infra-Guard/releases