Skip to content
Ollama

Ollama

在本地轻松运行、自定义并管理各种大型语言模型

应用特点

开源聊天

系统要求

最低8GB内存。预留足够硬盘空间,建议20GB以上。
macOS 11及以上版本,推荐使用M系列芯片。
Windows10/11,可使用CPU,推荐用GPU。
注意:NVIDIA显卡,请安装较新版本的驱动。

应用介绍

Ollama是一款开源的人工智能和机器学习工具平台,能让用户在本地电脑运行各家AI公司提供的大型语言模型(LLM)。

  • 核心特点
    • 本地部署:将AI模型直接部署在用户设备上,无需依赖云服务,有效降低隐私风险,增强数据控制和安全性,同时减少对外部服务器的依赖,加快处理速度。
    • 模型库丰富:提供大量预训练的LLM模型,如Llama2、Gemma等,用户可按需选择适合不同任务、领域和硬件的模型。
    • 多平台支持:支持Windows、Linux和macOS操作系统,方便不同系统的用户使用。
    • 易于使用:通过简单的命令行界面(CLI)或常驻API,用户可轻松下载、运行和管理模型,也能将其与其他应用程序集成。
    • 可定制化:允许用户根据自身需求对模型进行定制和微调,如提示工程、少样本学习等,使模型输出更符合期望。
  • 系统要求:不同模型对硬件要求不同,一般来说运行7B机型至少需要8GB内存,运行13B机型至少需要16GB内存,运行33B机型至少需要32GB内存。
  • 安装与使用:建议使用魔当一键盘安装。还可从官方网站或GitHub下载安装包,双击安装程序进行安装。安装完成后,可在命令行中使用“ollama run <模型名称>”的命令来运行模型,如ollama run llama3.2