1.2 环境搭建(私有化大模型部署)#
学习目标#
- 了解私有化大模型的意义
- 掌握Ollama安装与部署
- 熟悉Ollama的常用命令
一、私有部署大模型方案#
1 为什么要有私有大模型#
随着AI技术的不断普及，人们也积极拥抱其带来的变化，在生活或者工作中亦使用AI技术来帮助我们更高效的完成某些事件，但是在这个过程中，也暴露出AI技术当前下存在在的系列问题，其中最严重的就是安全问题
比如：最典型的是三星员工使用ChatGPT泄露公司机密的案例。
其实上述案例表现的就是企业数据隐私与安全的问题 ，在许多行业，如金融、医疗、政府等，数据隐私和安全是至关重要的。使用公共大模型可能涉及敏感数据的泄露风险，因为公共模型在训练过程中可能接触到了来自不同来源的敏感数据。因此就有了私有大模型的市场需求，私有大模型允许企业或机构在自己的数据上训练模型，而且训练的结果只供内部或合作伙伴使用，从而确保了数据隐私和安全。
当然除了数据隐私问题原因之外，还存有便于内部员工工作提效、大模型开发的投入等诸多原因综合，直接推动私有大模型成为未来AI发展的新方向之一。
2 私有大模型解决方案#
随着AI的发展，越来越多的开发者投入到大模型开发中，他们期望能自身笔记本上运行大模型，以便开发。越来越多的企业积极改造自身产品，融入AI技术，他们期望能私有化大模型以保证数据安全。这些诉求直接推动社区出现了两个这方面的产品Ollama和LMstudio。 这两个产品各有优势：
| 对比维度 | Ollama | LM Studio |
|---|---|---|
| 产品定位 | 开源 的大型语言模型本地运行框架 | 闭源 的本地大型语言模型工作站，集模型训练、部署、调试于一体 |
| 技术特点 | 高度智能化，自主学习和适应能力强；便捷性高，操作简单易懂；安全性强，数据传输和存储严格保护 | 高性能，采用先进计算架构和算法优化；可定制化，支持用户定制模型结构和训练策略；易用性，友好的用户界面和丰富的文档支持 |
| 功能 | 提供预训练模型访问和微调功能；支持多种模型架构和定制模型；用户友好界面，简化模型实验和部署过程 | 丰富的训练数据和算法库；可视化训练监控界面；强大的调试工具，支持模型性能优化 |
| 应用场景 | 学术研究；开发者原型设计和实验；创意写作、文本生成等 | 智能客服；自然语言处理（如文本分类、情感分析、机器翻译）；学术研究 |
| 用户友好性 | 界面化操作，适合不同水平的用户；支持多种设备和平台 | 友好的用户界面，适合初学者和非技术人员；提供全面的工具组合，易于上手 |
| 定制性 | 提供一定程度的定制选项，但可能有限制 | 高度可定制化，满足用户个性化需求 |
| 资源要求 | 需要一定的内存或显存资源来运行大型模型；支持跨平台（macOS、Linux，Windows预览版） | 构建和训练复杂模型可能需要大量计算资源和专业技能 |
| 成本 | 成本可能根据使用量和资源需求变化；开源项目，可能涉及较少的直接成本 | 闭源产品，成本可能包括软件许可和可能的云服务费用 |
| 社区生态 | 社区生态活跃，开发者主流本地运行时；快速适配新发布的模型 | 未知（未提及具体社区生态活跃度） |
3 选择私有化大模型部署方案#
Ollama 作为一个开源的轻量级工具，适合熟悉命令行界面的开发人员和高级用户进行模型实验和微调。它提供了广泛的预训练模型和灵活的定制选项，同时保持了高度的便捷性和安全性。最重要它是开源的，同时还提供API，对于开发有先天优势，因此在企业中备受欢迎和使用，因此本课程也才主要学习Ollama技术。
二、Ollama私有部署大模型#
1 什么是Ollama#
Ollama：是一款旨在简化大型语言模型本地部署和运行过程的开源软件。 中文名：羊驼 网址：https://ollama.com/ Ollama提供了一个轻量级、易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs（大型语言模型）。通过Ollama，开发者可以访问和运行一系列预构建的模型，或者导入和定制自己的模型，无需关注复杂的底层实现细节。 Ollama的主要功能包括快速部署和运行各种大语言模型，如Llama 2、Code Llama等。它还支持从GGUF、PyTorch或Safetensors格式导入自定义模型，并提供了丰富的API和CLI命令行工具，方便开发者进行高级定制和应用开发。
2 Ollama特点#
- 一站式管理 ：
- Ollama将模型权重、配置和数据捆绑到一个包中，定义成Modelfile，从而优化了设置和配置细节。
- 包括GPU使用情况。这种封装方式使得用户无需关注底层实现细节，即可快速部署和运行复杂的大语言模型。
- 热加载模型文件 ：
- 支持热加载模型文件，无需重新启动即可切换不同的模型，
- 提高了灵活性，还显著增强了用户体验。
- 丰富的模型库 ：提供多种预构建的模型，如Llama 2、Llama 3、通义千问，方便用户快速在本地运行大型语言模型。
- 多平台支持 ：支持多种操作系统，包括Mac、Windows和Linux，确保了广泛的可用性和灵活性。
- 无复杂依赖 ：优化推理代码减少不必要的依赖，可以在各种硬件上高效运行。包括纯CPU推理和Apple Silicon架构。
- 资源占用少 ：Ollama的代码简洁明了，运行时占用资源少，使其能够在本地高效运行，不需要大量的计算资源。
3 Ollama下载#
Ollama共支持三种平台：
4 Ollama模型库#
ollama 支持多种开源模型，涵盖文本生成、代码生成、多模态推理等场景。用户可以根据需求选择合适的模型，并通过简单的命令行操作在本地运行。 ollama 官方模型库: https://ollama.com/library
5 基于window部署私有大模型#
5.1 安装ollama#
5.2 部署大模型#
5.3 安装位置#
6 基于mac中ollama部署私有大模型#
6.1 安装ollama#
6.2 部署大模型#
6.3 安装位置#
7 修改模型存储路径#
ollama软件在各个操作系统上的默认存储路径是：
Windows: ~/.ollama/models macOS: ~/.ollama/models Linux: ~/.ollama/models 1.先在其他位置创建一个用于存储模型的目录
2.window直接页面配置环境变量OLLAMA_MODELS,指定存储路径即可
3.一定要重启ollama 任务栏右下角找到ollama退出
开始栏中找到ollama启动
4.原来下载好的文件直接剪切到新的目录中即可
小结#
私有化部署大模型的方案？
- 基于Ollama部署私有大模型
什么是Ollama？
- Ollama是一款旨在简化大型语言模型本地部署和运行过程的开源软件。