ollama本地化部署大模型

使用ollama快速本地化部署自己的LLM，包括Meta、谷歌、微软等大模型。Ollama实现一键式本地模型部署，支持DeepSeek等主流模型的快速安装与版本管理，无需复杂环境配置；方案支持私有化部署与离线运行，满足金融、政务等敏感场景的合规需求，同时提供量化微调接口，兼顾推理效率与模型定制化能力。

Llama 3本地部署

提供本地化AI大模型算法支持，搭建专属大模型，基于Llama 3定制大模型行业标准，以满足特定业务需求。探讨Llama在各个领域的实际应用，包括自动文本生成、问答系统等。Llama 3提供两个版本：8B版本适合在消费级GPU上高效部署和开发；70B版本则专为大规模AI应用设计。本项目使用8B版本。

Qdrant向量数据库

Qdrant是一个向量数据库，专门用于存储、搜索和管理高维向量。它的主要目标是为基于向量相似度搜索的应用提供高效的存储和检索解决方案，这些应用包括但不限于人工智能、机器人等。

Spring AI人工智能领域的应用框架

基于Spring AI快速在本地项目中集成在线或者本地大模型，在应用中完成与大模型的交互。Spring AI利用Spring生态系统的设计原则，如可移植性和模块化设计，推广使用POJO作为AI领域应用的构建模块。其主要目标是简化AI集成过程，提高开发效率和降低开发门槛。

vite+elementUI页面交互

采用vite + elementUI快速构建页面化交互，完成人与大模型的最终交互。Vue.js作为一种流行的前端框架，结合Element UI这个优秀的UI组件库，可以帮助我们更好地实现前后端分离和交互。