笔记本A卡玩转大模型应用场景

使用 ollama
和 open webui
搭建本地 ChatGPT
应用

ollama
部署

C:\Users\MQ>set OLLAMA_HOST=0.0.0.0:8000
C:\Users\MQ>set OLLAMA_REGIONS=*
C:\Users\MQ>set OLLAMA_MODELS=C:\Users\MQ\.ollama\models
C:\Users\MQ>set |findstr OLLAMA
OLLAMA_HOST=0.0.0.0:8000
OLLAMA_MODELS=C:\Users\MQ\.ollama\models
OLLAMA_ORIGINS=*
OLLAMA_REGIONS=*
C:\Users\MQ>ollama serve
2024/12/01 10:58:15 routes.go:1189: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://0.0.0.0:8000 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\MQ\\.ollama\\models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[* http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false OLLAMA_TMPDIR: ROCR_VISIBLE_DEVICES:]"
time=2024-12-01T10:58:15.739+08:00 level=INFO source=images.go:755 msg="total blobs: 23"
time=2024-12-01T10:58:15.740+08:00 level=INFO source=images.go:762 msg="total unused blobs removed: 0"
time=2024-12-01T10:58:15.740+08:00 level=INFO source=routes.go:1240 msg="Listening on [::]:8000 (version 0.4.1-1-g14a68a0)"
time=2024-12-01T10:58:15.741+08:00 level=INFO source=common.go:49 msg="Dynamic LLM libraries" runners="[cpu_avx2 rocm cpu cpu_avx]"
time=2024-12-01T10:58:15.741+08:00 level=INFO source=gpu.go:221 msg="looking for compatible GPUs"
time=2024-12-01T10:58:15.741+08:00 level=INFO source=gpu_windows.go:167 msg=packages count=1
time=2024-12-01T10:58:15.741+08:00 level=INFO source=gpu_windows.go:214 msg="" package=0 cores=8 efficiency=0 threads=16
time=2024-12-01T10:58:16.197+08:00 level=INFO source=types.go:123 msg="inference compute" id=0 library=rocm variant="" compute=gfx1103 driver=6.1 name="AMD Radeon 780M Graphics" total="33.7 GiB" available="33.6 GiB"

C:\Users\MQ>ollama list
NAME                        ID              SIZE      MODIFIED     
qwen2.5:7b                  845dbda0ea48    4.7 GB    15 hours ag   
mxbai-embed-large:latest    468836162de7    669 MB    17 hours ago 
dolphin-llama3:latest       613f068e29f8    4.7 GB    17 hours ago 
llama3.1:latest             42182419e950    4.7 GB    18 hours ago 
nomic-embed-text:latest     0a109f422b47    274 MB    2 weeks ago

大模型测试

Ollama WebUI
部署

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://192.168.0.102:8000 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(base) mq@OBPILOT:/mnt/c/Users/MQ$ docker ps
CONTAINER ID   IMAGE                                COMMAND           CREATED        STATUS                            PORTS                                       NAMES
5e8f9555c9ab   ghcr.io/open-webui/open-webui:main   "bash start.sh"   19 hours ago   Up 4 seconds (health: starting)   0.0.0.0:3000->8080/tcp, :::3000->8080/tcp   open-webui

ollama webui
使用

backyard AI

Anything LLM

RAG
 和向量数据库介绍

AnythingLLM
分析文档

OceanBase AI 动手实战营

• 用户在 Web 界面中输入想要咨询的问题并发送给机器人
• 机器人将用户提出的问题使用文本嵌入模型转换为向量
• 将用户提问转换而来的向量作为输入在 OceanBase
  中检索最相似的向量
• OceanBase
  返回最相似的一些向量和对应的文档内容
• 机器人将用户的问题和查询到的文档一起发送给大语言模型并请它生成问题的回答
• 大语言模型分片地、流式地将答案返回给机器人
• 机器人将接收到的答案也分片地、流式地显示在 Web 界面中，完成一轮问答

OceanBase AI
项目部署

sh Anaconda3-2024.10-1-Linux-x86_64.sh
conda create --name python3.9.5 python=3.9.5
conda activate python3.9.5

(base) mq@OBPILOT:~$ conda info --env
# conda environments:
#
base                  *  /home/mq/anaconda3
python3.9.5              /home/mq/anaconda3/envs/python3.9.5

(base) mq@OBPILOT:~$ conda activate python3.9.5
(python3.9.5) mq@OBPILOT:~$ 

git clone https://gitee.com/oceanbase-devhub/ai-workshop-2024.git

(python3.9.5) mq@OBPILOT:~/gitee/ai-workshop-2024$ cat .env
API_KEY=sk-4b85613d2726432f97f2****d50bfe30
LLM_MODEL="qwen-turbo-2024-11-01"
LLM_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"

HF_ENDPOINT=https://hf-mirror.com
BGE_MODEL_PATH=BAAI/bge-m3

OLLAMA_URL=
OLLAMA_TOKEN=

# OPENAI_EMBEDDING_API_KEY 一项请填写和 API_KEY 一样的值
OPENAI_EMBEDDING_API_KEY=sk-4b85613d2726432f97f2****d50bfe30
OPENAI_EMBEDDING_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1/embeddings"
OPENAI_EMBEDDING_MODEL=text-embedding-v3

UI_LANG="zh"

# 如果你使用的是 OB Cloud 的实例，请根据实例的连接信息更新下面的变量
DB_HOST="127.0.0.1"
DB_PORT="2881"
DB_USER="root@test"
DB_NAME="test"
DB_PASSWORD=""

docker run --name=ob433 -e MODE=mini -e OB_MEMORY_LIMIT=8G -e OB_DATAFILE_SIZE=10G -e OB_CLUSTER_NAME=ailab2024 -e OB_SERVER_IP=127.0.0.1 -p 0.0.0.0:2881:2881 -d quay.io/oceanbase/oceanbase-ce:4.3.3.1-101000012024102216

python -m pip install poetry

poetry lock
poetry install

(python3.9.5) mq@OBPILOT:~/gitee/ai-workshop-2024$ cat pyproject.toml 
[tool.poetry]
name = "ai-workshop"
version = "0.1.0"
description = ""
authors = ["yuyi <yuyi.wsy@oceanbase.com>"]
readme = "README.md"
package-mode = false

[tool.poetry.dependencies]
python = ">=3.9,<3.9.7 || >3.9.7,<4.0"
langchain = "^0.3.0"
langchain-openai = "^0.2.0"
streamlit = "^1.38.0"
pyobvector = "^0.1.14"
langchain-community = { git = "https://github.com/oceanbase-devhub/langchain-community.git", rev = "main" }

[build-system]
requires = ["poetry-core"]
build-backend = "poetry.core.masonry.api"

[[tool.poetry.source]]
name = "PyPI"
priority = "supplemental"

[[tool.poetry.source]]
name = "aliyun"
url = "https://mirrors.aliyun.com/pypi/simple/"
priority = "primary"

解析文档

git clone --single-branch --branch V4.3.4 https://github.com/oceanbase/oceanbase-doc.git doc_repos/oceanbase-doc

# 把文档的标题转换为标准的 markdown 格式
poetry run python convert_headings.py doc_repos/oceanbase-doc/zh-CN

# 生成文档向量和元数据
poetry run python embed_docs.py --doc_base doc_repos/oceanbase-doc/zh-CN/640.ob-vector-search

运行 AI
应用

poetry run streamlit run --server.runOnSave false chat_ui.py
(python3.9.5) mq@OBPILOT:~/gitee/ai-workshop-2024$ poetry run streamlit run --server.runOnSave false chat_ui.py
  You can now view your Streamlit app in your browser.
  Local URL: http://localhost:8501
  Network URL: http://172.20.143.100:8501浏览器打开上面提示的地址。

数据库向量查询

• 基于向量间的距离（如欧氏距离）或相似度（如余弦相似度）进行搜索
• 通常使用近似最近邻（Approximate Nearest Neighbor, ANN
  ）算法来提高检索效率
• OceanBase 4.3.3
  支持 HNSW 算法，这是一种高效的 ANN 算法
• 使用 ANN 可以快速从百万甚至亿级别的向量中找到近似最相似的结果
• 相比传统关键词搜索，向量检索能更好地理解语义相似性

show create table corpus;

CREATE TABLE `corpus` (
  `id` varchar(4096) NOT NULL,
  `embedding` VECTOR(1024) DEFAULT NULL,
  `document` longtext DEFAULT NULL,
  `metadata` json DEFAULT NULL,
  `component_code` int(11) NOT NULL,
  PRIMARY KEY (`id`, `component_code`),
  VECTOR KEY `vidx` (`embedding`) WITH (DISTANCE=L2,M=16,EF_CONSTRUCTION=256,LIB=VSAG,TYPE=HNSW, EF_SEARCH=64) BLOCK_SIZE 16384
) DEFAULT CHARSET = utf8mb4 ROW_FORMAT = DYNAMIC COMPRESSION = 'zstd_1.3.8' REPLICA_NUM = 1 BLOCK_SIZE = 16384 USE_BLOOM_FILTER = FALSE TABLET_SIZE = 134217728 PCTFREE = 0
 partition by list(component_code)
(partition `observer` values in (1),
partition `ocp` values in (2),
partition `oms` values in (3),
partition `obd` values in (4),
partition `operator` values in (5),
partition `odp` values in (6),
partition `odc` values in (7),
partition `p10` values in (DEFAULT));

SELECT corpus.document, corpus.metadata 
FROM corpus PARTITION(observer) 
ORDER BY l2_distance(corpus.embedding, '[-0.022824034,0.0023560524,-0.094118156,0.036991335,-0.056135304,-0.042940456,-0.0190677,0.02940239,0.079397894,0.026218085,-0.02469267,-0.012374937,0.007202823,-0.002078379,0.031747717,-0.051177703,0.071694545,

<.... 省略若干行 ... >

-0.02610368,-0.0013573818,-0.0069406424,-0.01040143,-0.03712481,-0.039813355,-0.021355823,0.06334289,0.0072933948,0.0029721775,-0.010668377,-0.0028720722,-0.03817353,-0.0060206256,0.0634573,0.006320942,0.051559057,-0.059796304]') 
APPROXIMATE limit 10;

Stable Diffusion
大模型以及 AI
作图

参考：

• https://www.wjd8.cn/archives/wei-ming-ming-wen-zhang
  
• Ollama
  ：支持 AMD 780M
  核显GPU
  的项目:https://github.com/likelovewant/ollama-for-amd
  
• Open WebUI
  ：本地化的ChatGPT
  聊天平台:https://openwebui.com/
  
• Backyard AI
  全面的AI
  聊天平台:https://backyard.ai/
  
• AnythingLLM: The all-in-one AI APP
  :https://github.com/Mintplex-Labs/anything-llm
  
• OceanBase AI
  动手实战营:https://gitee.com/oceanbase-devhub/ai-workshop-2024
  
• 阿里云百炼助手:https://bailian.console.aliyun.com/
  
• OceanBase
  文档AI
  助手:https://www.oceanbase.com/obi
  
• OB 4.2 集群手动部署方法
  
• 从大数据到大模型：现代应用的数据范式
  
• 体验SQL+AI，用OceanBase搭建你的AI助手