Spring Boot集成openGauss DataVec实现高效RAG知识问答

<dependency>
    <groupId>org.opengauss</groupId>
    <artifactId>opengauss-jdbc</artifactId>
    <version>6.0.1</version>
</dependency>
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
    <version>1.0.0-M5</version>
</dependency>

// Spring Boot服务相关配置
server.port=8088
spring.application.name=your_project_name
// openGauss向量数据库相关配置
spring.datasource.url=jdbc:opengauss://localhost:port/database_name
spring.datasource.username=username
spring.datasource.password=password
spring.datasource.driver-class-name=org.opengauss.Driver
// ollama embedding服务相关配置
ollama.model=nomic-embed-text:latest // 你选择的embedding模型
ollama.modelDim=768 // 向量化后数据的维度
ollama.embeddingURL=ip:port // ollama服务运行的服务器ip和port
// ollama chat服务相关配置
spring.ai.ollama.base-url=ip:port // ollama服务运行的服务器ip和port
spring.ai.ollama.chat.model=qwen2.5:3b //你选择的推理大模型

@Configuration
public class opgsConfig {
    @Value("${spring.datasource.url}")
    private String url;
    @Value("${spring.datasource.username}")
    private String username;
    @Value("${spring.datasource.password}")
    private String password;
    @Value("${spring.datasource.driver-class-name}")
    private String driver;
    public Connection getConnection() {
        // 连接数据库
    }
}

@Repository
public class Repository {
    private Connection conn;
    public void CreateTable(int dim)
    {
        ...
    }
    public void CreateIndex()
    {
        ...
    }
    public void InsertDataSingle(int id, String content, String vector)
    {
        ...
    }
    public String findNearestVectors(int efsearch, String vector, int topK)
    {
        ...
    }
    ...
}

@Service
public class Service {
    private final Repository repository;
    @Value("${ollama.modelDim}")
    private int vectorDim;
    @Value("${ollama.embeddingURL}")
    private String embeddingURL;
    @Value("${ollama.model}")
    private String ollamaModel;
    // 调取Ollama服务embedding
    public float[] getEmbedding(String message)
    {
        OllamaApi ollamaApi = new OllamaApi(embeddingURL);
        OllamaOptions options = OllamaOptions.builder().withModel(ollamaModel).build();
        OllamaEmbeddingModel embeddingModel = new OllamaEmbeddingModel(ollamaApi, options);
        EmbeddingResponse embeddingResponse = embeddingModel.call(new EmbeddingRequest(List.of(message), options));
        return embeddingResponse.getResult().getOutput();
    }
    // 调取Repository类与向量数据库交互的API
    public void CreateTxtTable()
    {
        repository.CreateTable(vectorDim);
    }
    public void InsertTuples(int id, String message)
    {
        float[] res = getEmbedding(message);
        repository.InsertDataSingle(id, message, Arrays.toString(res));
    }
    public void IndexTxt()
    {
        repository.CreateIndex();
    }
    public String QueryContent(int efsearch, String query, int topK)
    {
        float[] res = getEmbedding(query);
        return repository.findNearestVectors(efsearch, Arrays.toString(res), int topK);
    }
    public String BuildRagPrompt(String query, List<String> relatedContents, int maxLength)
    {
        List<String> seletedTexts = new ArrayList<>();
        int totalLen = 0;
        for (String content : relatedContents) {
            if (totalLen + content.length() < maxLength) {
                seletedTexts.add(content);
            } else {
                break;
            }
        }
        return String.format("根据以下信息用中文简洁回答：\n%s\n问题：%s\n答案：",
                             String.join("\n", seletedTexts),
                             query);
    }
    ...
}

@RestController
public class Controller {
    @Autowired
    private Service service;
    private final ChatModel chatModel;
    public Controller(ChatModel chatModel)
    {
        this.chatModel = chatModel;
    }
    @GetMapping("/index")
    public String IndexDoc()
    {
        service.CreateTxtTable();
        service.InsertTuples(0, "大规模预训练语言模型 高效并行训练 支持多种NLP任务");
        service.InsertTuples(1, "多模态融合模型 结合文本、图像和音频输入 提供全面的数据理解能力");
        service.InsertTuples(2, "分布式深度学习框架 易于扩展 支持大规模数据处理");
        service.InsertTuples(3, "视频理解与生成模型 先进的时间序列分析技术 适用于监控和娱乐");
        service.InsertTuples(4, "超高分辨率图像生成模型 GAN架构 强大的细节捕捉能力");
        service.IndexTxt();
        return "embedding and index succeed!"
    }
    @GetMapping(value = "/chat", produces = "text/plain;charset=UTF-8")
    public String queryVector(@RequestParam(value = "message", defaultValue = "简单介绍一下openGauss") String query)
    {
        // String query = "适合高效并行训练的大语言模型有哪些";
        int topK = 2;
        int maxPromptLen = 100;
        List<String> res = service.QueryContent(2, query, topK);
        String generatePrompt = service.BuildRagPrompt(query, res, maxPromptLen);
        System.out.println("prompt:");
        System.out.println(generatePrompt);
        Flux<ChatResponse> stream = chatModel.stream(new Prompt(generatePrompt));
        return stream.map(resp -> resp.getResult().getOutput().getText());
    }
}

embedding and index succeed!