大模型应用开发LangChain4j实战流式输出

itbeien2025年3月3日大约 7 分钟

大模型应用开发LangChain4j实战流式输出

上一篇文章分享了大模型应用开发LangChain4j实战 function calling能力支持今天这篇文章我来分享大模型应用开发LangChain4j实战流式输出。通过实际代码案例，逐步掌握Java生态下的AI大模型应用产品开发。

完整代码在文章最后，如果觉得本篇文章对你有用，记得点赞、关注、收藏哦。你的支持是我持续更新的动力!

文章最后可以加入免费的Java&AI技术和支付系统沟通社群，一起探讨Java/你的产品如何与AI结合，请按照要求加入。在群中可以聊开发、系统设计、架构、行业趋势、AI等等话题

LangChain4j 是一个用于构建和操作语言模型（LLM）应用的 Java 框架。通过实际的项目功能案例，看LangChain4j如何提高你开发AI应用的工程能力，帮助你逐步掌握该框架的核心概念和高级功能。

AI专栏软件环境

IntelliJ IDEA2024.3.5
JDK 17.0.13
LangChain4j1.0.0-beta1
Spring Boot 3.4.3
Spring 6.2.3
通义千问大模型

我们先看本篇文章对应的项目结构，请看下图

1 项目搭建

1.1 pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>cn.itbeien.ai</groupId>
        <artifactId>langchain4j-labs</artifactId>
        <version>1.0-SNAPSHOT</version>
    </parent>

    <artifactId>langchain4j-lab09</artifactId>

    <properties>
        <maven.compiler.source>17</maven.compiler.source>
        <maven.compiler.target>17</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <langchain4j.version>1.0.0-beta1</langchain4j.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j-community-dashscope-spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-webflux</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
        </dependency>
        <dependency>
            <groupId>dev.langchain4j</groupId>
            <artifactId>langchain4j</artifactId>
            <version>${langchain4j.version}</version>
        </dependency>
    </dependencies>

</project>

1.2 配置信息

#百炼大模型开发及应用平台
langchain4j.community.dashscope.chatmodel.model-name=qwen-max
langchain4j.community.dashscope.chat-model.api-key=${DASHSCOPE_API_KEY}
langchain4j.community.dashscope.streaming-chat-model.api-key=${DASHSCOPE_API_KEY}
langchain4j.community.dashscope.streaming-chat-model.model-name=qwq-32b

1.3 流式输出代码实现

package cn.itbeien.lab09.controller;

import dev.langchain4j.community.model.dashscope.QwenStreamingChatModel;
import dev.langchain4j.model.chat.response.ChatResponse;
import dev.langchain4j.model.chat.response.StreamingChatResponseHandler;
import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import lombok.val;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;

/**
 * @author itbeien
 * 项目网站：https://www.itbeien.cn
 * 公众号：贝恩聊架构
 * 全网同名，欢迎小伙伴们关注
 * Java/AI学习社群
 * Copyright© 2025 itbeien
 */
@RequiredArgsConstructor
@RestController
@RequestMapping("/ai")
@Slf4j
public class AiController {

    final QwenStreamingChatModel qwenStreamChatModel;

    @RequestMapping(value = "/streamChat",produces = "text/stream-event;charset=utf-8")
    public Flux<String> streamChat(@RequestParam("message") String message) {
        Flux<String> flux = Flux.create(fluxSink -> {
            qwenStreamChatModel.chat(message, new StreamingChatResponseHandler() {
                @Override
                public void onPartialResponse(String partialResponse) {
                    log.info(partialResponse);
                    fluxSink.next(partialResponse);
                }

                @Override
                public void onCompleteResponse(ChatResponse completeResponse) {
                    log.info(completeResponse.toString());
                    fluxSink.complete();
                }

                @Override
                public void onError(Throwable error) {
                    log.info(error.getMessage());
                    fluxSink.error(error);
                }
            });
        });
        return flux;
    }
}