首页 > 其他分享 >SpringBoot+线程池实现高频调用http接口并多线程解析json数据

SpringBoot+线程池实现高频调用http接口并多线程解析json数据

时间:2023-12-08 11:46:04浏览次数:38  
标签:body http SpringBoot userResDTO 线程 import 多线程 data

场景

Springboot+FastJson实现解析第三方http接口json数据为实体类(时间格式化转换、字段包含中文):

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/134872936

Java中ExecutorService线程池的使用(Runnable和Callable多线程实现):

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/126242904

Java中创建线程的方式以及线程池创建的方式、推荐使用ThreadPoolExecutor以及示例:

https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/130068794

在上面的基础上,需要使用定时任务高频调用典第三方http接口并解析返回的json数据为java的list,需要对

list的每个数据进行处理,这里需要用到自定义线程池对每个java对象分别进行处理。

注:

博客:
https://blog.csdn.net/badao_liumang_qizhi

实现

1、首先在配置文件中添加第三方接口的url

这里是yml文件

test:
  #测试多线程请求http接口并解析数据
  http-request-executor:
    url: http://127.0.0.1:4523/m1/2858210-0-default/testFastJson

2、新建定时任务类

使用@PostConstruct注解初始化需要的数据,比如获取配置文件中的接口的url以及初始化线程池

    @PostConstruct
    public void initData() {
        HttpRequestExecutorTestHandler.newFixedThreadPool = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors() / 2);
        url = Objects.requireNonNull(environment.getProperty("test.http-request-executor.url"));
    }

这里读取配置文件需要引入

    @Resource
    private Environment environment;

然后新建定时任务调用接口,并解析接口返回的json数据,将响应的data字段传给

具体处理数据的类

    @Scheduled(fixedRateString = "1000")
    public void taskGetData() {
        String body = "";
        try {
            body = HttpRequest
                    .get("http://127.0.0.1:4523/m1/2858210-0-default/testFastJson")
                    .timeout(20000)
                    .execute()
                    .body();
            UserResDTO userResDTO = JSON.parseObject(body, UserResDTO.class);
            if (userResDTO.getCode() != null && 200!=userResDTO.getCode()) {
                //错误处理
            }else {
                JSONArray data = userResDTO.getData();
                if (StringUtils.isEmpty(data)) {
                    return;
                }
                handler.handleData(data);
            }
        } catch (Exception e) {

        }
    }

定时任务类完整实例代码

import cn.hutool.http.HttpRequest;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.ruoyi.common.utils.StringUtils;
import com.ruoyi.system.domain.test.dto.UserResDTO;
import com.ruoyi.web.handle.HttpRequestExecutorTestHandler;
import org.springframework.core.env.Environment;
import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import javax.annotation.PostConstruct;
import javax.annotation.Resource;
import java.util.Objects;
import java.util.concurrent.Executors;

@Component("HttpRequestExecutorTestTask")
@EnableScheduling
public class HttpRequestExecutorTestTask {

    private String url;

    @Resource
    private Environment environment;

    @Resource
    private HttpRequestExecutorTestHandler handler;

    /**
     * 初始化URL数据
     */
    @PostConstruct
    public void initData() {
        HttpRequestExecutorTestHandler.newFixedThreadPool = Executors.newFixedThreadPool(Runtime.getRuntime().availableProcessors() / 2);
        url = Objects.requireNonNull(environment.getProperty("test.http-request-executor.url"));
    }

    @Scheduled(fixedRateString = "1000")
    public void taskGetData() {
        String body = "";
        try {
            body = HttpRequest
                    .get("http://127.0.0.1:4523/m1/2858210-0-default/testFastJson")
                    .timeout(20000)
                    .execute()
                    .body();
            UserResDTO userResDTO = JSON.parseObject(body, UserResDTO.class);
            if (userResDTO.getCode() != null && 200!=userResDTO.getCode()) {
                //错误处理
            }else {
                JSONArray data = userResDTO.getData();
                if (StringUtils.isEmpty(data)) {
                    return;
                }
                handler.handleData(data);
            }
        } catch (Exception e) {

        }
    }
}

3、上面具体进行业务处理的类

import com.alibaba.fastjson.JSONArray;
import com.ruoyi.system.domain.test.dto.UserDTO;
import org.springframework.stereotype.Component;
import java.util.List;
import java.util.concurrent.ExecutorService;

@Component
public class HttpRequestExecutorTestHandler {

    public static ExecutorService newFixedThreadPool;

    public void handleData(JSONArray data) {
        List<UserDTO> userDTOS = data.toJavaList(UserDTO.class);
        for (UserDTO userDTO:userDTOS) {
            newFixedThreadPool.execute(() -> mapperApiData(userDTO));
        }
    }

    //具体业务处理
    private void mapperApiData(UserDTO userDTO){
        System.out.println(userDTO);
    }

}

将接收到的data字段解析成java的list,然后遍历list,每个对象用一个线程具体去处理。

附接口示例数据

{
    "code": "200",
    "data": [
        {
            "id": "63",
            "name": "学指约思但",
            "time_cur": "2009-07-23 02:14:52",
            "地址": "minim sint commodo nisi"
        },
        {
            "id": "19",
            "name": "下农前清时相",
            "time_cur": "2013-10-16 17:32:09",
            "地址": "ullamco aliqua"
        },
        {
            "id": "57",
            "name": "米见放层张圆",
            "time_cur": "2015-10-20 18:40:42",
            "地址": "dolor minim et qui"
        }
    ]
}

4、运行效果

 

标签:body,http,SpringBoot,userResDTO,线程,import,多线程,data
From: https://www.cnblogs.com/badaoliumangqizhi/p/17884832.html

相关文章

  • Springboot+FastJson实现解析第三方http接口json数据为实体类(时间格式化转换、字段包
    场景若依前后端分离版手把手教你本地搭建环境并运行项目:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/108465662在上面搭建SpringBoot项目的基础上,并且在项目中引入fastjson、hutool、lombok等所需依赖后。系统需要对接第三方http接口获取返回的数据,并将json数......
  • 记录springboot的一次使用socketio的经历
    pom中加入依赖<dependency><groupId>com.corundumstudio.socketio</groupId><artifactId>netty-socketio</artifactId><version>2.0.6</version></dependency>......
  • https://avoid.overfit.cn/post/548ad625830a4645beba60a37a2b59d6
    本文从数据科学家的角度来研究检索增强生成(retrieve-augmentedGeneration,RAG)管道。讨论潜在的“超参数”,这些参数都可以通过实验来提高RAG管道的性能。与本文还将介绍可以应用的不同策略,这些策略虽然不是超参数,但对性能也会产生很大的影响。本文将介绍以下索引阶段的“超......
  • MySQL服务器8核32G max_connections设置为10000的情况,springboot里面的Druid参数配置
    MySQL服务器8核32Gmax_connections设置为10000的情况,springboot里面的Druid参数配置多少合适啊,MySQL服务器8核32G,max_connections设置为10000,确实是相当大的一个配置啊。对于Druid的参数配置,得看你系统的具体情况。一般来说,你可以考虑以下几个参数:initialSize:连接池的初始大小,你......
  • springboot蜗牛兼职网的设计与实现-计算机毕业设计源码+LW文档
    摘 要随着科学技术的飞速发展,社会的方方面面、各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势,蜗牛兼职网当然也不能排除在外。蜗牛兼职网是以实际运用为开发背景,运用软件工程原理和开发方法,采用springboot框架构建的一个管理系统。整个开发过程首先对软件系......
  • HTTPS 请求中的证书验证详解(Python版)
    在网络通信中,HTTPS是一种通过SSL/TLS加密的安全HTTP通信协议。证书在HTTPS中扮演着至关重要的角色,用于验证服务器身份并加密数据传输。本文将深入探讨Python中HTTPS请求中的证书相关内容,并提供详细的代码示例。1.证书的基本概念SSL/TLS证书是一种由证书颁发机构签发的......
  • @SpringBootTest与@RunWith注解的区别
    @SpringBootTest与@RunWith注解的区别@SpringBootTest与@RunWith注解的区别在于:@SpringBootTest是spring的注解,用于加载ApplicationContext,启动spring容器;而@RunWith是junit的注解,它指定了junit测试的时候使用的Runner(运行器)类。通常@SpringBootTest与@RunWith这两个是配合使......
  • springboot018母婴商城-计算机毕业设计源码+LW文档
    一、选题背景以母婴人群和准母婴人群及其家庭群体为目标用户。站在整个社会产业的角度,有些产业为所有用户提供某类基本需求,有些产业为某类用户提供某类特定需求,而母婴产业是最终满足特定人群相关多元化需求的一个宽辐射市场。母婴产品及服务最终以线上与线下为出口抵达用户,从市场......
  • 软件测试/人工智能|HTTPS加密协议,你会多少?
    什么是HTTPS?HTTPS是超文本传输协议(HTTP)的安全版本。它通过使用安全套接层协议(SSL)或传输层安全协议(TLS)来加密通信内容,确保数据在客户端和服务器之间传输时得到保护。这种加密机制防止了黑客或恶意用户窃取、篡改或窥视传输的数据。本文将详细介绍HTTPS的加密过程及其工作原理。HTT......
  • springboot019高校心理教育辅导设计与实现-计算机毕业设计源码+LW文档
    1.1选题的意义和目的当今社会,经济飞速发展,科技日新月异,人际关系复杂多变,整个社会生活节奏越来越快,人们承受的生活压力越来越大。而对于在校大学生来说,他们还未完全融入到社会之中,但他们却依然要面对这些社会问题,他们要不断地学习新的知识,要开始学会如何解决身边地人际关系问题,要面......