• 2024-10-01Hive数仓操作(七)
    一、Hive动态分区表1.动态分区与静态分区的区别分区定义:静态分区:在插入数据时,需要手动指定分区字段的值。动态分区:分区字段的值是根据数据中的某个字段自动生成的,用户只需指定分区字段的类型。数据加载方式:静态分区:可以通过LOADDATA和INSERT...SELECT加载数
  • 2024-09-28RabbitMQ中交换机(Exchange)的类型有哪些及其特点是什么?
    RabbitMQ中的交换机(Exchange)是消息路由的核心组件,它决定了消息如何从生产者路由到队列。RabbitMQ支持多种类型的交换机,每种类型都有其特定的路由逻辑。以下是几种主要的交换机类型及其特点:直接交换机(DirectExchange)特点:直接交换机会将消息发送到绑定键(bindingkey)
  • 2024-09-23EC2机器上MySQL8 修改关闭binlog以及修改保存时间
    从库清空binlog因为MySQL8.0要修改配置文件,在mysqld下面增加skip-log-bin,且需要重启,所以换种思路直接将其设置为3分钟。##单位秒setglobalbinlog_expire_logs_seconds=180;##flushlogs;showbinarylogs;##清理日志,别一下全删完了,删到倒数第二个purgebinarylogs
  • 2024-09-21清理日志
    #!/bin/envbash#set-xclear_time=date+%Y%m%dLOG_FILELOG_FILE="/tmp/log_clean.{clear_time}.log"#savecleanlogwrite_log(){now_time='['(date+"%Y-%m-%d%H:%M:%S")']'echo{now_time}1|tee-a{LOG_FILELOG_FILE
  • 2024-09-20Kubernetes-POD生成 java dump文件
    目录背景配置钩子函数验证背景在今天的线上业务中,某服务频繁重启。经过排查日志和事件信息,确认是由于OOM(OutofMemory)导致服务重启。为了方便研发团队定位OOM的具体原因,我们决定在OOM发生时自动生成内存快照(heapdump),供后续分析使用。关于OOM的详细介绍,可以参考这篇博
  • 2024-09-12Mysql Non cluster combined fields select where order by field different time cost
    usemydb;droptableifexistst1;createtablet1(idintauto_incrementprimarykey,firstnamevarchar(100)notnulldefault'',lastnamevarchar(100)notnulldefault'',indexfn_ln_index(firstname,lastname)); FLUSHBINARYLO
  • 2024-09-11Consul Windows部署
    一、Consul下载下载地址:Install|Consul|HashiCorpDeveloper本次使用Windows版本下载解压后,可看到consul.exe文件二、ConsulServer配置为了方便使用增加server-config.hcl和server-start.bat文件(一)server-config.hcl配置文件#节点名称node_name="my-consul
  • 2024-09-10MySQL(六)查询连续出现N次问题总结
    连续问题的本质单调递增的等差数列例如游戏连续签到7天可以获得奖品,连续出现3次的数字求解方法(1)确定什么属性连续出现三次,即哪一属性连续,哪一属性相等(2)增加额外的等差递增列,然后进行作差分组案例查询至少连续出现3次的数字Logs表:idnum11213142
  • 2024-09-10docker 容器的常用命令
      docker容器的常用命令 一、基础概念 1、容器 (1)容器狭义的讲就是盛放东西的器皿,比如锅、碗、瓢、盆,再比如数组、字符串等,Java集合框架中列表、集、散列映射等也是容纳数据的容器。 (2)容器广义上讲是包含容器管理器、实际盛放数据的器皿在内的软件,比如docker就是一款
  • 2024-09-07uninstall rancher【卸载 rancher】
    yum-yinstallgitgitclonehttps://github.com/rancher/rancher-cleanup.gitcdrancher-cleanupkubectlcreate-fdeploy/rancher-cleanup.yamlkubectl-nkube-systemlogs-ljob-name=cleanup-job-fkubectlcreate-fdeploy/verify.yamlkubectl-nkube-
  • 2024-09-07程序设计思路-外部请求,中断测试,结算费用,带出logs参数
    1.合同到期,数据也落库,存入到无效数据表中。正常的业务场景。但是如果考虑到合同过期后,没有按时的续签,那么这段时间段内的数据,实际上是需要恢复的。原则:外部第三方请求参数,返回获取的数据,都需要保持入库,有的数据需要考虑恢复和排查问题。2.计算费用接口/方法体,考虑有值的情况
  • 2024-09-05Windows环境同时启动多个Tomcat
    背景现在有好几个war包需要部署到Tomcat上,而且都要求直接放在ROOT目录下,即不能产生多余的上下文。1环境准备可以参考我的这篇博文的第3章。安装好Tomcat并明白如何部署war包。2实现多开2.1基本原理CATALINA是Tomcat的servlet容器,我们可以指定不同的CAT
  • 2024-09-04【Azure Policy】使用deployIfNotExists 把 Azure Activity logs 导出保存在Storage Account
    问题描述使用AzurePolicy,对订阅下的全部ActivityLog配置DiagnosticSetting,要求:在Subscription或ManagementGroup级别,针对未启用ActivityLog功能的订阅,启用ActivityLog功能;对已经启用了Activitylog功能的订阅,使用该Policy纠正并统一其参数配置;所收集到的AzureActivityLog存
  • 2024-09-04【Azure Policy】使用deployIfNotExists 把 Azure Activity logs 导出保存在Storage Account
    问题描述使用AzurePolicy,对订阅下的全部ActivityLog配置DiagnosticSetting,要求:在Subscription或ManagementGroup级别,针对未启用ActivityLog功能的订阅,启用ActivityLog功能;对已经启用了Activitylog功能的订阅,使用该Policy纠正并统一其参数配置;所收集到的AzureActivity
  • 2024-09-03aws waf logs日志分析步骤
    1.waf设置AWSWAF----WebACLs----选择地区和规则--->Loggingandmetrics2.设置日志存放在s3中Editlogging---S3bucket----选择一个桶---save 3.在s3另外一个桶中新建目录waflogs4.修改官方配置官方配置:https://docs.aws.amazon.com/athena/latest/ug/create-waf-tab
  • 2024-09-02折腾 Quickwit,Rust 编写的分布式搜索引擎 - 可观测性之日志管理
    Quickwit从底层构建,旨在高效地索引非结构化数据,并在云存储上轻松搜索这些数据。此外,Quickwit开箱即支持OpenTelemetrygRPC和HTTP(仅protobuf)协议,并提供了一个RESTAPI,可以接收任何JSON格式的日志。这让Quickwit成为了日志的理想选择!.https://quickwit.io/docs/guides/
  • 2024-08-21net core中启用指定目录浏览
      builder.Services.AddDirectoryBrowser();//打开日志文件目录浏览app.UseFileServer(newFileServerOptions{FileProvider=newPhysicalFileProvider(Path.Combine(Directory.GetCurrentDirectory(),"logs")),RequestPath="/logs",
  • 2024-08-20Hat靶场
    Hat靶机的ip是192.168.200.8先用nmap扫描一下靶机所有的端口nmap-p-192.168.200.8发现22端口不知道是否开放还有一个65535的unkown端口详细查看一下65535端口的信息nmap-p65535-sV192.168.200.8貌似是个ftp但是尝试匿名连接是连接不上去的dirsearch扫
  • 2024-08-13deployment.yaml 文件解读
     apiVersion:apps/v1kind:DeploymentapiVersion:资源的版本,这里使用的是apps/v1,表示这是一个Deployment的最新版本。kind:资源类型,这里是Deployment,表示这是一个Deployment资源。metadata:name:project_name-project_envnamespace:dtmtask-project_en
  • 2024-08-09docker 构建tomcat
     dockersearchtomcat dockerpulltomcat 创建挂载目录:运行dockerdockerrun --nametomcat_mysql_cs--restartalways-p8081:8080-v/app/tomcat/tomcat_mysql_cs/webapps:/usr/local/tomcat/webapps-v/app/tomcat/tomcat_mysql_cs/logs:/usr/local/tomcat/l
  • 2024-08-07JavaScript 中布尔值的创建
    <!DOCTYPEhtml><htmllang="en"><body><script> //CreateaBooleanobjectusingthenewkeywordandtheBoolean()constructor. varmyBoolean1=newBoolean(false);//Usingnewkeyword. console.log(typeofmyBoolean1);
  • 2024-08-04mysql 慢查询 常时间 执行 问题排查
    1、metadatalock导致大量线程卡住  步骤1:showfullprocesslist命令查看线程状态 步骤2:performance_schema.events_statements_current中的未提交事务 步骤3:   查询正在执行的事务SELECT*FROMinformation_schema.innodb_trx; inn
  • 2024-08-04ECMAScript 12 (ES12, ES2021) 新特性
    还是大剑师兰特:曾是美国某知名大学计算机专业研究生,现为航空航海领域高级前端工程师;CSDN知名博主,GIS领域优质创作者,深耕openlayers、leaflet、mapbox、cesium,canvas,webgl,echarts等技术开发,欢迎加底部微信(gis-dajianshi),一起交流。No.内容链接1Openlayers【入门教程】-
  • 2024-07-3021LTR.com_Scene1_2.120靶机
    getshell主机发现,端口目录扫描只有一个logs目录,接着往下扫访问首页,检查源代码,发现一组账号密码,可能是ssh,也可能是ftp的访问logs接口,没有权限尝试利用发现的账号密码,ssh没有成功,尝试ftp注意在windows上什么没有,用kali连接下载到本地查看一下拼接访问logs目录
  • 2024-07-30一篇文章搞懂docker日志的查看(转)
    命令docker查看容器日志使用的命令是:dockerlogs下面是dockerlogs的命令格式$dockerlogs[OPTIONS]CONTAINEROptions:--details显示更多的信息-f,--follow跟踪实时日志--sincestring显示自某个timestamp之后的日志,或相对时间,