目录
manticoresearch:全文搜索引擎 要通过Docker安装Manticore Search 获取Manticore Search的Docker镜像 启动并使用Manticore Search的Docker镜像 这个命令会启动一个名为 各部分参数含义: 综上所述,该命令的作用是使用 连接到Manticore Search 这个命令是用于在Docker容器中执行操作的典型命令行语句,具体用于连接到运行在名为 综上所述, 请注意,当您退出MySQL客户端时,Manticore容器将停止并删除,这意味着数据不会被保存。 进行其他操作,例如创建表、添加数据并运行搜索 您提供的 SQL 命令看似试图在 MySQL 中创建一个名为 标准的 MySQL 上述命令创建了一个名为 命令中包含的 下面对命令中各个非标准 MySQL 部分进行解释: 该命令是用来执行以下操作: 对 返回每个匹配记录的高亮版本(通过 同时生成一个统计分面,按照 数据持久化 这将把当前目录下的 该命令是在上一个命令的基础上增加了几个额外参数,用于进一步配置容器的运行环境和网络设置。以下是命令各部分的详细说明: 结果是,Manticore Search 在容器内监听的 总结起来,这条命令启动了一个基于 Manticore Search 官方镜像的 Docker 容器,设置了环境变量 配置文件的自定义 这将挂载当前目录下的 综上所述,此命令启动一个 Manticore Search 容器,除了之前提到的数据持久化、端口映射和环境变量设置外,还特别包含了自定义配置文件的挂载。通过将宿主机上的 创建集群 这个 缩进: 总结来说,这个 您可以使用 通过以上步骤,您可以在Docker环境中成功安装并配置Manticore Search。这为您提供了一个灵活且易于管理的方式来运行和扩展您的全文搜索服务。 下载Manticore Search安装程序并运行它。按照安装说明进行操作。 选择要安装到的目录。 选择要安装的组件。我们建议安装所有组件。 Manticore带有一个在RT模式下预配置的manticore.conf文件。不需要额外的配置。 要将searchd(Manticore Search服务器)安装为Windows服务,请运行以下命令: 确保使用完整路径指定配置文件,否则当作为服务启动时,searchd.exe将无法找到它。 安装完成后,可以从Microsoft Management Console的Services管理器中启动该服务。 一旦启动,你可以使用MySQL命令行界面访问Manticore: mysql安装 https://blog.csdn.net/cxyxx12/article/details/133983648 启动manticore Usage: /etc/init.d/manticore 可以使用 service 命令启动和停止 Manticore: mysql安装 生产使用manticoreSearch最好把数据挂载到指定磁盘 https://play.manticoresearch.com/fluentbit/ Manticore的数据类型可以分为两类:全文字段和属性。 此示例显示运行按author_id、forum_id过滤并按post_date排序的全文查询。 https://www.bookstack.cn/read/hulining-fluentbit_docs/installation-linux-ubuntu.md Fluent Bit 是一个开源的多平台日志处理器工具,它旨在成为用于日志处理和分发的通用利器 Manticore允许对使用Fluentbit代理收集的数据进行索引。 要执行此操作,您必须在本地计算机上安装Fluentbit。 windows 在 PowerShell 上使用 默认情况下,Fluent Bit 被安装在 linux 如何查看Ubuntu版本 下面是一个简单的例子,说明如何使用FluentBit与Manticore进行交互。 该示例演示了dpkg.log的索引,dpkg.log是Debian包管理器的标准日志文件: Fluentbit configuration file: 更改配置文件 以守护进程模式启动FluentBit,并禁用INPUT inotify_watcher选项,以避免Docker环境可能出现的问题,这些问题存在于某些代理的版本中,可能会导致错误。 现在让我们等待几秒钟,直到Fluentbit完成工作并进行数据检查: 正如我们所看到的,FluentBit收集的数据被成功地索引并存储在Manticore测试日志表中。 Manticore允许您对使用Logstash/Filebeat收集的数据进行索引。 Ubuntu安装Java https://blog.csdn.net/weixin_40694662/article/details/130943367 Ubuntu安装Logstash true warning!!! 版本 版本 版本 Logstash的版本要和演示用例中的版本一致 https://blog.csdn.net/m0_62396418/article/details/136713882 false https://blog.csdn.net/weixin_34148508/article/details/91902186 安装位置: 配置文件位置: 管道配置文件目录: logstash异常 https://www.cnblogs.com/mww-NOTCOPY/p/11143410.html https://blog.csdn.net/JineD/article/details/114444239 input plugin 让logstash可以读取特定的事件源。 事件源可以是从stdin屏幕输入读取,可以从file指定的文件,也可以从es,filebeat,kafka,redis等读取 让我们看看下面的简单示例,该示例演示了dpkg.log的索引,dpkg.log是Debian包管理器的标准日志文件: 注意到在继续进行之前可能需要处理的警告: 此外,输出部分中的hosts选项必须对应于Manticore的侦听端口(默认情况下,它是localhost:9308)。 在我们修改了配置以防止上述问题之后,我们可以运行Logstash: 让我们等待几秒钟,直到Logstash完成工作,然后检查日志数据是否已正确传递到Manticore并进行索引。 让我们看看创建的testlog_1表的模式和内容: 事实上,来自dpkg日志文件的数据以及Logstash添加的元数据已经被Manticore正确地索引。 中文乱码 https://blog.csdn.net/qiuweifan/article/details/133800961 Manticore允许您对使用Vector.dev代理收集的数据进行索引。
安装
docker安装
Manticore Search的Docker镜像可以在Docker Hub上找到。您可以通过运行以下命令来检索Manticore Search的镜像:docker pull manticoresearch/manticore
您可以通过Docker命令行启动Manticore Search容器。以下是一个基本的启动命令示例:docker run -e EXTRA=1 --name manticore --rm -d manticoresearch/manticore
manticore
的容器,并设置了环境变量EXTRA=1
以启用额外的功能,如列式存储和辅助索引。docker run
是 Docker 命令行工具中的基础命令,用于启动一个新的容器。以下是对所给命令的详细解释:
docker run
: 启动一个新的 Docker 容器。-e EXTRA=1
: 使用 -e
或 --env
参数设置环境变量。在这个例子中,设置了名为 EXTRA
的环境变量,其值为 1
。这个环境变量将传递到容器内部,供容器内的应用程序(如 Manticore Search)使用。具体的用途取决于 Manticore Search 如何解析和使用这个特定环境变量。--name manticore
: 使用 --name
参数为即将创建的容器指定一个名称。这里命名为 manticore
,这样在后续对容器进行管理操作时,可以直接通过这个名字来引用该容器,而无需使用容器ID。--rm
: 添加 --rm
标志意味着当容器停止运行时(不论是正常退出还是异常终止),Docker 将自动删除该容器及其相关的文件系统。这有助于保持系统清洁,避免留下大量不再使用的容器资源。-d
: 使用 -d
或 --detach
参数使得容器在后台以守护进程模式运行。这意味着命令执行后,控制台会立即返回,容器将在后台继续运行,而非阻塞当前终端。容器的输出(如日志)可以通过其他方法(如 docker logs
命令)来查看。manticoresearch/manticore
: 这是待运行容器的镜像名称。它由两部分组成:manticoresearch
是镜像仓库名(通常对应于维护者或组织),manticore
是镜像的具体标签。在这里,它指定了要基于 Manticore Search 官方提供的 Docker 镜像来创建容器。manticoresearch/manticore
镜像启动一个新容器,容器名为 manticore
,并在后台运行。容器内部设置了环境变量 EXTRA=1
,并且配置为在容器停止后自动清理。此操作旨在快速部署一个 Manticore Search 实例,作为全文搜索引擎服务在后台持续提供服务。
一旦容器启动,您可以通过MySQL客户端连接到Manticore Search。以下是一个连接命令的示例:docker exec -it manticore mysql
manticore
的Docker容器内的MySQL数据库服务。下面是对该命令各部分的详细解释:
docker
:这是命令的主语,表示接下来的操作是与Docker相关的。exec
:这是Docker命令的一部分,用于在正在运行的容器内执行一个新的命令或启动一个新的进程。exec
命令允许你与容器内的进程交互,这意味着你可以启动一个交互式会话。-it
:这是exec
命令的两个选项参数。
-i
,表示“交互式”(interactive),它允许你与容器内的进程进行交互。即使在没有附加到容器的标准输入时,这个选项也会保持STDIN开放。-t
,表示“分配一个伪终端”(allocate a pseudo-TTY),它为交互式会话分配一个伪终端,这样你就可以得到类似于控制台的交互体验。manticore
:这是Docker容器的名称或者ID。在这个命令中,manticore
指定了你想要进入并执行命令的目标容器。mysql
:这是你想要在容器内执行的命令。mysql
是一个客户端程序,用于连接到MySQL数据库服务器。通过这个命令,你可以执行SQL语句来管理数据库,比如查询、更新、管理用户权限等。docker exec -it manticore mysql
这个命令的作用是:在名为manticore
的Docker容器内启动一个交互式的mysql
客户端会话,允许用户通过命令行界面与MySQL数据库进行交互。这通常用于数据库管理任务,如查询数据、执行更新操作或管理数据库用户等。create table movies(\
title text, \
year int)\
morphology='stem_en' html_strip='1' stopwords='en';
movies
的表,但其中包含了一些不适用于标准 MySQL CREATE TABLE
语句的选项。尤其是 morphology='stem_en'
, html_strip='1'
, 和 stopwords='en'
这些参数,它们看起来更像是 Manticore Search 或类似全文搜索引擎中的索引配置选项,而不是 MySQL 数据库表的直接属性。CREATE TABLE
语句通常用于定义表的结构,包括列名、数据类型、约束等,而不涉及全文索引的详细配置。例如,一个基本的 CREATE TABLE
语句创建 movies
表可能会是这样的:CREATE TABLE movies (
title TEXT,
year INT
);
movies
的表,包含两列:
title
: 类型为 TEXT
,用于存储电影标题。year
: 类型为 INT
,用于存储电影发行年份。morphology='stem_en'
, html_strip='1'
, 和 stopwords='en'
这些参数,它们在标准 MySQL 中没有直接对应的语法,而是更符合全文搜索引擎的索引配置习惯。例如,在 Manticore Search 中,这些参数可能用于定义全文索引的行为:
morphology='stem_en'
: 指定使用英文词干分析器(stemming),对文本进行预处理,将单词还原为其基本形态,以提高搜索匹配度。html_strip='1'
: 可能表示是否启用 HTML 标签剥离功能,将 HTML 文档中的内容提取出来,去除无关的标签信息,便于对纯文本内容进行索引和搜索。stopwords='en'
: 指定使用英文停用词列表(stopwords),在索引构建过程中忽略常见的无意义词汇(如 "the", "a", "an", "and" 等),以减少索引大小并提高搜索效率。insert into movies(title, year) \
values \
('The Seven Samurai', 1954), \
('Bonnie and Clyde', 1954), \
('Reservoir Dogs', 1992),\
('Airplane!', 1980), \
('Raging Bull', 1980), \
('Groundhog Day', 1993), \
('<a href="http://google.com/">Jurassic Park</a>', 1993), \
('Ferris Bueller\'s Day Off', 1986);
select highlight(), year from movies where match('the dog');
select * from movies where match('google');
select highlight(), year from movies where match('days') facet year;
highlight()
: 此函数通常用于返回查询命中结果中被高亮标记的关键字文本。在全文搜索引擎中,当用户搜索某个关键词时,highlight()
函数可以找出文档中与查询关键词匹配的部分,并添加高亮样式(如 <em>
标签)以便在前端展示时突出显示。在标准 MySQL 中没有直接对应的函数。match('days')
: match()
函数或条件通常用于全文搜索引擎中执行全文搜索。它接受一个搜索词(这里是 'days'
),并在索引中查找与之匹配的文档。在标准 SQL 或 MySQL 中,这种全文搜索通常通过 MATCH AGAINST
语句(配合全文索引)来实现,而非简单的 match()
函数调用。facet year
: facet
关键字及其后的列名 (year
) 通常用于指示全文搜索引擎生成一个统计分面。统计分面是一种常见的信息检索功能,它按照指定的字段(如 year
)对搜索结果进行分类统计,提供一个可交互的过滤界面,让用户能够按类别筛选结果。在标准 MySQL 中,实现类似功能需要编写复杂的聚合查询和可能的额外应用程序逻辑。
movies
表(假设是 Manticore Search 的索引)执行全文搜索,查找包含关键词 'days'
的电影记录。highlight()
函数),以及其对应的 year
字段值。year
字段对搜索结果进行分类统计,以便用户进一步筛选。
为了在生产环境中使用Manticore Search,您需要确保数据持久化。可以通过挂载本地存储卷到容器的/var/lib/manticore/
目录来实现这一点。例如:docker run -e EXTRA=1 --name manticore -v $(pwd)/data:/var/lib/manticore -p 127.0.0.1:9306:9306 -p 127.0.0.1:9308:9308 -d manticoresearch/manticore
data
文件夹挂载到容器内的相应位置,实现数据持久化。
docker run
: 同前,启动一个新的 Docker 容器。-e EXTRA=1
: 依然设置环境变量 EXTRA
为 1
,作用同上。--name manticore
: 继续指定容器名为 manticore
。-v $(pwd)/data:/var/lib/manticore
: 使用 -v
或 --volume
参数创建一个数据卷挂载。这里的格式为 <host_path>:<container_path>
。具体来说:
$(pwd)/data
: 表示宿主机(即运行 docker run
命令的机器)当前工作目录下的 data
目录。$(pwd)
是 Bash 中的一个命令替换,用来获取当前工作目录的绝对路径。/var/lib/manticore
: 表示容器内部的目标路径,即将宿主机的 data
目录挂载到容器内部的 /var/lib/manticore
。Manticore Search 通常使用此目录存储索引和其他持久化数据。通过这种方式,容器内产生的数据会保存在宿主机的指定位置,即使容器被删除或重启,这些数据也能得以保留。-p 127.0.0.1:9306:9306
: 使用 -p
或 --publish
参数映射端口。格式为 <host_port>:<container_port>
。具体含义如下:
127.0.0.1:9306
: 指定宿主机上的监听地址(本例中为本地回环地址 127.0.0.1
)和端口 9306
。这意味着外部客户端(如应用服务器、数据库客户端等)可以通过宿主机的 9306
端口访问容器内的服务。9306:9306
: 表示容器内部的服务端口也是 9306
。端口映射使得外部请求到达宿主机的 9306
端口时,会被透明地转发到容器内的 9306
端口。9306
端口(默认的 SQL 查询接口)被暴露给宿主机,并且仅限于本地访问。-p 127.0.0.1:9308:9308
: 类似地,这是另一个端口映射,将宿主机的 127.0.0.1:9308
映射到容器内的 9308
端口。9308
通常是 Manticore Search 的 HTTP API 接口端口。同样限制为仅本地访问。-d
: 保持容器在后台以守护进程模式运行。manticoresearch/manticore
: 使用 Manticore Search 的官方 Docker 镜像启动容器。EXTRA=1
,并将其命名为 manticore
。容器内部的 /var/lib/manticore
目录挂载到宿主机当前工作目录下的 data
目录,以确保数据持久化。同时,容器内的 9306
和 9308
端口分别被映射到宿主机的相同端口(但仅限本地访问),使得外部应用可以通过这些端口与 Manticore Search 服务进行交互。整个容器在后台以守护进程模式运行。
如果您需要自定义Manticore Search的配置,可以将本地的配置文件挂载到容器内。例如:docker run -e EXTRA=1 --name manticore -v $(pwd)/manticore.conf:/etc/manticoresearch/manticore.conf -v $(pwd)/data:/var/lib/manticore -p 127.0.0.1:9306:9306 -p 127.0.0.1:9308:9308 -d manticoresearch/manticore
manticore.conf
文件到容器内的配置文件目录。此命令与之前解析的命令相似,但在数据卷挂载部分增加了一项,用于覆盖容器内的 Manticore Search 配置文件。以下是详细的命令解析:
docker run
: 启动一个新的 Docker 容器。-e EXTRA=1
: 设置环境变量 EXTRA
为 1
,作用不变。--name manticore
: 指定容器名为 manticore
。-v $(pwd)/manticore.conf:/etc/manticoresearch/manticore.conf
: 添加了一个新的数据卷挂载,将宿主机当前工作目录下的 manticore.conf
文件挂载到容器内的 /etc/manticoresearch/manticore.conf
。这意味着:
$(pwd)/manticore.conf
: 宿主机上的配置文件路径,即当前工作目录下的 manticore.conf
文件。用户可以在此文件中自定义 Manticore Search 的配置,如索引定义、搜索参数、服务器设置等。/etc/manticoresearch/manticore.conf
: 容器内部的配置文件路径。Manticore Search 在启动时会读取此路径下的配置文件。通过挂载,用户提供的本地配置文件将覆盖容器内默认的配置文件,允许对 Manticore Search 服务进行定制化配置。-v $(pwd)/data:/var/lib/manticore
: 与之前解析相同,将宿主机的 data
目录挂载到容器内的 /var/lib/manticore
,用于持久化存储索引数据。-p 127.0.0.1:9306:9306
和 -p 127.0.0.1:9308:9308
: 端口映射部分未变,分别将宿主机的 9306
和 9308
端口映射到容器内的相应端口,且限制为仅本地访问,以便外部应用通过这些端口与 Manticore Search 服务交互。-d
: 保持容器在后台以守护进程模式运行。manticoresearch/manticore
: 使用 Manticore Search 官方 Docker 镜像启动容器。manticore.conf
文件映射到容器内的配置文件路径,用户可以灵活调整 Manticore Search 的各项设置,确保容器启动时使用的是用户期望的配置。容器在后台以守护进程模式运行,并对外提供 SQL 查询(9306 端口)和 HTTP API(9308 端口)服务。
Manticore Search支持集群功能,可以通过Docker Compose来创建和管理集群。以下是一个简单的Docker Compose配置示例,用于创建一个包含两个节点的集群:docker-compose.yml
version: '2.2'
services:
manticore-1:
image: manticoresearch/manticore
environment:
- EXTRA=1
restart: always
manticore-2:
image: manticoresearch/manticore
docker-compose
文件定义了一个包含两个服务的Docker应用。docker-compose
是一个用于定义和运行多容器Docker应用的工具。通过使用YAML文件,你可以配置应用的服务,然后使用一个命令创建和启动所有服务。下面是对这个docker-compose
文件中每个部分的详细解释:
version: '2.2'
:
这一行指定了docker-compose
文件的版本。在这个例子中,使用的是2.2版本。版本声明能够帮助docker-compose
解析器理解文件中使用的语法和特性。services:
:
这一部分定义了应用中的服务列表。在这个例子中,有两个服务被定义:manticore-1
和manticore-2
。manticore-1:
和 manticore-2:
:
这两个服务都使用了manticoreresearch/manticore
这个Docker镜像,这意味着它们将运行相同的软件或应用。然而,它们被配置为具有不同的环境变量和重启策略。
image: manticoresearch/manticore
:
这一行为每个服务指定了所使用的Docker镜像。在这个例子中,两个服务都将使用manticoreresearch/manticore
镜像。environment:
:
这一部分定义了服务运行时的环境变量。对于manticore-1
服务,它有一个环境变量EXTRA=1
被设置。环境变量可以在容器内部的应用程序中使用,以影响其行为或配置。restart: always
:
这个选项指定了服务的重启策略。对于manticore-1
服务,always
策略意味着如果服务退出,Docker将总是尝试重启它。这个选项对于确保服务持续运行非常有用,即使在发生错误或崩溃的情况下。
YAML文件对缩进非常敏感,因为它使用缩进来表示数据的层级结构。在这个文件中,每个服务的配置项都正确地缩进,以表示它们属于相应的服务。docker-compose
文件定义了一个由两个服务组成的应用,它们都基于同一个Docker镜像,但manticore-1
服务有一个额外的环境变量和一个始终重启的策略。使用这个文件,你可以通过运行docker-compose up
命令来创建和启动这两个服务。这使得部署和管理多容器应用变得更加简单和一致。docker-compose up
命令来启动集群,并使用MySQL客户端来管理集群。Windows安装
D:\Manticore\bin\searchd.exe --install --config D:\Manticore\etc\manticoresearch\manticore.conf --servicename Manticore
mysql -P 9306 -h 127.0.0.1
默认情况下,Manticore 在以下端口等待连接:
用于 MySQL 客户端的端口为 9306
用于 HTTP/HTTPS 连接的端口为 9308
用于其他 Manticore 节点和基于 Manticore 二进制 API 的客户端的端口为 9312
net start mysql // 启动mysql服务
net stop mysql // 停止mysql服务
mysqladmin -u root password root // 设置 root 用户的新密码为 root
mysql -u用户名 -p密码 -h要连接的mysql服务器的ip地址(默认127.0.0.1) -P端口号(默认3306) // 登录mysql
linux安装
wget https://repo.manticoresearch.com/manticore-repo.noarch.deb
sudo dpkg -i manticore-repo.noarch.deb
sudo apt update
sudo apt install manticore manticore-extra
sudo service manticore start
sudo service manticore stop
sudo apt-get upgrade
sudo apt-get update
sudo apt-get install mysql-server
service mysql start
service mysql status
配置
/devops/manticoresearch/data
文件夹来挂载数据盘/devops/manticoresearch/manticore.conf
配置文件来作为容器配置文件
manticore.conf
配置文件内容如下:searchd {
listen = 0.0.0.1:9312
listen = 0.0.0.0:9306:mysql
listen = 0.0.0.0:9308:http
log = /var/log/manticore/searchd.log
query_log = /var/log/manticore/query.log
pid_file = /var/run/manticore/searchd.pid
data_dir = /var/lib/manticore
}
Fiels 和 Attributes
学习记录
练习1 将Fluentbit与Manticore集成
CREATE TABLE forum(title text, content text, author_id int, forum_id int, post_date timestamp);
select * from forum where author_id=123 and forum_id in (1,3,7) order by post_date desc;
insert into forum(title, content, author_id, forum_id, post_date) \
values \
('The Seven Samurai', '1954', 1, 1, 1);
介绍
安装Fluentbit
Get-FileHash
命令行检查完整性Get-FileHash td-agent-bit-1.4.4-win64.exe
C:\Program Files\td-agent-bit\
中,因此安装后您可以使用如下命令启动 fluent-bit。C:\Program Files\td-agent-bit\bin\fluent-bit.exe -i dummy -o stdout
apt-get install lsb-core
lsb_release -a // 查看系统的版本信息
Indexing data with Fluentbit
cat /var/log/dpkg.log
fluentbit.conf
# fluentbit.conf
[SERVICE]
flush 1
daemon On
log_level info
[INPUT]
name tail
path /var/log/dpkg.log
inotify_watcher false
read_from_head true
[OUTPUT]
name es
match *
host 127.0.0.1
port 9308
index testlog
cat /etc/td-agent-bit/fluentbit.conf
cd /opt/td-agent-bit/bin
./td-agent-bit -c /etc/td-agent-bit/fluentbit.conf
mysql -P9306 -h0
show tables;
describe testlog;
select * from testlog LIMIT 3\G
exit;
练习2 将Logstash/Beats与Manticore集成
介绍
要做到这一点,您必须在本地计算机上安装Logstash或/和Filebeat代理。
安装Logstash
curl -OL https://artifacts.elastic.co/downloads/logstash/logstash-7.10.0-linux-x86_64.tar.gz
tar -xzf logstash-7.10.0-linux-x86_64.tar.gz -C /usr/local/
mv /usr/local/logstash-7.10.0/ /usr/local/logstash
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list
sudo apt-get update 这里更新apt
sudo apt-get install logstash 这里安装logstash
/usr/share/logstash/
/etc/logstash/
/etc/logstash/conf.d
[root/usr/share/logstash/bin]]$ ./system-install
Unrecognized VM option 'UseParNewGC'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
Unable to install system startup script for Logstash.
logstash配置文件语法
file{
path => ['/var/log/nginx/access.log'] #要输入的文件路径
type => 'nginx_access_log'
start_position => "beginning"
}
# path 可以用/var/log/*.log,/var/log/**/*.log,如果是/var/log则是/var/log/*.log
# type 通用选项. 用于激活过滤器
# start_position 选择logstash开始读取文件的位置,begining或者end。
还有一些常用的例如:discover_interval,exclude,sincedb_path,sincedb_write_interval等可以参考官网
使用Logstash索引数据
cd /usr/local/logstash
cat /var/log/dpkg.log
由于它们在Logstash中是默认启用的,因此我们需要在配置中明确禁用它们。cat logstash.conf
# logstash.conf
input {
file {
path => ["/var/log/dpkg.log"]
start_position => "beginning"
sincedb_path => "/dev/null"
mode => "read"
exit_after_read => "true"
file_completed_action => "log"
file_completed_log_path => "/dev/null"
codec => line {
charset => "UTF-8"
}
}
}
output {
elasticsearch {
index => "testlog_1"
hosts => ["http://localhost:9308"]
ilm_enabled => false
manage_template => false
}
}
cd /usr/local/logstash/
./bin/logstash -f ./config/logstash.conf
mysql -P9306 -h0
show tables;
describe testlog_1;
select * from testlog_1 LIMIT 3\G
select * from testlog_1 where match('6103');
exit;
练习3 将Vector.dev与Manticore集成
介绍
要执行此操作,您必须在本地计算机上安装Vector.dev。安装Vector.dev
$ curl --proto '=https' --tlsv1.2 -sSfL https://sh.vector.dev | bash -s -- -y
__ __ __
\ \ / / / /
\ V / / /
\_/ \/
V E C T O R
Installer
--------------------------------------------------------------------------------
Website: https://vector.dev
Docs: https://vector.dev/docs/
Community: https://vector.dev/community/
--------------------------------------------------------------------------------
>>> Downloading Vector via https://packages.timber.io/vector/0.37.1/vector-0.37.1-x86_64-unknown-linux-gnu.tar.gz
✓
>>> Unpacking archive to /root/.vector ... ✓
>>> Adding Vector path to /root/.zprofile ✓
>>> Adding Vector path to /root/.profile ✓
>>> Install succeeded!