C70e47c1ea41c6488c345cfd97d57e64
Logstash输出数据至数据库

1. 概要说明

参考信息:有关logstash的及ELK监控系统的搭建,请参考文章《RPA 机器人服务治理之监控环境搭建》,这篇文章中,详细介绍了有关RPA监控环境搭建的架构设计以及elasticsearch/kibana/nxlog/logstash的安装及配置。

最近,在开发一个有关RPA机器人的系统,需要将studio产生的日志信息从默认的日志文件中进行抽取、清洗并持久化,之后在系统中展示。本文主要记录nxlog抽取数据到logstash之后,如何再将数据从Logstash持久化至MySql数据库。

2. 安装logstash-output-jdbc插件

插件官网: https://github.com/theangryangel/logstash-output-jdbc

进入到LOGSTASH_HOME%bin目录,进入到powershell,输入一下命令安装插件:

 .\logstash-plugin.bat install logstash-output-JDBC

安装成功:

3. 配置mysql-connector-java包

MySQL Connector/J是MySQL官方JDBC驱动程序,JDBC(Java Data Base Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。

熟悉Java开发的小伙伴一定不会陌生的!

  • Jar包下载:

官方下载地址:https://dev.mysql.com/downloads/connector/

下载地址:https://dev.mysql.com/downloads/connector/j/

Maven仓库提供的下载:https://mvnrepository.com/artifact/mysql/mysql-connector-java
可以在仓库中找到一个稳定版本的,如下图:

  • Jar包存放

将下载好的Jar包,存放至Logstash安装目录下的vendor/jar/jdbc(如果没有,则自行创建)文件夹中,在使用JDBC输出数据时,logstash会默认查询到此目录下;如果存放在其他目录,则需要在配置的时候进行指定。

4. 配置logstash tcp_std.conf配置文件

有关各种数据库的配置信息,可参考

我的tcp_std.conf配置文件具体如下:

```
input{
tcp {
port => 514
codec => plain {
charset => "UTF-8"
}
}
}

top Created with Sketch.