windows下使用logstash同步跨网络集群的数据

  我们在开发环境过程中,可能会遇到这样的场景。我们可以通过VPN访问远端的机房。有可能还要跨机房访问。这篇文章演示使用logstash,在windows上,去同步跨网络环境的不同机房之间的数据。
  此方式受网络限制。适合同步小规模数据。

下载logstash并解压

es官方地址

Past Releases of Elastic Stack Software | Elastic

在个界面,找到和es对应的版本去下载即可

选windows

修改配置文件

config\logstash-sample.conf

指定两个索引的

Sample Logstash configuration for creating a simple
Beats -> Logstash -> Elasticsearch pipeline.

input {
      
  elasticsearch {
      
    hosts => ["http://fromIp:9200"]
    index => "my_index-000001"
    query => '{"query":{"term":{"file_id":{"value":"1734153971053027330"}}}}'
    scroll => "3m"
    size => 100
  }
}

output {
      
  elasticsearch {
      
    hosts => ["http://toIp:9200"]
    index => "my_index-000001"
    # 如果没有可以注释
    user => "elastic"
    password => "33333"
  }
}

打开控制台

进入解压后的bin目录中,然后在上边直接cmd,进入打开控制台

在控制台中,启动logstash,并指定配置文件

logstash.bat -f  D:\angus\es\logstash-8.8.0\config\logstash-sample.conf

这里边的日志,是已经同步完数据了。

相关推荐

  1. Kafka 如何实现数据同步

    2023-12-18 15:28:03       44 阅读
  2. Spark在大数据部署

    2023-12-18 15:28:03       36 阅读
  3. Redis抓取数据Logstash再推到Elasticsearch

    2023-12-18 15:28:03       67 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-18 15:28:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-18 15:28:03       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-18 15:28:03       82 阅读
  4. Python语言-面向对象

    2023-12-18 15:28:03       91 阅读

热门阅读

  1. php的Url 安全的base64编码解码类

    2023-12-18 15:28:03       57 阅读
  2. 新能源行业的岗位信息

    2023-12-18 15:28:03       48 阅读
  3. postMessage解决跨域、消息传递

    2023-12-18 15:28:03       53 阅读
  4. golang os 包用法

    2023-12-18 15:28:03       65 阅读
  5. 医保dip质控系统如何实现医保控费?

    2023-12-18 15:28:03       60 阅读
  6. 医保DRG/DIP智能分析质控系统

    2023-12-18 15:28:03       55 阅读
  7. UE5Console 控制台命令

    2023-12-18 15:28:03       78 阅读
  8. UE5中C++对蓝图类的软引用方法

    2023-12-18 15:28:03       48 阅读
  9. 【uniapp小程序-分享】

    2023-12-18 15:28:03       49 阅读
  10. GoLand couldn‘t start listener: listen tcp 198.18.0.45:53638

    2023-12-18 15:28:03       55 阅读
  11. 01到底应该怎么理解“平均负载”

    2023-12-18 15:28:03       38 阅读