摘要：接上篇的安裝與界面預覽阿里云系統(tǒng)環(huán)境操作系統(tǒng)阿里云系統(tǒng)內(nèi)網(wǎng)，私有地址內(nèi)內(nèi)內(nèi)外網(wǎng)，公有地址外外外版本版本版本安裝與配置官方文檔不同于和，需要多帶帶安裝環(huán)境下載解壓后續(xù)操作在內(nèi)目錄進行到下載測試數(shù)據(jù)集解壓測試數(shù)據(jù)集

接上篇：Kibana 7.x 的安裝與界面預覽（阿里云Ubuntu）

操作系統(tǒng)：Ubuntu 18.04 LTS（阿里云）

系統(tǒng)IP

# 內(nèi)網(wǎng)，私有地址
172.內(nèi).內(nèi).內(nèi)
# 外網(wǎng)，公有地址
112.外.外.外

Elasticsearch 版本：7.2

Kibana 版本：7.2

Logstash 版本：7.2

官方文檔：https://www.elastic.co/guide/...

Logstash 不同于 Elasticsearch 和 Kibana，需要多帶帶安裝 Java 環(huán)境

~$ sudo apt install default-jdk
~$ java -version
openjdk version "11.0.3" 2019-04-16
OpenJDK Runtime Environment (build 11.0.3+7-Ubuntu-1ubuntu218.04.1)
OpenJDK 64-Bit Server VM (build 11.0.3+7-Ubuntu-1ubuntu218.04.1, mixed mode, sharing)

下載 logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.2.0.tar.gz

解壓 logstash

tar -zxf logstash-7.2.0.tar.gz

后續(xù)操作在 logstash-7.2.0 內(nèi)目錄進行

cd logstash-7.2.0/

到 grouplens 下載 MovieLens 測試數(shù)據(jù)集

wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip

解壓測試數(shù)據(jù)集

unzip ml-latest-small.zip

創(chuàng)建并編輯 logstash.conf 文件，添加如下內(nèi)容（Ruby 語法）

input {
  file {
    path => "/home/walker/es/ml-latest-small/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }
  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }
  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][2]}"}
  }
  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }
}
output {
   elasticsearch {
     hosts => "http://172.18.193.52:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

導入數(shù)據(jù)，注意導入后不會自動退出，用 Ctrl-C 手動退出

# 個人路徑有所不同
./bin/logstash -f /home/walker/es/ml-latest-small/logstash.conf 

Management 查看數(shù)據(jù)（Index 相當于關(guān)系型數(shù)據(jù)庫的 Table）

關(guān)系型數(shù)據(jù)庫與 Elasticsearch 的抽象與類比

Dev tools 查看文檔總數(shù)（即數(shù)據(jù)總條數(shù)）

# 查看數(shù)據(jù)總量
GET /movies/_count

# 控制臺輸出
{
  "count" : 9743,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  }
}

查看 id 為 1 的數(shù)據(jù)

# 查看 id 為 1 的數(shù)據(jù)
GET /movies/_doc/1

# 控制臺輸出
{
  "_index" : "movies",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 121,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "@version" : "1",
    "genre" : [
      "Adventure",
      "Animation",
      "Children",
      "Comedy",
      "Fantasy"
    ],
    "year" : 1995,
    "id" : "1",
    "title" : "Toy Story"
  }
}

刪除 movies 數(shù)據(jù)（Elasticsearch 的 Index 可對標關(guān)系型數(shù)據(jù)庫的 Table）

# 刪除命令
DELETE /movies

# 控制臺輸出
{
  "acknowledged" : true
}

$ tree /home/walker/es/ -L 2
/home/walker/es/
├── elasticsearch-7.2.0
│?? ├── bin
│?? ├── config
│?? ├── data
│?? ├── jdk
│?? ├── lib
│?? ├── LICENSE.txt
│?? ├── logs
│?? ├── modules
│?? ├── NOTICE.txt
│?? ├── plugins
│?? └── README.textile
├── elasticsearch-7.2.0-linux-x86_64.tar.gz
├── kibana-7.2.0-linux-x86_64
│?? ├── bin
│?? ├── built_assets
│?? ├── config
│?? ├── data
│?? ├── LICENSE.txt
│?? ├── node
│?? ├── node_modules
│?? ├── NOTICE.txt
│?? ├── optimize
│?? ├── package.json
│?? ├── plugins
│?? ├── README.txt
│?? ├── src
│?? ├── target
│?? ├── webpackShims
│?? └── x-pack
├── kibana-7.2.0-linux-x86_64.tar.gz
├── logstash-7.2.0
│?? ├── bin
│?? ├── config
│?? ├── CONTRIBUTORS
│?? ├── data
│?? ├── Gemfile
│?? ├── Gemfile.lock
│?? ├── lib
│?? ├── LICENSE.txt
│?? ├── logs
│?? ├── logstash-core
│?? ├── logstash-core-plugin-api
│?? ├── modules
│?? ├── NOTICE.TXT
│?? ├── tools
│?? ├── vendor
│?? └── x-pack
├── logstash-7.2.0.tar.gz
├── ml-latest-small
│?? ├── links.csv
│?? ├── logstash.conf
│?? ├── movies.csv
│?? ├── ratings.csv
│?? ├── README.txt
│?? └── tags.csv
└── ml-latest-small.zip

本文是阮一鳴《Elasticsearch核心技術(shù)與實戰(zhàn)》的學習筆記。