Cara Menginstal Elasticsearch, Logstash, dan Kibana (Elastic Stack) pada Ubuntu 18.04

Stack Elastis - sebelumnya dikenal sebagai ELK Stack - adalah kumpulan perangkat lunak open-source yang dihasilkan oleh Elastic yang memungkinkan Anda untuk mencari, menganalisa, dan memvisualisasikan log yang dihasilkan dari sumber apa pun dalam format apa pun, praktik yang dikenal sebagai pencatatan terpusat . Pencatatan terpusat dapat sangat berguna ketika mencoba mengidentifikasi masalah dengan server atau aplikasi Anda, karena memungkinkan Anda mencari seluruh log Anda di satu tempat. Ini juga berguna karena memungkinkan Anda mengidentifikasi masalah yang menjangkau beberapa server dengan menghubungkan log mereka selama jangka waktu tertentu.

Stack Elastis memiliki empat komponen utama:

• Elasticsearch : a didistribusikan tenang mesin pencari yang menyimpan semua data yang dikumpulkan.
• Logstash : komponen pengolahan data dari Stack Elastis yang mengirim data yang masuk ke Elasticsearch.
• Kibana : antarmuka web untuk mencari dan memvisualisasikan log.
• Beats : pengirim data ringan, satu-tujuan yang dapat mengirim data dari ratusan atau ribuan mesin ke Logstash atau Elasticsearch.

Dalam tutorial ini, Anda akan menginstal Tumpukan Elastis pada server Ubuntu 18.04. Anda akan belajar cara memasang semua komponen Stack Elastis - termasuk Filebeat , Beat yang digunakan untuk meneruskan dan memusatkan log dan file - dan mengkonfigurasinya untuk mengumpulkan dan memvisualisasikan log sistem. Selain itu, karena Kibana biasanya hanya tersedia di localhost, kami akan menggunakan Nginx untuk membuat proxy sehingga dapat diakses melalui browser web. Kami akan memasang semua komponen ini pada satu server, yang akan kami sebut sebagai server Stack Elastis kami .

Langkah 1 - Menginstal dan Mengonfigurasi Elasticsearch

Komponen Stack Elastis tidak tersedia di repositori paket bawaan Ubuntu. Namun, mereka dapat diinstal dengan APT setelah menambahkan daftar sumber paket Elastis.

Semua paket Elastic Stack ditandatangani dengan kunci penandatanganan Elasticsearch untuk melindungi sistem Anda dari spoofing paket. Paket yang telah diautentikasi menggunakan kunci akan dianggap dipercaya oleh manajer paket Anda. Pada langkah ini, Anda akan mengimpor kunci GPG Umum Elasticsearch dan menambahkan daftar sumber paket Elastis untuk menginstal Elasticsearch.

Untuk memulai, jalankan perintah berikut untuk mengimpor kunci GPG public Elasticsearch ke APT:

Selanjutnya, tambahkan daftar sumber Elastis ke sources.list.ddirektori, tempat APT akan mencari sumber baru:

Selanjutnya, perbarui daftar paket Anda sehingga APT akan membaca sumber Elastic baru:

Kemudian instal Elasticsearch dengan perintah ini:

Setelah Elasticsearch selesai menginstal, gunakan editor teks pilihan Anda untuk mengedit file konfigurasi utama Elasticsearch elasticsearch.yml,. Di sini, kami akan menggunakan nano:

Catatan: File konfigurasi Elasticsearch dalam format YAML, yang artinya indentasi sangat penting! Pastikan Anda tidak menambahkan spasi tambahan saat Anda mengedit file ini

Elasticsearch mendengarkan lalu lintas dari mana saja di port 9200. Anda akan ingin membatasi akses luar ke contoh Elasticsearch Anda untuk mencegah orang luar dari membaca data Anda atau mematikan kelompok Elasticsearch Anda melalui API REST. Temukan garis yang menentukan network.host, hapus tanda komentar, dan ganti nilainya dengan localhostsehingga terlihat seperti ini:

Simpan dan tutup elasticsearch.ymldengan menekan CTRL+X, diikuti oleh Ydan kemudian ENTERjika Anda menggunakan nano. Kemudian, mulailah layanan Elasticsearch dengan systemctl:

Selanjutnya, jalankan perintah berikut untuk mengaktifkan Elasticsearch untuk memulai setiap kali boot server Anda:

Anda dapat menguji apakah layanan Elasticsearch Anda berjalan dengan mengirim permintaan HTTP:

Anda akan melihat respons yang menunjukkan beberapa informasi dasar tentang simpul lokal Anda, mirip dengan ini:

Sekarang Elasticsearch sudah aktif dan berjalan, mari instal Kibana, komponen selanjutnya dari Stack Elastis.

Langkah 2 - Memasang dan Mengonfigurasi Dasbor Kibana

Menurut dokumentasi resmi , Anda harus menginstal Kibana hanya setelah menginstal Elasticsearch. Memasang dalam urutan ini memastikan bahwa setiap komponen bergantung pada tempat yang benar.

Karena Anda telah menambahkan sumber paket Elastis pada langkah sebelumnya, Anda dapat menginstal komponen yang tersisa dari Tumpukan Elastis menggunakan apt:

Kemudian aktifkan dan mulai layanan Kibana:

Karena Kibana dikonfigurasikan hanya untuk didengarkan localhost, kita harus menyiapkan proxy reverse untuk memungkinkan akses eksternal ke dalamnya. Kami akan menggunakan Nginx untuk tujuan ini, yang seharusnya sudah diinstal di server Anda.

Pertama, gunakan opensslperintah untuk membuat pengguna Kibana administratif yang akan Anda gunakan untuk mengakses antarmuka web Kibana. Sebagai contoh, kami akan menamai akun ini kibanaadmin, tetapi untuk memastikan keamanan yang lebih besar, kami menyarankan Anda memilih nama non-standar untuk pengguna Anda yang akan sulit ditebak.

Perintah berikut ini akan membuat pengguna dan kata sandi administratif Kibana, dan menyimpannya di dalam htpasswd.usersfile. Anda akan mengkonfigurasi Nginx untuk meminta nama pengguna dan kata sandi ini dan membaca file ini sebentar lagi:

Masukkan dan konfirmasikan kata sandi pada prompt. Ingat atau catat info masuk ini, karena Anda akan membutuhkannya untuk mengakses antarmuka web Kibana.

Selanjutnya, kita akan membuat file blok server Nginx. Sebagai contoh, kami akan merujuk ke file ini sebagai example.com, meskipun Anda mungkin menemukan itu berguna untuk memberi Anda nama yang lebih deskriptif. Misalnya, jika Anda memiliki catatan FQDN dan DNS yang disiapkan untuk server ini, Anda dapat menamai file ini setelah FQDN Anda:

Tambahkan blok kode berikut ke dalam file, pastikan untuk memperbarui example.comagar sesuai dengan FQDN server Anda atau alamat IP publik. Kode ini mengonfigurasi Nginx untuk mengarahkan lalu lintas HTTP server Anda ke aplikasi Kibana, yang sedang didengarkan localhost:5601. Selain itu, mengkonfigurasi Nginx untuk membaca htpasswd.usersfile dan membutuhkan otentikasi dasar.

Perhatikan bahwa jika Anda mengikuti prasyarat Nginx tutorial hingga akhir, Anda mungkin telah membuat file ini dan mengisinya dengan beberapa konten. Dalam hal ini, hapus semua konten yang ada di file sebelum menambahkan yang berikut:

Setelah selesai, simpan dan tutup file.

Selanjutnya, aktifkan konfigurasi baru dengan membuat tautan simbolis ke sites-enableddirektori. Jika Anda sudah membuat file blok server dengan nama yang sama dalam prasyarat Nginx, Anda tidak perlu menjalankan perintah ini:

Kemudian periksa konfigurasi untuk kesalahan sintaks:

Jika ada kesalahan yang dilaporkan dalam output Anda, kembali dan periksa kembali bahwa konten yang Anda tempatkan di file konfigurasi Anda telah ditambahkan dengan benar. Setelah Anda melihat syntax is okdalam output, lanjutkan dan restart layanan Nginx:

Jika Anda mengikuti panduan pengaturan server awal, Anda harus mengaktifkan firewall UFW. Untuk memungkinkan koneksi ke Nginx, kita dapat menyesuaikan aturan dengan mengetik:

Catatan: Jika Anda mengikuti prasyarat Nginx tutorial, Anda mungkin telah membuat aturan UFW yang memungkinkan Nginx HTTPprofil melalui firewall. Karena Nginx Fullprofil memungkinkan trafik HTTP dan HTTPS melalui firewall, Anda dapat menghapus aturan yang Anda buat dengan aman dalam tutorial prasyarat. Lakukan dengan perintah berikut:

Kibana sekarang dapat diakses melalui FQDN Anda atau alamat IP publik dari server Elastic Stack Anda. Anda dapat memeriksa halaman status server Kibana dengan menavigasi ke alamat berikut dan memasukkan kredensial login Anda ketika diminta:

Halaman status ini menampilkan informasi tentang penggunaan sumber daya server dan daftar plugin yang dipasang.

Catatan : Seperti yang disebutkan di bagian Prasyarat, disarankan agar Anda mengaktifkan SSL / TLS di server Anda. Anda dapat mengikuti tutorial ini sekarang untuk mendapatkan sertifikat SSL gratis untuk Nginx di Ubuntu 18.04. Setelah mendapatkan sertifikat SSL / TLS Anda, Anda dapat kembali dan menyelesaikan tutorial ini.

Sekarang setelah dasbor Kibana dikonfigurasi, mari instal komponen selanjutnya: Logstash.

Langkah 3 - Menginstal dan Mengonfigurasi Logstash

Meskipun mungkin Beats mengirim data langsung ke database Elasticsearch, kami merekomendasikan menggunakan Logstash untuk memproses data. Ini akan memungkinkan Anda mengumpulkan data dari berbagai sumber, mengubahnya menjadi format umum, dan mengekspornya ke database lain.

Instal Logstash dengan perintah ini:

Setelah menginstal Logstash, Anda dapat melanjutkan untuk mengonfigurasinya. File konfigurasi Logstash ditulis dalam format JSON dan berada di /etc/logstash/conf.ddirektori. Saat Anda mengonfigurasinya, akan sangat membantu untuk memikirkan Logstash sebagai saluran yang mengambil data di salah satu ujungnya, memprosesnya dengan satu cara atau lainnya, dan mengirimkannya ke tujuannya (dalam hal ini, tujuannya adalah Elasticsearch). Sebuah pipa Logstash memiliki dua elemen yang diperlukan, inputdan output, dan satu elemen opsional filter,. Plugin input mengkonsumsi data dari sumber, plugin filter memproses data, dan plugin output menulis data ke tujuan.

Buat file konfigurasi yang disebut di 02-beats-input.confmana Anda akan mengatur input Filebeat Anda:

Masukkan inputkonfigurasi berikut . Ini menentukan beatsinput yang akan mendengarkan pada port TCP 5044.

Simpan dan tutup file. Selanjutnya, buat file konfigurasi bernama 10-syslog-filter.conf, di mana kita akan menambahkan filter untuk log sistem, juga dikenal sebagai syslog :

Masukkan konfigurasi filter syslog berikut. Konfigurasi log sistem contoh ini diambil dari dokumentasi resmi Elastis . Filter ini digunakan untuk mem-parsing log sistem masuk agar terstruktur dan dapat digunakan oleh dasbor Kibana yang telah ditentukan:

Simpan dan tutup file ketika selesai.

Terakhir, buat file konfigurasi yang disebut 30-elasticsearch-output.conf:

Masukkan output konfigurasi berikut . Pada dasarnya, output ini mengkonfigurasi Logstash untuk menyimpan data Beats dalam Elasticsearch, yang berjalan pada localhost:9200, dalam indeks yang dinamai setelah Beat digunakan. The Beat yang digunakan dalam tutorial ini adalah Filebeat:

Simpan dan tutup file.

Jika Anda ingin menambahkan filter untuk aplikasi lain yang menggunakan input Filebeat, pastikan untuk memberi nama file sehingga mereka diurutkan antara input dan konfigurasi output, yang berarti bahwa nama file harus dimulai dengan angka dua-digit antara 02dan 30.

Uji konfigurasi Logstash Anda dengan perintah ini:

Jika tidak ada kesalahan sintaks, output Anda akan ditampilkan Configruation OKsetelah beberapa detik. Jika Anda tidak melihat ini di output Anda, periksa setiap kesalahan yang muncul di output Anda dan perbarui konfigurasi Anda untuk memperbaikinya.

Jika tes konfigurasi Anda berhasil, mulailah dan aktifkan Logstash untuk menerapkan perubahan konfigurasi:

Sekarang Logstash berjalan dengan benar dan sepenuhnya dikonfigurasi, mari kita instal Filebeat.

Langkah 4 - Memasang dan Mengonfigurasi Filebeat

Stack Elastis menggunakan beberapa pengirim data ringan yang disebut Beats untuk mengumpulkan data dari berbagai sumber dan mengangkutnya ke Logstash atau Elasticsearch. Berikut adalah Beats yang saat ini tersedia dari Elastic:

• Filebeat : mengumpulkan dan mengirim file log
• Metrikbeat : mengumpulkan metrik dari sistem dan layanan Anda
• Packetbeat : mengumpulkan dan menganalisis data jaringan
• Winlogbeat : mengumpulkan log peristiwa Windows
• Auditbeat : mengumpulkan data kerangka audit Linux dan memonitor integritas file
• Heartbeat : memonitor layanan untuk ketersediaan mereka dengan probing aktif

Dalam tutorial ini kita akan menggunakan Filebeat untuk meneruskan log lokal ke Tumpukan Elastis kami

Instal Filebeat menggunakan apt:

Selanjutnya, konfigurasikan Filebeat untuk terhubung ke Logstash. Di sini, kita akan memodifikasi file konfigurasi contoh yang datang dengan Filebeat.

Buka file konfigurasi Filebeat:

Catatan: Seperti halnya Elasticsearch, file konfigurasi Filebeat berada dalam format YAML. Ini berarti bahwa indentasi yang tepat sangat penting, jadi pastikan untuk menggunakan jumlah ruang yang sama yang ditunjukkan dalam petunjuk ini.

Filebeat mendukung banyak output, tetapi Anda biasanya hanya mengirim acara langsung ke Elasticsearch atau ke Logstash untuk pemrosesan tambahan. Dalam tutorial ini, kami akan menggunakan Logstash untuk melakukan pemrosesan tambahan pada data yang dikumpulkan oleh Filebeat. Filebeat tidak perlu mengirim data apa pun secara langsung ke Elasticsearch, jadi mari kita nonaktifkan output itu. Untuk melakukannya, temukan output.elasticsearchbagian dan komentari baris berikut dengan mengikutinya dengan #:

Kemudian, konfigurasikan output.logstashbagian. Hapus tanda garis output.logstash:dan hosts: ["localhost:5044"]dengan menghapus #. Ini akan mengonfigurasi Filebeat untuk terhubung ke Logstash pada server Elastic Stack Anda di port 5044, port yang kami tentukan input Logstash sebelumnya:

Simpan dan tutup file.

Fungsionalitas Filebeat dapat diperpanjang dengan modul Filebeat . Dalam tutorial ini kita akan menggunakan modul sistem , yang mengumpulkan dan mem-parsing log yang dibuat oleh layanan logging sistem dari distribusi Linux umum.

Mari kita aktifkan:

Anda dapat melihat daftar modul yang diaktifkan dan dinonaktifkan dengan menjalankan:

Anda akan melihat daftar yang serupa dengan yang berikut:

Secara default, Filebeat dikonfigurasi untuk menggunakan jalur default untuk log syslog dan otorisasi. Dalam kasus tutorial ini, Anda tidak perlu mengubah apa pun dalam konfigurasi. Anda dapat melihat parameter dari modul di /etc/filebeat/modules.d/system.ymlfile konfigurasi.

Selanjutnya, muat template indeks ke Elasticsearch. Sebuah indeks Elasticsearch adalah kumpulan dokumen yang memiliki karakteristik serupa. Indeks diidentifikasi dengan nama, yang digunakan untuk merujuk ke indeks ketika melakukan berbagai operasi di dalamnya. Template indeks akan secara otomatis diterapkan ketika indeks baru dibuat.

Untuk memuat template, gunakan perintah berikut:

Filebeat hadir dikemas dengan dasbor Kibana sampel yang memungkinkan Anda memvisualisasikan data Filebeat di Kibana. Sebelum Anda dapat menggunakan dasbor, Anda perlu membuat pola indeks dan memuat dasbor ke Kibana.

Saat dasbor memuat, Filebeat terhubung ke Elasticsearch untuk memeriksa informasi versi. Untuk memuat dasbor ketika Logstash diaktifkan, Anda perlu menonaktifkan output Logstash dan mengaktifkan keluaran Elasticsearch:

Anda akan melihat output yang terlihat seperti ini:

Sekarang Anda dapat memulai dan mengaktifkan Filebeat:

Jika Anda telah mengatur Stack Elastis Anda dengan benar, Filebeat akan mulai mengirimkan log syslog dan otorisasi Anda ke Logstash, yang kemudian akan memuat data tersebut ke Elasticsearch.

Untuk memverifikasi bahwa Elasticsearch memang menerima data ini, permintaan indeks Filebeat dengan perintah ini:

Anda akan melihat output yang terlihat mirip dengan ini:

Jika output Anda menunjukkan 0 total klik, Elasticsearch tidak memuat log apa pun di bawah indeks yang Anda telusuri, dan Anda perlu meninjau kesalahan penyiapan Anda. Jika Anda menerima hasil yang diharapkan, lanjutkan ke langkah berikutnya, di mana kita akan melihat cara menavigasi melalui beberapa dasbor Kibana.

Langkah 5 - Menjelajahi Dasbor Kibana

Mari kita lihat Kibana, antarmuka web yang kami pasang sebelumnya.

Di browser web, buka FQDN atau alamat IP publik dari server Elastic Stack Anda. Setelah memasukkan kredensial masuk yang Anda tentukan pada Langkah 2, Anda akan melihat beranda Kibana:

Klik tautan Temukan di bilah navigasi sebelah kiri. Pada halaman Temukan , pilih pola indeks filebeat- * yang telah ditentukan untuk melihat data Filebeat. Secara default, ini akan menampilkan semua data log selama 15 menit terakhir. Anda akan melihat histogram dengan peristiwa log, dan beberapa pesan log di bawah ini:

Di sini, Anda dapat mencari dan menelusuri log Anda dan juga menyesuaikan dasbor Anda. Pada titik ini, meskipun, tidak akan ada banyak di sana karena Anda hanya mengumpulkan syslog dari server Elastic Stack Anda.

Gunakan panel kiri untuk menavigasi ke halaman Dasbor dan mencari dasbor Sistem Filebeat . Sesampai di sana, Anda dapat mencari dasbor sampel yang datang dengan systemmodul Filebeat.

Misalnya, Anda dapat melihat statistik terperinci berdasarkan pesan syslog Anda:

Anda juga dapat melihat pengguna mana yang telah menggunakan sudoperintah dan kapan :

Kibana memiliki banyak fitur lain, seperti grafik dan penyaringan, jadi jangan ragu untuk menjelajah.

Kesimpulan

Dalam tutorial ini, Anda telah belajar cara menginstal dan mengkonfigurasi Stack Elastis untuk mengumpulkan dan menganalisis log sistem. Ingat bahwa Anda dapat mengirim hampir semua jenis log atau data yang diindeks ke Logstash menggunakan Beats , tetapi data menjadi lebih bermanfaat jika diolah dan distrukturkan dengan filter Logstash, karena ini mengubah data menjadi format konsisten yang dapat dibaca dengan mudah oleh Elasticsearch.

Sumber : https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elastic-stack-on-ubuntu-18-04