Elk Là Gì

Logging là một mức sử dụng đơn giản dễ dàng và mạnh khỏe, ghi lại toàn cục rất nhiều hoạt động vui chơi của khối hệ thống.

Bạn đang xem: Elk là gì

Nhờ bao gồm logging, ta có thể tra cứu vãn lại trạng thái của khối hệ thống trong quá khứ đọng, hầu hết code nào đã có được chạy, trường đoản cú đó đưa ra lỗi cùng fix thuận tiện rộng.

Tuy nhiên câu hỏi tập bình thường với đối chiếu log của khối hệ thống là sự việc khó khăn so với mỗi công ty lớn. Hôm nay bản thân xin reviews về ELK staông chồng một công cụ trẻ trung và tràn đầy năng lượng dùng để quản lý và phân tích log tập chung.

Mục lục

1. Technical staông xã là gì?

2. ELK stack.

3. Các thành phần nằm trong ELK stachồng.

4. Các trường thích hợp áp dụng ELK stack.

5. Vì sao cần sử dụng ELK staông xã.

1. Technical stack là gì?

Technical Staông xã, nói một cách khác là solution staông xã, là 1 trong những tập thích hợp đầy đủ phần mềm/công nghệ phối hợp chung cùng nhau, sinh sản thành một gốc rễ nhằm ứng dụng có thể hoạt động được.

Một stachồng thông thường sẽ được kết cấu do những yếu tắc :

Hệ điều hành. Webserver. Database. Back-end Programming Language.

Mỗi thành phần trong stachồng đảm nhận một nhiệm vụ lẻ tẻ.

2. ELK stachồng.

ELK Staông xã là tập hợp 3 ứng dụng đi chung cùng nhau, ship hàng mang lại công việc logging. Ba phần mềm này thứu tự là :

Elasticsearch: Trung tâm tài liệu nhằm tàng trữ, kiếm tìm tìm với query log. Logstash: Tiếp thừa nhận log từ không ít mối cung cấp, sau đó cách xử lý log cùng ghi dữ liệu vào Elastictìm kiếm. Kibana: Giao diện nhằm thống trị, thống kê log. Đọc biết tin trường đoản cú Elastictìm kiếm.

Điểm mạnh của ELK là năng lực tích lũy, hiển thị, tróc nã vấn theo thời hạn thực. cũng có thể đáp ứng truy hỏi vấn một lượng dữ liệu cực to.

Hình dưới đó là cơ chế buổi giao lưu của ELK staông chồng :

*

Trước tiên, log sẽ được đưa tới Logstash. (Thông trải qua không ít con phố, ví như hệ thống gửi UDP.. request chứa log tới URL của Logstash, hoặc Beat hiểu tệp tin log cùng gửi lên Logstash).

Logstash đã hiểu số đông log này, thêm những thông báo như thời gian, IPhường., parse tài liệu từ bỏ log (hệ thống làm sao, độ nghiêm trọng, câu chữ log) ra, sau đó ghi xuống database là Elastictìm kiếm.

Khi ý muốn xem log, người tiêu dùng vào URL của Kibamãng cầu. Kibamãng cầu đã hiểu đọc tin log vào Elastictìm kiếm, hiển thị lên giao diện cho những người dùng query với cách xử trí.

3. Các thành phần trong ELK stack.

3.1. Elastictìm kiếm.

Elasticsearch là một RESTful distributed search engine. Hiểu nôm na là nó cung ứng khả năng kiếm tìm tìm phân tán qua API. Lưu trữ dữ liệu theo mô hình NoSQL database (cơ sở tài liệu không tồn tại cấu trúc).

Elasticsearch chất nhận được các bạn triển khai với phối hợp rất nhiều loại tìm kiếm: tất cả cấu tạo, ko kết cấu, geo, metric Theo phong cách bạn muốn.

Việc tìm kiếm tìm trong một lượng ít dữ liệu rất dễ dàng, tuy thế nếu như có một tỷ loại dữ liệu thì vậy nào? Elasticsearch chất nhận được chúng ta bao gồm ánh nhìn nhằm khai quật định hướng cùng các chủng loại vào dữ liệu.

Elastictìm kiếm cực kỳ nhanh hao, đích thực khôn cùng nkhô cứng. quý khách tất cả câu trả lời ngay tức thì với những dữ liệu biến hóa.

Xem thêm: Abraham Lincoln Là Ai ? Tiểu Sử Ngắn Gọn Và Đầy Đủ Nhất Về Ông

quý khách có thể chạy nó trên hàng trăm ngàn VPS với hàng petabyte dữ liệu.

Vận hành dễ dàng:

Khả năng giãn nở, Độ chuẩn bị cao. Dự đoán thù trước, tin yêu. Đơn giản, nhìn trong suốt

Elastictìm kiếm thực hiện chuẩn chỉnh RESTful APIs và JSON.

Nlỗi nuốm nào là 1 RESTful distributed search engine

Distributed và Highly Available Search Engine:

Mỗi Index là full shard với một số cấu hình của shard. Mỗi shard tất cả một hoặc nhiều replica. Xử lý gọi và kiếm tìm kiến trên mõi replica shard.

Multi Tenant with Multi Types:

Hỗ trợ nhiều hơn nữa một index. Hỗ trợ các các loại bên trên một index. Cấu hình index cấp độ (số shard, index storage).

Various mix of APIs:

HTTPhường RESTful API. Native sầu Java API. Tất cả API thực hiện thao tác làm việc node tự động mỗi một khi định tuyến lại.

Document oriented:

Không yêu cầu định nghĩa trước schema. Schema rất có thể được định nghĩa cho từng loại tùy từng quá trình indexing.

Tin cậy.

Tìm kiếm (gần) theo thời gian thực.

Xây dựng dựa trên Lucene:

Mỗi shard là một Lucene index tương đối đầy đủ tác dụng. Tất cả những ưu điểm của Lucene được khai phá trải qua cấu hình/plugin dễ dàng và đơn giản.

Hoạt hễ đồng bộ.

mở cửa Source under the Apabịt License, version 2 (“ALv2”).

3.2. Logstash.

Logstash có chức năng so với cú pháp của các mẫu dữ liệu. Việc phân tích làm cho tài liệu đầu vào ở một dạng nặng nề gọi, chưa xuất hiện nhãn thành một dạng dữ liệu bao gồm cấu tạo, được gán nhãn.

khi cấu hình Logstash luôn luôn tất cả 3 phần: Input, Filter, đầu ra.

Bình thường Khi làm việc với Logstash, đã yêu cầu thao tác làm việc cùng với Filter các nhất. Filter bây chừ thực hiện Grok để phân tích dữ liệu.

3.3. Kibana.

Kibamãng cầu được cách tân và phát triển riêng mang lại ứng dụng ELK, thực hiển thay đổi các truy vấn của người tiêu dùng thành câu tróc nã vấn nhưng Elasticsearch có thể thực hiện được. Kết trái hiển thị bằng nhiều cách: theo các dạng biểu vật.

*

4. Các ngôi trường vừa lòng sử dụng ELK staông xã.

Với các hệ thống hoặc ứng dụng bé dại, ta ko phải thực hiện ELK staông xã làm những gì, cứ đọng dùng thư viện ghi log đi kèm cùng với ngữ điệu, sau đó ghi log ra tệp tin rồi phát âm thông thường.

Tuy nhiên, với số đông khối hệ thống mập các người dùng, có rất nhiều service phân tán (microservice), có không ít VPS chạy cùng lúc… thì vấn đề ghi log xuống tệp tin không thể hiệu quả nữa. Trong thời điểm này con số sever bên trên hệ thống là lớn và nhiều cho nên vì vậy chúng ta quan trọng sử dụng bí quyết bằng tay là remote vào cụ thể từng lắp thêm rồi hiểu log của từng hệ thống được, lúc này ELK staông chồng đang xử lý vấn đề này. ELK stachồng vẫn ghi log tập tầm thường vào một khu vực khiến cho chúng ta cũng có thể dễ dàng thống trị log bên trên toàn khối hệ thống.

5. Vì sao yêu cầu sử dụng ELK staông xã.

Dễ tích hợp: Dù bạn có sử dụng Nginx giỏi Apađậy, sử dụng MSSQL, MongoDB giỏi Redis, Logstash phần đa hoàn toàn có thể gọi đọc cùng giải pháp xử lý log của bạn nên việc tích hợp hết sức thuận tiện.

Hoàn toàn free: Chỉ đề nghị cài về, cài đặt với cần sử dụng, ko tốn một đồng làm sao cả. Shop chúng tôi tạo nên ELK Staông xã kiếm chi phí bằng các các dịch vụ cloud hoặc những thành phầm premium phụ thêm.

Khả năng scale tốt: Logstash và Elasticsearch điều khiển xe trên nhiều node nên hệ thống ELK cực kì dễ scale. Khi gồm thêm service, thêm người dùng, mong log nhiều hơn thế, chúng ta chỉ câu hỏi thêm node mang đến Logstash cùng Elasticsearch là dứt.

Search và filter mạnh dạn mẽ: Elasticsearch cho phép lưu trữ báo cáo giao diện NoSQL, cung ứng luôn Full-Text Search nên việc query rất dễ ợt với mạnh mẽ.