AIOPS开源项目概览

Studying the Characteristics of AIOps Projects on GitHub 

该论文研究AIOps开源项目的情况，

直接看结论，

使用语言，主要python，其次是java

输入的数据

可以看出AIOPS主要是针对监控数据，这个本身很直觉

使用算法

经典的ML算法占了一半，说明当前落地的AIOPS项目仍然是以这部分为主

Deep Learning排名第二，14%

时序模型排第三，11%

使用场景

当前主要的还是集中在异常检测和预测上

https://www.opensourceforu.com/2021/05/aiops-the-key-enabler-for-devops/

列出2021年比较热门的开源AIOPS项目

AIOps in open source
Most open source AIOps projects use Python, as it is the first programming language for machine learning. Based on an organisation’s thrust on operational efficiency, various AIOps and open source tools can be combined and used on AIOps platforms.

Top 5 open source AIOps tools on GitHub (based on stars)

1. SeldonIO/Seldon-core (stars: 2.2k)
This is an open source platform to deploy an organisation’s machine learning models on Kubernetes at a massive scale; it has over 2 million installs.

An MLOps framework to package, deploy, monitor and manage thousands of production machine learning models, Seldon core converts your ML models (TensorFlow, PyTorch, H2O, etc) or language wrappers (Python, Java, etc) into production REST/GRPC microservices. Seldon handles scaling to thousands of production machine learning models and provides advanced machine learning capabilities out-of-the-box, including advanced metrics, request logging, explainers, outlier detectors, A/B tests, canaries, and more.

2. Logpai/Loglizer (stars: 781)
Loglizer is a machine learning based log analysis toolkit for automated anomaly detection. Logs are imperative in the development and maintenance process, as they allow developers and support engineers to monitor systems and track abnormal behaviours/errors. Loglizer provides a toolkit that implements a number of machine learning based log analysis techniques that have multiple supervised and unsupervised models with:

• Log collection
• Log parsing
• Feature extraction
• Anomaly detection

3. Whylabs/Whylogs (stars: 326)
This tool profiles and monitors the ML data pipeline end-to-end, and is available in Python and Java.

Whylogs is an open source statistical logging library that allows data science and ML teams to effortlessly profile ML/AI pipelines and applications, producing log files that can be used for monitoring, alerts, analytics, and error analysis. Whylogs is an excellent solution for profiling production ML/AI pipelines that operate on TB-scale data and with enterprise SLAs.

Key features:

• Data insight
• Scalability
• Lightweight
• Unified data instrumentation
• Observability

4. Jixinpu/Aiopstools (stars: 224)
This is a fundamental package for AIOps with Python providing capabilities. Features include:

• Anomaly detection
• Alarm convergence
• Time series forecasting method
• Association analysis for alarms

5. AICoE/Log-anomaly-detector (stars: 168)
This is used for log anomaly detection – machine learning to detect abnormal events logs. Log anomaly detection (LAD) can connect to streaming sources and predict abnormal log lines. It uses unsupervised machine learning models to achieve this result. Lad-Core: ML Code is used for inferring if a log line is an anomaly. It uses W2V (word 2 vec) and SOM (self-organising map) with unsupervised machine learning. Grafana and Prometheus are used to visualise the health of the machine learning system, and can help track and prevent false positives in ML jobs.

Open source AIOps learning platforms

1. Tencent/Metis (stars: 1.1k)
Metis is a learnware platform in the field of AIOps. The current version of this open source learnware solves the anomaly detection problem of time series data from the perspective of machine learning.

2. Linjinjin123/Awesome-AIOps (stars: 930)
This platform gives a summary of AIOps learning materials at one place.

3. Chenryn/Aiops-handbook (stars: 506)
This is a collection of slides, repositories and papers about AIOps.

4. Logpai/Awesome-log-analysis (stars: 287)
This platform offers a curated list of awesome publications and researchers on log analysis, anomaly detection, fault localisation and AIOps.

Open source contributions to AIOps
Prometheus: This is an open source monitoring solution. It’s a graduate of a Cloud Native Computing Foundation (CNCF) project which focuses on monitoring for site reliability engineering (SRE). It simplifies pulling numerical metrics from a metrics endpoint.

Grafana: This is an open source metric analytics and visualisation suite popular among Prometheus users to visualise the metrics.

Elastic Stack: This is a suite of open source products from Elastic designed to help users search, analyse, and visualise data from any type of source, in any format, in real-time. When you run Elastic Stack with Elastic Search, it provides monitoring and logging solutions.
AI is the key to helping DevOps teams scale the technology created today and in the future. AIOps helps to make the management of IT operations simple and accelerate the speed of solving IT Ops problems by automating their resolution. It frees manpower to focus on innovating for a better customer experience, leading to maximum profitability for the business.