Перейти к основному содержимому

WASM фильтры в FluentBit

· 3 мин. чтения
Nikolay Matrosov

Начиная с версии 2.0 FluentBit поддерживает фильтры скомпилированные в WASM. При этом вы можете писать код на любом языке. У них в документации есть примеры на C, TinyGo и Rust.

Зачем вам может понадобиться свой фильтр?​

Ну, например, вы можете захотеть описать маппинг полей. Да, вы можете описать его цепочкой фильтров modify, но это будет длинный и не самый читаемый конфиг.

Еще одна альтернатива — Lua. Но это не так прикольно. Если честно, я решил использовать, WASM именно потому, что мне давно хотелось его попробовать применить где-нибудь, а не потому что я провел глубокие сравнительные исследования WASM и Lua.

Установка инструментов.​

Для начала нам понадобится поставить TinyGo. Он как зависимость хочет go. Ставить я буду через brew. Другие способы установки вы можете найти здесь.

brew install tinygo

У меня установилась версия tinygo version 0.27.0 darwin/amd64 (using go version go1.20.2 and LLVM version 15.0.0).

Код фильтра​

package main

import (
    "fmt"
    "unsafe"

    "github.com/valyala/fastjson"
)

//export level_mapper
func level_mapper(tag *uint8, tag_len uint, time_sec uint, time_nsec uint, record *uint8, record_len uint) *uint8 {
    brecord := unsafe.Slice(record, record_len)

    br := string(brecord)
    var p fastjson.Parser
    value, err := p.Parse(br)
    if err != nil {
        fmt.Println(err)
        return nil
    }
    obj, err := value.Object()
    if err != nil {
        fmt.Println(err)
        return nil
    }
    // Get the level value and convert it to the string
    level := string(obj.Get("level").GetStringBytes())

    // Syslog severity levels https://datatracker.ietf.org/doc/html/rfc3164#autoid-8
    var mappedLevel string
    switch level {
    case "0":
        mappedLevel = "FATAL"
    case "1", "2", "3":
        mappedLevel = "ERROR"
    case "4", "5":
        mappedLevel = "WARN"
    case "6":
        mappedLevel = "INFO"
    case "7":
        mappedLevel = "DEBUG"
    default:
        mappedLevel = "LEVEL_UNSPECIFIED"
    }

    var arena fastjson.Arena
    // Set new key if you want to save original value
    obj.Set("mappedLevel", arena.NewString(mappedLevel))
    // or replace it
    obj.Set("level", arena.NewString(mappedLevel))
    s := obj.String()
    s += string(rune(0)) // Note: explicit null terminator.
    rv := []byte(s)

    return &rv[0]
}

func main() {}

Фильтр получается максимально простым.

  1. Сначала мы вычитываем запись лога record. (L12–14)
  2. Парсим полученную строку в JSON-объект. (L15–25)
  3. Читаем значение нужного нам поля L27
  4. Маппим его на новое значение.
  5. И записываем обратно в объект L48–50

На что нужно обратить внимание.

  1. Комментарий //export level_mapper на 10 строке важен. Без него компилятор не сохранит имя функции и мы не сможем вызвать ее из FluentBit.
  2. На 52 строке мы дописываем в конец строки null byte. Он просигнализирует FluentBit об окончании возвращаемой из фильтра записи лога.

Теперь мы можем скомпилировать наш фильтр.

tinygo build --no-debug -scheduler=none -target=wasi -o filter.wasm ./filter.go

В итоге получается файл filter.wasm размером 123Kb. Не сказать, что мало, но и не много по сравнению с обычными go бинарными файлами. При помощи wasm-opt можно оптимизировать его еще немного, в итоге получив 118Kb. Оптимизированная версия фильтра, написанная на Rust и скомпилированная под WASM весит 161Kb.

И проверить его работоспособность запустив FluentBit со следующим конфигом.

[SERVICE]
    Flush        1
    Daemon       Off
    Log_Level    info


[INPUT]
    Name dummy
    Tag dummy.local
    Dummy {"level": "4", "message": "warn"}

[FILTER]
    Name wasm
    Match dummy.*
    WASM_Path filter.wasm
    Function_Name level_mapper
    Accessible_Paths .

[OUTPUT]
    Name  stdout
    Match *

Полный код https://github.com/nikolaymatrosov/fb-wasm-filter