Доставка логов с ВМ из systemd в Yandex Cloud Logging
Пишем логи в Systemd
Возможно у вас уже есть сервис, поставку чьих логов вы хотели бы настроить, тогда вы можете переходить к шагу 2. Если же у вас такого нет, то можно воспользоваться следующим кодом на python, чтобы генерировать тестовые логи, которые впоследствии мы будем отправлять.
И так для начала нам понадобится python 3.6 и выше.
Далее заведем пользователя от которого будем писать и читать логи. В его домашнюю директорию сложим все необходимые файлы.
sudo adduser logger --disabled-password
sudo usermod -aG sudo logger
sudo passwd -d logger
sudo su logger
cd ~
Теперь нам добавим следующий код в файл logtest.py.
import logging
import random
import sys
import time
from systemdlogging.toolbox import check_for_systemd
from systemdlogging.toolbox import SystemdFormatter
from systemdlogging.toolbox import SystemdHandler
# Следующие несколько строк могут быть заменены на вызов `systemdlogging.toolbox.init_systemd_logging`
# Но я приведу этот код полностью в целях демонстрации.
# Проверяем доступен ли systemd
systemd_ok = check_for_systemd()
if systemd_ok:
handler = SystemdHandler()
# syslog_id: значение которое будет использовано в поле SYSLOG_IDENTIFIER.
handler.syslog_id = ''
handler.setFormatter(SystemdFormatter())
# получаем инстанс объекта логгера
logger = logging.getLogger()
logger.addHandler(handler)
else:
# Ветка будет использована для локальной отладки, если у вас нет systemd (MacOS, Windows)
logger = logging.getLogger(__name__)
# Выводить логи будем в STDOUT
handler = logging.StreamHandler(stream=sys.stdout)
handler.setFormatter(logging.Formatter(
'[%(levelname)s] %(code)d %(message)s'
))
logger.addHandler(handler)
# Опционально можно настроить уровень логирования по умолчанию
logger.setLevel(logging.DEBUG)
# Мы могли бы обойтись и простым логированием случайных чисел, но я решил генерировать URL-подобные значения.
PATHS = [
'/',
'/admin',
'/hello',
'/docs',
]
PARAMS = [
'foo',
'bar',
'query',
'search',
None
]
def fake_url():
path = random.choice(PATHS)
param = random.choice(PARAMS)
if param:
val = random.randint(0, 100)
param += '=%s' % val
code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]
return '?'.join(filter(None, [path, param])), code
if __name__ == '__main__':
while True:
# создаем пару код и значение URL
path, code = fake_url()
# Если код 200, то пишем в лог с уровнем Info
# Cloud Logging ориентируется на текстовое написание уровня логирования, поэтому в `context` передадим
# дополнительное значение `SEVERITY`. Оно попадет в journald и сможет быть прочитано в плагине yc-logging.
# В продуктовом коде это стоит вынести в `SystemdHandler`, чтобы не потерять,
# но в примере я оставлю так для наглядности.
if code == 200:
logger.info(
'Path: %s',
path,
extra={"code": code, "context": {"SEVERITY": "info"}},
)
# Иначе с уровнем Error
else:
logger.error(
'Error: %s',
path,
extra={"code": code, "context": {"SEVERITY": "error"}},
)
# Ждем 1 секунду, чтобы излишне не засорять журнал
time.sleep(1)
Теперь заведем virtualenv и установим в него все нужные зависимости:
sudo apt install python3-pip python3.8-venv
python3 -m venv venv
source venv/bin/activate
pip3 install systemd-logging
Теперь нам понадобится скрипт logtest.sh который будет вызываться Systemd для запуска нашего сервиса.
#!/bin/bash
SCRIPT_PATH=$(dirname "$(realpath "$0")")
. "$SCRIPT_PATH/venv/bin/activate"
python "$SCRIPT_PATH/logtest.py"
Сделать скрипт исполняемым.
chmod +x /home/logger/`logtest.sh`
А затем нам нужно создать файл logtest.service с описанием нашего сервиса.
[Unit]
Description=Sample to show logging from a Python application to systemd
After=network.target
[Service]
Type=simple
ExecStart=/home/logger/logtest.sh
Restart=on-abort
User=logger
[Install]
WantedBy=multi-user.target
Этот файл может лежать в любом каталоге, который вам нравится. Я бы предложил положить его с исходным кодом на Python для этого приложения. Но чтобы systemd нашел его нам нужно придерживаться соглашением о том, куда складывать unit-файлы. Не вдаваясь в подробности о systemd (тут на целую книгу хватит и это выходит за рамки этого поста в блоге), нам нужно убедиться, что наш файл модуля имеет symlink в /etc/systemd/system. Для этого выполним следующую команду:
sudo ln -s "$(pwd)/logtest.service" \
/etc/systemd/system/logtest.service
Теперь можно перезагрузить systemd
sudo systemctl daemon-reload
Чтобы проверить, что все ок
sudo systemctl status logtest.service
Там должно быть написано, что сервис загружен, но не активен.
Теперь нам нужно его стартовать, для этого выполним:
sudo systemctl enable logtest.service
sudo systemctl start logtest.service
Теперь, если снова посмотреть статус, то там должно быть active(running).
Ставим Fluentbit
Но сначала проясним пару моментов.
И там, и там птичка, так в чем же разница.
Fluentbit vs Fluentd
Чтобы упростить работу с логами когда-то появился Fluentd. Он был написан на ruby и со временем вырос в целую экосистему, которая включает и Fluentbit. Быстрое сравнение приведено в таблице.
https://docs.fluentbit.io/manual/about/fluentd-and-fluent-bit
Как видно для установки Fluentbit не нужны никакие зависимости типа ruby. И хотя к нему есть меньше плагинов, чем для Fluentd, зато он потребляет значительно меньше памяти.
Теперь разберемся как его поставить.
Сначала добавим GPG ключ, которым подписаны пакеты в репозитории fluentbit.
wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
В Ubuntu нам нужно добавить в файл /etc/apt/sources.listследующую строчку:
deb [https://packages.fluentbit.io/ubuntu/focal](https://packages.fluentbit.io/ubuntu/focal) focal main
Затем нужно обновить индексы.
sudo apt-get update
Теперь можно установить последнюю версию td-agent-bit:
sudo apt-get install td-agent-bit
После этого его остается только перезапустить.
sudo systemctl enable td-agent-bit
sudo systemctl start td-agent-bit
Что все ок можно проверить следующей командой
sudo systemctl status td-agent-bit
Там должно быть active (running)
Плагин
Fluentbit поддерживает плагины написанные на go. Это экспериментальное, но вполне рабочее API.
Итак, клонируем репозиторий с кодом плагина.
git clone [https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git](https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git)
Далее начала нам понадобится go. Инструкция по установке тут.
Теперь можно скомпилировать библиотеку.
export fluent_bit_version=1.8.6
export plugin_version=dev
CGO_ENABLED=1 go build -buildmode=c-shared \
-o ./yc-logging.so \
-ldflags "-X main.PluginVersion=${plugin_version}" \
-ldflags "-X main.FluentBitVersion=${fluent_bit_version}"
Следующим шагом копируем полученную библиотеку:
sudo cp yc-logging.so /usr/lib/td-agent-bit/yc-logging.so
И регистрируем ее в файле с конфигурацией плагинов /etc/td-agent-bit/plugins.conf.
[PLUGINS]
Path /usr/lib/td-agent-bit/yc-logging.so
Вносим изменения в конфиг самого сервиса. folder_id укажите свой. Если к ВМ привязан service account с правами писать в yandex cloud logging, то authorization нужно указать instance-service-account. Другие варианты авторизации и значение остальных параметров можно посмотреть тут.
[INPUT]
Name systemd
Tag host.*
Systemd_Filter _SYSTEMD_UNIT=logtest.service
[OUTPUT]
Name yc-logging
Match *
resource_type logtest
folder_id b1g***
message_key MESSAGE
level_key SEVERITY
default_level WARN
authorization instance-service-account
Далее перезагружаем сервис td-agent-bit.
sudo systemctl restart td-agent-bit
Отлично. Теперь можно убедиться, что логи поступают.
Yandex Cloud Logging
P.S. Настройка работы Fluentbit в контейнерах еще проще, но про нее я расскажу в следующий раз.