Zabbix: Мониторинг рабочих процессов

Публикация № 1191475

Администрирование - Производительность и оптимизация (HighLoad) - Zabbix

Мониторинг памяти, потребляемой рабочими процессами, средствами Zabbix. Создание пользовательских LLD правил с помощью One Script

В этой статье описан один из способов мониторинга памяти, потребляемой рабочими процессами rphost средстами Zabbix.

Кратко механизм мониторинга можно описать следующим образом:

1. На стороне 1С по расписанию запускается обработка, которая подключается к кластеру серверов и получает от него необходимые данные

2. Полученные данные отправляются на сервер Zabbix с помощью механизма Zabbix sender

3. Количество рабочих процессов на сервере 1С не постоянно. Для того, тобы Zabbix сервер хранил и анализировал данные в разрезе отдельных процессов, должно быть настроено динамическое обнаружение рабочих процессов

4. Динамическое обнаружение можно реализовать путем создания пользовательских LLD (Low Level Discovery) правил на стороне Zabbix сервера

5. Данный механизм предполагает выполнение скрипта, осуществляющего обнаружение рабочих процессов на Zabbix агенте

Таким образом, настройку мониторинга рабочих процессов можно разделить на следующие этапы:

1. Настройка сбора и отправки данных

2. Настройка Zabbix агента для реализации механизма динамического обнаружения рабочих процессов

3. Настройка Zabbix сервера для получения, хранения и анализа данных

1. Настройка сбора и отправки данных

Сбор данных для мониторинга можно реализовать с помощью внешней обработки, настроенной на запуск по расписанию, либо регламентного задания. Пример кода с использованием COM соединения:

Процедура ВыполнитьКоманду(ИдентификаторКоманды) Экспорт

	Если ИдентификаторКоманды = "МониторингПамятиРабочихПроцессов" Тогда
		СтруктураПараметров = Новый Структура; // Указываются настройки подключения к кластеру:
		СтруктураПараметров.Вставить("АдресКластера", "Server:1540"); 
		СтруктураПараметров.Вставить("ПортКластера", 1541);
		СтруктураПараметров.Вставить("АдминистраторКластера", "Administrator");
		СтруктураПараметров.Вставить("ПарольАдминистратораКластера", "Password");
		
		ПолучитьЗначения(СтруктураПараметров);
	КонецЕсли;
	
КонецПроцедуры

Процедура ПолучитьЗначения(СтруктураПараметров) Экспорт
	
	АдресКластера = СтруктураПараметров.АдресКластера;
	ПортКластера = СтруктураПараметров.ПортКластера;
	АдминистраторКластера = СтруктураПараметров.АдминистраторКластера;
	ПарольАдминистратораКластера = СтруктураПараметров.ПарольАдминистратораКластера;
	
	ПараметрыСоединения = ПроверитьСоединениеСКластером(
	    АдресКластера,
	    ПортКластера, 
	    АдминистраторКластера, 
	    ПарольАдминистратораКластера);
		
	Если ПараметрыСоединения = Неопределено Тогда
		Возврат;
	КонецЕсли;
	
	МенеджерСоединений = ПараметрыСоединения["МенеджерСоединений"];
	СоединениеСЦентральнымСервером = ПараметрыСоединения["СоединениеСЦентральнымСервером"];
	Кластер = ПараметрыСоединения["Кластер"];
	
	Процессы = СоединениеСЦентральнымСервером.GetWorkingProcesses(Кластер);                 
	
	Для Каждого Процесс Из Процессы Цикл
		КодВозврата = "";
		ЗапуститьПриложение( // указывается команда отправки данных серверу через zabbix sender. Подробнее о механизме zabbix_sender можно прочитать в документации
			"C:\zabbix_agent\zabbix_sender.exe zabbix_sender -z <IP zabbix сервера> -s ""<наблюдаемый узел Zabbix>"" -k Rphost[" + Процесс.PID + "] -o " + Формат(Процесс.MemorySize, "ЧГ=''"), 
			,
			Истина, 
			КодВозврата);
	КонецЦикла;
	
КонецПроцедуры

Функция ПроверитьСоединениеСКластером(АдресКластера, ПортКластера, Администратор, Пароль) Экспорт
    
    Попытка
		МенеджерСоединений = Новый COMОбъект("V83.COMConnector");
		СоединениеСЦентральнымСервером = МенеджерСоединений.ConnectAgent(АдресКластера);
	Исключение
		ЗаписьЖурналаРегистрации("ПроверитьСоединениеСКластером", УровеньЖурналаРегистрации.Ошибка,,, ПодробноеПредставлениеОшибки(ИнформацияОбОшибке()));
		Возврат Неопределено;
	КонецПопытки;
	
	Попытка
		СписокКластеров = СоединениеСЦентральнымСервером.GetClusters();
	Исключение
		ЗаписьЖурналаРегистрации("ПроверитьСоединениеСКластером", УровеньЖурналаРегистрации.Ошибка, Метаданные.ОбщиеМодули.КонтрольПамятиСервер,, ПодробноеПредставлениеОшибки(ИнформацияОбОшибке()));
		Возврат Неопределено;
	КонецПопытки;
	
	НомерКластера = СписокКластеров.GetLowerBound();
	ПоследнийНомерКластера = СписокКластеров.GetUpperBound();
	Пока НомерКластера <= ПоследнийНомерКластера Цикл
		Кластер = СписокКластеров.GetValue(НомерКластера);
		Если Кластер.MainPort = ПортКластера Тогда
			Прервать;
		КонецЕсли;
		НомерКластера = НомерКластера + 1;
	КонецЦикла;
	
	Если НомерКластера > ПоследнийНомерКластера Тогда
		Текст = "Кластер с портом " + XMLСтрока(ПортКластера) + " не зарегистрирован на центральном сервере " + АдресКластера;		
		Возврат Неопределено;
	КонецЕсли;
	
	Кластер = СписокКластеров.GetValue(НомерКластера);
	
	Попытка
		СоединениеСЦентральнымСервером.Authenticate(Кластер, Администратор, Пароль);
	Исключение
		ЗаписьЖурналаРегистрации("ПроверитьСоединениеСКластером", УровеньЖурналаРегистрации.Ошибка,	Метаданные.ОбщиеМодули.КонтрольПамятиСервер,, ПодробноеПредставлениеОшибки(ИнформацияОбОшибке()));
		Возврат Неопределено;
	КонецПопытки;
	
	Возврат Новый Структура("МенеджерСоединений, СоединениеСЦентральнымСервером, Кластер", МенеджерСоединений, СоединениеСЦентральнымСервером, Кластер);
		
КонецФункции

К статье приложена обработка, использующая данный код. Она может быть подключена к типовым конфигурациям средствами БСП через дополнительные внешние отчеты и обработки и запускаться по расписанию. Обработка протестирована на платформе 8.3.12.1790.

Данные отправляются в цикле отдельно для каждого рабочего процесса. При этом ожидается, что в настройках Zabbix сервера создан элемен элемент под каждое значение с именем Rphost[<PID>] (об этом далее).
 

2. Настройка Zabbix агента для реализации механизма динамического обнаружения рабочих процессов

Создание правил обнаружения применяется в том случае, когда на этапе создания элемента данных Zabbix не известны его параметры. В данном случае мы не знаем количество и PID рабочих процессов, которые требуется мониторить.

Настройка обнаружения на стороне Zabbix агента заключается в следующем:

1. В конфигурации агента используется директива UserParameter. Она является инструментом расширения функциональности агента. UserParameter используется для запуска агентом пользовательских скриптов т.е. директива указывает на скрипт. В файл конфигурации zabbix агента zabbix_agentd.conf добавляется строка:

UserParameter=oscript,"C:\Program Files (x86)\OneScript\bin\oscript.exe" C:\temp\RphostPID.os

После обновления файла конфигурации агента необходимо перезапустить.
2. Создается скрипт, который должен возвращать список рабочих процессов в формате JSON следующего вида:

[{"data":[{"{#SERVICE_NAME}":"AA"},{"{#SERVICE_NAME}":"HH"}]}]

В данном случае используется скрипт OneScript со следующим кодом:

#Использовать json
#Использовать strings

Функция ПолучитьПараметры()

	СтруктураПараметров = Новый Структура;
	СтруктураПараметров.Вставить("АдресКластера", "Server:1540");
	СтруктураПараметров.Вставить("ПортКластера", 1541);
	СтруктураПараметров.Вставить("АдминистраторКластера", "Administrator");
	СтруктураПараметров.Вставить("ПарольАдминистратораКластера", "Password");
		
	Возврат СтруктураПараметров;
	
КонецФункции

Функция ПолучитьЗначения(СтруктураПараметров)
	
	ПараметрыСоединения = ПроверитьСоединениеСКластером(
	    СтруктураПараметров.АдресКластера,
	    СтруктураПараметров.ПортКластера, 
	    СтруктураПараметров.АдминистраторКластера, 
	    СтруктураПараметров.ПарольАдминистратораКластера);
	
	МенеджерСоединений = ПараметрыСоединения["МенеджерСоединений"];
	СоединениеСЦентральнымСервером = ПараметрыСоединения["СоединениеСЦентральнымСервером"];
	Кластер = ПараметрыСоединения["Кластер"];
	
	Процессы = СоединениеСЦентральнымСервером.GetWorkingProcesses(Кластер);
	ДанныеПроцессов = ДанныеПроцессов(Процессы);
	СтруктураВывода = Новый Структура;
	СтруктураВывода.Вставить("data", ДанныеПроцессов);
	
	ПарсерJSON = Новый ПарсерJSON();
	СтруктураВыводаJSON = ПарсерJSON.ЗаписатьJSON(СтруктураВывода);
	
	СтруктураВыводаJSON = СтрЗаменить(СтруктураВыводаJSON, "PID", "{#PID}");
	
	Возврат СтруктураВыводаJSON;
	
КонецФункции

Функция ПроверитьСоединениеСКластером(АдресКластера, ПортКластера, Администратор, Пароль)
    
	МенеджерСоединений = Новый COMОбъект("V83.COMConnector");
	СоединениеСЦентральнымСервером = МенеджерСоединений.ConnectAgent(АдресКластера);
	СписокКластеров = СоединениеСЦентральнымСервером.GetClusters();

	Для НомерКластера = 0 По СписокКластеров.Count() Цикл
		Кластер = СписокКластеров[НомерКластера];
		Если Кластер.MainPort = ПортКластера Тогда
			Прервать;
		КонецЕсли;
	КонецЦикла;

	СоединениеСЦентральнымСервером.Authenticate(Кластер, Администратор, Пароль);

	Возврат Новый Структура("МенеджерСоединений, СоединениеСЦентральнымСервером, Кластер", МенеджерСоединений, СоединениеСЦентральнымСервером, Кластер);
		
КонецФункции

Функция ДанныеПроцессов(Процессы) 
	
	ТаблицаДанныхПроцессов = Новый ТаблицаЗначений;
	ТаблицаДанныхПроцессов.Колонки.Добавить("PID",, "{#PID}");
	
	Для НомерПроцесса = 0 По Процессы.Count() - 1 Цикл
			
		НоваяСтрока = ТаблицаДанныхПроцессов.Добавить();
			
		Процесс = Процессы[НомерПроцесса];
		НоваяСтрока["PID"] = Процесс.PID;
			
	КонецЦикла;
	
	Возврат ТаблицаДанныхПроцессов;
	
КонецФункции

ПараметрыПодключения = ПолучитьПараметры();
PIDПроцессов = ПолучитьЗначения(ПараметрыПодключения);
Message(PIDПроцессов);

Если на агенте все настроено правильно, то выполнение команды на сервере

zabbix_get -s <имя хоста> -p <порт хоста> -k 'oscript'
будет возвращать данные в требуемом формате.

3. Настройка Zabbix сервера

На стороне сервера необходимо выполнить следующие настройки:

1. Создать шаблон:  «Настройка → Шаблоны → Создать шаблон». Здесь необходимо заполнить только имя

2. Для созданного шаблона создать правило обнаружения: «Настройка → Шаблоны → Имя созданного шаблона → Правила обнаружения → Создать правило обнаружения».

Здесь необходимо заполнить параметры:

Тип: Zabbix agent

Ключ: oscript (имя UserParameter из конфигурации zabbix агента)

3. Создать прототип данных «Настройка → Шаблоны → Имя созданного шаблона → Правила обнаружения → Имя созданного правила → Прототипы элементов данных → Создать прототип элементов данных»

Здесь необходимо заполнить параметры:

Тип: Zabbix trapper

Ключ: Rphost[{#PID}]

Тип информации: числовой (целое положительное)

Тип данных: десятичный

4. Созданный шаблон применить к объекту мониторинга

Через некоторое время будут автоматически созданы элементы мониторинга Rphost[<PID>], соответствующие рабочим процессам. Собранные данные можно анализировать с помощью графиков и настраивать оповещения с помощью триггеров.

Скачать файлы

Наименование Файл Версия Размер
Zabbix: Мониторинг рабочих процессов: МониторингПамятиРабочихПроцессов.epf
.epf 8,30Kb
06.02.20
0
.epf 8,30Kb Скачать
Zabbix: Мониторинг рабочих процессов: RphostPID.os
.os 4,47Kb
06.02.20
0
.os 4,47Kb Скачать

Специальные предложения

Комментарии
Избранное Подписка Сортировка: Древо
1. Дмитрий74Чел 184 17.02.20 13:20 Сейчас в теме
Зачем всё это? Какова цель мониторинга памяти? Ваши процессы съедают всю доступную?
2. Sloth 157 18.02.20 09:38 Сейчас в теме
Круто, что oscript - кроссплатформенность! Печально, что COM - первый пункт вычеркиваем :(

Скорректирую предыдущий вопрос: что дает мониторинг именно в разрезе процессов? Т.е. почему не суммарный объем по всем процессам?
3. EShchavleva 18 18.02.20 11:42 Сейчас в теме
(2) Резко возросшее количество памяти, потребляемой рабочим процессом, часто свидетельствует о наличии проблемы в этом процессе. Оперативное обнаружение проблемы дает возможность принять меры по ее устранению до того, как это отразится на сеансах, которые находятся на этом процессе.
Собранные показатели можно использовать для анализа причин произошедшего. Для удобства анализа планирую расширить доработку, добавив мониторинг показателей сеансов пользователей.
4. Sloth 157 18.02.20 12:43 Сейчас в теме
(3)
Оперативное обнаружение проблемы дает возможность принять меры по ее устранению до того, как это отразится на сеансах, которые находятся на этом процессе.

Какая именно реакция происходит когда зафиксировано событие, что произошел "черезмерный" рост памяти (а черезмерный - это в данном контексте сколько) на процессе таком-то? Эта реакция автоматизирована или осуществляется человеком?
5. EShchavleva 18 18.02.20 18:17 Сейчас в теме
(4) Реакция осуществляется человеком и будет зависеть от проблемы. Например, если одновременно обнаружен пользовательский сеанс, потребляющий большое количество памяти, то реакция будет заключаться в удалении этого сеанса, выяснении того, что в этот момент делал пользователь и оптимизации этого инструмента для дальнейшего использования.
6. Sloth 157 19.02.20 09:23 Сейчас в теме
(5) Подскажите еще: сколько на текущий момент ИБ и общее количество сеансов на "подопытном"?

Совет: поставьте в поле "Units" у элемента данных "Rphost memory size (PID $1)" значение "kB", тогда величина объема памяти будет коректной ;)
Оставьте свое сообщение

См. также

Мониторинг количества использованных программных лицензий, выданных выделенным сервером лицензирования

Инструменты и обработки Системный администратор Архив с данными v8 Linux Абонемент ($m) Zabbix

Следим за утилизацией программных клиентских лицензий на выделенном сервере лицензирования в разрезе кластеров 1С Предприятия, в состав которых включен данный сервер лицензирования

1 стартмани

22.11.2019    1719    Sloth    0       

Базовый курс по обмену данными в системе 1С:Предприятие. Онлайн-интенсив с 12 по 28 мая 2020 г. Промо

Данный онлайн-курс предусматривает изучение механизмов платформы “1С:Предприятие”, обеспечивающих обмен данными между различными прикладными 1С-решениями и взаимодействие с другими информационными системами. Курс предназначен для тех, кто уже имеет определенные навыки конфигурирования и программирования в системе “1С:Предприятие”.

5500 рублей

Мониторинг показателей систем 1С 8.3 с помощью Zabbix

Инструменты и обработки Системный администратор Внешняя обработка (ert,epf) v8 1cv8.cf Абонемент ($m) Внешние источники данных Zabbix

Опишу свой опыт мониторинга наших систем 1С с помощью Zabbix и ту пользу, которую можно извлечить из этого.

1 стартмани

05.10.2018    27701    39    akimych    48       

Программы для исполнения 488-ФЗ: Маркировка товаров Промо

1 января 2019 года вступил в силу ФЗ от 25.12.2018 № 488-ФЗ о единой информационной системе маркировки товаров с использованием контрольных (идентификационных) знаков, который позволяет проследить движение товара от производителя до конечного потребителя. Инфостарт предлагает подборку программ, связанных с применением 488-ФЗ и маркировкой товаров.