NetAMS

Создан: 03.08.07

Задача - подсчитать входящий трафик по каждому хосту, стоящему внутри сети и скачивающим что-то с Internet. NetAMS достаточно удобная система для подсчёта трафика, для развёртывания и использования. Я рассматриваю простую конфигурацию netams. Она очень гибкая. Здесь не рассматривается настройка фильтрации пакетов, ограничения скорости доступа в Интернет, ограничение по объёму трафика, ... и т.п.

Сайт проекта: www.netams.com. Там русская документация.

В последний раз я тренировался на дистрибутиве Alt Linux Server 4.0.0, версия NetAMS - 3.4.0rc1

Ключевые моменты в понимании принципов работы NetAMS:

1. Вы указываете дополнительное правило фильтрации пакетов уже существующей и настроеной системе фильтрации сетевых пакетов (iptables). Все пакеты проходящие через сетевые интерфейсы компьютера попадают в NetAMS, она их обрабатывает и возвращает дальше в систему фильтрации. Простейшее действие NetAMS - это регистрация пакета и запись о нём в соответствующий журнал. Конечно, в программе можно настроить и фильтрацию пакетов определённых типов.

2. Виды журналов, т.е. что вы хотите регистрировать - вы настраиваете сами.

3. Статистика периодически представляется в виде html-файлов. Периодичность вы указываете программе сами. Т.е. у вас должен работать WEB-сервер, чтобы вы могли видеть статистику, собираемую NetAMS.

4. Статистика прокси-серверов ведётся самими серверами и не стоит беспокоить по этому поводу NetAMS. Т.е. статистику SQUID, почты, jabber, и т.п. вещей, установленных на сервере, вам следует собирать из них.

Установка

В моей системе (Alt Linux Server 4.0.0) мне пришлось установить 3 пакета:

apt-get install netams nawt netams-doc-ru

Также у вас должна быть установлена база данных. Я предпочитаю PosgreSQL:

apt-get install postgresql8.2-server

Должен быть создан пользователь (root) с привилегиями superuser и сама база (root):

createuser -U postgresql root
createdb -U root root

В базе должны быть созданы таблицы, в которых будет храниться статистика netams:

psql -U root root -f postgresql_shema.sql

Внимание! В моём дистрибутиве в файле /usr/share/doc/netams-3.4.0rc1/postgresql_shema.sql
содержалась ошибка. Надо поставить запятую в правильное место. Заменить:

len bigint
layer7 character varying(80),

на

len bigint,
layer7 character varying(80)

Настройка

Конфигурируем файл /etc/netams/netams.cfg:

Каждая секция в этом файле называется service и должна начинаться со слова service. У сервиса есть номер для того, чтобы можно было задать несколько одинаковых сервисов с разными номерами.
Внутри описания сервиса не должно быть пустых строк. Предполагается, что если в файле встретилась пустая строка, значит описание текущего сервиса завершено.
Единственный сервис, который не должен начинаться со слова "service", это main. Начальные строки конфигурационного файла относятся именно к этому сервису.

Итак, сервис main (начало конфига):

debug none
user name admin real-name Administrator email Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в браузере должен быть включен Javascript. password 111 permit all
language ru
shedule time 1hour action save

Вот и весь сервис main. Тут вы задаёте имя и пароль администратора для доступа по сети к конфигурации netams.
Также указано расписание для действия save - сохранения файла конфигурации. В нашем случае конфигурация будет динамически расти, поскольку в настройках будет автоматическая генерация описателей объекта сбора статистики (юнита) по мере подключения в работу дополнительных хостов сети. И автосохранение конфигурации при перезапуске сохранит статистику для всех динамически созданных юнитов.

Описываем сервис server:

    service server 0
    login any
    listen 20001
    max-conn 6

Вы сможете управлять netams подключившись telnet-ом к порту 20001. Не забудьте закрыть этот порт для хакеров снаружи!

Описываем сервис processor. Такой сервис в системе может быть только один:

    service processor 0
    lookup-delay 60
    flow-lifetime 300
    policy name intranet target proto ip
    policy name www target proto tcp port 80 443 8080 3128
    policy name sendmail target proto tcp port 25
    policy name popimap target proto tcp port 110 143 995
    auto-units 1 type host prefix2 mynet_
    unit net name myhosts ip 192.168.0.0/16 acct-policy intranet www sendmail popimap auto-units 1
    unit host name SPEC ip 192.168.1.200 acct-policy intranet www
    restrict all pass local pass

Параметры конфигурации данного сервиса означают следующее:

lookup-delay 60 : просматриваем потоки данных от/к определённым в программе юнитам раз в 60 секунд. Если подошло время сбрасывать статистику в базу, сбрасываем и обнуляем счётчики.
flow-lifetime 300 : время жизни данных в потоке для юнита . После указанного числа секунд данные отправляются в базу, а поток обнуляется. Чем чаще это действие, тем быстрее растёт база данных.
policy ...: задаём политики с именем intranet, www, sendmail, popimap, в которым будет вестись статистика только для тех юнитов, которым мы укажем эти политики.
auto-units ...: указываем, что у нас будут автоматически создаваемые юниты (юнит - это хост, сеть ,пользователь... для которого ведётся учёт или фильтрация). Поскольку задача, которую я решаю, рассчитана на большое количество хостов в сети, мне лень описывать каждый. Эта фишка программы (auto-units) как раз и предназначена для того, чтобы не мучаться с описанием каждого хоста.
unit ...: описание объекта, для которого будет вестись учёт. В данном случае это хосты сети. При первом прохождении пакета на данный хост будет создана запись для юнита-описателя данного хоста, поскольку мы используем здесь режимauto-units. Предположим, что прошёл пакет на хост 192.168.0.5. Название этот юнит получит mynet_192.168.0.5. В этой же строке мы указали политики учёта трафика - intranet, www, sendmail, popimap, которые будут учитывать входящий и исходящий трафик суммарно по портам, указанным в политиках.
Для хоста 192.168.1.200 организуем отдельный сбор статистики. Он так и будет присутствовать с отдельным именем SPEC в отчётах.
restrict all pass local pass: означает, что все пакеты для юнитов, которые в конфигурации не определены (all) будем пропускать и все пакеты для определённых в конфигурации юнитов (local) тоже будем пропускать.

Описываем сервис storage (место хранения статистики):

service storage 1
    type postgres
    user root
    password 1111
    host 127.0.0.1
    dbname root
    port 5432

Описываем сервис data-source (источник трафика):

    service data-source 1
    type ip-traffic
    source ipq
    rule 1 "INPUT -j QUEUE"
    rule 2 "OUTPUT -j QUEUE"
    rule 3 "FORWARD -j QUEUE"

Для разных ОС есть разные способы получения трафика из ядра. Для Linux с iptables/netfilter должен быть указан именно этот тип.
У нас должен быть запущен сервис iptables. В случае падения программы netams вся сеть придёт в нерабочее состояние, поскольку не будет программы, которая забирает из QUEUE пакеты и отдаёт их обратно. На этот случай я у себя предусмотрел проверку по cron-у наличия активной netams и очистку правил QUEUE в случае отсутствия программы.

Описываем сервис html - генерацию html-отчётов:

    service html 1
    path /var/www/apache2/netams
    run 5min
    client-pages all

Ну тут неплохо бы иметь сконфигурированный и запущенный веб-сервер, через который пользователи могли бы смотреть отчёты NetAMS.

Настройка iptables

У вас должен быть запущен сервис iptables.

Ядро должно поддерживать QUEUE и у вас должна без проблем отработать команда:
modprobe ip_queue

Иначе посмотрите, может быть у вас этот ядерный модуль лежит в каком-то неустановленном пакете или надо воспользоваться другим ядром.

Результат:

После того, как вы настроете и запустите netams (service netams start) вы сможете посмотреть в броузере результат.