FAQ - Анализ трафика и управление сетью

Экспортер NetFlow - это маршрутизатор, коммутатор или специализированное ПО, которые собирают трафик, проходящий через сеть/интерфейс и экспортируют его в другой компьютер/устройство, т.е. в собственно коллектор для сохранения и анализа.

Если мое оборудование не поддерживает NetFlow, могу ли я использовать дополнительные устройства или ПО?

Не все маршрутизаторы и коммутаторы поддерживают NetFlow. В этом случае есть несколько альтернатив:

Использовать программный экспортер на зеркальном или span-порту коммутатора. Если у вас управляемый коммутатор, то обычно вы можете сконфигурировать его отправлять весь трафик в span или зеркальный порт. Подключив программный экспортер к этому порту, вы сможете затем перенаправлять записи потоков в коллектор NetFlow.
Использовать программный экспортер, подключенный к порту хаба. Даже если вы имеете неуправляемый коммутатор, вы все равно имеете возможность контролировать NetFlow? поместив обычный хаб (не коммутатор) в линию, трафик которой вы хотите анализировать. Хаб будет пропускать весь трафик в программный экспортер и т.д., как описано выше.
Использовать sFlow. Многие производители маршрутизаторов и коммутаторов (такие, как HP, Foundry, Extreme, Force10 и т.п.) вместо поддержки NetFlow поддерживают протокол sFlow. Это оборудование пересылает копию заголовка пакетов one-in-N в коллектор sFlow, который затем осуществляет те же процедуры, что и коллектор NetFlow.

Как работают экспортер и коллектор NetFlow?

Экспортер NetFlow проверяет каждый пакет трафика, проходящий через него. Затем категоризует его согласно определенным критериям и обновляет внутренний кэш, который содержит данные, которые соответствуют каждому потоку. Время от времени экспортер отправляет (экспортирует) текущий набор записей потоков в коллектор NetFlow и очищает кэш.

Как много полосы пропускания "отъедает" NetFlow?

Краткий ответ гласит: немного. Коммутатор или маршрутизатор суммирует информацию о потоках и, как правило, отсылает данные о потоках каждые 60 или 120 секунд (это настраивается).
Более подробнее, вы можете узнать на сайте компании Lancope, где есть NetFlow Bandwidth Calculator.

Как настроить маршрутизатор, чтобы он перенаправлял NetFlow по двум адресам?

Дважды наберите команду "ip flow-export destination":

router-name# ip flow-export destination 10.1.1.8 2055
router-name# ip flow-export destination 10.1.1.9 2055

Версия 9 является обратно совместимой?

Version 9 is not backward-compatible with Version 5 or Version 8. If you need Version 5 or Version 8, then you must configure Version 5 or Version 8.

Версия 9 не является обратно совместимой с версией 5 или версией 8. Если вам необходима v5 или v8, то вы должны сконфигурировать v5 или v8.

Как NetFlow v9 влияет на производительность?

Версия 9 немного уменьшает общую производительность, поскольку генерация и поддержка правильных шаблонных наборов потоков требует дополнительной мощности процессора.

Какую полосу пропускания использует sFlow?

В типичной конфигурации трафик sFlow составляет менее 0,1% полосы пропускания сети. Эту цифру можно использовать в качестве базы для расчета загрузки сети в специфических сетевых конфигурациях.

Как настроить JFlow на маршрутизаторе Juniper?

Точные команды для конфигурирования JFlow несколько отличаются в зависисмости от продуктов и версии ОС. Поэтому лучше всего обратиться непосредственно на сайт производителя. Здесь мы приводим только примерную конфигурацию:

core-rtr-1-re1> show configuration forwarding-options
sampling {
    input {
        family inet {
            rate 100;
            max-packets-per-second 7000;
        }
    }
    output {
        cflowd 140.221.135.130 {
            port 9985;
            source-address 140.221.250.127;
            version 5;
            no-local-dump;
            autonomous-system-type origin;
        }
    }
}
hash-key {
    family inet {
        layer-3;
        layer-4;
    }
}

Как настроить sFlow на маршрутизаторе Juniper?

Правильнее было бы обратиться с этим вопросом непосредственно на сайт производителя. Но в качестве первичной информации, можете использовать следующую примерную конфигурацию:

    sflow {
        polling-interval 30;
        sample-rate 100;
        collector 10.0.0.81 {
            udp-port 6343;
        }
        collector 10.1.2.20 {
            udp-port 6343;
        }
        interfaces ge-0/0/0.0;
        interfaces ge-0/0/1.0;
        interfaces ge-0/0/2.0;
        interfaces ge-0/0/3.0;
        interfaces ge-0/0/4.0;
        interfaces ge-0/0/5.0;
        interfaces ge-0/0/6.0;
        interfaces ge-0/0/7.0;
        interfaces ge-0/0/8.0;
        interfaces ge-0/0/9.0;
        interfaces ge-0/0/10.0;
        interfaces ge-0/0/11.0;
        interfaces ge-0/0/12.0;
        interfaces ge-0/0/13.0;
        interfaces ge-0/0/14.0;
        interfaces ge-0/0/15.0;
        interfaces ge-0/0/16.0;
        interfaces ge-0/0/17.0;
        interfaces ge-0/0/18.0;
        interfaces ge-0/0/19.0;
        interfaces ge-0/0/20.0;
        interfaces ge-0/0/21.0;
        interfaces ge-0/0/22.0;
        interfaces ge-0/0/23.0 {
            polling-interval 30;
            sample-rate 200;
        }
    }

Как настроить sFlow на маршрутизаторе Juniper?

Как настроить JFlow на маршрутизаторе Juniper?

Поддержка идентификации приложений в системах экспорта NetFlow работает в Cisco, SonicWall, Exinda. Где еще?

Сейчас уже несколько систем поддерживает этот функционал родом из систем класса Deep Packet Inspection. Упомянем лишь некоторые:

Lancope FlowSensor
Blue Coat PacketShaper
Palo Alto Networks
Mcafee NTBA
nProbe от www.ravica.com (США) и www.ntop.org (Европа)
YAF (Yet Another Flowmeter), система генерации потоков на основе open-source

Как специалисты Cisco используют NetFlow, чтобы улучшить планирование емкости сети?

Специалисты Сisco постоянно занимаются разработкой методик, позволяющих улучшить планирование емкости сети. При этом используются технологии NetFlow и некоторые внешние решения (например, Lancope StealthWatch), позволяющие собирать и анализировать сетевой трафик. Это дает следующие преимущества:

Специалисты по планированию емкости всегда могут при необходимости изменять полосу пропускания для конкретных задач, основываясь на информации, получаемой в реальном времени.
IT могут выставлять приоритеты и управлять внедрением таким образом, чтобы предоставлять полосу пропускания прежде, чем начнет падать производительность.

Более подробно см. Case Study на сайте Cisco.

Каким образом мы можем контролировать данные QoS с помощью NetFlow?

NetFlow может мониторить установки TOS, т.е. как маркируется трафик. И лучше всего использовать мониторинг выходящего (egress) трафика, поскольку, если ваше устройство маркирует трафик, вы не увидите это, использую входящий (ingress) трафик.
Если вам необходима статистика QoS, то вам следует использовать SNMP. Например, вы можете мониторить Cisco через CBQoS MIBS. Вы так сможете получить информацию о использовании полосы пропускания, падениях и т.п., но не о том, какие протоколы были использованы при этом, это - через мониторинг NetFlow.

Чем отличаются "ip flow ingress" и "ip route-cache flow"?

"ip route-cache flow" может использоваться только для основного интерфейса, а "ip flow ingress" - это расширение для использования для субинтерфесов.
Функционал NetFlow Subinterface Support позволяет включать NetFlow для каждого субинтерфейса. В сценарии, когда ваша сеть содержит тысячи субинтерфейсов, а вам необходимо собирать записи только с некоторых, вы можете тонко настроить сбор информации только с определенных субинтерфейсов. В результате - более низкие требования к полосе пропускания для NetFlow Data Export (NDE) и коллекторам.

С помощью NetFlow Subinterface Support вы можете включать NetFlow на выбранных субинтерфейсах, используя команду ip flow ingress. Если вы сконфигурирует команду ip flow ingress на нескольких субинтерфейсах, а затем выполните команду ip route-cache flow на основном интерфейсе, эта команда перекроет ip flow ingress и сбор данных начнется с основного интерфейса и со всех субинтерфейсов.

В сценарии, в котором конфигурируется команда ip flow ingress на нескольких субинтерфейсах, а затем выполняется команда ip route-cache flow на основном интерфейсе, вы можете восстановить сбор данных на субинтерфейсах. используя команду no ip route-cache flow. Такая схема выключитсбор данных с основного интерфейса и восстановит его на субинтерфейсах, которые вы ранее сконфигурировали командой ip flow ingress.

Как включить netflow в Cisco 3550 или Cisco 3750?

Cisco не поддерживает NetFlow на следующих устройствах:

Cisco 2900
Cisco 3500
Cisco 3750

В качестве альтернативы вы можете использовать пробы FlowMon. Эти пробы захватывают весь трафик, проходящий через линию. Основное достоинство подобного пробы, это возможность анализировать каждый пакет на скорости линии до 100 Гбит/с, он невидим на слоях L2/L3 b может подключаться в любой точке сети. Он подключается тремя способами: ерез зеркальный порт (SPAN), через сплиттер Ethernet (TAP) или встроенный сплиттер.
Еще более подходящий способ - это использовать Lancope StealthWatch, позволяющий просматривать и анализировать весь трафик сети практически на любой скорости последней. Это пожалуй сегодня самый эффективный метод, в том числе и с точки зрения стоимости. См. описание или на сайте дистрибутора этих систем в России компании Web Control.

Можно ли использовать интерфейс vrf как источник NetFlow-пакетов?

NetFlow VRF Export:
- Разрешает экспорт записей потоков в VRF.
- Возможен как SCTP-, так и UDP-экспорт.

Router(config)# ip flow-export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>
Router(config-flow-cache)# export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>

testvrf - наименование VRF.

Существует ли IPFIX-сенсор на базе open source?

Для этой цели может использоваться LInEX (Lightweight Information Export), pmacct,работающий как с NetFlow так и с IPFIX, и libipfix.
Есть еще YAF(yet another Flowmeter), который уже имеет отзывы по своему внедрению. См. tools.netsa.cert.org/yaf.

Что такое таблица емкости netflow у Cisco?

Когда таблица заполнена, никакой статистики потоков получить не удастся. Если заполнение таблицы NetFlow превышает рекомендованные значения, увеличивается возможность, что не будет достаточно места для сохранения статистики. Ниже приведены эти рекомендованные значения.

PFC	Рекомендованное значение заполнения таблицы NetFlow	Полная емкость таблицы NetFlow
PFC3BXL	235,520 (230 K) entries	262,144 (256 K) entries
PFC3B	117,760 (115 K) entries	131,072 (128 K) entries
PFC3A	65,536 (64 K) entries	131,072 (128 K) entries
PFC2	32,768 (32 K) entries	131,072 (128 K) entries

Для того, чтобы контролировать использование таблицы в процессоре коммутатора и DFC, используйте команду mls netflow usage notify. Если такой контроль включен и заполнение таблицы превысит рекомендованное значение, появится предупреждающее сообщение. Вот форма команды:

mls netflow usage notify {threshold interval}

где threshold - пороговое значение в процентах, по превышении которого появляется предупреждающее сообщение, значения могут быть в диапазоне от 20 до 100%; а interval определяет частоту, с которой будет проверяться использование таблицы NetFlow, значения могут быть в диапазоне от 120 до 1000000 секунд.

Информация BGP Next Hop в NetFlow

Традиционный NetFlow передает информацию IP Next Hop, которая может использоваться для обеспечения полной прозрачности путей прохождения потоков данных. Функция NetFlow BGP Next Hop (NetFlow Border Gateway Protocol Next Hop) добавляет информацию BGP Next Hop в экспортируемые данные. Функция позволяет сервис-провайдерам отслеживать чей (какого провайдера) трафик проходит по определеному пути, что полезно, если существуют договоренности между различными сервис-провайдерами о доставке трафика без потерь и задержек. Это позволяет провайдерам также оценивать трафик попакетно в случаях, когда доставка трафика осуществялется по дорогостоящему маршруту, например при использовании трансатлантических линий.
При использовании этой функции в каждую запись потока добавляется 16 байтов информации. Это, соответственно, увеличивает требования к используемой памяти.
При этом, поскольку эта информация считывается единожды для потока, влияние включения этой функции на производительность является минимальной.

Как экспортировать MAC-адреса в NetFlow?

Экспорт MAC-адресов

Для того, чтобы экспортировать MAC-адреса в NetFlow, добавьте следующее в вашей записи Flexible NetFlow:

collect datalink mac source address input
collect datalink mac destination address input

Flexible NetFlow - это технология, в которой вы можете сами создавать поля для мониторинга производительности в таких областях, как видео, VoIP, Skype.

Как перейти с NetFlow на Flexible NetFlow?

Переход на Flexible NetFlow с обычного NetFlow это достаточно простой процесс, а для некоторых и очень интересный. Интересный, поскольку появляется возможность осуществлять более глубокий мониторинг сетевого трафика.
Вот 5 шагов, как можно это сделать:
1. Определитесь, какие приложения вы хотите контролировать. Например, вы хотите измерять производительность таких облачных сервисов, как Salesforce.com, Skype, или таких приложений, как SAP.
2. Решите, какие метрики вы хотите экспортировать. Flexible NetFlow может экспортировать MAC-адреса, детали VLAN и, в зависимости от вашего оборудования, вы можете экспортировать полные пакеты, Cisco TrustSec, CoS, Jitter, потери пакетов, TCP-задержку, детали NAT, NBAR, IP SLA и т.п.

3. Убедитесь, что у вас установлена соответствующая версия IOS. Необходима версия Cisco IOS 15.2(2)T или более поздняя, которая поддерживает экспорт Flexible NetFlow и обеспечивает Cisco NBAR и Cisco Medianet Performance Monitoring.

4. Отключите традиционный NetFlow на маршрутизаторе и удалите все соответствующие команды с него. И теперь постарайтесь забыть о том, как включать NetFlow. Команды типа ip route-cache flow теперь работать не будут.
5. Инсталлируйте Flexible NetFlow.

Обратите внимание, что если вы выполните п.5 до п.4, у вас будет дублироваться экспорт потоков. Это, помимо всего прочего, может вызвать проблемы при мониторинге безопасности.

Есть ли разница между форматами экспорта J-Flow и NetFlow?

Вопрос: От начинающего. Правда ли, что NetFlow v5=J-Flow v5, NetFlow v9=J-Flow v9? Нигде не нашел точное определение, даже в документах Juniper.
Ответ: J-Flow - это то же самое, что NetFlow, хотя, как это не странно, Juniper нигде это толком не объясняет.

Как экспортировать MAC-адреса с помощью Flexible NetFlow?

Информация Layer 2 очень полезна при контроле сети. Зная MAC, вы можете проследить поток до конкретного устройства, например, когда вы имеете сдублированные IP в сети. Это часто означает, что решение проблемы происходит за минуты, а не часы.

MAC-адрес места назначения

Когда вы не должны...
Во-первых, глупо заниматься экспортом MAC-адресов, пока не сконфигурированы граничные устройства. Маршрутизаторы удаляют оригинальный MAC и заменяют его своим, когда маршрутизируют пакет. Если маршрутизатор подключен только к другим маршрутизаторам или файерволам, вы увидите только один MAC для всех IP, приходящих на интерфейс. Это примерно 10-40 бесполезных байтов на поток, которые должны быть сохранены в коллекторе. Во-вторых, последовательный интерфейс не имеет MAC. Если вы конфигурируете последовательный интерфейс для экспорта запись NetFlow с MAC, то он вам пошлет 00:00:00:00:00 (должен же он что-то послать).

Когда вы должны...
В конфигурации Flexible NetFlow в должны указать, какие MAC вы хотите отослать для потока. При сборе записи вашего потока, вы можете запросить маршрутизатор о MAC-адресах отправителя и приемника. Необходимо понимать, как конфигурация работает с Flexible NetFlow.

Вот ваши опции для экспорта MAC-адресов при помощи NetFlow:

   collect datalink mac source address input
   !Экспорт MAC-адреса источника при входе в роутер
   collect datalink mac destination address input
   !Экспорт MAC-адреса приемника при входе в роутер
   collect datalink mac source address output
   !Экспорт MAC-адреса источника, при выходе из роутера (это будет MAC-адрес интерфейса роутера)
   collect datalink mac destination address output
   !Экспорт MAC-адреса приемника при выходе из роутера

Хороший, плохой и злой
Ниже приведен пример входных и выходных MAC-адресов источника, экспортированных из Cisco 2800 (IOS v15.1):

Обратите внимание, что postSourceMacAddress одинаков для всех IP-адресов источника. Это именно потому, что это MAC-адрес роутера. Потоки, которые идут в никуда, получили адрес 00:00:00:00:00. sourceMacAddress показывает уникальные MAC-адреса, поскольку эти устройства находятся в той же сети, как и шлюзовой роутер. В приведенном выше примере больший смысл имеет использование "входящие" MAC, поскольку это действительные MAC-адреса устройств в сети.

Не только Cisco
Кроме Cisco и другие вендоры стараются использовать новые идеи, взятые из таблицы Flexible NetFlow / IPFIX. Enterasys, SonicWall, nProbe и Juniper также экспортируют MAC-адреса.

Источник: www.bradreese.com

Конфигурирование NetFlow. Quick Start Summary для команд Cisco

Основные команды NetFlow:

Включить на каждом интерфейсе (за исключением случаев, когда вы используете CEF с дополнительной картой NetFlow):

ip route-cache flow

Общие команды

ip cef
ip flow-export source Loopback0
ip flow-export version [5/7/9]
ip flow-cache timeout inactive 15
ip flow-cache timeout active 1
snmp-server ifindex persist
ip flow-export destination 2055

Замечание: Loopback0 может быть изменен на другой интерфейс, такой ка fastethernet0/0, нолучше выбирать интерфейс, который постоянно имеет один и тот же IP-адрес.

Замечание: Если требуется AS, то ip flow export должен включать или peer-as, или origin-as. origin-as существенно увеличит долговременн сбор данных.

ip flow-export version [5/7/9] [peer-as | origin-as]

Дополнительные опции

ip flow ingress infer-fields

Если IP-адрес источника и IP-адрес приемника не видны в IP Flow, то
* Пакеты блокируются ACL.
* Пакеты находятся в процессе переключения
* Трафик Multicast
* Туннель (IPIP, GRE, IPSEC, L2TP) & WCCP
* Статическая маршрутизация в null0
* DstIf равен NULL, когда трафик прерывается из-за CAR.

Для того, чтобы избежать этого, используйте командуip flow ingress infer-fields command.

Если потоки на субинтерфейсах должны проверяться, то используется два варианта:

1. Сконфигурируйте ip route-cache flow на основном интерфейсе. Таким образом будут отсылаться потоки со всех субинтерфейсов.
2. Сконфигурируйте ip flow ingress на субинтерфейсах, если основной интерфейс не может быть сконфигурирован для использования netflow. Таким образом потоки будут отсылаться с каждого субинтерфейса, на котором включена команда ip flow ingress.

Когда запускаете NetFlow на Cisco 7600 switches в режиме native

mls nde sender version 5
mls flow ip interface-full
mls aging long 64
ip flow-export source Loopback0
ip flow-export version [5/7/9]
ip flow-export destination [DigiToll IP| NetFlow Auditor IP] 2055
snmp-server ifindex persist

Конфигурация программной платформы

Ниже приведен пример базовой конфигурации NetFlow на маршрутизаторе. NetFlow конфигурируется на каждом интерфейсе., в этом случае потоки IP-пакетов будут захватываться в кэш NetFlow. Кроме того, NetFlow конфигурируется для экспорта в коллектор, если он присутствует в системе.

1. Конфигурирование интерфейса для захвата пакетов в кэш NetFlow.

Router(config)# ip cef
Router(config)# interface ethernet 1/0 .
Router(config-if)# ip flow ingress
Или
Router(config-if)# ip route-cache flow

Замечание: Могут использоваться команды и ip flow ingress, и ip route-cache flow, это зависит от версии Cisco IOS. Ip flow ingress используется начиная с Cisco IOS Software Release 12.2(15)T или выше.

2. Этот шаг используется, если кэш NetFlow экспортируется в сервер отчетности. Выбирается версия или формат экспортируемых пакетов NetFlow export packet и затем определяется IP-адрес направления на сервер экспорта.

Router(config)# ip flow-export version [1|5|7|9]
Router(config)# ip flow-export destination 2055

Как использовать Ingress NetFlow и Egress NetFlow?

Вы рассматриваете конфигурацию экспорта NetFlow с выходящими (egress) потоками? А знаете ли вы, почему вам следует или не следует экспортировать выходные потоки?
Большинство из нас экспортирует NetFlow v5, который поддерживает только входящие потоки. Это означает, что трафик, приходящий на интерфейс, контролируется и экспортируется в датаграммы NetFlow. А что с трафиком, который выходит из интерфейса? А вот он не контролируется с помощью NetFlow v5.
Большинство производителей контролируют входящие потоки на приемном интерфейсе. При этом, используя эту информацию, вы можете определить выходную утилизацию на любом интерфейсе, если (это важно!) вы включили NetFlow на всех интерфейсах коммутатора или маршрутизатора.
Давайте рассмотрим ситуацию, когда NetFlow включен на интерфейсах 1 и 2 из трех интерфейсов маршрутизатора. Трафик, приходящий на интерфейс 3, который является приемником для интерфейсов 1 и 2, будет исчезать, когда анализатор NetFlow будет рассчитывать выходную утилизацию этих интерфейсов. Если коротко, когда вы используете NetFlow v5 или v9 (только входные потоки), при включении NetFlow на всех интерфейсах, выходящая утилизация на любом интерфейсе рассчитывается с помощью входящих потоков на других интерфейсах. Очень многие системы отчетности на базе NetFlow работают таким образом.

Зачем включать Egress NetFlow?
NetFlow v9 поддерживает и входящий (ingress) и выходящий (egress) NetFlow. В большинстве инсталляций входящие потоки, включенные на всех интерфейсах маршрутизатора или коммутатора, предоставляют вам информацию, в которой вы нуждаетесь. Но есть несколько причин использовать выходящие потоки:

В среде WAN с сжатием (Cisco WAAS, Riverbed, и др.) нам необходимо видеть трафик после сжатия. Используя входящие потоки вы неправильно определите выходную утилизацию на интерфейсе WAN. А вот выходные потоки будут учитываться уже после сжатия.
В среде multicast входные потоки в качестве принимающего интерфейса имеют 0, поскольку роутер не знает, какой интерфейс их будет принимать, пока не будут обработаны датаграммы. Экспортируя выходящие потоки мы знаем приемные интерфейсы и, как результат, множество потоков будет экспортироваться, если потоки будут направлены на множество интерфейсов.
Когда NetFlow экспортируется только с одного интерфейса маршрутизатора или коммутатора. Включив оба режима на интерфейсе, вы обеспечиваете возможность экспорта в датаграмму и входных и выходных потоков.

Хороший анализатор NetFlow должен учитывать выходящие потоки при расчете выходной утилизации. Если он обнаруживает включенные выходные потоки на интерфейсе, то должен их использовать. Если же функция выходящих потоков отключена, он должен рассчитывать выходную утилизацию на базе входных потоков с других интерфейсов.

Включение Ingress и Egress
Ниже приведены команды для конфигурировании маршрутизатора Cisco для включения ingress- и egress-потоков:

   Router > enable
   Router#: configure terminal
   ! Посылаем NetFlow на коллектор
   Router(config)# ip flow-export destination 10.1.1.1
   ! Посылаем NetFlow на 2-й коллектор
   Router(config)# ip flow-export destination 10.1.1.2
   ! Вам надо установить параметры Flexible NetFlow для экспорта в более, чем два приемника
   ! Используем NetFlow v9, поскольку NetFlow v5 не поддерживает egress NetFlow
   Router(config)# ip flow-export version 9
   ! Суммируем и экспортируем долгоживущие потоки каждую минуту
   Router(config)# ip flow-cache timeout active 1
   ! Экспортируем потоки, которые бездействуют 15 секунд и более
   Router(config)# ip flow-cache timeout inactive 15
   ! Экспортируем NetFlow с интерфейса, конфигурированного как loopback.
   Router(config)# ip flow-export source loopback 0
   ! Включаем NetFlow на каждом интерфейсе, который нам нужен
   ! Конфигурируем первый интерфейс
   Router(config)# interface Ethernet 0/0
   Router(config-if)# ip flow ingress
   Router(config-if)# ip flow egress
   Router(config-if)# exit
   ! Меняем следующий интерфейс
   Router(config)# interface Ethernet 0/1
   Router(config-if)# ip flow ingress
   Router(config-if)# ip flow egress
   Router(config-if)# exit
   ! Сохраните это в памяти, если вы хотите потом использовать эту конфигурацию

Ingress, Egress или оба
Используя командный интерфейс Cisco вы можете набрать следующие команды, чтобы увидеть включены или не включены igress и engress.

Также и система отчетности на базе NetFlow должна вам сказать, включены на интерфейсе ingress и egress или нет.

Контролируете направление
Вы можете определить направление, поскольку NetFlow v9 экспортирует поле Direction по умолчанию и это говорит нам о том, какой это поток (ingress или egress). В Flexible NetFlow, который базируется на NetFlow v9, поле Direction не экспортируется по умолчание.
Если система анализа NetFlow не умеет толком обращаться с входными и выходными потоками, то можно будет существенно ошибаться в значении выходной утилизации и пропускной способности.

Двунаправленные потоки
Хотя такие пока мы наблюдали только на Cisco ASA, двунаправленные потоки - вещь интересная. В традиционном NetFlow поток из А в Б как правило создаст второй поток из Б в А. С двунаправленным NetFlow, когда при создании потока А->Б начинается обмен, в кэше роутера записывается только один поток. Затем, когда появляется поток Б->А, в поток A->Б добавляются байты, а вторая запись не создается.

Как контролировать производительность кластера Hadoop с помощью sFlow?

Hadoop - программное обеспечение класса open source для хранения и обработки больших наборов данных, используя кластер серверов. Здесь мы покажем, как с помощью агентов sFlow можно контролировать производительность такого кластера.
Для начала инсталлируем Host sFlow на каждом узле кластера Hadoop (см. пример инсталляции Host sFlow на сервере Linux). Эти агенты экспортируют стандартную статистику о процессоре, памяти, диске и сети. В нашем случае агент Host sFlow будет инсталлироваться на виртуальную машину Cloudera.
Поскольку Hadoop работает на Java, следующий шаг включает в себя инсталляцию и конфигурирование Java-агента sFlow (см. Java Virtual machine). В этом случае виртуальные машины Hadoop конфигурируются в файле /etc/hadoop/conf/hadoop-env.sh. Нижеприведенный фрагмент из этого файла показывает дополнительные команды, необходимые для мониторинга Hadoop-демонов:

# Командные опции, добавляемые в HADOOP_OPTS
export HADOOP_NAMENODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow.
hostname=hadoop.namenode -Dsflow.dsindex=65536 -Dcom.sun.management.jmxremote $H
ADOOP_NAMENODE_OPTS"
export HADOOP_SECONDARYNAMENODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar
-Dsflow.hostname=hadoop.secondarynamenode -Dsflow.dsindex=65537 -Dcom.sun.manag
ement.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS"
export HADOOP_DATANODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow.
hostname=hadoop.datanode -Dsflow.dsindex=65538 -Dcom.sun.management.jmxremote $H
ADOOP_DATANODE_OPTS"
export HADOOP_BALANCER_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow.
hostname=hadoop.balancer -Dsflow.dsindex=65539 -Dcom.sun.management.jmxremote $H
ADOOP_BALANCER_OPTS"
export HADOOP_JOBTRACKER_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflo
w.hostname=hadoop.jobtracker -Dsflow.dsindex=65540 -Dcom.sun.management.jmxremote
$HADOOP_JOBTRACKER_OPTS"

Замечание: Файл sflowagent.jar помещается в директорию /etc/hadoop/conf. Каждый демон (daemon) описывается значением sflow.hostname , соответствующим имени демона. Кроме того, уникальное значение sflow.dsindex должно быть присвоено каждому демону - значения индекса должны быть уникальными только для отдельного сервера, а в целом серверы в кластере могут использовать те же конфигурационные установки.
Агенты Host sFlow и Java sFlow совместно используют конфигурацию (см. распределенный агент Host sFlow), упрощая тем самым задачу конфигурации мониторинга sFlow для каждого сервера по всему кластеру.

Замечание: Если вы используете систему мониторинга Ganglia, то вам необходимо установить multiple_jvm_instances = yes, поскольку на каждом сервере работают более одного демона Java (см. использование Ganglia для мониторинга виртуальных машин Java).

И, наконец, Hadoop чувствителен к сетевым перегрузкам и генерирует большие объемы трафика. К счастью, большинство производителей коммутаторов поддерживают стандарт sFlow. Комбинируя sFlow от серверов Hadoop с sFlow с коммутаторов, можно получить полную информацию о производительности кластера Hadoop.

Как должна быть настроена система хранения, чтобы не замедлять работу коллектора NetFlow?

Подробную информацию смотрите в нашем блоге здесь.

Как собирать NetFlow с Cisco Catalyst 2950?

Catalyst 2950 / 2960 - один из наиболее популярных коммутаторов, производимых Cisco. Хотя это устройство и не поддерживает NetFlow само по себе, вы можете использовать для этой цели NetFlow-зонд (probe).

Есть несколько вариантов такого зонда:
   • Softflowd. Работает под Linux и бесплатен. Ограничивается экспортом NetFlow 5 и экспортирует интерфейсы как "0". Хороший, бесплатный инструмент, но не идеальный вариант.
   • nProbe. Работает под Windows и Linux и стоит 695 USD. Может собирать отличные данные по задержке, URL, джиттеру, потерям пакетов, кодекам и т.п. Отличный зонд, поддерживает как NetFlow, так и IPFIX.
   • Cisco NGA 3140. Нам не очень знаком, но, в конце концов, ведь Cisco придумала NetFlow, поэтому просто должен быть неплохим. Экспортирует обычный NetFlow и поддерживает IPFIX.

ЕИзвестно, что поддержка NetFlow в Catalyst 3750-X, рекламируемая Cisco, предназначена для Smart Logging Telemetry, уникальной технологией экспорта NetFlow, которая пересылает информацию о событиях (т.е. сортирует по типу syslogs) и захватывает пакеты. Тем не менее вы можете экспортировать и традиционный NetFlow из этого коммутатора, если вы приобрели модуль C3KX. Этот модуль обеспечивает поддержку NetFlow на uplink. 3750-Х и 3560-Х - оба работают с C3KX.
Сбор NetFlow с C3KX или зонда не только позволяет лучше осуществлять мониторинг трафика, но и позволяет обнаруживать угрозы безопасности. Как это осуществляется с помощью анализа потоков, можно понять, ознакомившись, например, с работой Lancope StealthWatch.

Как экспортировать NetFlow с файервола PfSense?

PfSense - один из наиболее популярных файерволов класса open source. Он включает в себя длинный список дополнительных функций и дополнений, позволяющих значительно расширить его возможности. Одно из таких дополнений называется pfflowd. Оно конвертирует сообщения OpenDSD PF в датаграммы NetFlow и позволяет экспортировать их во внешний коллектор. Инсталляция этого дополнения очень простая и занимает мало времени. Просто перейдите по меню в System > Packages > Available Packages, и поставьте крестик справа от pfflowd для того, чтобы была проведена установка дополнения.

После установки вы можете найти опции конфигурации по адресу: Services > pfflowd. В этом пункте меню вам надо установить host IP, изменить версию NetFlow на 5, после этого NetFlow может экспортироваться в коллектор.

Обнаружение угроз при помощи NetFlow

Может ли метод обнаружения угроз при помощи NetFlow стать основным оружием для большинства Интернет-угроз?
Этот метод позволяет создать еще один слой обнаружения угроз и атак, но, тем не менее, он не может являться основным решением обеспечения безопасности сети. Хотя сбор информации NetFlow и IPFIX и позволяет обнаруживать нестандартный трафик, современные системы защиты сегодня в основном полагаются на технологии deep packet inspection и учета IP-репутации в качестве первой линии обороны.

Не все угрозы не определяются при помощи NetFlow

Хотя NetFlow и может использоваться для определения некоторых угроз безопасности, определенные ограничения этой технологии не позволяют полностью полагаться на нее. Определение угроз (определение аномалий поведения трафика) осуществляется на основе использования шаблонов потоков и базовых характеристик. Хотя это позволяет эффективно определять отдельные угрозы, многие атаки могут не регистрироваться даже при использовании самого изощренного анализа NetFlow.
Вот какой пример приводит Лори Маквитти, специалист компании F5 Network: "Рассмотрим атаку типа http fragmentation. В этом случае атакующий устанавливает нормальное http-соединение с веб-сервером. Затем он разделяет обычные http-пакеты на небольшие фрагменты, отсылая каждый фрагмент так медленно, насколько позволяет таймаут сервера, сохраняя http-соединение очень долго и не вызывая никаких сообщений системы защиты".
NetFlow, как правило, будет экспортировать все эти индивидуальные пакеты в едином потоке, что не позволит системе анализа трафика определить аномалию.
Маквитти продолжает: "Атакующий создает множество http-запросов, не создавая их один за другим в процессе одной сессии, а формируя единый пакет, встроенный во многие запросы. Это позволяет ему поддерживать высокий уровень загрузки на сервер-жертву с низкой скоростью передачи атакующих пакетов. Такая низкая скорость делает атакующего практически невидимым для технологий определения аномалий на базе NetFlow".

Как используется NetFlow для обнаружения атак?

На практике NetFlow часто используется для анализа сигнала об атаке, определяемой системой класса IPS. NetFlow может сообщить нам, какой компьютер находится на связи в момент атаки, какие приложения или порты используются и как долго продолжается такая опасная ситуация. Именно для использования в таких целях очень хорош анализатор NetFlow.

Обнаружение атак при помощи NetFlow

Обнаружение атак при помощи этого метода очень хорош для атак типа DDoS, FIN, XMAS или сканирование RST/ASK. На сегодняшний день этого вполне достаточно для обнаружения большинства аномалий трафика.

Репутация IP-адресов и NetFlow

Репутация IP-хостов - это та область, где NetFlow очень полезен. По мере того, как потоки поступают на коллектор NetFlow, адреса источника и приемника сравниваются с постоянно обновляемой базой "плохих адресов".

IPS (Intrusion Protection Systems) - все еще лучшая защита

Современные системы класса IPS являются лучшей защитой от внутренних и внешних угроз, поскольку они могут осуществлять глубокую инспекцию пакетов (deep packet inspection). Система на базе NetFlow (не считая таких технологий, как NetFlow-Lite и Smart Logging Telemetry) не экспортирует полный пакет. При этом мы теперь видим файерволы нового поколения, которые осуществляют глубокую инспекцию пакетов, при этом может экспортироваться детальная информация NetFlow или IPFIX. Вендоры, такие как Cisco, SonicWall, Lancope и Palo Alto Networks в своих продуктах экспортируют уже значительно больше информации, чем это возможно при помощи NetFlow v5. В частности, это имена пользователей, приложения (например, Skype, Webex, Flash и т.п.), URL, джиттер, задержка, syslogs (NSEL).
По словам Гэвина Райда, менеджера Cisco CSIRT: "IPS (или deep packet inspection) для нас это система защиты № 1, NetFlow очень близок и является № 2 (сейчас в версии 9 уже имеется ограниченная возможность глубокой инспекции пакетов). Если мы идентифицируем с помощью DPI (deep packet inspection) нарушение безопасности, то мы можем с помощью NetFlow определить, какой IP имеет доступ к хосту, когда он получил доступ к хосту, и что это хост делал, после того, как произошло это событие".

Итого

Эксперты сходятся в том, что анализ поведения трафика на базе NetFlow пока не может заменить существующие системы защиты. Основная защита все еще осуществляется оборудованием класса IPS благодаря ее функционалу глубокой инспекции пакетов. Обнаружение атак при помощи NetFlow является великолепной вторичной системой безопасности для детектирования таких угроз как DDoS, сканирование сети и отличным средством для исследования угроз, обнаруженных системами IPS.

Как анализ на базе sFlow может дополнить систему IDS/IPS?

Анализ экспортируемых данных sFlow позволяет получить дополнительную информацию, которая недоступна для технологии IDS/IPS.

Сравним эти технологии:

Классическая технология IDS/IPS	Технология NBA (Network Behavior Analysis, анализ сетевого поведения) на базе sFlow
Определение известных атак на основе сигнатур	Мониторинг в реальном времени поведения хостов и анализ трафика для идентификации угроз
Попакетное, линейное блокирование атак	Уменьшение с помощью сетевой инфраструктуры или интеграция с линейными устройствами
Чрезмерно дорого при скоростях свыше 1G	Нелимитированный мониторинг высокоскоростных сетей без дополнительных затрат
Недостаточно инструментов определения производительности сети для идентификации DoS и деятельности червей	Расширенные отчеты по производительности сети, включая информацию об основных пользователях, использовании интерфейсов и т.п.
Нет интеграции с системами идентификации	Полная информация об идентификации пользователей
Ограниченный обзор сети	Прозрачность сети из конца в конец
Практически везде внедренная технология	Инновационная технология, используемая пока только самыми продвинутыми пользователями

При всех этих достоинствах технология на базе sFlow (или NetFlow) пока не может целиком заменить системы IPS (подробнее см. здесь)

В чем преимущество использования технологии sFlow для сетевой безопасности?

Вы когда нибудь задавали себе вопрос: Что случится, если моя защита на уровне периметра не остановит внешнюю атаку? Как я узнаю, что что-то подобное произошло?
Ответить на эти вопросы сможет анализ на базе sFlow, обеспечивающий возможность полной видимости сети и фиксацию любой мало-мальски значимой активности в ней, включая:

неправильно сконфигурированные системы и устройства;
файловые серверы, "переустановленные" как веб-серверы;
неавторизованные приложения (например, P2P);
появление сетевых проблем.

Кроме того, sFlow может использоваться для сетевого мониторинга в очень широкой сфере:

мониторинг политик и аудита;
анализ сетевого трафика;
защита от угроз безопасности (деятельность инсайдеров, DDoS, инфектация червями и деятельность этих червей);
постоянный мониторинг уровня трафика приложений одновременно на всех интерфейсах.

Более подробно об этих преимуществах можно прочитать здесь.

В чем преимущества Lancope StealthWach перед конкурентными решениями?

В условиях роста числа и сложности интернет-атак многие производители начали включать в свои решения системы мониторинга безопасности на базе NetFlow. В этих условиях необходимо уточнить отличия Lancope StealthWatch, как системы существующей на этом рынке с 2000 года, от большинства новых решений, чтобы пользователи могли разобраться, что к чему.
Существует 10 основных показателей, в которых StealthWatch отличается от большинства решений мониторинга на базе потоков:
   1. StealthWatch - давно отлаженный, "устоявшийся" продукт, работающий уже 13 лет.
   2. В отличие от большинства потоковых технологий мониторинга, которые разрабатывались для контроля сетевой производительности, а функционал контроля безопасности был добавлен много позже, Lancope фокусировался на сетевой безопасности с первого дня.
   3. В отличие от других потоковых технологий, предназначенных в первую очередь для небольших сетевых сред, StealthWatch может очень эффективно и недорого масштабироваться до 120 000 потоков/сек (fps) на коллектор или до 3 млн. fps всего, и защищать даже большие сети.
   4. Благодаря комбинации потокового мониторинга и контроля на уровне пакетов, StealthWatch обеспечивает полную прозрачность всей сети, даже для таких сред, как виртуальные или сети 10G.
   5. В то время, как большинство систем сбора NetFlow обладают очень ограниченными возможностями анализа, StealthWatch использует мощный поведенческий анализ и функционал глубинного анализа, разработанный для эффективного обнаружения в реальном времени ботнетов, атак типа APT (advanced persistent threats), инсайдерских угроз и других аномалий.
   6. StealthWatch имеет продвинутый функционал, включающий способность получения информации о приложениях, идентификации, мобильных устройствах, а также автоматическая приоритезация устройств и упрощение разрешения проблем для широкого ранга сетевых проблем.
   7. В дополнение к улучшенным возможностям в области безопасности и производительности, StealthWatch может быть легко расширен для поддержки дополнительных функций, включая Help Desk, планирование емкости, анализ сетевого поведения и т.п.
   8. Компания Lancope имеет давно налаженное технологическое партнерство и продуктовую интеграцию с ведущими производителями сетевого оборудования и систем безопасности.
   9. StealthWatch может приобретаться как в аппаратной форме, так и в виде виртуального устройства, предоставляя пользователям гибкость выбора во внедрении и структуре обслуживания.
   10. Cisco, разработчик NetFlow, использует Lancope как компонент мониторинга на базе потоков для своего решения Cisco Cyber Threat Defense.

Полную информацию о возможностях StealthWatch для мониторинга безопасности можно найти по адресу http://www.lancope.com/solutions/security-operations/.

Чем отличается NetFlow от других анализаторов трафика типа MRTG?

MRTG и другие аналогичные инструменты используют информацию, которая в основном ограничена статистикой SNMP. NetFlow же предоставляет значительно больше деталей на уровне приложений, таких как хосты, протоколы, конверсации, которые являются неотъемлемой частью IP-трафика.

1-36 37-70