FAQ - Анализ трафика и управление сетью

"ip route-cache flow" может использоваться только для основного интерфейса, а "ip flow ingress" - это расширение для использования для субинтерфесов.
Функционал NetFlow Subinterface Support позволяет включать NetFlow для каждого субинтерфейса. В сценарии, когда ваша сеть содержит тысячи субинтерфейсов, а вам необходимо собирать записи только с некоторых, вы можете тонко настроить сбор информации только с определенных субинтерфейсов. В результате - более низкие требования к полосе пропускания для NetFlow Data Export (NDE) и коллекторам.

С помощью NetFlow Subinterface Support вы можете включать NetFlow на выбранных субинтерфейсах, используя команду ip flow ingress. Если вы сконфигурирует команду ip flow ingress на нескольких субинтерфейсах, а затем выполните команду ip route-cache flow на основном интерфейсе, эта команда перекроет ip flow ingress и сбор данных начнется с основного интерфейса и со всех субинтерфейсов.

В сценарии, в котором конфигурируется команда ip flow ingress на нескольких субинтерфейсах, а затем выполняется команда ip route-cache flow на основном интерфейсе, вы можете восстановить сбор данных на субинтерфейсах. используя команду no ip route-cache flow. Такая схема выключитсбор данных с основного интерфейса и восстановит его на субинтерфейсах, которые вы ранее сконфигурировали командой ip flow ingress.

Как включить netflow в Cisco 3550 или Cisco 3750?

Cisco не поддерживает NetFlow на следующих устройствах:

Cisco 2900
Cisco 3500
Cisco 3750

В качестве альтернативы вы можете использовать пробы FlowMon. Эти пробы захватывают весь трафик, проходящий через линию. Основное достоинство подобного пробы, это возможность анализировать каждый пакет на скорости линии до 100 Гбит/с, он невидим на слоях L2/L3 b может подключаться в любой точке сети. Он подключается тремя способами: ерез зеркальный порт (SPAN), через сплиттер Ethernet (TAP) или встроенный сплиттер.
Еще более подходящий способ - это использовать Lancope StealthWatch, позволяющий просматривать и анализировать весь трафик сети практически на любой скорости последней. Это пожалуй сегодня самый эффективный метод, в том числе и с точки зрения стоимости. См. описание или на сайте дистрибутора этих систем в России компании Web Control.

Можно ли использовать интерфейс vrf как источник NetFlow-пакетов?

NetFlow VRF Export:
- Разрешает экспорт записей потоков в VRF.
- Возможен как SCTP-, так и UDP-экспорт.

Router(config)# ip flow-export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>
Router(config-flow-cache)# export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>

testvrf - наименование VRF.

Как перейти с NetFlow на Flexible NetFlow?

Переход на Flexible NetFlow с обычного NetFlow это достаточно простой процесс, а для некоторых и очень интересный. Интересный, поскольку появляется возможность осуществлять более глубокий мониторинг сетевого трафика.
Вот 5 шагов, как можно это сделать:
1. Определитесь, какие приложения вы хотите контролировать. Например, вы хотите измерять производительность таких облачных сервисов, как Salesforce.com, Skype, или таких приложений, как SAP.
2. Решите, какие метрики вы хотите экспортировать. Flexible NetFlow может экспортировать MAC-адреса, детали VLAN и, в зависимости от вашего оборудования, вы можете экспортировать полные пакеты, Cisco TrustSec, CoS, Jitter, потери пакетов, TCP-задержку, детали NAT, NBAR, IP SLA и т.п.

3. Убедитесь, что у вас установлена соответствующая версия IOS. Необходима версия Cisco IOS 15.2(2)T или более поздняя, которая поддерживает экспорт Flexible NetFlow и обеспечивает Cisco NBAR и Cisco Medianet Performance Monitoring.

4. Отключите традиционный NetFlow на маршрутизаторе и удалите все соответствующие команды с него. И теперь постарайтесь забыть о том, как включать NetFlow. Команды типа ip route-cache flow теперь работать не будут.
5. Инсталлируйте Flexible NetFlow.

Обратите внимание, что если вы выполните п.5 до п.4, у вас будет дублироваться экспорт потоков. Это, помимо всего прочего, может вызвать проблемы при мониторинге безопасности.

Конфигурирование NetFlow. Quick Start Summary для команд Cisco

Основные команды NetFlow:

Включить на каждом интерфейсе (за исключением случаев, когда вы используете CEF с дополнительной картой NetFlow):

ip route-cache flow

Общие команды

ip cef
ip flow-export source Loopback0
ip flow-export version [5/7/9]
ip flow-cache timeout inactive 15
ip flow-cache timeout active 1
snmp-server ifindex persist
ip flow-export destination 2055

Замечание: Loopback0 может быть изменен на другой интерфейс, такой ка fastethernet0/0, нолучше выбирать интерфейс, который постоянно имеет один и тот же IP-адрес.

Замечание: Если требуется AS, то ip flow export должен включать или peer-as, или origin-as. origin-as существенно увеличит долговременн сбор данных.

ip flow-export version [5/7/9] [peer-as | origin-as]

Дополнительные опции

ip flow ingress infer-fields

Если IP-адрес источника и IP-адрес приемника не видны в IP Flow, то
* Пакеты блокируются ACL.
* Пакеты находятся в процессе переключения
* Трафик Multicast
* Туннель (IPIP, GRE, IPSEC, L2TP) & WCCP
* Статическая маршрутизация в null0
* DstIf равен NULL, когда трафик прерывается из-за CAR.

Для того, чтобы избежать этого, используйте командуip flow ingress infer-fields command.

Если потоки на субинтерфейсах должны проверяться, то используется два варианта:

1. Сконфигурируйте ip route-cache flow на основном интерфейсе. Таким образом будут отсылаться потоки со всех субинтерфейсов.
2. Сконфигурируйте ip flow ingress на субинтерфейсах, если основной интерфейс не может быть сконфигурирован для использования netflow. Таким образом потоки будут отсылаться с каждого субинтерфейса, на котором включена команда ip flow ingress.

Когда запускаете NetFlow на Cisco 7600 switches в режиме native

mls nde sender version 5
mls flow ip interface-full
mls aging long 64
ip flow-export source Loopback0
ip flow-export version [5/7/9]
ip flow-export destination [DigiToll IP| NetFlow Auditor IP] 2055
snmp-server ifindex persist

Конфигурация программной платформы

Ниже приведен пример базовой конфигурации NetFlow на маршрутизаторе. NetFlow конфигурируется на каждом интерфейсе., в этом случае потоки IP-пакетов будут захватываться в кэш NetFlow. Кроме того, NetFlow конфигурируется для экспорта в коллектор, если он присутствует в системе.

1. Конфигурирование интерфейса для захвата пакетов в кэш NetFlow.

Router(config)# ip cef
Router(config)# interface ethernet 1/0 .
Router(config-if)# ip flow ingress
Или
Router(config-if)# ip route-cache flow

Замечание: Могут использоваться команды и ip flow ingress, и ip route-cache flow, это зависит от версии Cisco IOS. Ip flow ingress используется начиная с Cisco IOS Software Release 12.2(15)T или выше.

2. Этот шаг используется, если кэш NetFlow экспортируется в сервер отчетности. Выбирается версия или формат экспортируемых пакетов NetFlow export packet и затем определяется IP-адрес направления на сервер экспорта.

Router(config)# ip flow-export version [1|5|7|9]
Router(config)# ip flow-export destination 2055

Как должна быть настроена система хранения, чтобы не замедлять работу коллектора NetFlow?

Подробную информацию смотрите в нашем блоге здесь.

Полная утилизация интерфейса кажется заниженной. Почему это может происходить?

Убедитесь, что NetFlow включен на всех физических интерфейсах устройства. Это не относится к виртуальным интерфейсам, поскольку там включение произойдет автоматически после включения NetFlow на физическом интерфейсе.
Если устройство не может постоянно посылать пакеты NetFlow, то необходимо войти в устройство Cisco и проверить есть ли там проблема. Наберите следующую команду:
Router_name>sh ip flow export
Поищите сообщение что-то типа "294503 export packets were dropped due to IPC rate limiting". Если этот счетчик постоянно увеличивается, то оборудование не может удовлетворять требованиям по экспорту данных.
Команда ниже разрывает долгоживущие потоки на 1-минутные сегменты. Вы можете выбрать любой интервал в минутах между 1 и 60; если вы оставите значение по умолчанию (30 мин), то это может привести к появлению пиков в отчете по утилизации. Вот эта команда:
ip flow-cache timeout active 1
Команда внизу гарантирует, что потоки, которые завершились, экспортируются своевременно. По умолчанию интервал 15 секунд. Вы можете выбрать любое знаение между 10 и 600. Отметим, что если вы выберете значение больше 250 секунд, то ваш анализатор трафика может показывать заниженный уровень трафика.
Команда: ip flow-cache timeout inactive 15
NetFlow v5 экспортирует только IP-трафик (т.е. не IPX, и т.п.) и никакой трафик 2-го уровня (layer 2) не экспортируется.

Могу ли я использовать bridged IP traffic NetFlow на PFC3A?

Нет, режим PFC3A не поддерживает NetFlow bridged IP traffic. В этом режиме NetFlow собирает статистику только для маршрутизованного трафика. С помощью PFC3B или PFC3BXL вы можете сконфигурировать NetFlow для сбора статистики как для маршрутизованного трафика, так и трафика в режиме моста. NetFlow для трафика в режиме моста требует использования Release 12.2(18)SXE или более позднего.
Ниже приведен пример, как включить NetFlow для IP трафика в режиме ingress-bridged на VLAN 200:

Router# configure terminal
Router(config)# ip flow ingress layer2-switched vlan 200

Замечание: Для включения NetFlow для IP-трафика в режиме моста на VLAN, вы должны создать соответствующий интерфейс VLAN, привязать его к IP-адресу, и ввести команду no shutdown для поднятия интерфейса.

Каковы оптимальные значения aging для NetFlow?

Мы рекомендуем сконфигурировать длинный интервал времени жизни (aging) в 300 сек., а нормальный - в 60 сек. Время жизни (aging time) критично для систем обнаружения аномалий. В случае, если вы используете NetFlow только для биллинга, то вы можете оставить значения по умолчанию.
Нижеуказанные команды IOS будут разделять ваши потоки на более короткие сегменты:

router(config)# ip flow-cache timeout active 5
router(config)# ip flow-cache timeout inactive 60

Следующие команды устанавливают aging на IOS-устройствах:

L3switch(config)# mls aging long 300
L3switch(config)# mls aging normal 60

А это команды для CatOS-устройств:

switch> (enable) set mls agingtime long 304
switch> (enable) set mls agingtime 64

Какова емкость таблицы NetFlow в Cisco?

Статистика перестает быть доступной, когда таблица NetFlow заполнена. Если утилизация таблицы превышает рекомендованный уровень утилизации, резко возрастает возможность того, что для хранения статистики будет недостаточно места. Таблица ниже показывает рекомендованные максимальные уровни утилизации.

PFC	Рекомендованная утилизация таблицы NetFlow	Общая емкость таблицы NetFlow
PFC3BXL	235,520 (230 K) элементов	262,144 (256 K) элементов
PFC3B	117,760 (115 K) элементов	131,072 (128 K) элементов
PFC3A	65,536 (64 K) элементов	131,072 (128 K) элементов
PFC2	32,768 (32 K) элементов	131,072 (128 K) элементов

Для мониторинга использования таблицы NetFlow на процессоре коммутатора и в DFC используйте команду mls netflow usage notify. Если мониторинг использования таблицы NetFlow включен и загрузка таблицы превышает пороговое значение, появляется предупреждающее сообщение.

mls netflow usage notify {threshold interval}

где threshold - порог в процентах, превышение загрузки выше его вызывает сообщение; значения могут быть в интервале 20 - 100%, а interval - определяет частоту, с которой таблица проверяется; значения могут быть в интервале от 120 до 1000000 сек.

Что означает "flow mask" в конфигурации mls?

По умолчанию ключи потока - это: IP-адрес источника, IP-адрес приемника, порт источника, принимающий порт, тип протокола layer 3, байт ToS (DSCP) и входящий интерфейс. На Cisco Catalyst flow mask определяет ключи потока.

Весь интерфейс
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника
Полный
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника
Интерфейс приемник-источник
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника
Только источник
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника
Только приемник
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника
Приемник-источник
VLAN	IP-адрес источника	IP-адрес приемника	L3-протокол	Порт источника	Порт приемника

Я сконфигурировал NetFlow на Cat6500, но приложение показывает только несколько Мбайт, хотя должно быть несколько Гбайт.

Catalyst 6500 использует MSFC только для первого пакета, а остальные пакеты переключаются, используя ЗАС (CEF, dCEF). Для того, чтобы корректно сконфигурировать экспорт NetFlow на Cat6500, вы должны включить NetFlow на MSFC и PFC. В вашей конфигурации включен NetFlow только на только MSFC, и большая часть трафика пропадает!
См. подробности здесь: http://www.cisco .com/en/US/products/hw/switches/ps708/products_configuration_guide_chapter09186a0080160a2b.html .

Или данные NetFlow с коммутатора вообще не попадают на коллектор. Проверьте устройства, supervisor и MSFC для внесения изменения в конфигурацию.

Возможно ли использовать vrf-интерфейс как источник пакетов NetFlow?

Экспорт NetFlow через VRF:
- Разрешите экспорт записей потоков в VRF.
- Справедливо для экспорта SCTP и UDP.

Router(config)# ip flow-export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>
Router(config-flow-cache)# export destination 10.1.1.2 2000 vrf testvrf <sctp|udp>

где testvrf - имя VRF.

Я хотел бы получать NetFlow с отдельного порта коммутатора Layer 2

Команды, которые вам необходимы для трафика Layer 2:

ip flow ingress layer2-switched vlan <vlanlist>
ip flow export layer2-switched vlan <vlanlist>

Cогласно справочнику IOS: PFC3B или PFC3BXL под управлением 12.2 (18)SXE или выше требуют этих команд, которые включают NDE для всего трафика в конкретном VLAN, а не только для внутреннего трафика VLAN. Если вы используете CatOS, вы можете применить команду:

set mls bridged-flow-statistics enable <vlanlist>

Какой порт Cisco предпочтителен для того, чтобы получать NetFlow?

Возможны варианты. RFC 3954 по NetFlow не уточняет конкретный порт для получения NetFlow, однако по опыту наиболее популярными являются 2055 и 9995 или 9996.
Хотя эти порты и наиболее популярны, они могут быть изменены. Для того, чтобы сделать это на маршрутизаторе Cisco, в котором включен NetFlow v5 или NetFlow v9, наберите команду:

router(config)# ip flow-export destination [collector ip address] [collector port]
ex. router(config)# ip flow-export destination 10.1.57.3 4432

Если вы используете Flexible NetFlow (см. конфигурацию на YouTube), посмотрите шаг 2 конфигурации "Создание экспортера" и используйте:

transport udp 2055

Как конфигурировать VMware vSphere ESX v5.1 для поддержки IPFIX?

С тех пор, как vSphere стала поддерживать IPFIX мониторинг виртуальных серверов стал очень простой задачей. Для того, чтобы сконфигурировать IPFIX для VMware vSphere ESX v5.1 необходимо следующее.

Сначала надо отредактировать установки распределенного коммутатора. Кликните на виртуальный коммутатор, затем нажмите на 4-ю закладку, озаглавленную NetFlow.

IPFIX на распределенных коммутаторах может быть включен на уровне групп портов, на уровне индивидуального порта или на уровне аплинка. Если вы впервые конфигурируете экспорт IPFIX, то убедитесь, что включили NetFlow на одном из этих уровней.
Экран конфигурации NetFlow предоставляет вам различные параметры, которые могут быть контролируемы во время установки.
   1. Установки коллектора (IP-адрес и порт) должны быть сконфигурированы в соответствии с информацией, полученной об инструменте сбора потоков, установленного в вашей сетевой среде.
   2. Параметры Advanced Settings предоставляют вам возможность контролировать таймаут и частоту выборки потоков. Для того, чтобы изменить количество информации, которая будет собираться для потока, вы можете изменить частоту выборки. Например, частота выборки 2 означает, что виртуальный распределенный коммутатор ( Virtual Distributed Switch, VDS) будет собирать данные из каждого второго пакета. Вы также можете модифицировать значение таймаута задержки экспорта потока.
   3. Конфигурирование IP-адреса VDS полезна, когда вы хотите видеть всю потоковую информацию в вашем коллекторе как часть одного IP-адреса VDS, а не видеть все хосты как отдельные анонимные коммутаторы на коллекторе. Т.е. если IP-адрес VDS останется незаполненным, каждая виртуальная машина появится в коллекторе как отдельный экспортер.
Когда конфигурируется IPFIX на уровне порта, администратор должен выбрать закладку NetFlow, чтобы быть уверенным, что потоки будут мониториться, несмотря на то, что на групповом уровне IPFIX будет отключен.

Опционально:
Вы может также осуществлять мониторинг только внутренних потоков виртуальной инфраструктуры, отметив пункт "Обрабатывать только внутренние потоки" ( "Process Internal flows only”).