Недавно появились возможности организации мониторинга сети, используя новые устройства, называемые генераторы NetFlow (пример). Но прежде, чем обсуждать детали новой технологии, вспомним (это будет полезно тем, кто еще только начинает вникать в эту тему), что же такое NetFlow.
NetFlow и IPFIX - это технологии мониторинга сети, позволяющие глубже взглянуть на сетевой трафик. NetFlow был разработан Cisco и позднее стандартизован в IPFIX в RFC 5101. Традиционно NetFlow является функцией маршрутизаторов, коммутаторов, файерволов и других сетевых устройств. Эта технология поддерживается даже виртуализованными платформами, такими как VMware vSphere 5.0 и выше. Любое устройство, способное генерировать пакеты NetFlow, называется экспортером. В эти пакеты записывается информация о потоках трафика, проходящих через экспортер. Элементы данных, такие как количество пакетов, адреса источника и приемника, MAC-адрес и многое другое, сохраняется в памяти экспортера в структуре, носящей название кэш. Через определенные промежутки времени эти потоки помещаются в UDP-датаграммы и пересылаются через сеть в коллектор NetFlow. Рисунок внизу иллюстрирует этот процесс.
Включенный NetFlow используется для различных сетевых операций и задач обеспечения безопасности, таких как:
    • Мониторинг сетевой производительности
    • Контроль сетевой безопасности (DoS, APT, утечки данных, обнаружение нарушения сетевых политик и т.п.)
    • Мониторинг VoIP
    • Соответствие требованиям регулирующих органов
    • Контроль использования полосы пропускания и тарифный учет  
    • Планирование емкости
    • Исследование и анализ сети, обеспечение реагирования на инциденты

Ваше оборудование не поддерживает NetFlow? Это не проблема, используйте генераторы NetFlow
Хотя сегодня практически все производители сетевого оборудования включают поддержку NetFlow в функциональность своей продукции, все еще существуют сети, в которых используется техника, не применяющая NetFlow. Это может быть оборудование, не поддерживающее NetFlow, или техника, в которой вы не хотите использовать эту функциональность, опасаясь влияния NetFlow на загрузку процессора или памяти. В любом случае альтернатива существует. Это генераторы NetFlow.
Генератор NetFlow - это сетевое устройство или программный "демон", который пассивно захватывает сетевые пакеты и переводит их в записи NetFlow. В сети это выглядит следующим образом:


Генераторы NetFlow подключаются точно так же, как и традиционные пассивные IDS или пакетные снифферы. Они используют "порт захвата", который подключается к сетевому SPAN-порту или TAP. Большинство генераторов NetFlow работают на базе Linux и используют стандартное оборудование. Опыт показывает, что программные генераторы, как правило, имеют более продвинутый функционал и легче расширяются в будущем. Если вам не требуются исключительная скорость типа 10Gbps+, то программные генераторы NetFlow вас вполне устроят.

Варианты и сценарии внедрения генераторов NetFlow

• Подключение к устройству, не поддерживающему экспорт NetFlow
  Обычное включение генератора - это в областях сети, где сетевое оборудование не поддерживает экспорт NetFlow. Например, многие коммутаторы типа layer-2 не поддерживают NetFlow. В некоторых случаях у вас есть старое оборудование, которое хорошо работает и вас во всем устраивает, но в нем нет экспорта NetFlow. Использовать генератор NetFlow дешевле, чем менять оборудование на новое, поддерживающее экспорт потоков. Кроме того, хотя некоторые файерволы уже поддерживают NetFlow, большая часть из них все-таки пока нет.
• Добавление к устройствам, которые осуществляют только выборку пакетов (sFlow/выборочный NetFlow)
  Сейчас много спорят по поводу, какой режим лучше использовать - выборку потоков или без выборки. Аналитики в сфере безопасности и большинство сетевых инженеров считают, что выборке не хватает точности, необходимой для правильного анализа, и деталей. В ситуации, когда у вас есть только выборочные потоки (например, при использовании устройств, экспортирующих sFlow), генератор NetFlow очень полезен, для сбора всего NetFlow.
• Обновление критических мест, где вам необходима глубокая инспекция пакетов (deep packet inspection, DPI)
  Даже, если вы уже собираете NetFlow от главного коммутатора или маршрутизатора, полезно установить генератор NetFlow для получения большей детализации содержимого пакета. Большинство генераторов позволяют пользователям захватывать пакеты для того, чтобы видеть детали "сырых" пакетов. Большая часть сохранять эти данные в формате pcap, для того, чтобы затем импортировать их в анализаторы пакетов, такие как Ethereal. Большинство генераторов NetFlow поддерживают продвинутые функции, такие как расчет задержки, определение приложений и экспорт HTTP URL.
• Разгрузка маршрутизаторов от обработки NetFlow
  Некоторые старые сетевые устройства, такие как Cisco Catalyst 6500 с Sup2 или Sup1A, могут подвергнуться большой нагрузке, если будет включена обработка NetFlow. Очень часто сетевые администраторы из-за этого просто боятся включать NetFlow. В этом случае именно генератор NetFlow может быть подходящим решением. Вместо того, чтобы включать строенный NetFlow на маршрутизаторе, вы просто устанавливаете зеркало или SPAN для соответствующего порта генератора.
• Помощь в преодолении различных сервисных и "политических" проблем провайдеров
  Иногда "политические" или межличностные ситуации внутри организации тормозят использование NetFlow:
• В частности, в удаленных офисах провайдер часто контролирует абонентское оборудование. Многие сервис-провайдеры не позволяют включать экспорт NetFlow, опасаясь потенциальных проблем с SLA. Другие требуют единовременной или ежемесячной платы. Генератор NetFlow может использоваться  для обхода этой проблемы, исключая вообще сервис-провайдера из схемы.
• Другая "политическая" проблема может возникнуть внутри департаментов. Сотрудники подразделения информационной безопасности стараются масштабно использовать NetFlow для обеспечения сетевой безопасности и реагирования на инциденты. Если существуют какие либо трения между сетевым департаментом и подразделением сетевой безопасности, администраторы сети могут не захотеть пересылать NetFlow в анализатор потоков подразделения безопасности. Поскольку генератор NetFlow требует только наличия SPAN-порта (к которому подразделение безопасности обычно имеет доступ), то часто это позволяет безопасникам обойти сотрудников сетевого департамента "огородами".

*RFC - Request for Comments, документ из серии пронумерованных информационных документов Интернета, содержащих технические спецификации и стандарты, широко применяемые во всемирной сети. Первичной публикацией документов RFC занимается IETF под эгидой открытой организации Общество Интернета (Internet Society, ISOC). Источник: http://ru.wikipedia.org/wiki/RFC.