Меню сайта |
|
Категории раздела |
|
Партнеры |
|
Вход |
|
Поиск |
|
|
Приветствую Вас, Гость |
14.06.2025, 00:33 |
|
Разделы базы знаний сформированы по категориям, которые вы видите в левой части страницы сайта. Для просмотра информации, нажмите на наименование нужной вам категории и вы перейдете в соответствующий раздел. При переходе в раздел прямо под этим текстом появляется список всех статей раздела. Надеемся, что вы найдете нужную вам информацию!
В типичной конфигурации трафик sFlow составляет менее 0,1% полосы пропускания сети. Эту цифру можно использовать в качестве базы для расчета загрузки сети в специфических сетевых конфигурациях.
|
Правильнее было бы обратиться с этим вопросом непосредственно на сайт
производителя. Но в качестве первичной информации, можете использовать
следующую примерную конфигурацию:
sflow {
polling-interval 30;
sample-rate 100;
collector 10.0.0.81 {
udp-port 6343;
}
collector 10.1.2.20 {
udp-port 6343;
}
interfaces ge-0/0/0.0;
interfaces ge-0/0/1.0;
interfaces ge-0/0/2.0;
interfaces ge-0/0/3.0;
interfaces ge-0/0/4.0;
interfaces ge-0/0/5.0;
interfaces ge-0/0/6.0;
interfaces ge-0/0/7.0;
interfaces ge-0/0/8.0;
interfaces ge-0/0/9.0;
interfaces ge-0/0/10.0;
interfaces ge-0/0/11.0;
interfaces ge-0/0/12.0;
interfaces ge-0/0/13.0;
interfaces ge-0/0/14.0;
interfaces ge-0/0/15.0;
interfaces ge-0/0/16.0;
interfaces ge-0/0/17.0;
interfaces ge-0/0/18.0;
interfaces ge-0/0/19.0;
interfaces ge-0/0/20.0;
interfaces ge-0/0/21.0;
interfaces ge-0/0/22.0;
interfaces ge-0/0/23.0 {
polling-interval 30;
sample-rate 200;
}
}
|
Hadoop -
программное обеспечение класса open source для хранения и обработки
больших наборов данных, используя кластер серверов. Здесь мы покажем,
как с помощью агентов sFlow можно контролировать производительность такого кластера. Для начала инсталлируем Host sFlow на каждом узле кластера Hadoop (см. пример инсталляции Host sFlow на сервере Linux).
Эти агенты экспортируют стандартную статистику о процессоре, памяти,
диске и сети. В нашем случае агент Host sFlow будет инсталлироваться на
виртуальную машину Cloudera. Поскольку Hadoop работает на Java, следующий шаг включает в себя инсталляцию и конфигурирование Java-агента sFlow (см. Java Virtual machine).
В этом случае виртуальные машины Hadoop конфигурируются в файле
/etc/hadoop/conf/hadoop-env.sh. Нижеприведенный фрагмент из этого файла
показывает дополнительные команды, необходимые для мониторинга
Hadoop-демонов: # Командные опции, добавляемые в HADOOP_OPTS export HADOOP_NAMENODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow. hostname=hadoop.namenode -Dsflow.dsindex=65536 -Dcom.sun.management.jmxremote $H ADOOP_NAMENODE_OPTS" export HADOOP_SECONDARYNAMENODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow.hostname=hadoop.secondarynamenode -Dsflow.dsindex=65537 -Dcom.sun.manag ement.jmxremote $HADOOP_SECONDARYNAMENODE_OPTS" export HADOOP_DATANODE_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow. hostname=hadoop.datanode -Dsflow.dsindex=65538 -Dcom.sun.management.jmxremote $H ADOOP_DATANODE_OPTS" export HADOOP_BALANCER_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflow. hostname=hadoop.balancer -Dsflow.dsindex=65539 -Dcom.sun.management.jmxremote $H ADOOP_BALANCER_OPTS" export HADOOP_JOBTRACKER_OPTS="-javaagent:/etc/hadoop/conf/sflowagent.jar -Dsflo w.hostname=hadoop.jobtracker -Dsflow.dsindex=65540 -Dcom.sun.management.jmxremote $HADOOP_JOBTRACKER_OPTS"
Замечание:
Файл sflowagent.jar помещается в директорию /etc/hadoop/conf. Каждый
демон (daemon) описывается значением sflow.hostname , соответствующим
имени демона. Кроме того, уникальное значение sflow.dsindex должно быть
присвоено каждому демону - значения индекса должны быть уникальными
только для отдельного сервера, а в целом серверы в кластере могут
использовать те же конфигурационные установки. Агенты Host sFlow и Java sFlow совместно используют конфигурацию (см. распределенный агент Host sFlow), упрощая тем самым задачу конфигурации мониторинга sFlow для каждого сервера по всему кластеру. Замечание:
Если вы используете систему мониторинга Ganglia, то вам необходимо
установить multiple_jvm_instances = yes, поскольку на каждом сервере
работают более одного демона Java (см. использование Ganglia для мониторинга виртуальных машин Java). И,
наконец, Hadoop чувствителен к сетевым перегрузкам и генерирует большие
объемы трафика. К счастью, большинство производителей коммутаторов
поддерживают стандарт sFlow. Комбинируя sFlow от серверов Hadoop с sFlow
с коммутаторов, можно получить полную информацию о производительности
кластера Hadoop. |
Анализ экспортируемых данных sFlow позволяет получить дополнительную информацию, которая недоступна для технологии IDS/IPS. Сравним эти технологии:
Классическая технология IDS/IPS
| Технология NBA (Network Behavior Analysis, анализ сетевого поведения) на базе sFlow | Определение известных атак на основе сигнатур | Мониторинг в реальном времени поведения хостов и анализ трафика для идентификации угроз
| Попакетное, линейное блокирование атак | Уменьшение с помощью сетевой инфраструктуры или интеграция с линейными устройствами
| Чрезмерно дорого при скоростях свыше 1G
| Нелимитированный мониторинг высокоскоростных сетей без дополнительных затрат | Недостаточно инструментов определения производительности сети для идентификации DoS и деятельности червей | Расширенные отчеты по производительности сети, включая информацию об основных пользователях, использовании интерфейсов и т.п. | Нет интеграции с системами идентификации | Полная информация об идентификации пользователей | Ограниченный обзор сети
| Прозрачность сети из конца в конец
| Практически везде внедренная технология | Инновационная технология, используемая пока только самыми продвинутыми пользователями |
При всех этих достоинствах технология на базе sFlow (или NetFlow) пока не может целиком заменить системы IPS (подробнее см. здесь) |
Вы когда нибудь задавали себе вопрос: Что случится, если моя защита на уровне периметра не остановит внешнюю атаку? Как я узнаю, что что-то подобное произошло? Ответить на эти вопросы сможет анализ на базе sFlow, обеспечивающий возможность полной видимости сети и фиксацию любой мало-мальски значимой активности в ней, включая: - неправильно сконфигурированные системы и устройства;
- файловые серверы, "переустановленные" как веб-серверы;
- неавторизованные приложения (например, P2P);
- появление сетевых проблем.
Кроме того, sFlow может использоваться для сетевого мониторинга в очень широкой сфере: - мониторинг политик и аудита;
- анализ сетевого трафика;
- защита от угроз безопасности (деятельность инсайдеров, DDoS, инфектация червями и деятельность этих червей);
- постоянный мониторинг уровня трафика приложений одновременно на всех интерфейсах.
Более подробно об этих преимуществах можно прочитать здесь. |
 Вопрос, что лучше, NetFlow или sFlow, обсуждался уже много раз и пришло время закончить дебаты. Вот, что мы думаем: Люди, которые утверждают, что sFlow лучше, чем NetFlow, это те, кто не использовал и то и другое и не видит разницы. И это мнение не какого-то определенного производителя, а скорее понимание, сформированное годами работы на этом поприще. Многие заказчики, хотят, чтобы "sFlow вел себя так же, как NetFlow". Действительно, многие клиенты, которые сталкиваются с необходимостью иметь дело с выборками данных, предпочитают внедрить генераторы NetFlow (иногда называемые "зондами (пробами) потоков"), такие как nBox или Cisco NGA, для создания NetFlow на SPAN-портах, чем иметь дело с трудностями, которые доставляет sFlow. Не поймите нас превратно, NetFlow и IPFIX также доставляют проблемы. Механизм кэширования и экспорта NetFlow очень сложен для корректного внедрения, требует много ресурсов для своей работы, примеров внедрения с различным результатом очень много. NetFlow стал жертвой своей популярности. Каждый производитель хочет добавить поддержку NetFlow в свои роутеры, коммутаторы, файерволы, балансировщики нагрузки и оптимизаторы WAN, но они очень часто не обращаются к профессионалам и стараются сделать все сами, добиваясь того, что экспорт не всегда работает корректно. sFlow не имеет проблем со стандартизацией в первую очередь потому, что только несколько производителей его внедрили. Но преимущества NetFlow существенно перевешивают его недостатки. Нужна вся историяХотя выборка и может использоваться с NetFlow, но она не является обязательным требованием. Люди вообще-то не любят выборки данных. Особенно люди из департамента безопасности. Действительно, если у вас есть достаточное количество пакетов за долгий период времени, вы, в принципе, можете работать на нужном уровне, но когда вы пытаетесь поймать проникновение, которое произошло за одну двухминутную HTTP SQL транзакцию, то вам необходимо иметь "всю историю". Технология на базе выборок просто не может это обеспечить. Оно может читать только каждое 128 слово в "книге". И к концу чтения вы будете знать сюжетную линию, что делали действующие лица, но не более того. Аналитикам безопасности не хочется иметь дело с каждым 128 пакетом, они хотели бы иметь их все. Лучшая поддержка коллекторовПримерно 95% заказчиков потоковых коллекторов обращаются за поддержкой на тему NetFlow/IPFIX. Почти все оборудование поддерживает эти технологии и почти вся поддержка имеет отношение к этому. Конечно, заказчикам нужна поддержка и sFlow, но таких обращений мало. Поскольку все подобные технологии продвигаются вперед именно за счет потребностей заказчиков, то неудивительно, что производители больше развивают NetFlow. Лучшая поддержка производителейКроме того, большая часть производителей внедряет поддержку NetFlow во всех своих новых продуктовых линейках. Например, продукты компании Cisco Cat6k w/Sup2T или Catalyst 4500E w/Sup7E. Даже другие компании занимаются инновациями на фронте NetFlow. Enterasys добавил мощную аппаратную поддержку NetFlow в свои коммутаторы серии r S Series и K Series . Аппаратная поддержка NetFlow исключает одну из основных проблем NetFlow - ее влияние на загрузку процессора. Больше полей, больше инновацийНеобходимо также учесть, что за последние годы Cisco приложило много усилий для развития NetFlow. Flexible NetFlow, NBAR, MediaNet, ASA NAT export, PfR - можно долго продолжать список расширений. sFlow ничего подобного не имеет и я не уверен, что кто-либо работает над тем, чтобы сделать его лучше. Файерволы адаптируют NetFlowТенденция развития файерволов - это размещение в местах, где более всего нужна видимость сети: в точках агрегирования и ключевых местах контроля доступа. NetFlow отлично подходит для измерения и мониторинга ключевых точек в сети. Производители файерволов наконец это поняли и сейчас фаерволы повсеместно включают в себя поддержку NetFlow/IPFIX. За исключением Fortinet, все производители фаерволов выбрали поддержку NetFlow или IPFIX. А именно: PaloAlto, CheckPoint, SonicWall и, естественно, Cisco ASA. Почему файерволы предпочитают NetFlow? Именно потому, что заказчикам нужна история целиком, а не выборка из нее. NetFlow/IPFIX хорошо работает со всеми типами событий, не только с TCP/IPsFlow фундаментально ориентирован на фреймы Ethernet. В своей сути sFlow создан для выборки пакетов. Не более того, и не менее. IPFIX и NetFlow v9 очень гибкие. NetFlow/IPFIX могут использоваться для экспорта любого типа структурированных данных. Действительно, поля переменной длины IPFIX могут даже использоваться для экспорта полуструктурированных данных, таких как URL, особенные для каждого вендора строки, или имена хостов. Для одновременного экспорта нескольких различных наборов данных могут использоваться различные шаблоны. sFlow не является достаточно гибкой технологией, удовлетворяющей современные сети. Несмотря на работу людей из sFlow.org, sFlow все-таки не так развивается, как IPFIX. NetFlow хорошо работает поверх WAN, sFlow - нетМаленький "грязный секрет" об sFlow, который предпочитают умалчивать, заключается в том, что количество sFlow, покидающего роутер прямо пропорционально скорости - количеству пакетов в секунду. Т.е. чем выше уровень bps на удаленном сайте, тем выше уровень записей sFlow, покидающих сайт. NetFlow, в свою очередь, базируется на количестве активных соединений, а не на скорости пакетов. Если я передаю файл в 500 Мб из А в В, то sFlow создаст несколько тысяч пакетных выборок, тогда как NetFlow создаст только два 46-байтных записи. Это именно тот пункт, где для большинства заказчиков решается вопрос смены технологии. Вполне возможно переполнить соединение WAN выборками sFlow. И, поскольку sFlow передается через двунаправленный UDP, нет никакой возможности сказать экспортеру замедлить передачу. |
Дебаты о том, что лучше, ведутся уже давно. Попытаемся разобрать, в чем эти технологии схожи, и где их следует применять (где одна из них лучше другой). Что такое поток (flow)?Как указано в IETF, поток - это последовательность пакетов, посылаемых одним приложением в другое. Технология sFlow использует выборки, для получения масштабируемости. Архитектура системы sFlow состоит из множества устройств, обеспечивающих два типа выборок: случайные выборки пакетов и операций на уровне приложений и выборка с определенным интервалом времени по счетчику. Выбранные данные о пакетах/операциях и счетчике отсылаются как датаграммы sFlow в центральный сервер с приложением, которое анализирует трафик и создает соответствующие отчеты - коллектор sFlow.Множество выборок sFlow могут отсылаться одной датаграммой. sFlow может использоваться оборудованием или программным обеспечением и, хотя название sFlow означает, что речь идет именно о потоковой технологии, исходя из указанной выше информации, это вообще не потоковая технология. Этот термин (sFlow) имеет отношение больше к маркетингу. Подобные выборки пакетов не обеспечивают 100% точности, но дают результат с вычисляемой точностью. Что такое NetFlow?NetFlow - это действительно потоковая технология, в которой кэшируемые в оборудовании (например, роутере или коммутаторе) потоки агрегируют пакеты на основе определенных данных, чаще всего это набор семи ключевых полей: 1. Интерфейс источника 2. Тип сервиса 3. IP-адрес источника 4. IP-адрес приемника 5. Порт (Layer 4) источника 6. Порт (Layer 4) приемника 7. IP-протокол Когда потоки экспортируются, к этим данным добавляется значение объема (байтов) агрегированных или всех данных и данные счетчика пакетов, а также несколько других полей. Пакеты, которые не соответствуют данным ключевых полей потоков в кэше, создают уже новый набор потоков. В одной датаграмме могут отсылаться сразу много подобных наборов потоков. NetFlow обеспечивает 100% точность IP-трафика, хотя NetFlow поддерживает и пакетную выборку и потоковую выборку. Что такое Flexible NetFlow?Это в реальности никакой не новый формат экспорта. Скорее он базируется на архитектуре формата экспорта NetFlow v9 и делает несколько больше на этой основе. FnF является одним из лучших, хотя и наиболее сложных методов создания экспорта потоков на сегодняшний день. FnF позволяет пользователям экспортировать почти все, что проходит через роутер, включая целые пакеты и делает это в реальном времени, практически как sFlow. Что такое IPFIX?IPFIX - это предлагаемый стандарт для структурированной потоковой информации и он базируется на последней версии NetFlow (v9). Вследствие этого его иногда не совсем корректно называют NetFlow v10. Что является стандартом - NetFlow или sFlow?Ответ - ни то, ни другое. Если обратиться к сайту IETF, то можно найти RFC 3176, где обсуждается протокол sFlow, и RFC 3954, где речь идет о NetFlow v9. Эти технологии не являются стандартом. RFC означает "запрос на комментарии" (Request For Comment ), т.е. это не стандарт. IPFIX, который определяется в RFC 5101 - это предлагаемый стандарт. Не надо обращать внимание на документы, подобные выпущенному компанией Brocade, где говорится: "IPFIX страдает плохим принятием основных производителей и все еще имеет большинство недостатков NetFlow". Это просто неправда. Сейчас большинство вендоров уже внедрило или собирается внедрить поддержку IPFIX. Что лучше масштабируется, sFlow или NetFlow?Выборка может быть осуществлена с помощью и sFlow, и NetFlow, но она не может масштабироваться так, как этого хотелось бы большинству пользователей. Например, существенный рост объема трафика (как при DoS-атаках) может заставить sFlow делать выборку чаще, чем это нужно для сохранения параметра выборки 1:N. В случае NetFlow массивный объем пакетов, зависящий от атаки, даст нам просто несколько потоков с высоким объемом пакетов. Для NetFlow количество дополнительной работы минимально, особенно если мы сравним, как говорят, два апельсина от двух технологий, на одном оборудовании. В свое время была статья, где сравнивалась точность обоих технологий. В реальности случаются всяческие проблемы, и NetFlow предоставляет для анализа 100% всего трафика, а sFlow часто теряет трафик, который необходимо просмотреть, что делает sFlow практически непригодной технологией для обнаружения сетевых атак или анализа поведения. Если sFlow не может обеспечить достаточную выборку для полезных измерений, или если NetFlow просто переполняет ваш коллектор потоков, то вам надо рассмотреть возможность перехода на Flexible NetFlow, где можно отконфигурировать экспорт так, чтобы посылать меньше деталей, но все равно сохранять 100%-точность. Например, можно рассмотреть такое сокращение, когда отсылается 5 полей, а не 7: 1. Интерфейс источника 2. Тип сервиса 3. IP-адрес источника 4. IP-адрес приемника 5. IP-протокол Когда из набора убирается информация о портах, то вы можете заметить, что объем экспортируемых потоков уменьшился на 75%! Если вам действительно надо видеть детали приложений, то организуйте экспорт NBAR, который также существенно уменьшает объем экспорта. Если я должен использовать выборку, что я должен выбрать: выборку потоков или выборку пакетов?Лучшим выбором является выборка потоков. Делая выборку 1 пакет из тысячи или даже уменьшая скорость выборки до 1 :100000 пакетов, вы усугубляете проблему неправильной репрезентативности. При выборке потоков, потоки с 10 пакетами выбираются также, как потоки со 100 000 пакетов. В результате, если вы хотите получить представление о приложениях в сети, то выборка потоков дает большую точность. Пакетная выборка, вероятнее всего, покажет наиболее основные приложения с большим количеством пакетов и полностью потеряет приложения с несколькими пакетами. Отметим, что и sFlow и NetFlow поддерживают пакетную выборку в реальном времени, в зависимости от платформы. Если NetFlow лучше, чем sFlow, почему кто-то еще использует sFlow?Многие коммутаторы сегодня поддерживают только sFlow. Дело в том, что существует очень недорогой в реализации метод пакетной выборки с sFlow. В результате большинство производителей поддерживают эту технологию, в том числе и Cisco. Сейчас многие потребители думают, что они имеют единственный выбор для коммутаторов - sFlow. Однако уже есть несколько производителей, включая Cisco, которые поддерживают NetFlow и/или IPFIX на коммутаторах (например, Cisco 3750X с модулем 3KX или 3850). ВыводИз-за того, что большое сообщество поддерживает IPFIX (Astaro, Barracuda, Cisco, Citrix, Dell, Enterasys, Lancope, Plixer и др.), инновации в экспорте данных очень существенные. Это: • Сообщения Log • Сообщения об обнаруженных вирусах • VoIP ○ Джиттер и потери пакетов ○ Идентификатор звонящего ○ Кодек ○ SSRC • Задержка или Round Trip Time • URL • Перенаправленные соединения • Идентификаторы беспроводной сети • Имена логина конечных пользователей С другой стороны, sFlow нуждается в поддержке большого сообщества пользователей и инновации, которые возникают у них, к сожалению, не могут сравниться с потоковыми технологиями типа NetFlow или IPFIX. Ну, и для завершения: если вы спросите любого пользователя, у которого в сети стоит оборудование поддерживающее и sFlow, и NetFlow, то они скажут: "Я предпочитаю собирать NetFlow, но sFlow все-таки лучше, чем ничего". |
|
|