ОГЛЯД ПРОГРАМ АНАЛІЗУ І МОНІТОРИНГУ МЕРЕЖЕВОГО ТРАФІКА
А.І. КОСТРОМИЦЬКИЙ, канд. техн. наук, В.С. ВОЛОТКА
Вступ
Моніторинг трафіку життєво важливий для управління мережею. Він є джерелом інформації про функціонування корпоративних додатків, яка враховується при розподілі коштів, плануванні обчислювальних потужностей, визначенні та локалізації відмов, вирішенні питань безпеки.
Нещодавно моніторинг трафіку був відносно простим завданням. Як правило, комп'ютери об'єднувалися в мережу на основі шинної топології, тобто мали середовище передачі. Це дозволяло під'єднати до мережі єдиний пристрій, за допомогою якого можна було стежити за трафіком. Однак вимоги до підвищення пропускної спроможності мережі та розвиток технологій комутації пакетів, що викликало падіння цін на комутатори і маршрутизатори, зумовили швидкий перехід від середовища передачі до високосегментованих топологій. Загальний трафік не можна побачити з однієї точки. Для отримання повної картини потрібно виконувати моніторинг кожного порту. Використання з'єднань типу «точка-точка» робить незручним підключення приладів, та й знадобилося б занадто велике їх число для прослуховування всіх портів, що перетворюється на надто дороге завдання. До того ж самі комутатори та маршрутизатори мають складну архітектуру, і швидкість обробки та передачі пакетів стає важливим фактором, що визначає продуктивність мережі.
Однією з актуальних наукових завдань на даний час є аналіз (і подальше прогнозування) самоподібної структури трафіку у сучасних мультисервісних мережах. Для вирішення цього завдання необхідний збір та подальший аналіз різноманітної статистики (швидкість, обсяги переданих даних тощо) у діючих мережах. Збір такої статистики у тому чи іншому вигляді можливий різними програмними засобами. Однак існує набір додаткових параметрів та налаштувань, які виявляються дуже важливими при практичному використанні різних засобів.
Різні дослідники використовують різні програми для моніторингу мережного трафіку. Наприклад, в дослідники використовували програму - аналізатор (сніфер) мережевого трафіку Ethreal (Wireshark).
Огляду зазнали безкоштовні версії програм, які доступні на , , .
1. Огляд програм моніторингу мережевого трафіку
Було розглянуто близько десяти програм-аналізаторів трафіку (сніфери) та більше десятка програм для моніторингу мережевого трафіку, з яких ми відібрали по чотири найцікавіші, на наш погляд, і пропонуємо вам огляд їх основних можливостей.
1) BMExtreme(Рис.1).
Це нова назва добре відомої багатьом програми Bandwidth Monitor. Раніше програма поширювалася безкоштовно, тепер вона має три версії, і безкоштовною є лише базова. У цій версії не передбачено жодних можливостей, крім власне моніторингу трафіку, тому навряд чи можна вважати її конкурентом інших програм. За замовчуванням BMExtreme слідкує як за Інтернет-трафіком, так і за трафіком у локальній мережі, проте моніторинг у LAN за бажання можна вимкнути.
Мал. 1
2) BWMeter(Рис.2).
Ця програма має не одне, а два вікна стеження за трафіком: в одному відображається активність в Інтернеті, а в іншому – у локальній мережі.
Мал. 2
Програма має гнучкі налаштування для моніторингу трафіку. З її допомогою можна визначити, чи потрібно стежити за прийомом та передачею даних в Інтернет тільки з цього комп'ютера або з усіх комп'ютерів, підключених до локальної мережі, встановити діапазон IP-адрес, порти та протоколи, для яких буде або не проводитиметься моніторинг. Крім цього, можна вимкнути стеження за трафіком у певні години чи дні. Системні адміністратори, напевно, оцінять можливість розподілу трафіку між комп'ютерами в локальній мережі. Так, для кожного ПК можна задати максимальну швидкість прийому та передачі даних, а також одним клацанням миші заборонити мережну активність.
При дуже мініатюрному розмірі програма має безліч можливостей, частина з яких можна представити так:
Моніторинг будь-яких мережних інтерфейсів та будь-якого мережного трафіку.
Потужна система фільтрів, що дозволяє оцінити обсяг будь-якої частини трафіку - аж до конкретного сайту у вказаному напрямку або трафіку з кожної машини у локальній мережі у вказаний час доби.
Необмежену кількість налаштованих графіків активності мережевих з'єднань на основі вибраних фільтрів.
Управління (обмеження, призупинення) потоком трафіку на будь-якому фільтрі.
Зручна система статистики (від години до року) із функцією експорту.
Можливість перегляду статистики віддалених комп'ютерів із BWMeter.
Гнучка система оповіщень та повідомлень щодо досягнення певної події.
Максимальні можливості настроювання, в т.ч. зовнішнього вигляду.
Можливість запуску як сервісу.
3) Bandwidth Monitor Pro(Рис.3).
Її розробники дуже багато уваги приділили настроюванню вікна моніторингу трафіку. По-перше, можна визначити, яку саме інформацію програма постійно показуватиме на екрані. Це може бути кількість отриманих та переданих даних (як окремо, так і в сумі) за сьогодні та за будь-який зазначений проміжок часу, середню, поточну та максимальну швидкість з'єднання. Якщо у вас встановлено кілька адаптерів, ви можете стежити за статистикою для кожного з них окремо. При цьому потрібна інформація для кожної мережної картки також може відображатися у вікні моніторингу.
Мал. 3
Окремо варто сказати про систему оповіщень, яка реалізована тут дуже успішно. Можна задавати поведінку програми при виконанні заданих умов, якими можуть бути передача певної кількості даних за вказаний період часу, досягнення максимальної швидкості завантаження, зміна швидкості з'єднання та ін. службу. У цьому випадку Bandwidth Monitor Pro збиратиме статистику всіх користувачів, які заходять у систему під своїми логінами.
4) DUTraffic(Рис.4).
З усіх програм огляду DUTraffic відрізняє безкоштовний статус.
Мал. 4
Як і комерційні аналоги, DUTraffic може виконувати різноманітні дії під час тих чи інших умов. Так, наприклад, він може програвати аудіофайл, показувати повідомлення або розривати з'єднання з Інтернетом, коли середня або поточна швидкість завантаження менше заданого значення, коли тривалість Інтернет-сесії перевищує вказану кількість годин, коли передано певну кількість даних. Крім цього, різні дії можуть виконуватися циклічно, наприклад, щоразу, коли програма фіксує передачу заданого обсягу інформації. Статистика DUTraffic ведеться окремо для кожного користувача та для кожного з'єднання з Інтернетом. Програма показує як загальну статистику за вибраний проміжок часу, так і інформацію про швидкість, кількість переданих та прийнятих даних та фінансові витрати за кожну сесію.
5) Система моніторингу Cacti(Рис.5).
Cacti це open-source веб-додаток (відповідно відсутня інсталяційний файл). Cacti збирає статистичні дані за певні часові інтервали та дозволяє відобразити їх у графічному вигляді. Система дозволяє будувати графіки з допомогою RRDtool. Переважно використовуються стандартні шаблони для відображення статистики із завантаження процесора, виділення оперативної пам'яті, кількості запущених процесів, використання вхідного/вихідного трафіку.
Інтерфейс відображення статистики, зібраної з мережевих пристроїв, представлений у вигляді дерева, структура якого визначається самим користувачем. Як правило, графіки групують за певними критеріями, причому один і той же графік може бути присутнім у різних гілках дерева (наприклад, трафік через мережевий інтерфейс сервера - у тій, яка присвячена загальній картині інтернет-трафіку компанії, та у галузі з параметрами даного пристрою) . Є варіант перегляду заздалегідь складеного набору графіків і є режим попереднього перегляду. Кожен із графіків можна розглянути окремо, при цьому він буде представлений за останні день, тиждень, місяць та рік. Є можливість самостійного вибору тимчасового проміжку, за який буде згенерований графік, причому зробити це можна, як вказавши календарні параметри, так і виділивши мишкою певну ділянку на ньому.
Таблиця 1
|
Параметри/Програми |
BMExtreme |
BWMeter |
Bandwidth Monitor Pro |
DUTraffic |
Cacti |
|
Розмір інсталяційного файлу |
473 КБ |
1,91 МБ |
1,05 МБ |
1,4 МБ |
|
|
Мова інтерфейсу |
російська |
російська |
англійська |
російська |
англійська |
|
Графік швидкості |
|||||
|
Графік трафіку |
|||||
|
Експорт/імпорт (формат експорту) |
–/– |
(*. csv) |
–/– |
–/– |
(*. xls) |
|
Min -й тимчасовий крок між звітами даних |
5 хв. |
1 сек. |
1 хв. |
1 сек. |
1 сек. |
|
Можливість зміни min |
|||||
2. Огляд програм-аналізаторів (сніферів) мережевого трафіку
Аналізатор трафіку, або сніффер - мережевий аналізатор трафіку, програма або програмно-апаратний пристрій, призначений для перехоплення та подальшого аналізу, або лише аналізу мережевого трафіку, призначеного для інших вузлів.
Аналіз трафіку, що пройшов через сніффер, дозволяє:
Перехопити будь-який незашифрований (а часом і зашифрований) трафік користувача з метою отримання паролів та іншої інформації.
Локалізувати несправність мережі або помилку конфігурації мережевих агентів (для цієї мети сніфери часто використовуються системними адміністраторами).
Оскільки в «класичному» сніфері аналіз трафіку відбувається вручну, із застосуванням лише найпростіших засобів автоматизації (аналіз протоколів, відновлення TCP-потоку), він підходить для аналізу лише невеликих його обсягів.
1) Wireshark(Раніше - Ethereal).
Програма-аналізатор трафіку для комп'ютерних мереж Ethernet та інших. Має графічний інтерфейс користувача. Wireshark - це додаток, який «знає» структуру різних мережевих протоколів, і тому дозволяє розібрати мережевий пакет, відображаючи значення кожного поля протоколу будь-якого рівня. Оскільки для захоплення пакетів використовується pcap, існує можливість захоплення даних лише з мереж, які підтримуються цією бібліотекою. Тим не менш, Wireshark вміє працювати з безліччю форматів вхідних даних, відповідно можна відкривати файли даних, захоплених іншими програмами, що розширює можливості захоплення.
2) IrisNetworkTrafficAnalyzer.
Крім стандартних функцій збору, фільтрації та пошуку пакетів, а також побудови звітів програма пропонує унікальні можливості для реконструкції даних. Iris The Network Traffic Analyzer допомагає детально відтворити сеанси роботи користувачів з різними web-ресурсами та навіть дозволяє імітувати відправлення паролів для доступу до захищених web-серверів за допомогою cookies. Унікальна технологія реконструювання даних, реалізована в модулі дешифрування (decode module), перетворює сотні зібраних двійкових мережевих пакетів у звичні оку електронні листи, web-сторінки, повідомлення ICQ та ін. eEye Iris дозволяє переглядати незашифровані повідомлення web-пошти та програм миттєвого обміну повідомленнями розширюючи можливості наявних засобів моніторингу та аудиту.
Аналізатор пакетів eEye Iris дозволяє зафіксувати різні деталі атаки, такі як дата та час, IP-адреси та DNS-імена комп'ютерів хакера та жертви, а також використані порти.
3) EthernetInternettrafficStatistic.
Ethernet Internet traffic Statisticпоказує кількість отриманих і прийнятих даних (у байтах - всього за останню сесію), і навіть швидкість підключення. Для наочності дані, що збираються, відображаються в режимі реального часу на графіку. Працює без інсталяції, інтерфейс – російська та англійська.
Утиліта контролю за ступенем мережевої активності - показує кількість отриманих даних, ведучи статистику за сесію, день, тиждень і місяць.
4) CommTraffic.
Це мережна утиліта для збирання, обробки та відображення статистики інтернет-трафіку через модемне (dial-up) або виділене з'єднання. При моніторингу сегмента локальної мережі CommTraffic показує інтернет-трафік для кожного комп'ютера в сегменті.
CommTraffic включає легко інтегрований, зрозумілий користувачеві інтерфейс, що показує статистику роботи мережі у вигляді графіків і цифр.
Таблиця 2
|
Параметри/Програми |
Wireshark |
Iris The Network Traffic Analyzer |
Ethernet Internet traffic Statistic |
CommTraffic |
|
Розмір інсталяційного файлу |
17,4 МБ |
5,04 МБ |
651 КБ |
7,2 МБ |
|
Мова інтерфейсу |
англійська |
російська |
англійська Російська |
російська |
|
Графік швидкості |
||||
|
Графік трафіку |
||||
|
Експорт/Імпорт (формат експорту) |
+/– (*.txt, *.px, *.csv, *.psml, *.pdml, *.c) |
–/– |
–/– |
–/– |
|
Запуск моніторингу на вимогу |
||||
|
Min -й тимчасовий крок між звітами даних |
0,001 сек. |
1 сек. |
1 сек. |
1 сек. |
|
Можливість зміни min -го кроку між звітами даних |
Висновок
Загалом можна сказати, що більшості домашніх користувачів буде достатньо можливостей, які надає Bandwidth Monitor Pro. Якщо ж говорити про найфункціональнішу програму для моніторингу мережного трафіку, це, безумовно, BWMeter.
З-поміж розглянутих програм-аналізаторів мережевого трафіку хотілося б виділити Wireshark, яка має більшу кількість функціональних можливостей.
Система моніторингу Cacti максимально відповідає підвищеним вимогам, які висуваються у разі проведення дослідження мережевого трафіку з науковою метою. Надалі автори статті планують саме цю систему використовувати для збирання та попереднього аналізу трафіку у корпоративній мультисервісній мережі кафедри "Мережі зв'язку" Харківського національного університету радіоелектроніки.
Список літератури
Платов В.В., Петров В.В. Дослідження самоподібної структури телетрафіку бездротової мережі // Радіотехнічні зошити. М: ОКБ МЕІ. 2004. №3. З. 58-62.
Петров В.В. Структура телетрафіку та алгоритм забезпечення якості обслуговування при впливі ефекту самоподібності. Дисертація на здобуття наукового ступеня кандидата технічних наук, 05.12.13, Москва, 2004, 199 с.
У деяких випадках для виявлення проблем функціонування мережного стека вузла та сегментів мережі використовується аналіз мережного трафіку. Існують засоби, які дозволяють відобразити (прослухати) і проаналізувати роботу мережі на рівні кадрів, що передаються, мережевих пакетів, мережевих з'єднань, датаграм і прикладних протоколів.
Залежно від ситуації для діагностики може бути доступний як трафік вузла, на якому здійснюється прослуховування мережного трафіку, так і трафік мережного сегмента, порту маршрутизатора і т.д.. Розширені можливості для перехоплення трафіку засновані на "безладному" (promiscuous) режиміроботи мережевого адаптера: обробляються всі кадри (а не тільки ті, які призначені даній MAC-адресі та широкомовні, як у нормальному режимі функціонування).
У мережі Ethernet є такі основні можливості прослуховування трафіку:
- У мережі на основі концентраторів весь трафік домену колізій доступний будь-якій мережній станції.
- У мережах на основі комутаторів мережевої станції доступний її трафік, а також весь широкомовний трафік даного сегменту.
- Деякі керовані комутатори мають функцію копіювання трафіку даного порту на порт моніторингу("Дзеркалювання", моніторинг порту).
- Використання спеціальних засобів (відгалужувачів), що включаються в розрив мережного підключення та передають трафік підключення на окремий порт.
- "Трюк" із концентратором- порт комутатора, трафік якого необхідно прослухати, включають через концентратор, підключивши до концентратора також вузол-монітор (при цьому здебільшого зменшується продуктивність мережного підключення).
Існують програми ( мережеві монітори або аналізатори, sniffer), які реалізують функцію прослуховування мережного трафіку (в т.ч. у безладному режимі), відображення його або запису у файл . Додатково програмне забезпечення для аналізу може фільтрувати трафік на основі правил, декодувати (розшифрувати) протоколи, вважати статистику та діагностувати деякі проблеми.
Примітка: Хорошим вибором базового інструменту для аналізу мережевого трафіку графічне середовищеє безкоштовний пакет wireshark[ 43 ] , доступний для Windows та у репозиторіях деяких дистрибутивів Linux.
Утиліта tcpdump
Консольна утиліта tcpdump входить до складу більшості Unix-систем і дозволяє перехоплювати та відображати мережевий трафік [44]. Утиліта використовує libpcap, що переноситься C/C++ бібліотеку для перехоплення мережного трафіку.
Для встановлення tcpdump у Debian можна використовувати команду:
# apt-get install tcpdump
Для запуску цієї утиліти необхідно мати права суперкористувача(зокрема, у зв'язку з необхідністю переведення мережного адаптера в "безладний" режим). У загальному вигляді формат команди має такий вигляд:
tcpdump<опции> <фильтр-выражение>
Для виведення на консоль опис заголовків(Розшифровані дані) перехоплених пакетів необхідно вказати інтерфейс для аналізу трафіку (опція -i):
# tcpdump -i eth0
Можна вимкнути перетворення IP адрес в доменні імена (бо при великих обсягах трафіку створюється велика кількість запитів до DNS-сервера) - опція -n:
# tcpdump -n -i eth0
Для виведення даних канального рівня (наприклад, mac адреси та інше) - опція -e:
# tcpdump -en -i eth0
Виведення додаткової інформації (наприклад, TTL , опції IP ) - опція -v :
# tcpdump -ven -i eth0
Збільшення розміру пакетів, що захоплюються (більше 68 байт за замовчуванням) - опція -s із зазначенням розміру (-s 0 - захоплювати пакети повністю):
Запис у файл (безпосередньо пакети - "дамп") - опція -w із зазначенням імені файлу:
# tcpdump -w traf.dump
Читання пакетів із файлу - опція - r із зазначенням імені файлу:
# tcpdump -r traf.dump
Типово tcpdump працює в безладному режимі. Ключ -p вказує tcpdump перехоплювати лише трафік, призначений даному вузлу.
Додаткову інформацію про ключі та формати фільтрів tcpdump можна отримати у довідковому посібнику (man tcpdump ).
Аналіз трафіку на рівні мережевих інтерфейсів та мережному рівні за допомогою tcpdump
Для виділення Ethernet-фреймів використовуються такі конструкції tcpdump (загальний вигляд):
tcpdump ether (src | dst | host) MAC_ADDRESS
де src - MAC-адреса джерела, dst- MAC-адреса призначення, host - src або dst, а також виділення широкомовного трафіку.
Сніффінг пакетів – це розмовний термін, який відноситься до мистецтва аналізу мережевого трафіку. Всупереч поширеній думці, такі речі, як електронні листи та веб-сторінки, не проходять через мережу інтернет одним шматком. Вони розбиті на тисячі невеликих пакетів даних, і таким чином вирушають через інтернет. У цій статті ми розглянемо найкращі безкоштовні аналізатори мережі та сніфери пакетів.
Є безліч утиліт, які збирають мережевий трафік, і більшість із них використовують pcap (у Unix-подібних системах) або libcap (у Windows) як ядро. Інший вид утиліт допомагає аналізувати ці дані, оскільки навіть невеликий обсяг трафіку може генерувати тисячі пакетів, у яких важко орієнтуватися. Майже всі ці утиліти мало відрізняються один від одного у зборі даних, основні відмінності полягають у тому, як вони аналізують дані.
Аналіз мережного трафіку потребує розуміння, як працює мережу. Немає жодного інструменту, який би чарівним чином замінив знання аналітика про основи роботи мережі, такі як "3-х етапне рукостискання" TCP, яке використовується для ініціювання з'єднання між двома пристроями. Аналітики також повинні мати деяке уявлення про типи мережного трафіку в мережі, що нормально функціонує, таких як ARP і DHCP. Це знання є важливим, тому що аналітичні інструменти просто покажуть вам те, про що ви їх попросите. Вам вирішувати, що потрібно просити. Якщо ви не знаєте, як зазвичай виглядає ваша мережа, можливо складно зрозуміти, що ви знайшли те, що потрібно, в масі зібраних вами пакетів.
Найкращі сніфери пакетів та аналізатори мережі
Промислові інструменти
Почнемо з вершини і далі спустимося до основ. Якщо ви маєте справу з мережею рівня підприємства, вам знадобиться гармата. Хоча в основі майже все використовує tcpdump (докладніше про це пізніше), інструменти рівня підприємства можуть вирішувати певні складні проблеми, такі як кореляція трафіку з множини серверів, надання інтелектуальних запитів для виявлення проблем, попередження про винятки та створення хороших графіків, чого завжди вимагає начальство .
Інструменти рівня підприємства, як правило, заточені на потокову роботу з мережевим трафіком, а не оцінку вмісту пакетів. Під цим я маю на увазі, що основна увага більшості системних адміністраторів на підприємстві полягає в тому, щоб мережа не мала вузьких місць у продуктивності. Коли такі вузькі місця виникають, мета зазвичай полягає в тому, щоб визначити, викликана проблема мережею або додатком в мережі. З іншого боку, ці інструменти можуть обробляти такий великий трафік, що вони можуть допомогти передбачити момент, коли сегмент мережі буде повністю завантажений, що є критичним моментом управління пропускною здатністю мережі.
Це дуже великий набір інструментів керування IT. У цій статті доречніша утиліта Deep Packet Inspection and Analysis, яка є його складовою. Збір мережного трафіку досить простий. З використанням таких інструментів як WireShark, базовий аналіз також не є проблемою. Але не завжди ситуація цілком зрозуміла. У дуже завантаженій мережі може бути важко визначити навіть дуже прості речі, наприклад:
Яка програма в мережі створює цей трафік?
- якщо програма відома (скажімо, веб-браузер), де її користувачі проводять більшу частину свого часу?
- які з'єднання найдовші та перевантажують мережу?
Більшість мережевих пристроїв, щоб переконатися, що пакет йде туди, куди потрібно, використовують метадані кожного пакета. Вміст пакету невідомий мережному пристрою. Інша справа – глибока інспекція пакетів; це означає, що перевіряється фактичний вміст пакета. Таким чином, можна виявити критичну мережеву інформацію, яку не можна почерпнути з метаданих. Інструменти, подібні до тих, які надаються SolarWinds, можуть видавати більш значущі дані, ніж просто потік трафіку.
Інші технології управління мережами з великим обсягом даних включають NetFlow та sFlow. У кожної є свої сильні та слабкі сторони,
Ви можете дізнатися більше про NetFlow та sFlow.
Аналіз мереж загалом є передовою темою, що базується як на основі отриманих знань, так і на основі практичного досвіду роботи. Можна навчити людину детальним знанням про мережеві пакети, але якщо ця людина не має знання про саму мережу, і не має досвіду виявлення аномалій, вона не надто досягне успіху. Інструменти, описані в цій статті, повинні використовуватися досвідченими адміністраторами мережі, які знають, що вони хочуть, але не впевнені в тому, яка утиліта краще. Вони також можуть використовуватися менш досвідченими адміністраторами, щоб отримати повсякденний досвід роботи з мережами.
Основи
Основним інструментом для збирання мережевого трафіку є
Ця програма з відкритим вихідним кодом, яка встановлюється практично у всіх Unix-подібних операційних системах. Tcpdump – відмінна утиліта для збору даних, яка має дуже складну мову фільтрації. Важливо знати, як фільтрувати дані при їх збиранні, щоб отримати нормальний набір даних для аналізу. Захоплення всіх даних із мережного пристрою навіть у помірно завантаженій мережі може породити надто багато даних, які дуже важко проаналізувати.
У деяких поодиноких випадках достатньо буде виводити захоплені tcpdump дані прямо на екран, щоб знайти те, що вам потрібно. Наприклад, при написанні цієї статті я зібрав трафік і помітив, що моя машина відправляє трафік на IP-адресу, яку я не знаю. Виявляється, моя машина надсилала дані на IP-адресу Google 172.217.11.142. Оскільки у мене не було жодних продуктів Google і не було відкрито Gmail, я не знав, чому це відбувається. Я перевірив свою систему і знайшов таке:
[~]$ps-ef | grep google user 1985 1881 0 10:16 ? 00:00:00 /opt/google/chrome/chrome --type=service
Виявляється, навіть коли Chrome не працює, він залишається запущеним як служба. Я б не помітив цього без аналізу пакетів. Я перехопив ще кілька пакетів даних, але цього разу дав tcpdump завдання записати дані у файл, який потім відкрив у Wireshark (докладніше про це пізніше). Ось ці записи:
Tcpdump – улюблений інструмент системних адміністраторів, тому що це утиліта командного рядка. Для запуску tcpdump не потрібен графічний інтерфейс. Для виробничих серверів графічний інтерфес швидше шкідливий, оскільки споживає системні ресурси, тому кращі програми командного рядка. Як і багато сучасних утиліт, tcpdump має дуже багату і складну мову, яка вимагає деякого часу для його освоєння. Декілька найбільш базових команд включають вибір мережного інтерфейсу для збору даних і запис цих даних у файл, щоб його можна було експортувати для аналізу в іншому місці. Для цього використовуються перемикачі -i та -w.
# tcpdump -i eth0 -w tcpdump_packets tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes ^C51 packets captured
Ця команда створює файл із захопленими даними:
file tcpdump_packets tcpdump_packets: tcpdump capture file (little-endian) - version 2.4 (Ethernet, capture length 262144)
Стандартом таких файлів є формат pcap. Він не є текстом, тому його можна аналізувати лише за допомогою програм, які розуміють цей формат.
3. Windump
Більшість корисних утиліт з відкритим вихідним кодом зрештою клонують до інших операційних систем. Коли це відбувається, кажуть, що програма була перенесена. Windump - це порт tcpdump і поводиться дуже схожим чином.
Найбільша різниця між Windump і tcpdump полягає в тому, що Windump потребує бібліотеки Winpcap, встановленої до запуску Windump. Незважаючи на те, що Windump і Winpcap надаються одним і тим же майнтайнером, їх потрібно завантажувати окремо.
Winpcap - це бібліотека, яка має бути попередньо встановлена. Але Windump - це exe-файл, який не потребує встановлення, тому його можна просто запускати. Це потрібно мати на увазі, якщо ви використовуєте мережу Windows. Вам не обов'язково встановлювати Windump на кожній машині, оскільки ви можете просто копіювати його при необхідності, але вам знадобиться Winpcap для підтримки Windup.
Як і у випадку з tcpdump, Windump може виводити мережеві дані на екран для аналізу, фільтрувати так само, а також записувати дані у файл pcap для подальшого аналізу.
4. Wireshark
Wireshark є наступним найвідомішим інструментом у наборі системного адміністратора. Він дозволяє не тільки захоплювати дані, але й надає деякі розширені інструменти аналізу. Крім того, Wireshark є програмою з відкритим вихідним кодом та перенесений практично на всі існуючі серверні операційні системи. Під назвою Etheral, Wireshark тепер працює скрізь, у тому числі в якості автономної програми, що переноситься.
Якщо ви аналізуєте трафік на сервері з графічним інтерфейсом, Wireshark може зробити все за вас. Він може зібрати дані, а потім аналізувати їх тут же. Однак на серверах графічний інтерфейс зустрічається рідко, тому ви можете збирати мережеві дані віддалено, а потім вивчати отриманий pcap файл у Wireshark на своєму комп'ютері.
При першому запуску Wireshark дозволяє завантажити існуючий файл pcap, або запустити захоплення трафіку. В останньому випадку ви можете додатково задати фільтри для зменшення кількості даних, що збираються. Якщо ви не вкажете фільтр, Wireshark просто збиратиме всі мережеві дані з вибраного інтерфейсу.
Однією з найкорисніших можливостей Wireshark є можливість йти за потоком. Найкраще уявити потік як ланцюжок. На скріншоті нижче ми можемо бачити безліч захоплених даних, але мене найбільше цікавила IP-адреса Google. Я можу клацнути правою кнопкою миші і слідувати потоку TCP, щоб побачити весь ланцюжок.
Якщо захват трафіку здійснювався на іншому комп'ютері, ви можете імпортувати файл PCAP за допомогою діалогу Wireshark File -> Open. Для імпортованих файлів доступні самі фільтри та інструменти, що й для захоплених мережних даних.
5. tshark
Tshark - це дуже корисна ланка між tcpdump та Wireshark. Tcpdump перевершує їх під час збору даних і може хірургічно витягувати лише ті дані, які вам потрібні, проте його можливості аналізу даних дуже обмежені. Wireshark відмінно справляється як із захопленням, так і з аналізом, але має важкий інтерфейс користувача і не може використовуватися на серверах без графічного інтерфейсу. Спробуйте tshark, він працює в командному рядку.
Tshark використовує ті ж правила фільтрації, що і Wireshark, що не повинно дивувати, тому що вони насправді є одним і тим же продуктом. Наведена нижче команда говорить tshark тільки про те, що необхідно захопити IP-адресу пункту призначення, а також деякі інші поля, що цікавлять нас, з HTTP-частини пакета.
# tshark -i eth0 -Y http.request -T fields -e ip.dst -e http.user_agent -e http.request.uri 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/201000 /57.0 /images/title.png 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 /images/styles/phoenix.css 172.2 ; rv:57.0) Gecko/20100101 Firefox/57.0 /images/code/jquery_lightbox/jquery_lightbox/js/jquery-1.2.6.pack.js 172.20.0.122 Mozilla/5.0 (X11; Linux x86 x /57.0 /images/styles/index.css 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 /images/images/title.png 172.20 x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 /favicon.ico 172.20.0.122
Якщо ви хочете записати трафік у файл, використовуйте для цього параметр W, а потім перемикач -r (читання), щоб прочитати його.
Спочатку захоплення:
# tshark -i eth0 -w tshark_packets Capturing on "eth0" 102 ^C
Прочитайте його тут же або перенесіть в інше місце для аналізу.
# tshark -r tshark_packets -Y http.request -T fields -e ip.dst -e http.user_agent -e http.request.uri 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/101 /57.0 /contact 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 /reservations/ 172.20.0.122 Mozilla/5.0 0100101 Firefox/ 57.0 /reservations/styles/styles.css 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0 /res/code/jquery_lighty/ js 172.20.0.122 Mozilla/5.0 (X11; Linux x86_64; rv:57.0) Firefox/57.0 /res/styles/index.css 172.20.0.122 Mozilla/6.0 20100101 Firefox/57.0 /res/images/title.png
Це дуже цікавий інструмент, який скоріше потрапляє до категорії інструментів мережевого криміналістичного аналізу, а не просто сніферів. Сфера криміналістики, як правило, займається розслідуваннями та збиранням доказів, і Network Miner виконує цю роботу просто чудово. Також, як wireshark може слідувати потоку TCP, щоб відновити весь ланцюжок передачі паків, Network Miner може слідувати потоку для того, щоб відновити файли, які були передані по мережі.
Network Miner може бути стратегічно розміщений у мережі, щоб мати можливість спостерігати та збирати трафік, який вас цікавить, у режимі реального часу. Він не буде генерувати свій власний трафік у мережі, тому працюватиме потай.
Network Miner також може працювати в автономному режимі. Ви можете використовувати tcpdump, щоб зібрати пакети в точці мережі, що вас цікавить, а потім імпортувати файли PCAP в Network Miner. Далі можна буде спробувати відновити файли або сертифікати, знайдені в записаному файлі.
Network Miner зроблено для Windows, але за допомогою Mono він може бути запущений у будь-якій ОС, яка підтримує платформу Mono, наприклад Linux та MacOS.
Є безкоштовна версія початкового рівня, але з пристойним набором функцій. Якщо вам потрібні додаткові можливості, такі як геолокація та сценарії користувача, потрібно придбати професійну ліцензію.
7. Fiddler (HTTP)
Технічно не є утилітою для захоплення мережевих пакетів, але він неймовірно корисний, що потрапив до цього списку. На відміну від інших перерахованих тут інструментів, призначених для захоплення трафіку в мережі з будь-якого джерела, Fiddler скоріше служить інструментом налагодження. Він захоплює HTTP трафік. Хоча багато браузерів вже мають цю можливість у своїх засобах розробника, Fiddler не обмежується трафіком браузера. Fiddler може захопити будь-який HTTP-трафік на комп'ютері, у тому числі й не з веб-застосунків.
Багато настільних програм використовують HTTP для підключення до веб-служб, і крім Fiddler, єдиним способом захоплення такого трафіку для аналізу є використання таких інструментів, як tcpdump або Wireshark. Однак вони працюють на рівні пакетів, тому для аналізу необхідно реконструювати ці пакети в потоки HTTP. Це може вимагати багато роботи для виконання простих досліджень, і тут на допомогу приходить Fiddler. Fiddler допоможе виявити куки, сертифікати, та інші корисні дані, що надсилаються додатками.
Fiddler є безкоштовним і так само, як Network Miner, він може бути запущений в Mono практично на будь-якій операційній системі.
8. Capsa
Аналізатор мережі Capsa має кілька редакцій, кожна з яких має різноманітні можливості. На першому рівні Capsa безкоштовна, і вона по суті дозволяє просто захоплює пакети та робити їх базовий графічний аналіз. Панель моніторингу є унікальною і може допомогти недосвідченому системному адміністратору швидко визначити проблеми в мережі. Безкоштовний рівень призначений для людей, які хочуть дізнатися більше про пакети та нарощувати свої навички в аналізі.
Безкоштовна версія дозволяє контролювати більше 300 протоколів, підходить для моніторингу електронної пошти, а також збереження вмісту електронної пошти, вона також підтримує тригери, які можуть використовуватися для увімкнення оповіщень при виникненні певних ситуацій. У зв'язку з цим Capsa певною мірою може використовуватися як засіб підтримки.
Capsa доступна лише для Windows 2008/Vista/7/8 та 10.
Висновок
Нескладно зрозуміти, як за допомогою описаних нами інструментів системний адміністратор може створити інфраструктуру моніторингу мережі. Tcpdump чи Windump можуть бути встановлені на всіх серверах. Планувальник, такий як cron або планувальник Windows, в потрібний момент запускає сеанс збору пакетів і записує зібрані дані в файл pcap. Далі системний адміністратор може передати ці пакети центральній машині та аналізувати їх за допомогою wireshark. Якщо мережа занадто велика для цього, є інструменти корпоративного рівня, такі як SolarWinds, щоб перетворити всі мережеві пакети на керований набір даних.
Міністерство освіти та наук Російської Федерації
ГОУ «Санкт-Петербурзький державний політехнічний університет»
Чебоксарський інститут економіки та менеджменту (філія)
Кафедра вищої математики та інформаційних технологій
РЕФЕРАТ
за курсом «Захист інформації».
на тему: «Мережеві аналізатори»
Виконав
студент 4 курсу з/о 080502-51М
за спеціальністю «Управління
на підприємстві машинобудування»
Павлов К.В.
Перевірив
Викладач
Чобоксари 2011
ВСТУП
Мережі Ethernet завоювали величезну популярність завдяки гарній пропускній спроможності, простоті установки та прийнятній вартості встановлення мережевого обладнання.
Однак технологія Ethernet не позбавлена значних недоліків. Основний з них полягає в незахищеності інформації, що передається. Комп'ютери, підключені до мережі Ethernet, можуть перехоплювати інформацію, адресовану своїм сусідам. Причиною тому є прийнятий у мережах Ethernet так званий широкомовний механізм обміну повідомленнями.
Об'єднання комп'ютерів у мережі ламає старі аксіоми захисту. Наприклад, про статичність безпеки. У минулому вразливість системи могла бути виявлена та усунена адміністратором системи шляхом встановлення відповідного оновлення, який міг лише за кілька тижнів чи місяців перевірити функціонування встановленої "латки". Однак ця "латка" могла бути видалена користувачем випадково або в процес роботи, або іншим адміністратором при інсталяції нових компонентів. Все змінюється, і зараз інформаційні технології змінюються настільки швидко, що статичні механізми безпеки не забезпечують повної захищеності системи.
Донедавна основним механізмом захисту корпоративних мереж були міжмережеві екрани (firewall). Проте міжмережові екрани, призначені захисту інформаційних ресурсів організації, часто самі виявляються вразливими. Це тому, що системні адміністратори створюють так багато спрощень у системі доступу, що у результаті кам'яна стіна системи захисту стає дірявою, як решето. Захист за допомогою міжмережевих екранів (МСЕ) може виявитися недоцільним для корпоративних мереж із напруженим трафіком, оскільки використання багатьох МСЕ істотно впливає на продуктивність мережі. У деяких випадках краще "залишити двері широко відчиненими", а основний упор зробити на методи виявлення вторгнення в мережу та реагування на них.
Для постійного (24 години на добу 7 днів на тиждень, 365 днів на рік) моніторингу корпоративної мережі щодо виявлення атак призначені системи "активного" захисту - системи виявлення атак. Дані системи виявляють атаки на вузли корпоративної мережі та реагують на них заданим адміністратором безпеки чином. Наприклад, переривають з'єднання з атакуючим вузлом, повідомляють адміністратору або заносять інформацію про напад у реєстраційні журнали.
1. МЕРЕЖЕВІ АНАЛІЗАТОРИ
1.1 IP - ALERT 1 АБО ПЕРШИЙ МЕРЕЖЕВИЙ МОНІТОР
Для початку слід сказати кілька слів про локальне широкомовлення. У мережі типу Ethernet підключені до неї комп'ютери, зазвичай, спільно використовують один і той самий кабель, який є середовищем для пересилання повідомлень з-поміж них.
Той, хто бажає передати будь-яке повідомлення по загальному каналу, повинен спочатку переконатися, що цей канал в даний момент часу вільний. Розпочавши передачу, комп'ютер прослуховує частоту сигналу, що несе, визначаючи, чи не сталося спотворення сигналу в результаті виникнення колізій з іншими комп'ютерами, які ведуть передачу своїх даних одночасно з ним. За наявності колізії передача переривається і комп'ютер замовкає на деякий інтервал часу, щоб спробувати повторити передачу трохи пізніше. Якщо комп'ютер, підключений до мережі Ethernet, нічого не передає сам, він продовжує "слухати" всі повідомлення, що передаються по мережі сусідніми комп'ютерами. Помітивши в заголовку порції даних свою мережеву адресу, комп'ютер копіює цю порцію в свою локальну пам'ять.
Існують два основні способи об'єднання комп'ютерів у мережу Ethernet. У першому випадку комп'ютери з'єднуються за допомогою коаксіального кабелю. Цей кабель прокладається від комп'ютера до комп'ютера, з'єднуючись із мережевими адаптерами Т-подібним роз'ємом і замикаючись по кінцях BNC-термінаторами. Така топологія мовою професіоналів називається мережею Ethernet 10Base2. Однак її ще можна назвати мережею, у якій "усі чують усіх". Будь-який комп'ютер, підключений до мережі, здатний перехоплювати дані, що надсилаються цією мережею іншим комп'ютером. У другому випадку кожен комп'ютер з'єднаний кабелем типу "кручена пара" з окремим портом центрального комутуючого пристрою - концентратором або з комутатором. У таких мережах, які називаються мережами Ethernet lOBaseT, комп'ютери поділені на групи, які називають доменами колізій. Домени колізій визначаються портами концентратора чи комутатора, замкнутими загальну шину. Внаслідок колізії виникають не між усіма комп'ютерами мережі. а окремо - між тими, які входять у той самий домен колізій, що підвищує пропускну спроможність мережі загалом.
Останнім часом у великих мережах стали з'являтися комутатори нового типу, які використовують широкомовлення і замикають групи портів між собою. Натомість усі дані, що передаються по мережі, буферизуються в пам'яті і відправляються в міру можливості. Однак подібних мереж поки що досить мало - не більше 5% від загальної кількості мереж типу Ethernet.
Таким чином, прийнятий у переважній більшості Ethernet-мереж алгоритм передачі даних вимагає від кожного комп'ютера, підключеного до мережі, безперервного "прослуховування" всього без винятку мережного трафіку. Запропоновані деякими людьми алгоритми доступу, при використанні яких комп'ютери відключалися від мережі на час передачі "чужих" повідомлень, так і залишилися нереалізованими через свою надмірну складність, дорожнечу впровадження та малу ефективність.
Що таке IPAlert-1 і звідки він узявся? Колись практичні та теоретичні дослідження авторів за напрямом, пов'язаним з дослідженням безпеки мереж, навели на таку думку: у мережі Internet, як і в інших мережах (наприклад, Novell NetWare, Windows NT), відчувалася серйозна нестача програмного засобу захисту, що здійснює комплексний контроль (моніторинг) на канальному рівні за всім потоком інформації, що передається по мережі, з метою виявлення всіх типів віддалених впливів, описаних у літературі. Дослідження ринку програмного забезпечення мережевих засобів захисту для Internet виявило той факт, що подібних комплексних засобів виявлення віддалених впливів не існувало, а ті, що були, були призначені для виявлення впливів одного конкретного типу (наприклад, ICMP Redirect або ARP). Тому і було розпочато розробку засобу контролю сегмента IP-мережі, призначеного для використання в мережі Internet і таку назву: мережевий монітор безпеки IP Alert-1.
Основне завдання цього засобу, що програмно аналізує мережевий трафік у каналі передачі, полягає не у відображенні здійснюваних по каналу зв'язку віддалених атак, а в їх виявленні, протоколюванні (веденні файлу аудиту з протоколюванням у зручній для подальшого візуального аналізу формі всіх подій, пов'язаних з віддаленими атаками на даний сегмент мережі) та негайному сигналізуванні адміністратору безпеки у разі виявлення віддаленої атаки. Основним завданням мережевого монітора безпеки IP Alert-1 є здійснення контролю над безпекою відповідного сегмента мережі Internet.
Мережевий монітор безпеки IP Alert-1 має наступні функціональні можливості і дозволяє шляхом мережевого аналізу виявити наступні віддалені атаки на контрольований сегмент мережі:
1. Контроль за відповідністю IP- та Ethernet-адрес у пакетах, що передаються хостами, що знаходяться всередині контрольованого сегмента мережі.
На хості IP Alert-1 адміністратор безпеки створює статичну ARP-таблицю, куди заносить відомості про відповідні IP- та Ethernet-адреси хостів, що знаходяться всередині контрольованого сегмента мережі.
Ця функція дозволяє виявити несанкціоновану зміну IP-адреси або її заміну (так званий IP Spoofing, спуфінг, іп-спуфінг (жарг.)).
2. Контроль за коректним використанням механізму віддаленого ARP-пошуку. Ця функція дозволяє, використовуючи статичну ARP-таблицю, визначити віддалену атаку "Помилковий ARP-сервер".
3. Контроль за коректним використанням механізму віддаленого DNS-пошуку. Ця функція дозволяє визначити всі можливі види віддалених атак на DNS
4. Контроль за коректністю спроб віддаленого підключення шляхом аналізу запитів, що передаються. Ця функція дозволяє виявити, по-перше, спробу дослідження закону зміни початкового значення ідентифікатора TCP-з'єднання - ISN, по-друге, віддалену атаку "відмова в обслуговуванні", що здійснюється шляхом переповнення черги запитів на підключення, і, по-третє, спрямована " шторм" помилкових запитів на підключення (як TCP, так і UDP), що призводить також до відмови в обслуговуванні.
Таким чином, мережевий монітор безпеки IP Alert-1 дозволяє виявити, оповістити та запротоколювати більшість видів віддалених атак. При цьому дана програма аж ніяк не є конкурентом для систем Firewall. IP Alert-1, використовуючи особливості віддалених атак на мережу Internet, служить необхідним доповненням - до речі, незрівнянно дешевшим, - до систем Firewall. Без монітора безпеки більшість спроб здійснення віддалених атак на сегмент мережі залишиться приховано від ваших очей. Жоден з відомих Firewall-ів не займається подібним інтелектуальним аналізом повідомлень, що проходять по мережі, на предмет виявлення різного роду віддалених атак, обмежуючись, у кращому випадку, веденням журналу, в який заносяться відомості про спроби підбору паролів, про сканування портів і про сканування мережі з використання відомих програм віддаленого пошуку. Тому якщо адміністратор IP-мережі не бажає залишатися байдужим і задовольнятися роллю простого статиста при віддалених атаках на його мережу, то йому бажано використовувати мережевий монітор безпеки IP Alert-1.
tcpdump
Основним інструментом багатьох зборів мережного трафіку є tcpdump . Ця програма з відкритим вихідним кодом, яка встановлюється практично у всіх Unix-подібних операційних системах. Tcpdump - відмінний інструмент для збору даних та поставляється з дуже потужним механізмом фільтрації. Важливо знати, як фільтрувати дані під час збору, щоб отримати керований фрагмент даних для аналізу. Захоплення всіх даних із мережного пристрою навіть у помірно завантаженій мережі може створити надто багато даних для простого аналізу.
У деяких поодиноких випадках tcpdump дозволяє виводити результат роботи безпосередньо на ваш екран, і цього може бути цілком достатньо, щоб знайти те, що ви шукаєте. Наприклад, при написанні статті було захоплено деякий трафік і помічено, що машина відправляє трафік на невідому IP-адресу. Виявляється, машина надсилала дані на IP-адресу Google 172.217.11.142. Оскільки не було запущено жодних продуктів Google, виникло питання, чому це відбувається.
Перевірка системи показала таке:
[~]$ps-ef | grep googleЗалишіть свій коментар!
