Оглавление
Об авторе .............................................................................................................................. 5
Предисловие ..................................................................................................................... 11
Предисловие от издательства ................................................................................ 19
Часть I. ДАННЫЕ ........................................................................................................... 21
Глава 1. Сенсоры идетекторы: введение........................................................ 23
Область обзора сенсора: зависимость сбора данных отрасположения сенсора ................. 24
Уровни расположения сенсоров: какие данные можно собрать ........................................... 27
Действия сенсора: как сенсор обрабатывает данные ............................................................ 30
Заключение ............................................................................................................................... 32
Глава 2. Сетевые сенсоры .......................................................................................... 33
Влияние уровней сети наее оснащение ................................................................................. 34
Уровни сети иобласть обзора сенсоров ............................................................................. 36
Уровни сети иадресация ..................................................................................................... 40
Пакетные данные ..................................................................................................................... 41
Форматы пакетов ифреймов .............................................................................................. 42
Циклический (кольцевой) буфер ........................................................................................ 42
Лимитирование захваченных пакетных данных .............................................................. 42
Фильтрация специфических типов пакетов ..................................................................... 43
seq 265488449, win 65535, options [mss 1460,nop,wscale 3,nop, ......................................... 45
Если вы неиспользуете Ethernet ......................................................................................... 46
NetFlow ...................................................................................................................................... 47
Форматы иполя NetFlow v5 ................................................................................................. 47
«Поток инаполнение». NetFlow v9 истандарт IPFIX ......................................................... 48
Генерация исбор данных вNetFlow ................................................................................... 49
Дополнительные материалы для чтения ................................................................................ 50
Глава 3. Датчики хостов исервисов:
журналирование трафика висточнике даных ............................................ 51
Доступ иуправление файлами журнала ................................................................................. 52
Содержание файлов журнала ................................................................................................... 54
Характеристики хорошего сообщения журнала ................................................................ 54
Существующие файлы журнала икак ими управлять ...................................................... 57
Представительные форматы файла журнала ......................................................................... 58
HTTP: CLF иELF .................................................................................................................... 58
SMTP ...................................................................................................................................... 62
Microsoft Exchange: журналы отслеживающие сообщения ............................................... 64
Транспорт файла журнала: передачи, системы иочереди сообщений ................................ 65
Передача иротация файла журнала ................................................................................... 65
Системный журнал .............................................................................................................. 66
Дополнительные материалы для чтения ................................................................................ 67
Глава 4. Хранение данных дляанализа: реляционные базы
данных, большие данные идругие опции ..................................................... 68
Данные журналов ипарадигма CRUD ..................................................................................... 69
Создание хорошо организованной плоской файловой системы: уроки от SiLK ............. 70
Краткое введение всистемы NoSQL ....................................................................................... 72
Какой подход кхранению данных использовать ................................................................... 75
Иерархия устройств хранения данных, время выполнения запроса истарение ............ 77
Часть 2. ИНСТРУМЕНТЫ ........................................................................................ 79
Глава 5. Комплект SiLK ................................................................................................ 81
Что такое SiLK икак он работает? ........................................................................................... 81
Получение иустановка SiLK .................................................................................................... 82
Файлы данных ...................................................................................................................... 82
Выбор иформатирование выходного управления полем: rwcut .......................................... 83
Основное управление полем: rwfi lter ..................................................................................... 87
Порты ипротоколы .............................................................................................................. 88
Размер ................................................................................................................................... 89
IP-адреса ............................................................................................................................... 89
Время .................................................................................................................................... 91
Опции TCP ............................................................................................................................ 91
Опции помощника ............................................................................................................... 93
Разные опции фильтрации инекоторые взломы .............................................................. 93
rwfi leinfo ипроисхождение ...................................................................................................... 94
Объединение информационных потоков: rwcount ................................................................ 96
rwset иIP Sets ............................................................................................................................ 98
rwuniq ...................................................................................................................................... 101
rwbag ........................................................................................................................................ 103
Усовершенствованные средства SiLK .................................................................................... 103
pmaps................................................................................................................................... 104
Сбор данных SiLK.................................................................................................................... 105
YAF ....................................................................................................................................... 106
rwptofl ow ............................................................................................................................. 108
rwtuc .................................................................................................................................... 108
Дополнительные материалы для чтения .............................................................................. 109
Глава 6. Введение вR для аналитиков
повопросам безопасности ..................................................................................... 110
Монтаж иустановка ............................................................................................................... 111
Основы языка .......................................................................................................................... 111
Подсказка R ........................................................................................................................ 111
R-переменные .................................................................................................................... 113
Запись функций ................................................................................................................. 118
Условные выражения иитерация ..................................................................................... 119
Использование рабочей области R ........................................................................................ 121
7
Кадры данных ......................................................................................................................... 122
Визуализация .......................................................................................................................... 125
Команды визуализации ..................................................................................................... 126
Параметры визуализации ................................................................................................. 126
Аннотирование визуализации .......................................................................................... 128
Экспорт визуализации ....................................................................................................... 129
Анализ: статистическое тестирование гипотезы ................................................................. 129
Тестирование гипотезы ..................................................................................................... 130
Тестирование данных ........................................................................................................ 132
Дополнительные материалы для чтения .............................................................................. 134
Глава 7. Классификация иинструменты события: IDS, AV иSEM ... 135
Как работает IDS ..................................................................................................................... 136
Базовый словарь ................................................................................................................. 136
Интенсивность отказов классификатора: понимание ошибки тарифной ставки ........ 140
Применение классификации ............................................................................................ 142
Улучшение производительности IDS .................................................................................... 143
Улучшение обнаружения IDS ............................................................................................ 144
Улучшение ответа IDS ........................................................................................................ 148
Упреждающая выборка данных ........................................................................................ 149
Дополнительные материалы для чтения .............................................................................. 150
Глава 8. Ссылка ипоиск: инструменты для выяснения,
кто есть кто ....................................................................................................................... 151
MAC иаппаратные адреса ...................................................................................................... 151
IP-адресация ........................................................................................................................... 153
Адреса IPv4, их структура иважные адреса ..................................................................... 154
Адреса IPv6, их структура иважные адреса ..................................................................... 155
Проверка возможности соединения: используя ping длясоединения садресом ......... 157
Tracerouting ........................................................................................................................ 158
Интеллект IP: геолокация идемография ......................................................................... 160
DNS .......................................................................................................................................... 161
Структура имени DNS ........................................................................................................ 161
Направление запроса DNS сиспользованием dig ............................................................ 163
Поиск реверса DNS ............................................................................................................. 169
Использование whois для нахождения владельца ........................................................... 170
Дополнительные ссылочные инструменты .......................................................................... 173
DNSBLs ................................................................................................................................ 173
Глава 9. Больше инструментов............................................................................. 176
Визуализация .......................................................................................................................... 176
Graphviz ............................................................................................................................... 176
Коммуникации изондирование ............................................................................................ 179
netcat ................................................................................................................................... 179
nmap .................................................................................................................................... 181
Scapy .................................................................................................................................... 182
Проверка пакетов иссылка .................................................................................................... 184
Wireshark ............................................................................................................................. 185
GeoIP ................................................................................................................................... 185
8 Оглавление
NVD, вредоносные сайты иC*Es ....................................................................................... 186
Поисковые системы, списки рассылки илюди ................................................................ 187
Дополнительные материалы для чтения .............................................................................. 188
ЧАСТЬ III. АНАЛИТИКА ........................................................................................... 189
Глава 10. Исследовательский анализ данных и визуализация ....... 191
Цель EDA: применение анализа ............................................................................................ 192
Поток операций EDA .............................................................................................................. 194
Переменные ивизуализация ................................................................................................. 196
Одномерная визуализация: гистограммы, графики QQ, коробчатые
диаграммы играфики разряда .............................................................................................. 197
Гистограммы ...................................................................................................................... 197
Столбиковые диаграммы (некруговые диаграммы)........................................................ 199
График квантиль-квантиль (QQ) ....................................................................................... 200
Сводка спятью числами икоробчатая диаграмма .......................................................... 202
Генерация коробчатой диаграммы ................................................................................... 203
Двумерное описание .............................................................................................................. 206
Scatterplots (графики рассеяния) разброса....................................................................... 206
Таблицы сопряженности ................................................................................................... 208
Многомерная визуализация .................................................................................................. 209
Введение вэксплуатацию визуализации безопасности ................................................. 211
Правило первое: связанность иразделение визуализации
для управления разрушениями ........................................................................................ 211
Дополнительные материалы для чтения .............................................................................. 217
Глава 11. О «нащупывании» .................................................................................. 218
Модели нападения .................................................................................................................. 218
Нащупывание: неверная конфигурация, автоматизация исканирование ........................ 221
Отказы поиска .................................................................................................................... 221
Автоматизация ................................................................................................................... 222
Сканирование ..................................................................................................................... 222
Идентификация нащупывания ............................................................................................. 223
Нащупывание TCP: машина состояния ........................................................................... 223
Сообщения ICMP инащупывание ..................................................................................... 226
Идентификация нащупывания UDP ................................................................................. 228
Нащупывание науровне обслуживания ............................................................................... 228
Нащупывание HTTP ........................................................................................................... 228
Нащупывание SMTP ........................................................................................................... 230
Анализ нащупывания ............................................................................................................. 230
Создание предупреждений нащупывания ....................................................................... 231
Судебный анализ нащупывания ....................................................................................... 232
Разработка сети для использования нащупывания всвоих интересах ........................ 232
Дополнительные материалы для чтения .............................................................................. 233
Глава 12. Объемный ивременной анализ .................................................... 234
Рабочий день иего влияние наобъем сетевого трафика .................................................... 234
Запуск маячка ......................................................................................................................... 237
Рейдерское (несанкционированное) копирование .............................................................. 239
Локальность ............................................................................................................................ 242
9
DDoS, флеш-толпы иисчерпание ресурса ........................................................................ 245
DDoS иинфраструктура маршрутизации ......................................................................... 246
Применение анализа объема илокальности ........................................................................ 251
Выбор данных ..................................................................................................................... 251
Использование объема как предупреждения .................................................................. 254
Использование запуска маячка как предупреждения ..................................................... 254
Использование локальности как предупреждение ......................................................... 255
Технические решения ........................................................................................................ 255
Дополнительные материалы для чтения .............................................................................. 256
Глава 13. Анализ графа ............................................................................................. 257
Атрибуты графа: что такое граф? .......................................................................................... 257
Маркировка, вес ипути .......................................................................................................... 261
Компоненты ивозможность соединения ............................................................................. 266
Коэффициент кластеризации ................................................................................................ 267
Анализ графов......................................................................................................................... 268
Использование факторного анализа как предупреждения ............................................ 268
Использование анализа центрированности для судебной экспертизы ......................... 270
Использование поиска вширину криминалистически .................................................. 270
Использоваие анализа центрированности для разработки ............................................ 272
Дополнительные материалы для чтения .............................................................................. 272
Глава 14. Идентификация приложения .......................................................... 273
Механизмы для идентификации приложения ..................................................................... 273
Номер порта ....................................................................................................................... 274
Идентификация приложения захватом баннера ............................................................. 277
Идентификация приложения поведением ...................................................................... 280
Идентификация приложения вспомогательным сайтом ............................................... 284
Баннеры приложений: идентификация иклассификация .................................................. 284
Баннеры за пределами WWW ............................................................................................ 284
Баннеры веб-клиента: строка агента пользователя ........................................................ 285
Дополнительные материалы для чтения .............................................................................. 287
Глава 15. Сетевая картография ............................................................................ 288
Создание первоначальных сетевых материально-технических ресурсов икарты ........... 288
Создание материально-технических ресурсов:
данные, покрытие ифайлы ............................................................................................... 289
Фаза I: первые три вопроса ............................................................................................... 290
Фаза II: исследование пространства IP ............................................................................. 293
Фаза III: идентификация слепого изапутывающего трафика ........................................ 297
Фаза IV: идентификация клиентов исерверов ................................................................ 300
Идентификация обнаружения иблокирования инфраструктуры ................................. 302
Обновление инвентаризации: кнепрерывному аудиту ...................................................... 303
Дополнительные материалы для чтения .............................................................................. 303
Предметный указатель ............................