Cloud & DevOps — Виртуализация и Сети

Virtual Machine (VM) — это файл (точнее, набор файлов) на диске, который имитирует целый компьютер: своя ОС, своё «железо», свои настройки сети.

3 ключевых свойства VM:

• Partitioning — на одном хосте могут жить много VM, делят CPU/RAM/диск.
• Isolation — VM не видят друг друга (если так настроено), их можно безопасно изолировать.
• Encapsulation — VM — это файлы. Можно скопировать на другой сервер, сделать снапшот, бэкап.

Гипервизор — программа (или прошивка / железо), которая создаёт и запускает VM. Это «прослойка», которая делит ресурсы реального компа между виртуальными.

Часто путают VM и Docker-контейнер. Главное различие:

1. Скачать VirtualBox с virtualbox.org.
2. Скачать ISO с Ubuntu Server / Desktop с ubuntu.com.
3. Создать VM, указать ISO как загрузочный диск, выделить 4 ГБ RAM и 20 ГБ диска.
4. Установить Ubuntu, попробовать команды управления: Start, Stop, Pause, Save State.
5. Сделать клон VM (Clone) — увидишь, что копия запускается независимо.
6. Сделать снапшот (Snapshot), что-то сломать, восстановить из снапшота.

Электромеханическая печатная машинка, которая позволяла обмениваться текстом по телефонной линии. Звуковой сигнал переводился в текст и наоборот.

• Ограничение: только point-to-point (двое говорят между собой). Не масштабируется.
• Использовалось в новостных агентствах, телеграфе.
• Наследие: современные терминалы в Linux до сих пор называются «TTY» (/dev/tty).

Дональд Дэвис (UK) предложил концепцию: вместо того, чтобы держать целую телефонную линию для одного разговора (circuit switching), разбить сообщение на маленькие пронумерованные пакеты и отправить их по общей сети.

ARPA (Advanced Research Projects Agency, США) построило первую packet-switched сеть.

• 29 октября 1969 — первая передача данных между UCLA и Stanford Research Institute.
• Хотели послать «login», но система упала после «lo» — официально первое сетевое сообщение.
• Использовал первую версию IP (Internet Protocol).
• Это основа современного Интернета.

Первая публичная сеть — работает и сегодня. Принцип: как email, но «один → многим». Сообщения группируются в newsgroups (форумы).

Культурное наследие: из USENET в массы пошли понятия nickname, smiley, moderator, spam, troll, ban. По сути это прародитель Reddit и всех форумов.

Протокол: NNTP (Network News Transfer Protocol).

Любительская сеть на основе модемов и телефонных линий. Стоила копейки (звонок ночью был дешёвым) и дала миллионам людей доступ к глобальному общению до массового Интернета.

Сегодня практически вымерла, но научила людей строить глобальные сообщества.

Интернет = глобальная сеть, состоящая из множества меньших сетей, обменивающихся данными по единым протоколам.

Раннее подключение: модемы по телефонной линии (dial-up). Тот самый звук «писк-шипение» при подключении — это была согласовываемая модуляция: модем превращал биты данных в аналоговый звук.

• Data Packets — данные режутся, отправляются, собираются обратно.
• IP Address — уникальный идентификатор (напр. 192.168.0.1).
• DNS (Domain Name System) — переводит имена (google.com) в IP (142.250.185.14).

• Internet Hosts — центральные узлы, связывающие провайдеров.
• ISPs (Internet Service Providers) — дают доступ конечным пользователям.
• Типы подключения: dial-up (устар.), DSL, кабельное, LTE/5G, оптоволокно.
• Протоколы: определяют правила обмена (TCP/IP, HTTP, etc.).

Большие корпоративные сети строят по трёхуровневой модели (Cisco hierarchical model):

1. L7 Application: Outlook формирует email через протокол SMTP.
2. L6 Presentation: текст кодируется в UTF-8, прикреплённое фото — в JPEG, всё это шифруется через TLS.
3. L5 Session: устанавливается сессия с почтовым сервером (логин, токен).
4. L4 Transport: TCP режет email на сегменты, нумерует, ждёт подтверждений о доставке.
5. L3 Network: IP добавляет к каждому сегменту твой IP + IP сервера, выбирает маршрут.
6. L2 Data Link: Ethernet оборачивает пакет в кадр, добавляет MAC твоего ноута + MAC роутера.
7. L1 Physical: кадр превращается в электросигнал в кабеле / радиоволну в Wi-Fi.

На сервере процесс идёт наоборот (снизу вверх): сигналы → биты → кадр → пакет → сегмент → email.

• L7 — каждый день (HTTP, JSON, REST, GraphQL).
• L4 — часто (TCP vs UDP, порты, firewall).
• L3 — иногда (IP, маршруты в VPN/AWS).
• L2 — редко (MAC, VLAN — больше DevOps/сетевики).
• L1 — почти никогда (если не работаешь с железом).
• L5/L6 — почти забыты, их функции «размазали» по L4 и L7.

В учебниках часто рисуют 5 уровней — это TCP/IP, но с разделением Link на Physical и Data Link (чтобы было проще сравнивать с OSI).

Зеркальный процесс. Каждый уровень читает свой заголовок (например: «это мой IP? да!»), удаляет его и передаёт «начинку» наверх.

• Длина: 48 бит = 6 байт.
• Запись: 6 пар hex через двоеточие или дефис.
• Пример: D4:6A:6D:89:1F:22

MAC работает только в пределах одной локальной сети (LAN). Когда пакет пересекает router — MAC меняется на каждом hop'е.

• В LAN-кадре указан MAC отправителя и MAC получателя в той же подсети.
• При переходе через router: router принимает кадр (с его MAC как получатель), снимает Ethernet-заголовок, выбирает следующий hop, упаковывает в новый кадр с новым MAC получателя.
• IP при этом не меняется на всём пути (если нет NAT).

Технически MAC «прошит», но ОС позволяет его подменить (Locally Administered Address). Используется для:

• обхода ограничений по MAC (некоторые сети пускают только «известные» MAC);
• анонимности;
• тестирования.

32 бита = 4 байта = 4 октета. Каждый октет = число от 0 до 255 (потому что 2⁸ = 256).

Всего адресов: 2³² ≈ 4.3 млрд. Звучит много — но не хватило!

В 1981 IPv4 разделили на 5 классов по первым битам:

• 127.0.0.1 — localhost («сам себе»). Пингуй сам себя для проверки сетевого стека.
• 0.0.0.0 — «любой адрес» (часто используется как «слушать на всех интерфейсах»).
• 255.255.255.255 — broadcast (всем в локальной сети).

У каждого канала есть MTU (Maximum Transmission Unit) — максимальный размер пакета. Для Ethernet это обычно 1500 байт.

Если пакет больше MTU — IP режет его на куски (фрагменты). Получатель собирает обратно.

• 128 бит = 8 групп по 16 бит (8 «хекстетов»).
• В hex: 2001:0db8:85a3:0000:0000:8a2e:0370:7334
• Сокращения:
  • Лидирующие нули в хекстете можно убрать: 0db8 → db8
  • Подряд идущие нули можно заменить на :: (только один раз в адресе!).

• Безграничный пул адресов → не нужен NAT.
• Автоконфигурация (SLAAC) — устройство может само выбрать IP без DHCP.
• IPsec встроен — шифрование «из коробки».
• Заголовок проще (8 полей vs 13 в IPv4) → router'ы работают быстрее.
• Flow Label — улучшенный QoS для VoIP и видео.
• Нет broadcast — заменён на multicast и anycast (эффективнее).

1. ARP Request (broadcast — слышат все в LAN): «Кто такой 192.168.1.5? Ответь.»
2. Все хосты получают запрос. У кого нет такого IP — игнорируют.
3. Хост с 192.168.1.5 отвечает: «Это я, мой MAC — D4:6A:6D:89:1F:22.»
4. Отправитель сохраняет пару (IP → MAC) в ARP-таблице на несколько минут.
5. Все последующие отправки идут сразу, без повторного запроса.

Каждое устройство хранит свою ARP-таблицу (IP → MAC):

• Static — добавляется вручную администратором (защита от spoofing).
• Dynamic — выучивается автоматически, истекает через таймаут (обычно несколько минут).

ARP не проверяет, кто отвечает. Поэтому злоумышленник в твоей сети может ответить раньше: «192.168.1.5 — это я!» — и весь твой трафик пойдёт через него. Это MITM-атака (Man-In-The-Middle).

Защита: Dynamic ARP Inspection на switch'ах, статические ARP-таблицы, VPN.

Прежде чем что-то передать, TCP устанавливает соединение:

• SYN — синхронизация (начало соединения)
• ACK — подтверждение
• FIN — корректное закрытие соединения
• RST — резкий разрыв (что-то пошло не так)
• PSH — «не буферизуй, отдай приложению немедленно»

Когда скорость важнее надёжности:

• Видео-стриминг (YouTube, Netflix) — лучше пропустить кадр, чем поставить на паузу.
• VoIP / видеозвонки (Zoom, WhatsApp) — то же самое: лучше потерять долю секунды звука, чем тормозить.
• Онлайн-игры — игроку важнее текущая позиция врага, чем «история всех ранее пропущенных позиций».
• DNS — запрос/ответ маленький, быстрый, нет смысла на handshake.
• DHCP — выдача IP, тоже короткое сообщение.

# Проверить, доступен ли хост
ping google.com
ping 8.8.8.8

# Показать путь до сервера (через какие routers идёт)
traceroute google.com         # Linux/Mac
tracert google.com            # Windows

# Расширенная диагностика (ping + traceroute + loss %)
mtr google.com                # Linux/Mac

Это 4 числа однозначно идентифицируют соединение. Поэтому на одном IP сервер может держать сотни тысяч одновременных соединений — у каждого свой набор (client_ip, client_port, server_ip, server_port).

# Какие порты слушает машина
sudo lsof -i -P -n | grep LISTEN     # Mac/Linux
sudo ss -tulpn                        # Linux
netstat -an | grep LISTEN             # Windows

# Кто занял порт 8000
lsof -i :8000

# Проверить, открыт ли порт на удалённом сервере
nc -zv example.com 443
telnet example.com 443

У каждой подсети 4 ключевых параметра:

Вместо «маска 255.255.255.0» пишут «/24» — это просто количество единиц в маске.

# Сколько хостов в подсети
hosts = 2^(32 − prefix) − 2

# Например, для /24:
2^(32-24) − 2 = 256 − 2 = 254 хоста

# Размер блока (block size) в последнем октете
block_size = 256 − (последний октет маски)

# Например, для маски 255.255.255.192 (/26):
block_size = 256 − 192 = 64
# → подсети начинаются с .0, .64, .128, .192

Чтобы конвертировать число в бинарный вид: делим на 2, записываем остатки, читаем снизу вверх.

Обратно: бинарное число → сумма степеней 2 для каждой 1.

Дано: IP 192.168.156.3/24.

Интуиция: 24 единицы маски «закрепили» первые 3 октета — это «адрес сети». Последний октет свободен → 256 вариантов, минус 2 (network + broadcast) = 254 хоста.

Дано: IP 192.168.156.3/21. Что мы можем сказать?

NAT — это переводчик между приватной сетью и Интернетом. Живёт обычно на роутере.

NAT хранит таблицу трансляций: какой внутренний клиент с каким портом куда обратился.

Когда ответ приходит на 77.243.80.138:11001 — NAT смотрит таблицу, переводит обратно в 192.168.1.5:54321 и отправляет на ноутбук.

• Ломает end-to-end — извне нельзя инициировать соединение к устройству за NAT (только наоборот).
• Проблемы для P2P / VoIP — нужны костыли типа STUN/TURN.
• Усложняет debugging.

В IPv6 NAT не нужен — адресов хватает всем.

Все подсети — одного размера. Берём самую большую нужную и применяем ко всем.

Пример: нужно 6 подсетей в 192.168.156.0/24. Делим на /27 (по 32 адреса = 30 хостов в каждой):

Плюс: просто.

Минус: если одной подсети нужно 28 хостов, а другой 5 — обеим даём по 30, и в маленькой 25 адресов пропадает.

Каждой подсети — своя маска. По потребности.

Пример: в той же сети /24 нужны:

• 1 подсеть на 28 хостов → /27 (32 адреса)
• 3 подсети по 16 хостов → /28 (16 адресов каждая)
• 2 подсети по 8 хостов → /29 (8 адресов каждая)
• Линки между роутерами по 2 адреса → /30

Плюс: ничего не пропадает, использование адресов в 4-5 раз эффективнее.

Минус: сложнее планировать (но опытные сетевики делают на автомате).

К каждому Ethernet-кадру switch добавляет тег с номером VLAN. Это 32-битное поле между Source MAC и EtherType.

Тег содержит:

• TPID (16 бит) — всегда 0x8100, говорит «это VLAN-tagged кадр».
• PCP (3 бита) — приоритет (QoS).
• DEI (1 бит) — можно ли дропнуть при перегрузке.
• VLAN ID (12 бит) — номер VLAN. Доступно 4094 (0 и 4095 зарезервированы).

Сценарий 1: PC-A и PC-B в одной VLAN на одном switch — общаются напрямую (внутри switch без тегов).

Сценарий 2: PC-A и PC-B в одной VLAN на разных switch'ах — switch-1 тегирует, кадр идёт через trunk, switch-2 снимает тег, отдаёт PC-B.

Сценарий 3 (важный!): PC-A в VLAN 10, PC-B в VLAN 20 — не общаются напрямую. Switch отбросит кадр. Чтобы связать VLAN — нужен router (или L3 switch).

VMPS (VLAN Management Policy Server) — центральный сервер с политиками: «такой MAC → VLAN 10», «такой тип устройства → VLAN 20».

1. Пользователь подключает устройство к свободному порту.
2. Switch отправляет запрос на VMPS: «вот MAC D4:6A:6D:89:1F:22, какая ему VLAN?»
3. VMPS смотрит политику и отвечает: «VLAN 10».
4. Switch автоматически назначает этот порт в VLAN 10 и начинает тегировать кадры.

Плюс: сотрудник может сесть за любой стол — попадёт в свою VLAN автоматически.

Минус: требует дополнительной инфраструктуры (VMPS-сервер).

• Уменьшение broadcast-доменов — меньше «шума» в сети.
• Безопасность — бухгалтерия и разработка изолированы.
• Гибкость — переехал сотрудник на другой этаж, всё ещё в той же VLAN.
• Дешевле — не надо покупать отдельные switch'и для каждого отдела.

DHCP — сетевой сервис, который позволяет устройствам в сети динамически получать IP-адрес, маску подсети, шлюз по умолчанию, адреса DNS-серверов и десятки других сетевых параметров без ручной настройки на каждом устройстве. Работает по клиент-серверной модели: на сервере настраивается пул доступных адресов, клиент при подключении запрашивает один из них «в аренду» на определённое время.

Где применяется: end-user устройства (ноутбуки, смартфоны, IoT) — всегда через DHCP. Где НЕ применяется: сетевая инфраструктура (роутеры, свитчи, серверы, принтеры) — обычно со статическими адресами, чтобы их IP не менялся при перезагрузке.

Аббревиатура для четырёх шагов lease origination process: Discover → Offer → Request → Acknowledge. Использует UDP, порт 67 на сервере, 68 на клиенте.

Шаг 1: DHCPDISCOVER  (broadcast от клиента)
  Клиент: «Мне нужен IP! Есть кто из DHCP-серверов?»
  Ethernet:  src=MAC_клиент, dst=FF:FF:FF:FF:FF:FF (broadcast)
  IP:        src=0.0.0.0,    dst=255.255.255.255  (broadcast)
  UDP:       src=68,          dst=67
  DHCP:      CIADDR=0.0.0.0, CHADDR=MAC_клиент

Шаг 2: DHCPOFFER  (unicast от сервера)
  Сервер: «Я DHCP-сервер. Предлагаю тебе адрес 192.168.1.10/24»
  IP:        src=192.168.1.254 (сервер), dst=192.168.1.10 (предлагаемый)
  UDP:       src=67, dst=68
  DHCP:      YIADDR=192.168.1.10, mask=255.255.255.0

Шаг 3: DHCPREQUEST  (broadcast от клиента)
  Клиент: «Беру адрес 192.168.1.10 от сервера X»
  → Снова broadcast! Это чтобы ДРУГИЕ DHCP-серверы узнали,
    что их предложение не выбрано — и вернули свои адреса в пул.

Шаг 4: DHCPACK  (unicast от сервера)
  Сервер: «Подтверждаю, адрес твой на 24 часа (lease time)»

После получения адреса клиент использует его до конца lease. Когда проходит половина lease time, клиент шлёт DHCPREQUEST напрямую (unicast) серверу, чтобы продлить аренду. Сервер отвечает DHCPACK — lease обновляется.

Address pool — диапазон IP, которые сервер может выдавать. Задаётся одним из трёх способов:

• Range start → end: 192.168.0.100 — 192.168.0.149;
• Start + max users: start=192.168.0.100, max=50;
• Network/mask + excluded: 192.168.0.0/24 минус список исключений (для шлюза, серверов).

DHCP Options — дополнительные параметры, передаваемые клиенту вместе с IP. Полный список — ecanet.ir/dhcp-option-list. Самые частые:

+-------------+-------------+----------------+-------------+
| OP Code (1) | HW Type (1) | HW Addr Len(1) | Hops (1)    |
+-------------+-------------+----------------+-------------+
|              Transaction Identifier (XID, 4 bytes)        |
+-------------------------------+---------------------------+
|         Seconds (2 bytes)     |       Flags (2 bytes)     |
+-------------------------------+---------------------------+
|         Client IP Address (CIADDR, 4 bytes)               |
|         Your IP Address   (YIADDR, 4 bytes) ← назначаемый |
|         Server IP Address (SIADDR, 4 bytes)               |
|         Gateway IP        (GIADDR, 4 bytes) ← для relay   |
|         Client HW Address (CHADDR, 16 bytes) ← MAC        |
|         Server Name       (SNAME, 64 bytes)               |
|         Boot Filename     (BOOT, 128 bytes)               |
+-----------------------------------------------------------+
|         DHCP Options (variable) — здесь options 1, 3, 6...|
+-----------------------------------------------------------+

Суть атаки: злоумышленник подключается к локальной сети и запускает свой DHCP-сервер. Когда жертва шлёт DHCPDISCOVER (broadcast), оба сервера (легитимный и rogue) отправляют DHCPOFFER. Клиент выбирает первый пришедший ответ — если rogue быстрее, побеждает он.

Что атакующий может подменить:

• Wrong Default Gateway — указать свой компьютер как шлюз → весь трафик пойдёт через атакующего (Man-in-the-Middle), он читает/модифицирует данные;
• Wrong DNS Server — направить DNS-запросы на фальшивый сервер → пользователь видит подменные сайты (phishing);
• Wrong IP / mask — выдать невалидные параметры → DoS, клиент не может работать в сети.

Защита: на свитчах включается DHCP Snooping — функция, которая разрешает DHCPOFFER только с заранее доверенных портов (где подключён настоящий DHCP-сервер). Любой ответ с недоверенного порта дропается.

Суть атаки: злоумышленник заваливает легитимный DHCP-сервер тысячами фейковых DHCPDISCOVER, каждый раз с новым (поддельным) MAC-адресом. Сервер выдаёт каждому запросу адрес из пула, пока пул не исчерпан — легитимные клиенты не могут получить IP.

Часто это первая фаза двойной атаки: сначала starvation истощает легитимный сервер, потом запускается rogue server (см. выше) — и все новые клиенты получают конфиг от атакующего.

Защита: на свитчах включается Port Security — ограничение количества MAC-адресов на порт. Атакующий не сможет генерировать неограниченное число фейковых MAC с одного физического порта.

В IPv6 нет broadcast'ов (заменены multicast'ом), поэтому DHCP работает по-другому. Существует три метода динамической конфигурации IPv6-адресов:

Шаг 1: Router Solicitation (RS) — multicast ff02::2 (all routers)
        Клиент: «Нужна информация об адресе!»

Шаг 2: Router Advertisement (RA) — multicast ff02::1 (all nodes)
        Роутер: «Вот префикс сети и его длина: 2001:db8::/64»

Шаг 3: Клиент строит полный адрес сам:
        - префикс (64 бита) от роутера +
        - host-ID (64 бита) — генерирует сам

# /etc/dhcp/dhcpd.conf

default-lease-time 600;        # 10 минут по умолчанию
max-lease-time     7200;       # до 2 часов максимум
authoritative;                # отвечать NAK на чужие renewal

subnet 192.168.1.0 netmask 255.255.255.0 {
    range 192.168.1.100 192.168.1.200;     # pool (100 адресов)
    option routers 192.168.1.1;              # option 3: default gateway
    option subnet-mask 255.255.255.0;          # option 1
    option domain-name-servers 8.8.8.8, 1.1.1.1;  # option 6
    option domain-name "corp.example.com";     # option 15
}

# Manual allocation — фиксированный IP для конкретного MAC:
host office-printer {
    hardware ethernet 00:1A:2B:3C:4D:5E;
    fixed-address 192.168.1.50;
}

• VM = полный компьютер в файле. Гипервизор Type 1 (bare metal: ESXi, KVM) / Type 2 (hosted: VirtualBox).
• VM vs Container: VM = своя ОС, гигабайты, минуты. Container = только приложение, общее ядро, секунды.

PAN (Bluetooth) → LAN (офис) → MAN (город) → WAN (мир). WLAN = беспроводная LAN. VPN = шифрованный тоннель в Интернете.

20/21 FTP    22 SSH    25 SMTP    53 DNS    67/68 DHCP
80 HTTP    443 HTTPS    110 POP3    143 IMAP
3306 MySQL    5432 PostgreSQL    6379 Redis    3389 RDP

Хостов в подсети = 2^(32 − prefix) − 2
Block size в октете = 256 − (последний октет маски)

Маски популярные:
  /24 = 255.255.255.0    → 254 хоста (типичный офис)
  /27 = 255.255.255.224  → 30 хостов
  /29 = 255.255.255.248  → 6 хостов
  /30 = 255.255.255.252  → 2 хоста (point-to-point)

Приватные диапазоны (RFC 1918):
  10.0.0.0/8         (16М)
  172.16.0.0/12      (1М)
  192.168.0.0/16     (65K)

• VLAN — логическое разделение switch на отдельные сети.
• 802.1Q tag — 32-битное поле в кадре, содержит VLAN ID (1–4094).
• Access port = untagged (для ПК). Trunk port = tagged (между switch'ами).
• Между разными VLAN общение — только через router.

# Свой IP
ip addr        # Linux
ifconfig       # Mac (старая) / Linux
ipconfig       # Windows

# Маршруты
ip route       # Linux
netstat -nr    # Mac/BSD
route print    # Windows

# ARP таблица
arp -a
ip neigh

# DNS lookup
nslookup google.com
dig google.com
host google.com

# Доступность хоста
ping 8.8.8.8
traceroute google.com
mtr google.com

# Открытые порты на машине
sudo ss -tulpn
sudo lsof -i -P -n | grep LISTEN

# Открыт ли порт удалённо
nc -zv example.com 443
nmap -p 80,443 example.com

# Текущие TCP-соединения
ss -t
netstat -ant