Часть IV. Параллелизм и виртуализация

4.1 Параллелизм и конкурентность

4.1.1 Понятие параллелизма и конкурентности

Параллелизм — это одновременное выполнение нескольких вычислительных задач с целью повышения производительности системы. Параллельное программирование позволяет максимально использовать ресурсы многоядерных процессоров, распределяя вычислительные задачи между несколькими потоками или процессами.

Конкурентность (Concurrency) — это способность системы эффективно управлять несколькими задачами, которые выполняются в одно и то же время, но не обязательно параллельно. Конкурентные программы могут переключаться между задачами, даже если они не выполняются одновременно на разных ядрах процессора.

Параллелизм и конкурентность имеют важные отличия:

Параллелизм означает одновременное выполнение нескольких задач (например, на разных ядрах процессора).
Конкурентность подразумевает переключение между задачами, которые могут выполняться в одно и то же время, но не обязательно параллельно.

4.1.2 Модели параллелизма

Параллелизм в современных системах может быть реализован с использованием различных моделей:

Многопоточность (Multithreading): Разделение одной программы на несколько потоков, которые выполняются параллельно.
Многопроцессорная обработка (Multiprocessing): Выполнение нескольких процессов параллельно, с использованием нескольких процессоров или ядер.
Асинхронное программирование (Asynchronous Programming): Управление параллельными задачами с использованием неблокирующих вызовов и событий.

Пример:

При разработке веб-сервера параллелизм может использоваться для одновременной обработки множества запросов клиентов, повышая пропускную способность и уменьшая время отклика.

4.1.3 Примеры параллелизма

Многопоточность в C (использование pthreads):

В этой программе создается несколько потоков, каждый из которых выполняет задачу параллельно. Программа иллюстрирует, как можно разделить вычислительные задачи между потоками для ускорения работы.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23


#include <stdio.h>
#include <pthread.h>

void *thread_function(void *arg) {
    int *num = (int *)arg;
    printf("Поток: %d\n", *num);
    return NULL;
}

int main() {
    pthread_t threads[5];
    int numbers[5] = {1, 2, 3, 4, 5};

    for (int i = 0; i < 5; i++) {
        pthread_create(&threads[i], NULL, thread_function, &numbers[i]);
    }

    for (int i = 0; i < 5; i++) {
        pthread_join(threads[i], NULL);
    }

    return 0;
}

Асинхронное программирование в Go:

В Go встроена поддержка параллелизма с использованием горутин (goroutines). Это делает Go мощным инструментом для конкурентного программирования.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20


package main

import (
    "fmt"
    "time"
)

func printMessage(msg string) {
    for i := 0; i < 5; i++ {
        fmt.Println(msg)
        time.Sleep(time.Millisecond * 100)
    }
}

func main() {
    go printMessage("Привет из горутины 1")
    go printMessage("Привет из горутины 2")

    time.Sleep(time.Second * 1) // Ждем завершения горутин
}

4.1.4 Синхронизация параллельных задач

В параллельных программах нередко требуется синхронизировать выполнение нескольких задач, чтобы избежать гонок данных и других проблем. Для этого используются мьютексы, семафоры и условные переменные.

Мьютекс (Mutex): Используется для ограничения доступа к общим данным. Только один поток может “захватить” мьютекс, другие потоки будут ждать его освобождения.
Семафор: Механизм, позволяющий ограничить количество потоков, которые могут одновременно получить доступ к ресурсу.
Условные переменные: Позволяют потокам ожидать наступления определенного события и просыпаться только тогда, когда это событие произойдет.

Пример программы с мьютексами на C:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


#include <stdio.h>
#include <pthread.h>

int counter = 0;
pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;

void *increment(void *arg) {
    for (int i = 0; i < 100000; i++) {
        pthread_mutex_lock(&mutex);
        counter++;
        pthread_mutex_unlock(&mutex);
    }
    return NULL;
}

int main() {
    pthread_t threads[5];

    for (int i = 0; i < 5; i++) {
        pthread_create(&threads[i], NULL, increment, NULL);
    }

    for (int i = 0; i < 5; i++) {
        pthread_join(threads[i], NULL);
    }

    printf("Итоговое значение счетчика: %d\n", counter);
    return 0;
}

4.2 Виртуализация

4.2.1 Введение в виртуализацию

Виртуализация — это технология, которая позволяет запускать несколько виртуальных машин (VM) на одном физическом сервере, обеспечивая изоляцию и управление ресурсами. Она позволяет более эффективно использовать ресурсы компьютера, такие как процессор, память и устройства ввода-вывода.

Основные типы виртуализации:

Полная виртуализация: Гостевая операционная система работает как на отдельном компьютере, не зная, что она виртуализирована (например, KVM).
Паравиртуализация: Гостевая операционная система осознает, что она виртуализирована, и напрямую взаимодействует с гипервизором для оптимизации работы (например, Xen).
Контейнеризация: Более легковесная альтернатива виртуализации, при которой контейнеры изолируются друг от друга, но работают на одном ядре ОС (например, Docker).

4.2.2 Гипервизоры и их типы

Гипервизор — это программное обеспечение, которое управляет виртуальными машинами. Существует два типа гипервизоров:

Тип 1 (bare-metal): Работает напрямую на аппаратуре, предоставляя виртуальные машины (например, KVM, Xen).
Тип 2 (hosted): Работает поверх операционной системы (например, VirtualBox, VMware Workstation).

Гипервизоры управляют выделением ресурсов виртуальным машинам и обеспечивают их изоляцию друг от друга.

4.2.3 Пример создания виртуальной машины с KVM

KVM (Kernel-based Virtual Machine) — это гипервизор типа 1 для Linux, который позволяет создавать и управлять виртуальными машинами.

Пример создания виртуальной машины с использованием KVM:

Установите необходимые пакеты:

1

sudo apt-get install qemu-kvm libvirt-daemon-system libvirt-clients bridge-utils virt-manager

Проверьте, поддерживает ли ваша система виртуализацию:
1

egrep -c '(vmx|svm)' /proc/cpuinfo

Создайте виртуальную машину:

1
2
3
4
5
6
7


virt-install \
  --name=TestVM \
  --vcpus=2 \
  --memory=2048 \
  --cdrom=/path/to/iso \
  --disk size=10 \
  --os-variant=ubuntu20.04

4.2.4 Контейнеризация: Docker и Podman

Docker — это платформа для контейнеризации, которая позволяет изолировать приложения в контейнерах. Контейнеры делят одно ядро операционной системы, что делает их легче, чем виртуальные машины.

Основные команды Docker:

Создание и запуск контейнера:
1

docker run -it ubuntu bash
Просмотр запущенных контейнеров:
1

docker ps
Остановка контейнера:
1

docker stop <container_id>

Пример использования Docker для создания и запуска контейнера с веб-сервером:

Запустите контейнер с Apache-сервером:
1

docker run -d -p 8080:80 httpd
Откройте браузер и перейдите по адресу http://localhost:8080, чтобы увидеть страницу Apache-сервера.

4.2.5 Использование cgroups и namespaces в Linux

Контейнеры в Linux изолируются с помощью технологий cgroups и namespaces:

Namespaces: Изолируют такие ресурсы, как PID (процессы), файловая система, сеть.
Cgroups: Управляют распределением ресурсов между контейнерами (CPU, память).

Эти механизмы обеспечивают безопасность и контроль за использованием ресурсов в контейнерах.

Практическое задание

Задание 1:

Напишите программу на языке C, которая создает несколько потоков для параллельного выполнения задач. Используйте мьютексы для синхронизации доступа к общим ресурсам.

Задание 2:

Создайте и настройте виртуальную машину с помощью KVM или VirtualBox. Установите на нее Linux и настройте базовые сетевые службы.

Задание 3:

Создайте контейнер с использованием Docker, который запускает веб-сервер Apache. Настройте сетевые порты и протестируйте работу сервера.

Заключение к главе 4

В этой главе мы рассмотрели основы параллелизма, конкурентности и виртуализации. Мы узнали, как использовать многопоточность для повышения производительности, а также изучили виртуализацию с использованием KVM и контейнеризацию с Docker. Эти технологии играют важную роль в современных вычислительных системах, позволяя эффективно управлять ресурсами и изолировать процессы. В следующем разделе мы углубимся в инструменты для мониторинга и отладки системного программного обеспечения.