Проблемы, связанные с количеством и характеристиками кода в исполняемом файле, загружаемом в память для каждого процесса

Загрузчик программ современной ОС в основном использует mmap, а не read.. https://en.wikipedia.org/wiki/Memory-mapped_file#Common_uses говорит:

Perhaps the most common use for a memory-mapped file is the process loader in most modern operating systems (including Microsoft Windows and Unix-like systems.)

Это создает частное сопоставление с файловой поддержкой. (https://en.wikipedia.org/wiki/Virtual_memory).

1. ... In other words how does the OS recognize that it must stop executing the instruction to avoid jumping to a irrelevant address and how does it calculate which page the related address situated in?

В этом случае выборка кода вызывает ошибку страницы., как если бы ваш код загружался из части большого статического массива, который еще не был загружен с диска. После возможной загрузки страницы с диска (если ее еще не было в кеше страниц) и обновления таблиц страниц выполнение возобновляется по адресу, на котором произошел сбой, чтобы повторить выполнение инструкции.

Аппаратное обеспечение виртуальной памяти ЦП («MMU», хотя на самом деле это не отдельная вещь в современных ЦП) обрабатывает обнаружение загрузки / сохранения / выборки кода с несопоставленных адресов. (Несопоставлено в соответствии с фактическими таблицами страниц, которые может видеть HW. Когда процесс "логически" отображает некоторую память, но ОС ленивается в этом отношении, мы говорим, что память не "подключена" к таблицам страниц, поэтому Ошибка страницы перенесет его в память, если это еще не сделано, и подключит его к таблицам страниц, чтобы аппаратное обеспечение могло получить к нему доступ (после промаха TLB для запуска аппаратного обхода страниц).

Если есть какая-либо среда выполнения перемещение символов, также известное как исправления, для учета программы, загружаемой по базовому адресу, отличному от того, на который она была связана, если ей нужны какие-либо абсолютные адреса в памяти, они могут потребовать записи страниц кода или данных, предназначенных только для чтения, загрязнение страницы виртуальной памяти, чтобы она поддерживалась файлом подкачки, а не исполняемым файлом на диске. например если ваш источник C включает int *foo = &bar; в глобальном масштабе, или int &foo = bar;

2. How many pages of code does the OS copy into RAM before jumping to the entry point of the program?

Загрузчик программы, вероятно, имеет некоторую эвристику, чтобы убедиться, что точка входа и, возможно, некоторые другие страницы отображаются перед первой попыткой. Помимо этого IDK, если есть какие-либо специальные эвристики в коде виртуальной памяти для исполняемых файлов / библиотек по сравнению с неисполняемыми сопоставлениями.

Процессор делит адресное пространство на наборы адресов, называемых страницы.
. На x86 размер стандартной страницы составляет 4 КиБ, но возможны и другие размеры (например, 1 ГБ, 2 МБ). Страницы являются непрерывными, поэтому первая страница находится от адреса 0x00000000 до адреса 0x00000fff, для каждого адреса есть уникальная страница, связанная с ним.

Страница имеет набор атрибутов, весь смысл разбиения по страницам состоит в том, чтобы связать набор атрибутов с каждым адресом. Поскольку делать это для каждого отдельного адреса было бы слишком непозволительно, вместо этого используются страницы. Все адреса на странице имеют один и тот же атрибут.

Я несколько упростил историю, не проводя различия между виртуальными адресами (те, которые на самом деле разбиты на страницы, т.е. они могут иметь атрибуты) и физическими адресами (реальные адреса для использования, виртуальный адрес может быть сопоставлен с другим физическим адресом).

Среди различных атрибутов есть:

• Тот, который сообщает процессору, следует ли считать страницу незагруженной. По сути, это заставляет ЦП генерировать исключение, когда инструкция пытается получить доступ к странице (например, читать с нее, включая выполнение, или записывать на нее).
• Разрешения Например, только для чтения, неисполняемый файл, супервизор и т. д.
• Физический адрес
  Основное использование пейджинга - изоляция, это может быть выполнено путем отображения одного и того же виртуального адреса Икс на разные физические адреса Y1 и Y1 для процесса P1 и P2 соответственно.

Помните, что эти атрибуты относятся к странице, они применяются ко всему диапазону адресов на странице (например, они влияют на адреса 4 KiB для страницы 4 KiB).

Имея это в виду:

1. Когда процесс создается, все его страницы помечаются как отсутствующие. Доступ к ним приведет к сбою ЦП. Когда ОС загружает программу, загружается минимальный набор страниц (например, ядро, его часть, общие библиотеки, часть программного кода и данные), которые помечаются как присутствующие. Когда программа обращается к незагруженной странице, ОС проверяет, был ли адрес назначен программой, и если да (это действительная ошибка страницы), она загружает страницу и возобновляет выполнение. Если адрес не был назначен, возникает ошибка неверной страницы, и исключение сообщается самой программе.

2. Я не знаю точного количества загруженных страниц, это можно было проверить разными способами, в том числе взглянув на ядро ​​Linux (для случая Linux) .
   Я не делаю этого, потому что фактическая используемая стратегия может быть сложной, и я не считаю ее особенно актуальной: ОС может загрузить всю программу, если она достаточно мала и нагрузка на память невысока. Там могут быть настройки для выбора той или иной стратегии. В общем, разумно предположить, что оптимистично загружается только фиксированное количество страниц.

3. Факторы, влияющие на решение, могут быть следующими: объем доступной памяти, приоритет загруженного процесса, политика системы, созданная системным администратором (для предотвращения ее раздувания), тип процесса (такая служба, как СУБД, может быть помечена как с интенсивным использованием памяти), ограничение программы (например, на машине NUMA процесс может быть помечен для использования преимущественно локальной памяти, тем самым имея доступ к меньшему объему памяти, чем общий доступный), эвристика, реализованная ОС (например, она знает, что последнее выполнение потребовало K страниц кода / данных в пределах M миллисекунд от начала) .
   Проще говоря, алгоритм, используемый для загрузки оптимального количества страниц, должен немного предсказывать будущее, поэтому принимаются обычные соображения для случая (т.е. предположения, упрощения, сбор данных и тому подобное).