Случайное распределение данных

Всегда есть вероятность, что они приблизятся друг к другу, если вы сделаете это действительно случайно :)

Но я бы сделал следующее:

1. У вас есть строки N реальных данных и x данных контроль
2. Чтобы получить индекс строки, вы должны вставить i-ю контрольную строку, я бы использовал: N/(x+1) * i + r, где r - некоторое случайное число, различное для каждой из контрольных строк, небольшое по сравнению с N/x. Выберите любой способ определения r, это может быть распределение гауссовский или даже плоский. i - это индекс контрольной строки, поэтому это 1<=i<x.
3. Таким образом, вы можете быть уверены, что избегаете конденсации ваших контрольных рядов в одном месте. Также можете быть уверены, что они не будут находиться на постоянном расстоянии друг от друга.

Вот моя мысль. Почему бы вам просто не просмотреть существующие строки и «подбросить монетку» для каждой строки, чтобы решить, будете ли вы вставлять туда случайные данные.

for (int i=0; i<numberOfExistingRows; i++)
{    
    int r = random();
    if (r > 0.5)
    {
        InsertRandomData();
    }    
}

Это должно дать вам хорошее случайное распределение по всем данным.

Собираемся с 3000 реальных строк данных и 20 контрольных строк для следующего примера (я лучше с примером, чем с английским)

Если бы вы распределили 20 контрольных строк как можно более равномерно между 3000 реальных строк данных, вы бы вставили по одной в каждую 150-ю строку реальных данных. Поэтому выберите это число, 150, для следующего индекса вставки. а) Создайте случайное число от 0 до 150 и вычтите его из индекса вставки
. б) Вставьте туда контрольную строку. в) Увеличить индекс вставки на 150
г) Повторите на шаге а)

Конечно, это очень грубый алгоритм и требует некоторых улучшений :)

Если реальные данные велики или намного больше контрольных данных, просто сгенерируйте интервалы между прибытиями для ваших контрольных данных.

Так что выберите случайный интервал, скопируйте столько строк реальных данных, вставьте контрольные данные и повторите, пока не закончите. Как выбрать этот случайный интервал?

Я бы рекомендовал использовать гауссовское отклонение со средним значением, равным реальному размеру данных, разделенному на размер контрольных данных, первый из которых может быть оценен при необходимости, а не измерен или предположительно известен. Установите стандартное отклонение этого гауссова значения в зависимости от того, какой «разброс» вы готовы терпеть. Меньшее стандартное отклонение означает более лептокуртическое распределение, что означает более строгое соблюдение равномерного интервала. Большее stdev означает более равномерное распределение и меньшее соблюдение равномерного интервала.

А что насчет первого и последнего разделов файла? То есть: как насчет вставки управляющих данных в самом начале или в самом конце? Одна вещь, которую вы можете сделать, - это придумать для них оценки для особого случая ... но хороший трюк заключается в следующем: начните свой "индекс" реальных данных с минус половины гауссовского среднего и сгенерируйте свое первое отклонение. Не выводите никаких реальных данных, пока ваш «индекс» в реальные данные не станет правильным. Симметричный трюк в конце данных также должен работать достаточно хорошо (просто: продолжайте генерировать отклонения до тех пор, пока не достигнете «индекса», по крайней мере, половины гауссовского среднего значения за концом реальных данных. Если индекс непосредственно перед этим был за пределами конец, сгенерируйте данные в конце.

Вы хотите посмотреть не только на статистику: при разработке алгоритма для такого рода вещей полезно взглянуть на элементарную теорию массового обслуживания. См. Википедию или Омнибус Тьюринга, в котором есть красивая короткая глава на эту тему под названием «Моделирование».

Также: в некоторых случаях негауссовские распределения, особенно распределение Пуассона, дают лучшие и более естественные результаты для такого рода вещей. Схема алгоритма выше по-прежнему применяется с использованием половины среднего значения любого распределения, которое кажется правильным.