Представление непрерывных распределений вероятностей

Есть ли что-нибудь, что мешает вам использовать для этого мини-язык?

Под этим я подразумеваю определение языка, который позволяет вам писать f = x + y и оценивает f для вас так же, как написано. Аналогично для g = x * z, h = y(x) и т.д. до тошноты. (Семантика, которую я предлагаю, требует, чтобы оценщик выбирал случайное число для каждого самого внутреннего PDF-файла, появляющегося в RHS во время оценки, и не пытался понять составную форму результирующих PDF-файлов. Это может быть недостаточно быстро ... .)

Предполагая, что вы понимаете, какие пределы точности вам нужны, вы можете довольно просто представить PDF-файл с помощью гистограммы или сплайна (первое является вырожденным случаем второго). Если вам нужно смешать аналитически определенные PDF-файлы с экспериментально определенными, вам придется добавить механизм типов.

Гистограмма - это просто массив, содержимое которого представляет собой частоту в определенной области входного диапазона. Вы не сказали, есть ли у вас языковые предпочтения, поэтому я предполагаю что-то вроде c. Вам нужно знать структуру бункера (размеры uniorm просты, но не всегда лучше), включая верхний и нижний пределы и, возможно, нормализацию:

struct histogram_struct {
  int bins; /* Assumed to be uniform */
  double low;
  double high;
  /* double normalization; */    
  /* double *errors; */ /* if using, intialize with enough space, 
                         * and store _squared_ errors
                         */
  double contents[];
};

Такого рода вещи очень распространены в программном обеспечении для научного анализа, и вы можете захотеть использовать существующую реализацию.

Автономная мобильная робототехника решает аналогичные проблемы в локализации и навигации, в частности Марковская локализация и Фильтр Калмана (сочетание датчиков). См., Например, Продолжено экспериментальное сравнение методов локализации..

Другой подход, который вы могли бы позаимствовать у мобильных роботов, - это планирование пути с использованием потенциальных полей.

Если вы хотите немного повеселиться, попробуйте изобразить их символически, как это сделали бы Maple или Mathemetica. Maple использует направленные ациклические графы, в то время как Matematica использует list / lisp как appoach (я думаю, но это было давно, раз уж я даже подумал об этом).

Проделайте все свои манипуляции символически, а затем в конце протолкните числовые значения. (Или просто найдите способ запустить в оболочке и выполнить вычисления).

Павел.

Пара отзывов:

1) Если у вас есть эмпирически определенные PDF-файлы, у вас либо есть гистограммы, либо у вас есть приближение к параметрическому PDF-файлу. PDF - это непрерывная функция, и у вас нет бесконечных данных ...

2) Предположим, что переменные независимы. Затем, если вы сделаете PDF дискретным, тогда P (f (x, y)) = f (x, y) p (x, y) = f (x, y) p (x) p (y), просуммированный по всем комбинациям x и y таким образом, что f (x, y) соответствует вашей цели.

Если вы собираетесь подогнать эмпирические PDF-файлы к стандартным PDF-файлам, например нормальное распределение, то вы можете использовать уже определенные функции для вычисления суммы и т. д.

Если переменные не являются независимыми, тогда у вас больше проблем, и я думаю, вам нужно использовать связки.

Я думаю, что определение вашего собственного мини-языка и т. д. - это излишне. вы можете сделать это с помощью массивов ...

Некоторые начальные мысли:

Во-первых, в Mathematica есть прекрасная возможность делать это с точными распределениями.

Во-вторых, представление в виде гистограмм (т. Е. Эмпирических PDF-файлов) проблематично, поскольку вам нужно сделать выбор в отношении размера ячейки. Этого можно избежать, сохранив вместо этого кумулятивное распределение, т. Е. Эмпирическую CDF. (Фактически, тогда вы сохраняете возможность воссоздать полный набор данных выборок, на которых основано эмпирическое распределение.)

Вот какой-то уродливый код Mathematica, который берет список выборок и возвращает эмпирическую CDF, а именно список пар значение-вероятность. Запустите вывод этого через ListPlot, чтобы увидеть график эмпирической CDF.

empiricalCDF[t_] := Flatten[{{#[[2,1]],#[[1,2]]},#[[2]]}&/@Partition[Prepend[Transpose[{#[[1]], Rest[FoldList[Plus,0,#[[2]]]]/Length[t]}&[Transpose[{First[#],Length[#]}&/@ Split[Sort[t]]]]],{Null,0}],2,1],1]

Наконец, вот некоторая информация о сочетании дискретных распределений вероятностей:

http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter7.pdf

Я думаю, что гистограммы или список областей 1 / N - это хорошая идея. В качестве аргумента я предполагаю, что у вас будет фиксированное N для всех дистрибутивов.

Используйте документ, который вы связали с редакцией 4, чтобы создать новое распространение. Затем аппроксимируйте его новым распределением N-элементов.

Если вы не хотите, чтобы N исправляли, это еще проще. Возьмите каждый выпуклый многоугольник (трапецию или треугольник) в новом сгенерированном распределении и аппроксимируйте его равномерным распределением.

Другое предложение - использовать плотности ядра. Особенно, если вы используете гауссовские ядра, с ними относительно легко работать ... за исключением того, что дистрибутивы быстро увеличиваются в размерах без всякой осторожности. В зависимости от приложения могут использоваться дополнительные методы аппроксимации, такие как выборка по важности.

Нет необходимости в гистограммах или символьных вычислениях: все можно сделать на уровне языка в закрытой форме, если принять правильную точку зрения.

[Я буду использовать термины «мера» и «распределение» как синонимы. Кроме того, мой Haskell заржавел, и я прошу вас простить меня за неточность в этой области.]

Распределения вероятностей действительно кодата.

Пусть mu - вероятностная мера. Единственное, что вы можете сделать с мерой, - это интегрировать ее с тестовой функцией (это одно из возможных математических определений «меры»). Обратите внимание, что вы в конечном итоге будете делать именно это: например, интеграция с идентичностью означает следующее:

mean :: Measure -> Double
mean mu = mu id

другой пример:

variance :: Measure -> Double
variance mu = (mu $ \x -> x ^ 2) - (mean mu) ^ 2

другой пример, который вычисляет P (mu <x):

cdf :: Measure -> Double -> Double
cdf mu x = mu $ \z -> if z < x then 1 else 0

Это предполагает подход двойственности.

Следовательно, тип Measure должен обозначать тип (Double -> Double) -> Double. Это позволяет моделировать результаты моделирования MC, числовую / символьную квадратуру относительно PDF и т. д. Например, функция

empirical :: [Double] -> Measure
empirical h:t f = (f h) + empirical t f

возвращает интеграл от f против эмпирическая мера, полученного, например. Отбор проб МК. Также

from_pdf :: (Double -> Double) -> Measure
from_pdf rho f = my_favorite_quadrature_method rho f

построить меры из (регулярных) плотностей.

А теперь хорошие новости. Если mu и nu - две меры, сверткаmu ** nu определяется как:

(mu ** nu) f = nu $ \y -> (mu $ \x -> f $ x + y)

Итак, учитывая две меры, вы можете интегрировать против их свертки.

Кроме того, учитывая случайную величину X закона mu, закон a * X задается следующим образом:

rescale :: Double -> Measure -> Measure
rescale a mu f = mu $ \x -> f(a * x)

Кроме того, в нашей структуре распределение phi (X) задается мера изображения phi_ * X:

apply :: (Double -> Double) -> Measure -> Measure
apply phi mu f = mu $ f . phi

Итак, теперь вы можете легко разработать встроенный язык для мер. Здесь можно сделать гораздо больше, особенно в отношении выборочных пространств, отличных от реальной строки, зависимостей между случайными величинами, условности, но я надеюсь, что вы уловили суть.

В частности, pushforward является функториальным:

newtype Measure a = (a -> Double) -> Double
instance Functor Measure a where
    fmap f mu = apply f mu

Это тоже монада (упражнение - подсказка: это очень похоже на монаду продолжения. Что такое return? Какой аналог call/cc?).

Кроме того, в сочетании со структурой дифференциальной геометрии это, вероятно, можно превратить в нечто, что автоматически вычисляет байесовские апостериорные распределения.

В конце концов, вы можете написать что-нибудь вроде

m = mean $ apply cos ((from_pdf gauss) ** (empirical data))

для вычисления среднего значения cos (X + Y), где X имеет pdf gauss, а Y был выбран методом MC, результаты которого находятся в data.

Распределения вероятностей образуют монаду; см., например, работа Клэр Джонс, а также статью LICS 1989 года, но идеи восходят к статье Гири 1982 года (DOI 10.1007 / BFb0092872) и к заметке Ловера 1962 года, которую я не могу отследить (http://permalink.gmane.org/gmane.science.mat Mathematics.categories/6541).

Но я не вижу комонады: нет возможности получить «а» из «(a-> Double) -> Double». Возможно, если вы сделаете его полиморфным - (a-> r) -> r для всех r? (Это монада продолжения.)

Я работал над аналогичными проблемами в своей диссертации.

Один из способов вычисления приближенных сверток - взять преобразование Фурье функций плотности (в данном случае гистограммы), умножить их, а затем применить обратное преобразование Фурье для получения свертки.

В приложении C к моей диссертации можно найти формулы для различных частных случаев операций с вероятностными распределениями. Вы можете найти диссертацию по адресу: http://riso.sourceforge.net

Я написал код Java для выполнения этих операций. Вы можете найти код по адресу: https://sourceforge.net/projects/riso