Замена ShowDialog() на Show()

Вы можете обработать событие Form.Closed:

MyForm testForm = new MyForm();
testForm.Closed += testForm_Closed;
testForm.Show();

private void testForm_Closed(object sender, EventArgs args)
{
    var testForm = (Form)sender;
    testForm.Closed -= testForm_Closed;

    if (testForm.DialogResult == OK)
        // do some stuff 1
}

Самый простой способ — переместить код из OpenForm в обработчик событий OkClick. Однако, если это не лучшее место для размещения кода, потому что вы можете использовать одну и ту же форму для разных задач, вы можете добавить обработчик события FormClosed, который вызывается после закрытия формы и запускает код, например :

private void OpenForm(object sender, ItemClickEventArgs e)
{
    MyForm testForm = new MyForm();
    ...
    testForm.Enabled = true;
    testForm.FormClosed += (s, a) => {
      var dialogOk = testForm.DialogOK;
      if (dialogOk)
      {
         //do some stuff 1
      }
    };
    testForm.Show(this);
}

Вы можете использовать обработчик асинхронного события, привязанный к TaskCompletionSource, который прослушивает, а ждет закрывает форму.

private asyc void OpenForm(object sender, ItemClickEventArgs e) {
    var source = new TaskCompletionSource<DialogResult>();

    EventHandler handler = null;
    handler = (s, args) => { 
        var  form = (MyForm)s;
        form.FormClosed -= handler;
        source.SetResult(form.DialogResult);
    }

    var testForm = new MyForm();
    testForm.FormClosed += handler; //subscribe
    //...
    testForm.Enabled = true;
    testForm.Show();

    var dialogOk = await source.Task;
    if (dialogOk == DialogResult.Ok) {
       //do some stuff 1
    }
}

При этом вы можете сохранить логику в OpenForm и позволить коду ждать без блокировки.

В форме при нажатии кнопки все, что вам нужно сделать, это установить результат диалога и закрыть форму.

public partial class MyForm: XtraForm {

    //...

    private void OkClick(object sender, EventArgs e) {
        // do some stuff 2
        // ... 

        DialogResult = DialogResult.Ok;
        Cose();
    }
}

Это работает для меня, так что не уверен, почему это не для вас (почесывая голову)... Эта форма имеет две кнопки, одна из которых снова открывает ту же форму, а другая кнопка закрывает форму. Родительская форма добавляет событие к закрытому событию.

public partial class Form1 : Form
{
    public Form1()
    {
        InitializeComponent();
    }

    private void button1_Click(object sender, EventArgs e)
    {
        Form1 test = new Form1();

        test.FormClosed += Test_FormClosed;

        test.Show();
    }

    private void Test_FormClosed(object sender, FormClosedEventArgs e)
    {
        MessageBox.Show("closed -- do something else here!");
    }

    private void button2_Click(object sender, EventArgs e)
    {
        Close();
    }
}