Пользовательский элемент управления всплывающим окном не закрывается

Если вы хотите, чтобы с ClickMode.Press он работал должным образом, вы должны программно установить для свойства IsOpen значение false всякий раз, когда вы хотите закрыть Popup. Например, всякий раз, когда вы обнаруживаете щелчок за пределами ToggleButton.

Например, вы можете обработать событие PreviewMouseLeftButtonDown для родительского окна в вашем элементе управления. Что-то вроде этого:

internal class CustomDropdown : ContentControl
{
    private ToggleButton _toggleButton;

    public CustomDropdown()
    {
        Loaded += OnLoaded;
        Unloaded += OnUnloaded;
    }

    public override void OnApplyTemplate()
    {
        base.OnApplyTemplate();
        _toggleButton = GetTemplateChild("toggleButton") as ToggleButton;
    }

    private void OnLoaded(object sender, RoutedEventArgs e)
    {
        Window window = Window.GetWindow(this);
        window.PreviewMouseLeftButtonDown += OnWindowPreviewMouseLeftButtonDown;
    }

    private void OnUnloaded(object sender, RoutedEventArgs e)
    {
        Window window = Window.GetWindow(this);
        window.PreviewMouseLeftButtonDown -= OnWindowPreviewMouseLeftButtonDown;
    }

    private void OnWindowPreviewMouseLeftButtonDown(object sender, MouseButtonEventArgs e)
    {
        ToggleButton toggleButton = FindParent<ToggleButton>(e.OriginalSource as DependencyObject);
        if (toggleButton != _toggleButton)
            IsOpen = false;
    }

    private static T FindParent<T>(DependencyObject dependencyObject) where T : DependencyObject
    {
        var parent = VisualTreeHelper.GetParent(dependencyObject);

        if (parent == null)
            return null;

        var parentT = parent as T;
        return parentT ?? FindParent<T>(parent);
    }

    public bool IsOpen
    {
        get { return (bool)GetValue(IsOpenProperty); }
        set { SetValue(IsOpenProperty, value); }
    }

    public static readonly DependencyProperty IsOpenProperty =
        DependencyProperty.Register("IsOpen", typeof(bool), typeof(CustomDropdown), new PropertyMetadata(false));
}

}

XAML:

<ControlTemplate>
    <Grid>
        <ToggleButton x:Name = "toggleButton" ...

У вас уже есть рабочий ответ. Однако нахождение родителя Window и родителя ToggleButton может повлиять на производительность (в зависимости от глубины визуального дерева).
В качестве альтернативного решения я предлагаю сосредоточиться на работе с Popup.

Есть два условия, которые препятствуют закрытию Popup: кнопка настроена с ButtonBase.ClickMode, установленным на ClickMode.Pressed, И пользователь не нажимает ничего, на что можно сфокусироваться внутри всплывающего окна.

Если одно из этих двух условий оценивается как ложное (=> ClickMode.Release или пользователь переместил фокус внутрь Popup), ваш код будет работать так, как вы ожидали.
Обратите внимание, что для того, чтобы пользователь мог перемещать фокус внутри Popup, должен быть дочерний элемент, который можно сфокусировать (для UIElement.Focusable установлено значение true — это false по умолчанию для большинства элементов управления, не требующих взаимодействия с пользователем). Например, TextBlock по умолчанию не фокусируется.

Поскольку вы хотите, чтобы кнопка была настроена на вызов события Click при нажатии кнопки мыши, вам придется перемещать фокус вручную. Но когда вы устанавливаете его вручную, Popup не получит щелчок мыши, чтобы настроить себя для наблюдения за фокусом. Таким образом, вы в конечном итоге закроете Popup вручную (отняв соответствующий контроль у Popup).

В следующем примере элемент Popup закрывается, наблюдая за событием Mouse.PreviewMouseDownOutsideCapturedElement, чтобы определить, когда фокус сместился с элемента управления CustomDropdown (щелчок мыши за пределами Popup):

CustomDropdown.cs

internal class CustomDropdown : ContentControl
{
  public bool IsOpen
  {
    get => (bool)GetValue(IsOpenProperty);
    set => SetValue(IsOpenProperty, value);
  }

  public static readonly DependencyProperty IsOpenProperty = DependencyProperty.Register(
    "IsOpen",
    typeof(bool),
    typeof(CustomDropdown),
    new PropertyMetadata(default(bool), OnIsOpenChanged));

  public CustomDropdown()
  {
    Mouse.AddPreviewMouseDownOutsideCapturedElementHandler(this, OnPreviewMouseDownOutsideCapturedElement);
  }

  private static void OnIsOpenChanged(DependencyObject d, DependencyPropertyChangedEventArgs e)
  {
    bool isOpen = (bool)e.NewValue;
    if (isOpen)
    {
      _ = Mouse.Capture(d as IInputElement, CaptureMode.SubTree);
    }
    else
    {
      _ = Mouse.Capture(null);
    }
  }

  // Manually close the Popup if click is recorded outside the CustomDropdown/Popup 
  private void OnPreviewMouseDownOutsideCapturedElement(object sender, MouseButtonEventArgs e) 
  {
    SetCurrentValue(IsOpenProperty, false);
  }
}