Как отсортированные наборы для С# работают с пользовательскими объектами?

Я пытаюсь поиграть с отсортированными наборами в С# для пользовательских объектов, и по какой-то причине кажется, что отсортированные наборы могут не использовать ссылки на объекты для хранения данных.

В следующем фрагменте кода я использую пользовательский IComparer, чтобы полагаться на свойство Counts пользовательского класса. Но по какой-то причине это, похоже, влияет на функциональность добавления. и строка counter.Add(two) не вносит никаких дополнений в набор, даже если это другая ссылка и имеет разные значения для двух свойств.

Я что-то пропустил? У меня что-то не так в том, как SortedSets должны работать в С#?

Фрагмент кода

    public class SortedStructureTesting
    {
        public void TestingSortedSets()
        {
            SortedSet<CounterSetup> counter = new SortedSet<CounterSetup>(new CompareCounts());

            CounterSetup one = new CounterSetup(1);
            CounterSetup two = new CounterSetup(2);
            CounterSetup three = new CounterSetup(3, 2);

            counter.Add(one);
            counter.Add(two); // Does not work. This value does not get added to the set.
            counter.Add(three);

            var max = counter.Max;
            counter.Remove(max);
            var sec = counter.Max;
            counter.Remove(sec);
        }

        public class CounterSetup
        {
            public static Random random = new Random();
            public CounterSetup(int no, int cnt = 1)
            {
                Number = no;
                Count = cnt;
                Blah = new string(Guid.NewGuid().ToString());
            }

            public int Number { get; private set; }

            public int Count { get; set; }

            public string Blah { get; private set; }
        }

        public class CompareCounts : IComparer<CounterSetup>
        {
            public int Compare(CounterSetup one, CounterSetup two)
            {
                return one.Count.CompareTo(two.Count);
            }
        }
    }

Спасибо, что заглянули и помогли!