Как рассчитать (правильную) матрицу преобразования между двумя фреймами (осевыми системами) в Unity3D

Могут быть и другие решения, но вот что я бы сделал

1. Оберните свои объекты в следующую иерархию

   WorldAnchorObject
   |- Red Sphere
   |- Blue Sphere
   |- White Sphere
   

2. Убедитесь, что на WorldAnchorObject есть

   position: 0,0,0
   rotation: 0,0,0
   localScale: 1,1,1
   

3. позиционировать/вращать/масштабировать Сферы (теперь это будет происходить относительно WorldAnchorObject)

4. Теперь все, что осталось, это преобразовать WorldAnchorObject -> он будет перемещать, масштабировать и вращать все остальное, сохраняя при этом относительные преобразования.

   Как именно вы переместите мировой якорь, зависит от вас. Я думаю, вы хотите всегда центрировать и нормализовать определенный дочерний объект. Может быть, что-то вроде

   public void CenterOnObject(GameObject targetCenter)
   {
       var targetTransform = targetCenter.transform;
       // The localPosition and localRotation are relative to the parent
       var targetPos = transform.localPosition;
       var targetRot = targetTransform.localRotation;
       var targetScale = targetTransform.localScale;
   
       // First reset everything
       transform.position = Vector3.zero;
       transform.rotation = Quaternion.Idendity;
       transform.localScale = Vector3.one;
   
       // set yourself to inverted target position
       // After this action the target should be on 0,0,0
       transform.position = targetPos * -1;
       // Scale yourself relative to 0,0,0
       var newScale = Vector3.one * 1/targetScale.x;
       ScaleAround(gameObject, Vector3.zero, newScale);
       // Now everything should be scaled so that the target 
       // has scale 1,1,1 and still is on position 0,0,0
   
       // Now rotate around 0,0,0 so that the rotation of the target gets normalized
       transform.rotation = Quaternion.Inverse(targetRotation);
   }
   
   // This scales an object around a certain pivot and 
   // takes care of the correct position translation as well
   private void ScaleAround(GameObject target, Vector3 pivot, Vector3 newScale)
   {
       Vector3 A = target.transform.localPosition;
       Vector3 B = pivot;
   
       Vector3 C = A - B; // diff from object pivot to desired pivot/origin
   
       float RS = newScale.x / target.transform.localScale.x; // relative scale factor
   
       // calc final position post-scale
       Vector3 FP = B + C * RS;
   
       // finally, actually perform the scale/translation
       target.transform.localScale = newScale;
       target.transform.localPosition = FP;
   }
   

   Теперь вы называете это передачей одного из детей, например, например.

   worldAnchorReference.CenterOnObject(RedSphere);
   

   должно привести к тому, чего вы хотели достичь. (Взломал это на моем смартфоне, поэтому никаких гарантий, но если возникнут проблемы, я могу проверить это, как только снова буду с ПК. ;))

Неважно.. Пришлось применить вращение и масштабирование к переводу перед созданием TRS. Д'О