Рассчитать стандартное отклонение внутри сводной таблицы

Похоже, вы пытаетесь перехитрить mysql с помощью этого подзапроса. Что касается опасений, вам не нужен этот дополнительный уровень сложности, просто используйте простой агрегированный запрос с предложением WHERE, которое фильтрует записи, имеющие mt = "qt".

SELECT 
    mid as mID,
    ROUND(AVG(rt), 5) as qtAVG,
    ROUND(STD(rt), 5) as qtSTDDEV,
    COUNT(*) as qtCOUNT,
FROM t_r
WHERE mt =  "qt"
GROUP BY mt

Думаю, ваша единственная проблема - это ELSE 0. Вам просто нужны значения NULL, потому что они будут проигнорированы:

SELECT mid                                 as mID,
       round((x.qty_sum / x.qty_count), 5) as qtAVG,
       round(x.qty_stddev, 5)              as qtSTDDEV,
       x.qty_count                         as qtCOUNT,
       round((x.rel_sum / x.rel_count), 5) as relAVG,
       round(x.rel_stddev, 5)              as relSTDDEV,
       x.rel_count                         as relCOUNT,
FROM (SELECT mid,
             SUM( mt = 'qt' )   as qty_count,
             SUM(CASE WHEN mt = 'qt' THEN rt END)  as qty_sum,
             STD(CASE WHEN mt = 'qt' THEN rt END)  as qty_stddev,
             SUM( mt = 'rel' ) as rel_count,
             SUM(CASE WHEN mt = 'rel' THEN rel END) as rel_sum,
             STD(CASE WHEN mt = 'rel' THEN rel END) as rel_stddev
      FROM t_r
      GROUP BY mid
     ) x;

Обратите внимание на некоторые другие изменения:

• Я упростил логику подсчета, чтобы удалить выражение CASE. При этом используется расширение MySQL, которое обрабатывает логические значения как числа с 1 для истинного и 0 для ложного.
• Я заменил двойные кавычки одинарными. Одиночные кавычки являются стандартным разделителем для строк.
• Я удалил пункты ELSE. Функции агрегирования игнорируют значения NULL, поэтому это должно решить вашу проблему.