Верните wchar_t* из функции C, которая выделяет память для строки

Параметр machineName для c_GetMachineName() передается по значению, поэтому переменная вызывающего объекта копируется, а c_GetMachineName() вместо этого изменяет копию.

Локальная переменная machineName, объявленная внутри вашего теста, не инициализирована (и, следовательно, установлена ​​в 0xcccccccccccccccc в режиме отладки), и c_GetMachineName() не может изменить ее, чтобы она указывала на действительный адрес. Вот почему тест завершается с ошибкой при попытке чтения с неверного адреса 0xcccccccccccccccc.

Чтобы сделать то, что вы пытаетесь, c_GetMachineName() вместо этого необходимо принять свой параметр machineName по указателю, чтобы он мог изменить переменную вызывающей стороны, чтобы она указывала на память, возвращаемую malloc().

Кроме того, ваша переменная infoBuf избыточна и ее можно исключить. То же самое можно и с использованием wcslen(), поскольку GetComputerNameW() сообщает вам, сколько символов оно записывает в буфер.

Вместо этого попробуйте это:

#include "sysCertStore.h"
TEST(sysCertStoreC, c_GetMachineName)
{
    wchar_t *machineName;
    EXPECT_TRUE(c_GetMachineName(&machineName));
    setlocale(LC_ALL, "");
    printf("%ls", machineName);
    free(machineName);
}

BOOL c_GetMachineName(wchar_t** machineName) {

  if (!machineName)
    return FALSE;

  wchar_t Name[MAX_COMPUTERNAME_LENGTH + 1] = {};
  DWORD bufCharCount = MAX_COMPUTERNAME_LENGTH + 1;

  if (!GetComputerNameW(Name, &bufCharCount))
    return FALSE;

  ++bufCharCount;
  *machineName = (wchar_t*) malloc(bufCharCount * sizeof(wchar_t));  // new wchar_t[bufCharCount];
  if (!*machineName)
    return FALSE;

  wcscpy_s(*machineName, bufCharCount, Name);
  return TRUE;

  /* or simpler:
  *machineName = _wcsdup(Name);
  return (*machineName != NULL);
  */
}

В качестве альтернативы вы можете просто return вместо этого использовать указатель malloc, например:

#include "sysCertStore.h"
TEST(sysCertStoreC, c_GetMachineName)
{
    wchar_t *machineName = c_GetMachineName();
    EXPECT_NE(machineName, nullptr);
    setlocale(LC_ALL, "");
    printf("%ls", machineName);
    free(machineName);
}

wchar_t* c_GetMachineName() {

  wchar_t Name[MAX_COMPUTERNAME_LENGTH + 1] = {};
  DWORD bufCharCount = MAX_COMPUTERNAME_LENGTH + 1;

  if (!GetComputerNameW(Name, &bufCharCount))
    return NULL;

  ++bufCharCount;
  wchar_t *machineName = (wchar_t*) malloc(bufCharCount * sizeof(wchar_t));  // new wchar_t[bufCharCount];
  if (!machineName)
    return NULL;

  wcscpy_s(machineName, bufCharCount, Name);
  return machineName;

  /* or simpler:
  return _wcsdup(Name);
  */
}

Или просто попросите вызывающую сторону выделить память, а c_GetMachineName() просто заполнит ее, например:

#include "sysCertStore.h"
TEST(sysCertStoreC, c_GetMachineName)
{
    wchar_t machineName[256];
    EXPECT_TRUE(c_GetMachineName(machineName, 256));
    setlocale(LC_ALL, "");
    printf("%ls", machineName);
}

BOOL c_GetMachineName(wchar_t* machineName, DWORD maxLength) {
  return GetComputerNameW(machineName, &maxLength))
}