Как выдавать токены с типом: jwt вместо at+jwt в Identity Server 4?

Я думаю, вам просто нужно установить для этой опции IdentityServer значение jwt:

    /// <summary>
    /// Gets or sets the value for the JWT typ header for access tokens.
    /// </summary>
    /// <value>
    /// The JWT typ value.
    /// </value>
    public string AccessTokenJwtType { get; set; } = "at+jwt";

Исходный код смотрите здесь:

Просто замените AccessTokenJwtType на AddIdentityServer:

var builder = services.AddIdentityServer(options =>
            {
                // see https://identityserver4.readthedocs.io/en/latest/topics/resources.html
                options.EmitStaticAudienceClaim = true;
                options.AccessTokenJwtType = "JWT";
            })

Здесь я объяснил это в моем блоге, а также