Postgresql помещает строки в кавычки с помощью array_to_string

Используйте функции string_agg() и format(), например

with my_table(tag_name) as (
values 
    ('tag1'),
    ('tag2'),
    ('tag3')
)

select string_agg(format('''%s''', tag_name), ';' order by tag_name) tag_names
from my_table;

      tag_names       
----------------------
 'tag1';'tag2';'tag3'
(1 row)

Или используйте

array_to_string(array_agg(''''||tag_name||''''),';') tag_names 

или даже проще (спасибо за комментарий :))

string_agg(''''||tag_name||''''),';') tag_names 

Примечание:

When dealing with multiple-argument aggregate functions, note that the ORDER BY clause goes after all the aggregate arguments. For example, write this:

SELECT string_agg(a, ',' ORDER BY a) FROM table;

not this:

SELECT string_agg(a ORDER BY a, ',') FROM table; -- incorrect

См. https://www.postgresql.org/docs/current/static/sql-expressions.html#SYNTAX-AGGREGATES

Или вы можете использовать unnest, format, array_agg и array_to_string в одном запросе следующим образом:

select array_to_string(t.tag, ',')  
from (  
    select array_agg(format('%L', t.tag)) as tag  
    from (  
        select unnest(tag_name) as tag  
    ) t  
) t;