Цикл bash «при чтении строки» с переменными в качестве ввода файла

С:

while read url; do
    ...
    perl ... list1 > list
done < list

Вы пишете в тот же файл, что и читаете, list, не делайте этого. Изменять

    perl -ne 'print unless $dup{$_}++;' list1 > list
done < list

к

    perl -ne 'print unless $dup{$_}++;' list1 > outfile
done < list

или лучше:

    perl -ne 'print unless $dup{$_}++;' list1
done < list > outfile

чтобы избежать ЭТОЙ серьезной проблемы, но тогда у вас возникнут и другие проблемы, включая эту:

wget ... >> list1
perl -ne 'print unless $dup{$_}++;' list1

который постоянно добавляется к list1, поэтому perl приходится заново обрабатывать предыдущее содержимое на каждой итерации цикла. Вероятно, вам следует сделать:

wget ... > list1
perl -ne 'print unless $dup{$_}++;' list1

вместо этого заново заполнять list1 на каждой итерации вместо добавления к нему, но я не знаю, почему вы вообще используете там файл, а не просто передаете его по конвейеру perl:

wget ... |
perl -ne 'print unless $dup{$_}++;'

В целом, это может быть то, что вы пытаетесь сделать (непроверено и не рекомендуется, просто пытаетесь заставить код OP функционировать):

#!/usr/bin/env bash

while IFS= read -r url; do
    wget -q "$url" -O - |
    grep -o -E 'href = "([^"#]+)"' |
    grep "magazine/" |
    grep "https" |
    sort -u |
    sed -r 's/.*href = "([^"]+).*/\1/g' |
    perl -ne 'print unless $dup{$_}++;' 
done < list > outfile

Без примера ввода (вывод из curl) и ожидаемого вывода (из цикла) это всего лишь догадки, но приведенное выше, вероятно, можно было бы изменить на это, чтобы не создавать подоболочки повторно для вызова всех этих команд внутри цикла:

while IFS= read -r url; do
    wget -q "$url" -O -
done < list |
    grep -o -E 'href = "([^"#]+)"' |
    grep "magazine/" |
    grep "https" |
    sort -u |
    sed -r 's/.*href = "([^"]+).*/\1/g' |
    perl -ne 'print unless $dup{$_}++;' \
        > outfile

и далее я ожидаю, что этот конвейер из 6 команд:

grep -o -E 'href = "([^"#]+)"' |
grep "magazine/" |
grep "https" |
sort -u |
sed -r 's/.*href = "([^"]+).*/\1/g' |
perl -ne 'print unless $dup{$_}++;' 

можно заменить одной командой awk (или perl).

Кажется, вам нужна структура данных FIFO (первым пришел — первым обслужен), то есть очередь.

Вероятно, вы можете заменить весь свой код одним сценарием Perl.

Немного более легкая для чтения версия кода из моего комментария, использующая промежуточные переменные и измененная, чтобы разрешить возобновление работы из новой очереди:

прогулка_очередь:

#!/usr/bin/perl

use v5.10;
use strict;
use warnings;
use Tie::File;

my ($url_queue_file, $seen_urls_file) = @ARGV;

# allow reading/writing file lines as if they are arrays  
tie my @url_queue, 'Tie::File', $url_queue_file or die;
tie my @seen_urls, 'Tie::File', $seen_urls_file or die;

# (re)load lookup table from any previous results found
my %seen = map {$_=>1} @seen_urls;

# take url from head of queue
while (my $url = shift @url_queue) {
 
    # call wget - quote any metacharacters in url
    my $html = qx{ wget -qO- \Q$url\E };

    # extract href values that are https urls
    my @found_urls = ( $html =~ m{href = "(https://[^"#]+)"}g );

    # filter out irrelevant and duplicates
    my @new_urls = grep { m{magazine/} && !$seen{$_}++ } @found_urls;

    # add any new urls to tail of queue
    push @url_queue, @new_urls;

    # ensure starting url is always marked as seen 
    unshift @new_urls, $url if !$seen{$url}++;

    # append any new urls to result file
    push @seen_urls, @new_urls;

    # optionally output progress to screen
    say for @new_urls;
}

затем:

$ echo 'https://abc.xyz/start' >queue
$ cat /dev/null >found
$ ./walk_queue queue found

• queue должен оказаться пустым
• found должен содержать результаты (также отображаются на стандартном выводе)

Чтобы продолжить с другого URL-адреса, добавьте его в queue, но не удаляйте found, и запустите снова:

$ echo 'https://abc.xyz/another/one' >>queue
$ ./walk_queue queue found

(Я не тестировал этот код, так как не знаю ни фактического формата URL, ни содержимого HTML.)

Вот еще один подход с использованием bash coproc, которому, возможно, немного проще следовать, чем Perl.

прогулка_очередь2:

#!/bin/bash

start_url=$1
seen_urls_file=$2

# (re)load lookup table from previous results found
declare -A seen
if [[ -f $seen_urls_file ]]; then
    while IFS= read -r url; do
        seen["$url"]=1
    done < "$seen_urls_file"
fi
 
# feed in url, get back zero or more urls from its content
# then append "---" to let us track queue length
coproc extract_urls {
    while IFS= read -r url; do
        wget -qO- "$url" |
        grep -oE 'href = "https://[^"#]+"' |
        cut -d'"' -f2 |
        grep 'magazine/'

        echo ---
    done
}

queue_length=0
url=$start_url

while
    if (( !seen["$url"]++ )); then
        (( ++queue_length ))
        echo "$url" >& ${extract_urls[1]}
        echo "$url" >> "$seen_urls_file"
        echo "$url"
    fi
    IFS= read -r url
do
    while [[ $url = --- ]]; do
        (( --queue_length == 0 )) && break 2
        IFS= read -r url || break 2
    done
done <& ${extract_urls[0]}

Использовать как:

$ cat /dev/null >found
$ ./walk_queue2 'https://abc.xyz/start' found
$ ./walk_queue2 'https://abc.xyz/another/one' found

Приложение: Как обычно, coproc не нужен:

walk_queue3 (то же использование, что и выше):

#!/bin/bash

start_url=$1
seen_urls_file=$2

declare -a queue
qpos=0
queue[qpos]=$start_url

declare -A seen
if [[ -f $seen_urls_file ]]; then
    while IFS= read -r url; do
        seen["$url"]=1
    done < "$seen_urls_file"
fi

while (( ${#queue[@]} > qpos )); do

    # for simplicity, we don't delete from queue
    url=${queue[qpos++]}

    while IFS= read -r new_url; do
        if (( !seen["$new_url"]++ )); then
            queue+=("$new_url")
            echo "$new_url" >> "$seen_urls_file"
            echo "$new_url"
        fi
    done < <(
        wget -qO- "$url" |
        grep -oE 'href = "https://[^"#]+"' |
        cut -d'"' -f2 |
        grep 'magazine/'
    )
done

Обратите внимание, что замедление, вероятно, будет связано с регулированием со стороны владельца веб-сайта, который может возражать против очистки его веб-сайта.