Возможно ли поиск / чтение другого файла из awk на основе содержимого текущего файла?

Кажется, это работает для некоторых тестовых файлов, которые я настроил в соответствии с вашими примерами. Однако включение perl таким образом (вставленное с помощью grep), вероятно, сильно ухудшит производительность ...

## perl code to do some dirty work

for my $line (`grep 'X Y Z' myhugefile`) {
    chomp $line;
    my ($a, $b, $c, $d, $e) = split(/ /,$line);
    my $cmd = 'grep -P "' . $d . ' .+? ' . $e .'" otherfile';
    for my $from_otherfile (`$cmd`) {
        chomp $from_otherfile;
        my ($oa, $ob, $oc, $od) = split(/ /,$from_otherfile);
        print "$a $ob $oc\n";
    }
}

Обновлено: Воспользуйтесь решением tsee (см. Выше), оно гораздо более продуманное.

Позвольте мне начать с того, что ваше описание проблемы на самом деле не так уж и полезно. В следующий раз, пожалуйста, будьте более конкретными: вы можете упустить гораздо лучшие решения.

Итак, из вашего описания я понимаю, что у вас есть два файла, которые содержат данные, разделенные пробелами. В первом файле вы хотите сопоставить первые три столбца с некоторым шаблоном поиска. Если он найден, вы хотите найти все строки в другом файле, которые содержат четвертый и пятый столбцы соответствующей строки в первом файле. Из этих строк вам нужно извлечь второй и третий столбцы, а затем распечатать первый столбец первого файла, а второй и третий - из второго файла. Хорошо, вот и:

#!/usr/bin/env perl -nwa
use strict;
use File::Find 'find';
my @search = qw(X Y Z);

# if you know in advance that the otherfile isn't
# huge, you can cache it in memory as an optimization.

# with any more columns, you want a loop here:
if ($F[0] eq $search[0]
    and $F[1] eq $search[1]
    and $F[2] eq $search[2])
{
  my @files;
  find(sub {
      return if not -f $_;
      # verbatim search for the columns in the file name.
      # I'm still not sure what your file-search criteria are, though.
      push @files, $File::Find::name if /\Q$F[3]\E/ and /\Q$F[4]\E/;
      # alternatively search for the combination:
      #push @files, $File::Find::name if /\Q$F[3]\E.*\Q$F[4]\E/;
      # or search *all* files in the search path?
      #push @files, $File::Find::name;
    }, '/search/path'
  )
  foreach my $file (@files) {
    open my $fh, '<', $file or die "Can't open file '$file': $!";
    while (defined($_ = <$fh>)) {
      chomp;
      # order of fields doesn't matter per your requirement.
      my @cols = split ' ', $_;
      my %seen = map {($_=>1)} @cols;
      if ($seen{$F[3]} and $seen{$F[4]}) {
        print join(' ', $F[0], @cols[1,2]), "\n";
      }
    }
    close $fh;
  }
} # end if matching line

В отличие от решения другого постера, которое содержит множество системных вызовов, оно вообще не возвращается к оболочке и, следовательно, должно быть достаточно быстрым.

Это тот тип работы, который в первую очередь заставил меня перейти с awk на Perl. Если вы собираетесь это сделать, вам может быть проще создать сценарий оболочки, который создает сценарий (-ы) awk для запроса и последующего обновления отдельными шагами.

(Я написал такого зверя для чтения / обновления файлов в стиле windows-ini - он уродлив. Хотел бы я использовать perl.)

Я часто вижу ограничение «Я не могу использовать какие-либо модули Perl», а когда это не домашний вопрос, это часто просто из-за недостатка информации. Да, даже вы можете использовать CPAN содержит инструкции о том, как установить модули CPAN локально, не имея привилегий root. Другой вариант - просто взять исходный код модуля CPAN и вставить его в свою программу.

Ничего из этого не помогает, если есть другие неустановленные ограничения, такие как нехватка дискового пространства, которые препятствуют установке (слишком большого количества) дополнительных файлов.