Извлечение определенного шаблона из строк с помощью sed, awk или perl

use strict;
use warnings;

while (<DATA>) {
    while (m#/(\*?)(.*?)\1/#g) {
        print "$2\n";
    }
}


__DATA__
There are many who dare not kill themselves for [/fear/] of what the neighbors will say.
Advice is what we ask for when we already know the /* answer */ but wish we didn’t.

Как однострочный:

perl -nlwe 'while (m#/(\*?)(.*?)\1/#g) { print $2 }' input.txt

Внутренний цикл while будет перебирать все совпадения с модификатором /g. Обратная ссылка \1 гарантирует, что мы сопоставляем только идентичные открытые/закрытые теги.

Если вам нужно сопоставить блоки, которые занимают несколько строк, вам нужно проглотить ввод:

use strict;
use warnings;

$/ = undef;
while (<DATA>) {
    while (m#/(\*?)(.*?)\1/#sg) {
        print "$2\n";
    }
}

__DATA__
    There are many who dare not kill themselves for [/fear/] of what the neighbors will say. /* foofer */ 
    Advice is what we ask for when we already know the /* answer */ but wish we didn’t.
foo bar /
baz 
baaz / fooz

Один лайнер:

perl -0777 -nlwe 'while (m#/(\*?)(.*?)\1/#sg) { print $2 }' input.txt

Переключатель -0777 и $/ = undef вызовут глотание файла, что означает, что весь файл читается в скаляр. Я также добавил модификатор /s, чтобы подстановочный знак . соответствовал новой строке.

Объяснение регулярного выражения: m#/(\*?)(.*?)\1/#sg

m#              # a simple m//, but with # as delimiter instead of slash
    /(\*?)      # slash followed by optional *
        (.*?)   # shortest possible string of wildcard characters
    \1/         # backref to optional *, followed by slash
#sg             # s modifier to make . match \n, and g modifier 

«Магия» здесь в том, что обратная ссылка требует звездочки * только тогда, когда она находится перед ней.

Быстрый и грязный путь в awk

awk 'NF{ for (i=1;i<=NF;i++) if($i ~ /^\[\//) { print gensub (/^..(.*)..$/,"\\1","g",$i); } else if ($i ~ /^\/\*/) print $(i+1);next}1' input_file

Тестовое задание:

$ cat file
There are many who dare not kill themselves for [/fear/] of what the neighbors will say.

Advice is what we ask for when we already know the /* answer */ but wish we didn't.
$ awk 'NF{ for (i=1;i<=NF;i++) if($i ~ /^\[\//) { print gensub (/^..(.*)..$/,"\\1","g",$i); } else if ($i ~ /^\/\*/) print $(i+1);next}1' file
fear

answer

Однострочные совпадения

Если вы действительно хотите сделать это в sed, вы можете относительно легко извлечь шаблоны с разделителями, если они находятся в одной строке.

# Using GNU sed. Escape a whole lot more if your sed doesn't handle
# the -r flag.
sed -rn 's![^*/]*(/\*?.*/).*!\1!p' /tmp/foo

Многострочные совпадения

Если вы хотите выполнять многострочные совпадения с помощью sed, все становится немного уродливее. Однако это, безусловно, можно сделать.

# Multi-line matching of delimiters with GNU sed.
sed -rn ':loop
         /\/[^\/]/ { 
             N
             s![^*/]+(/\*?.*\*?/).*!\1!p
             T loop
         }' /tmp/foo

Хитрость заключается в том, чтобы искать начальный разделитель, а затем продолжать добавлять строки в цикле, пока не найдете конечный разделитель.

Это работает очень хорошо, если у вас действительно есть конечный разделитель. В противном случае содержимое файла будет добавляться к пространству шаблонов до тех пор, пока sed не найдет его или пока не достигнет конца файла. Это может вызвать проблемы с некоторыми версиями sed или с очень большими файлами, где размер пространства шаблонов выходит из-под контроля.

См. Ограничения и неограничения GNU sed для получения дополнительной информации.