Bash/Shell: как удалить дубликаты из CSV-файла по столбцам?

Использование awk:

awk -F';' '!seen[$2,$3]++{data[$2,$3]=$0}
      END{for (i in seen) if (seen[i]==1) print data[i]}' file
irrelevant;data5;data6;irrelevant;irrelevant
irrelevant;data7;data8;irrelevant;irrelevant
irrelevant;data9;data0;irrelevant;irrelevant

Объяснение: Если комбинация $2,$3 не существует в массиве seen, то новая запись с ключом $2,$3 сохраняется в массиве data вместе со всей записью. Каждый раз, когда обнаруживается запись $2,$3, счетчик для $2,$3 увеличивается. Затем, в конце концов, эти записи с counter==1 печатаются.

Если порядок важен и если вы можете использовать perl, то:

perl -F";" -lane '
    $key = @F[1,2]; 
    $uniq{$key}++ or push @rec, [$key, $_] 
}{ 
    print $_->[1] for grep { $uniq{$_->[0]} == 1 } @rec' file
irrelevant;data5;data6;irrelevant;irrelevant  
irrelevant;data7;data8;irrelevant;irrelevant  
irrelevant;data9;data0;irrelevant;irrelevant  

Мы используем column2 и column3 для создания составного ключа. Мы создаем массив массивов, нажимая клавишу и строку на массив rec для первого вхождения строки.

В блоке END мы проверяем, является ли это вхождение единственным вхождением. Если это так, мы идем дальше и печатаем строку.

awk '!a[$0]++' file_input > file_output

Это сработало для меня. Он сравнивает целые строки.