Вопросы по теме 'uniq'
в рельсах, как я могу получить все параметры модели после объединения с другими моделями, получить ActiveRecord::Relation, метод подсчета которых возвращает число
Предположим, у меня есть следующие модели:
class Item
# (name, price, location, quantity)
has_many :purchases
end
class Purchase
has_many :items
belongs_to :person
end
class Person
# (name, age)
has_many :purchases
end
Мне нужно...
144 просмотров
schedule
19.12.2022
diff по строкам, а не по строкам
Я чувствую, что должен быть в состоянии сделать это во сне, но скажем, у меня есть два текстовых файла, каждый из которых имеет один столбец имен модулей apache в произвольном порядке. Один файл содержит 46 уникальных (для себя) строк. Другой имеет...
1222 просмотров
schedule
01.08.2023
Как я могу эмулировать `uniq -d` в awk?
У меня есть система busybox, в которой нет uniq , и я хотел бы создать уникальный список повторяющихся строк.
Обычный uniq , эмулированный в awk , будет:
sort <filename> | awk '!($0 in a){a[$0]; print}'
Как я могу использовать...
1816 просмотров
schedule
03.06.2022
Почему вывод uniq -c с пробелом вместо \t?
Я использую uniq -c какой-то текстовый файл. Его вывод выглядит следующим образом:
123(space)first word(tab)other things
2(space)second word(tab)other things
....
Поэтому мне нужно извлечь общее число (например, 123 и 2 выше), но я не...
6200 просмотров
schedule
28.12.2022
Как использовать uniq -cd в сценариях bash и извлекать только количество, а не строку?
У меня есть файл .sh , который берет файл журнала, извлекает данные и создает отчеты. Я хотел бы рассчитать, какой процент от общего количества строк вызывает всплывающее окно с ошибкой (топ-говорящие).
Пока у меня это:
awk '// {print $4,...
4909 просмотров
schedule
26.03.2022
Команда Unix uniq и сортировка
Как мы знаем
uniq [options] [file1 [file2]]
Он удаляет повторяющиеся соседние строки из отсортированного файла1. Опция -c печатает каждую строку один раз, считая экземпляры каждой. Итак, если у нас есть следующий результат:
34...
7865 просмотров
schedule
07.08.2022
удалить дубликаты из многих файлов csv
Учитывая n CSV-файлов, в которых они составляют до 100 ГБ, мне нужно удалить повторяющиеся строки на основе следующих правил и условий:
Файлы csv пронумерованы от 1.csv до n.csv, и каждый файл имеет размер около 50 МБ.
Первый столбец является...
2372 просмотров
schedule
14.03.2024
Нечувствительные к регистру уникальные элементы массива в Perl
Я использую функцию uniq, экспортируемую модулем, List::MoreUtils, чтобы найти элементы uniq в массиве. Однако я хочу, чтобы он находил элементы uniq без учета регистра. Как я могу это сделать?
Я сбросил вывод массива, используя Data::Dumper:...
1463 просмотров
schedule
01.01.2023
Bash - можно ли использовать -uniq только для одного столбца строки?
1.gui Qxx 16
2.gu Qxy 23
3.guT QWS 18
4.gui Qxr 21
я хочу отсортировать файл в зависимости от значения в 3-м столбце, поэтому я использую:
sort -rnk3 myfile
2.gu Qxy 23
4.gui Qxr 21
3.guT QWS 18
1.gui Qxx...
10077 просмотров
schedule
30.12.2022
Сортировать столбец по количеству одинаковых вхождений - используя awk, sort, tr или uniq?
Скажем, у меня есть данные, разделенные табуляцией:
Peter 5
Joe 8
Peter 7
Peter 8
Joe 4
Laura 3
И я хочу отсортировать его по количеству раз, когда имя встречается в первом столбце (от максимального к минимальному). Таким...
2215 просмотров
schedule
19.09.2022
Слияние файлов с данными экспоненциального представления в первом столбце и как использовать uniq
Два вопроса по использованию команды uniq , помогите пожалуйста.
Первый вопрос
Скажем, у меня есть два файла;
$ cat 1.dat
0.1 1.23
0.2 1.45
0.3 1.67
$ cat 2.dat
0.3 1.67
0.4 1.78
0.5 1.89
Используя cat 1.dat 2.dat | sort -n | uniq...
86 просмотров
schedule
10.08.2022
В чем разница между sort -u и uniq?
Мне нужен скрипт, который сортирует текстовый файл и удаляет дубликаты. В большинстве, если не во всех, примерах используется подход sort file1 | uniq > file2 . Однако в мужской сортировке есть параметр -u, который делает это во время...
4014 просмотров
schedule
14.06.2022
Как проверить папку с текстовыми файлами на наличие повторяющихся URL-адресов
У меня есть папка с *.txt файлами. Я хочу регулярно проверять эти файлы на наличие повторяющихся URL-адресов.
На самом деле, я сохраняю свои закладки в этих файлах, всегда как минимум с двумя строками, например:
www.domain.com
Quite a...
190 просмотров
schedule
12.12.2022
Как определить дубликаты в файле unix и суммировать значения [дубликаты]
Я пытаюсь определить дубликаты в файле unix и суммировать значения. Например:
У меня есть файл типа:
aa, 05
aa, 02
aa, 01
bb, 01
bb, 12
cc ,02
dd, 03
И мне нужен вывод:
aa, 08
bb, 13
cc, 02
dd,03
1027 просмотров
schedule
25.03.2023
уникальные значения столбца linux
Я пытаюсь понять, как сохранить только уникальные значения на основе всех значений перед последним столбцом, но также сохранить данные последнего столбца. Я также хотел бы отсортировать данные. Например:
Вклад Африка огромна 20 Индия — это...
482 просмотров
schedule
13.11.2022
Объединить списки частот с awk
Я хочу объединить два списка частот, и частоты должны агрегироваться. Я заметил, что есть несколько тем, похожих на эту, но я также хотел бы обсудить свой подход, если это нормально?
Итак, вот что я пытался сделать в cygwin:
Я собрал несколько...
84 просмотров
schedule
14.05.2023
Bash/Shell: как удалить дубликаты из CSV-файла по столбцам?
У меня есть csv, разделенный ; . Мне нужно удалить строки, в которых содержимое 2-го и 3-го столбца не уникально, и вывести материал на стандартный вывод.
Пример ввода:
irrelevant;data1;data2;irrelevant;irrelevant...
3075 просмотров
schedule
18.07.2022
bash — получить все строки с одинаковым значением столбца в двух файлах
У меня есть два текстовых файла, в каждом из которых по 3 поля. Мне нужно получить строки с одинаковым значением в третьем поле. Значение 3-го поля уникально в каждом файле. Пример:
файл1:
1 Иоанн 300 2 Эли 200 3 Крис 100 4 Энн 600...
1218 просмотров
schedule
14.07.2022
Альтернатива uniq -c и сортировка в чистом awk
Вот одна команда, используемая для фильтрации из файла access.log количества обращений по IP-адресу, а затем подсчета количества обращений для каждого IP-адреса и сортировки их от наименьшего к наибольшему количеству:
awk '{print $1}'...
1906 просмотров
schedule
26.10.2022
перенаправление bash на файлы не работает
У меня есть два файла, yolo.txt и bar.txt :
йоло.txt:
a
b
c
бар.txt:
c
У меня есть следующая команда, которая дает мне желаемый результат:
$ cat yolo.txt bar.txt | sort | uniq -u | sponge
a
b
Но когда я добавляю...
69 просмотров
schedule
19.11.2022
