Удалить дубликаты в списке объектов с помощью Python

set(list_of_objects) удалит дубликаты только в том случае, если вы знаете, что такое дубликат, то есть вам нужно определить уникальность объекта.

Для этого вам нужно сделать объект хешируемым. Вам нужно определить как __hash__, так и __eq__ метод, вот как:

http://docs.python.org/glossary.html#term-hashable

Хотя вам, вероятно, потребуется только определить __eq__ метод.

РЕДАКТИРОВАТЬ: как реализовать метод __eq__:

Как я уже упоминал, вам нужно знать определение уникальности вашего объекта. Предположим, у нас есть Книга с атрибутами author_name и title, комбинация которых уникальна (таким образом, у нас может быть много книг, созданных Стивеном Кингом, и много книг с названием «Сияние», но только одна книга под названием «Сияние» Стивена Кинга), затем реализация как следует:

def __eq__(self, other):
    return self.author_name==other.author_name\
           and self.title==other.title

Точно так же я иногда реализую метод __hash__:

def __hash__(self):
    return hash(('title', self.title,
                 'author_name', self.author_name))

Вы можете проверить, что если вы создадите список из 2 книг с одинаковым автором и названием, объекты книги будут одинаковыми (с оператором is) и (с оператором ==). Кроме того, при использовании set() будет удалена одна книга.

РЕДАКТИРОВАТЬ: это один из моих старых ответов, но я только сейчас заметил, что в нем есть ошибка, исправленная зачеркиванием в последнем абзаце: объекты с одинаковым hash() не будут давать True по сравнению с is. Однако хэшируемость объектов используется, если вы собираетесь использовать их как элементы набора или как ключи в словаре.

Поскольку они не могут быть хешированы, вы не можете использовать набор напрямую. Заголовки хоть должны быть.

Вот первая часть.

seen_titles = set()
new_list = []
for obj in myList:
    if obj.title not in seen_titles:
        new_list.append(obj)
        seen_titles.add(obj.title)

Однако вам нужно будет описать, какую базу данных / ORM и т. Д. Вы используете для второй части.

Это кажется довольно минимальным:

new_dict = dict()
for obj in myList:
    if obj.title not in new_dict:
        new_dict[obj.title] = obj

Для этого нужны как __hash__, так и __eq__.

__hash__ необходим для добавления объекта в набор, поскольку наборы Python реализованы как хэш-таблицы. По умолчанию неизменяемые объекты, такие как числа, строки и кортежи, являются хешируемыми.

Однако хеш-коллизии (хеширование двух разных объектов с одним и тем же значением) неизбежны из-за принципа «ящика». Таким образом, два объекта нельзя отличить только по их хешу, и пользователь должен указать свою собственную __eq__ функцию. Таким образом, фактическая хэш-функция, предоставляемая пользователем, не имеет решающего значения, хотя лучше всего попытаться избежать коллизий хеширования для повышения производительности (см. Что является правильным и хороший способ реализовать __hash __ ()?).

Недавно я использовал приведенный ниже код. Он похож на другие ответы, поскольку он выполняет итерацию по списку и записывает то, что он видит, а затем удаляет любой элемент, который он уже видел, но не создает повторяющийся список, вместо этого он просто удаляет элемент из исходного списка.

seen = {}
for obj in objList:
    if obj["key-property"] in seen.keys():
        objList.remove(obj)
    else:
        seen[obj["key-property"]] = 1

Если вы хотите сохранить исходный порядок, используйте его:

seen = {}
new_list = [seen.setdefault(x, x) for x in my_list if x not in seen]

Если вы не заботитесь о заказе, используйте его:

new_list = list(set(my_list))

Это довольно простые друзья: -

a = [5,6,7,32,32,32,32,32,32,32,32]

а = список (набор (а))

печать (а)

[5,6,7,32]

Это оно ! :)