Удалить дубликаты строк

Как удалить дубли строк

Вставьте список в левое поле - по одному элементу на строку. Результат сразу появится справа: его можно скопировать или скачать в формате .txt. Файл .txt, .csv или .tsv можно открыть кнопкой с папкой либо просто перетащить в поле.

По умолчанию из каждой группы одинаковых строк остаётся первая. Её текст не меняется, а исходный порядок строк сохраняется. Под полями видно, сколько строк было, сколько осталось и сколько разных строк повторялось.

Четыре режима

• Удалить дубли: из одинаковых строк остаётся первая. Обычная очистка списка ключевых фраз, адресов почты, ссылок, артикулов и фамилий.
• Только дубли: остаются строки, которые встречаются два раза и больше, каждая по разу. Так удобно проверить, что именно повторялось.
• Только неповторяющиеся: строки с дублями удаляются полностью - все их вхождения. Остаётся то, что встречается в списке ровно один раз.
• Удалить дубли подряд: удаляются только повторы, которые идут друг за другом. Если между одинаковыми строками есть другая строка, обе останутся. Режим подходит для логов и текста, в который одна строка случайно попала несколько раз подряд.

Что считать дублем

• Регистр букв. По умолчанию «Москва» и «москва» считаются дублями. Для артикулов, идентификаторов и кодов, где регистр важен, выберите «учитывать».
• Буквы ё и е. По умолчанию «ёлка» и «елка» считаются дублями. Букву ё часто пишут через е, поэтому разницу легко пропустить при ручной проверке.
• Лишние пробелы. По умолчанию пробелы в начале и в конце строки, несколько пробелов подряд, табуляция и неразрывные пробелы не мешают найти дубль. Без этой настройки одинаковые на вид строки могут считаться разными.
• Порядок слов. Выберите «не учитывать», и «купить слона» и «слона купить» станут дублями. Так в семантическом ядре ищут неявные дубли ключевых фраз. Знаки препинания при этом остаются частью слов.

Пустые строки по умолчанию удаляются. Если они разделяют блоки текста, выберите «оставить». При сохранении исходного порядка они останутся на своих местах, а при сортировке по алфавиту переместятся в конец. Настройка «Порядок строк» сортирует уже готовый результат.

Как удалить дубликаты в Excel

Выделите столбец или таблицу и на вкладке «Данные» нажмите «Удалить дубликаты». Excel предложит выбрать столбцы для сравнения, удалит повторы и сообщит, сколько значений удалено. Регистр букв при сравнении не учитывается. Перед удалением лучше сохранить копию исходных данных.

Чтобы только найти повторы, выберите «Главная» → «Условное форматирование» → «Правила выделения ячеек» → «Повторяющиеся значения». В Excel 2021, Excel 2024 и Microsoft 365 есть функция =УНИК(A2:A100): она возвращает список без дублей, а =УНИК(A2:A100;;ИСТИНА) - только значения, которые встречаются один раз.

В Google Таблицах дубли удаляет пункт «Данные» → «Очистка данных» → «Удалить повторы» или функция =UNIQUE(A2:A). Если таблицу менять не хочется, скопируйте столбец сюда и вставьте результат обратно: каждая строка попадёт в отдельную ячейку.