Удалить повторяющиеся строки
Оставьте уникальные строки в списке.
Как пользоваться
- Вставьте список: один элемент в строке.
- Выберите правила сравнения.
- Удалите дубликаты и сохраните список.
Пример
Уникальные позиции списка
яблоко груша яблоко
Удалите повторяющиеся строки.
яблоко груша
Форматы и ограничения
Уберите повторяющиеся элементы списка, сохранив первое вхождение. Укажите, считать ли разными строки с разным регистром и пробелами по краям.
- На входе
- Текст, TXT UTF-8
- Результат
- TXT, Копирование
Список строк без повторов, с сохранением первых вхождений.
- До 200 000 символов; импорт TXT до 1 МБ.
Выберите, учитывать ли регистр и пробелы по краям. Эти настройки меняют понятие совпадения.
Обработка выполняется на вашем устройстве. Файлы и введённые данные не отправляются серверу; после обновления страницы редактор сбрасывается.
Текст обрабатывается в браузере и не сохраняется сервисом. Для этой операции действует ограничение объёма ввода. Значимые повторения будут удалены по выбранным правилам; проверьте результат.
Собрать один список задач из нескольких сообщений
В переписке задача «Проверить макет» повторяется дословно, ещё раз приходит с пробелами по краям, а затем написана строчными буквами. Добавьте эти строки вместе с задачей «Отправить счёт». Начните с удаления крайних пробелов и сравнения с учётом регистра: останутся три строки, потому что строчный вариант пока считается отдельным.
Если оба написания обозначают одну задачу, включите сравнение без учёта регистра: останутся «Проверить макет» и «Отправить счёт» в порядке первых вхождений. Инструмент не выбирает более подробную формулировку и не объединяет похожие задания по смыслу. Для артикула или технического имени разный регистр может быть значимым.
Одна строка должна соответствовать одной записи. Многострочные карточки сначала приведите к подходящему списку; CSV с несколькими полями лучше обрабатывать табличным удалением дублей. Текст ограничен 200 000 символов, а пустые строки также участвуют в сравнении.
- Скопируйте список, сохранив исходную переписку отдельно.
- Включите удаление крайних пробелов, проверьте оставшиеся строки.
- Решите, должны ли варианты регистра считаться одной задачей.
- Скопируйте результат и только затем выбирайте сортировку.
Сверьте первые вхождения и число задач с исходником. Проверьте, что отличающаяся по смыслу строка не исчезла после изменения правил совпадения.
Вопросы об инструменте
Сохранится ли первоначальный порядок строк?
Да. Остаётся первое вхождение каждой строки в исходной последовательности.
Считаются ли «Иван» и «иван» одинаковыми?
Только если включено сравнение без учёта регистра.
Будут ли «Москва» и « Москва » одним значением?
При включённом удалении пробелов по краям — да. Эта настройка влияет и на сравнение, и на результат: сохранённая строка тоже лишится крайних пробелов.
Что произойдёт с повторяющимися пустыми строками?
Останется первое вхождение пустой строки. При удалении крайних пробелов строки из одних пробелов тоже получают такой же пустой ключ.
Удаляются ли повторяющиеся слова внутри одной строки?
Нет. Единица сравнения — целая строка. Текст «товар товар» останется таким же, если другая строка с тем же содержимым не повторяется.
Считаются ли запятая и точка несущественными?
Нет. Пунктуация входит в сравнение: «Москва» и «Москва,» — разные строки. Настройки позволяют изменить только учёт регистра и крайних пробелов.