Как удалить дубликаты строк в Excel — 6 простых способов

Удаление дублирующихся строк из Excel может быть сложной задачей, особенно при работе с большими наборами данных. Независимо от того, чистите ли вы список контактов, анализируете данные о продажах или организуете результаты исследований, удаление дубликатов имеет решающее значение для улучшения качества данных и обеспечения точного анализа.

В этом руководстве мы покажем вам 6 простых методов удаления дублирующихся строк из Excel. От использования встроенного в Excel инструмента «Удалить дубликаты» для быстрых исправлений до использования передовых методов, таких как Power Query и автоматизация на C#, вы узнаете, как оптимизировать свой рабочий процесс и поддерживать чистоту и порядок в данных.

Что вы узнаете

• Зачем удалять дублирующиеся строки из Excel?
• Как удалить дублирующиеся строки из Excel?
  • Удаление дублирующихся строк с помощью инструмента «Удалить дубликаты»
  • Удаление дублирующихся строк с помощью расширенного фильтра
  • Поиск и удаление дубликатов в Excel с помощью вспомогательного столбца условного форматирования
  • Удаление дублирующихся данных в Excel с помощью Power Query
  • Устранение дубликатов с помощью функции UNIQUE в Excel 365
  • Автоматизация удаления дублирующихся строк в Excel с помощью C#
• Какой метод выбрать для удаления дублирующихся строк в Excel
• Лучшие практики по удалению дубликатов в Excel

Зачем удалять дублирующиеся строки из Excel?

Прежде чем мы углубимся в методы, давайте сначала обсудим, почему удаление дублирующихся строк из Excel так важно:

• Точность данных: Обеспечьте точность и надежность вычислений, таких как суммы и средние значения.
• Чистая отчетность: создавайте точные сводные таблицы, диаграммы и информационные панели без риска двойного учета.
• Профессионализм: предоставляйте своей команде или клиентам чистые, безошибочные данные, повышая свой авторитет.
• Эффективность: уменьшите размер файла и повысьте производительность электронных таблиц для более быстрой загрузки и обработки.

Как удалить дублирующиеся строки из Excel?

Когда дело доходит до удаления дублирующихся строк в Excel, существует несколько методов, которые вы можете использовать в зависимости от ваших конкретных потребностей. В этом разделе мы рассмотрим 6 способов очистки дублирующихся данных в Excel, каждый из которых предназначен для разных ситуаций:

• Использование инструмента «Удалить дубликаты»
• Использование расширенного фильтра
• Использование вспомогательного столбца условного форматирования
• Использование Power Query
• Использование функции UNIQUE в Excel 365
• Автоматизация процесса с помощью C#

Давайте рассмотрим каждый метод, чтобы вы могли легко выбрать лучший вариант для быстрого и эффективного удаления дубликатов из Excel.

Удаление дублирующихся строк с помощью инструмента «Удалить дубликаты»

Функция «Удалить дубликаты» в Excel — это самый быстрый и простой способ очистить ваши данные. Этот инструмент позволяет удалять дубликаты на основе целых строк или определенных столбцов.

Лучше всего подходит для: быстрой одноразовой очистки всего набора данных.

Пошаговые инструкции:

Шаг 1: Выберите свои данные

Щелкните любую ячейку в наборе данных. Excel автоматически обнаружит и выберет весь непрерывный диапазон данных. Если вы хотите удалить дубликаты из определенного диапазона, выберите этот диапазон вручную, прежде чем продолжить.

Шаг 2: Перейдите к инструменту «Удалить дубликаты»

Перейдите на вкладку Данные на ленте и нажмите кнопку Удалить дубликаты, которая находится в группе Инструменты данных.

Шаг 3: Выберите столбцы

После нажатия кнопки «Удалить дубликаты» появится диалоговое окно:

• Если ваши данные имеют заголовки, убедитесь, что установлен флажок Мои данные имеют заголовки. Это позволяет Excel рассматривать первую строку как заголовки, а не как данные.
• По умолчанию Excel выбирает все столбцы для проверки на наличие дубликатов. Если вы хотите найти дубликаты только в определенных столбцах (например, "Адрес электронной почты"), снимите флажки со столбцов, которые вам не нужны.

Шаг 4: Выполните и подтвердите

Нажмите ОК. Excel обработает данные и отобразит сообщение о том, сколько дублирующихся значений было найдено и удалено, а также сколько уникальных значений осталось.

Вам также может понравиться: Удаление проверки данных в Excel: сохранение данных, снятие ограничений

Удаление дублирующихся строк с помощью расширенного фильтра

Метод расширенного фильтра обеспечивает больший контроль над вашими данными. В отличие от инструмента «Удалить дубликаты», он не удаляет дубликаты автоматически, а извлекает список уникальных записей в новое место. Этот подход идеален, если вы хотите просмотреть уникальный список перед внесением каких-либо изменений в исходные данные.

Лучше всего подходит для: случаев, когда вы хотите сохранить исходные данные в целости и просмотреть результаты перед внесением каких-либо удалений.

Пошаговые инструкции:

Шаг 1: Выберите свои данные

Щелкните любую ячейку в диапазоне данных.

Шаг 2: Откройте расширенный фильтр

Перейдите на вкладку Данные и нажмите кнопку Дополнительно, которая находится в группе Сортировка и фильтр.

Шаг 3: Настройте фильтр

Во всплывающем окне:

• Нажмите кнопку Копировать в другое место.
• Диапазон списка уже должен быть заполнен вашим диапазоном данных.
• Оставьте диапазон критериев пустым.
• Щелкните в поле Копировать в, затем выберите ячейку, в которую вы хотите скопировать уникальный список (например, $A$13).
• Важно: установите флажок для "Только уникальные записи".

Шаг 4: Выполните и подтвердите

Нажмите ОК. Excel скопирует все уникальные строки из исходного диапазона данных в указанное вами новое место. Теперь вы можете сравнить этот уникальный список с исходными данными.

Поиск и удаление дубликатов в Excel с помощью вспомогательного столбца условного форматирования

Если вы предпочитаете не удалять ничего сразу, а вместо этого хотите выявить и выделить дубликаты для ручной проверки, этот метод идеален. Он позволяет помечать дубликаты с помощью формулы, а затем фильтровать и удалять их по мере необходимости.

Лучше всего подходит для: тщательного просмотра и ручного удаления дубликатов без немедленного окончательного удаления.

Пошаговые инструкции:

Шаг 1: Добавьте вспомогательный столбец

Вставьте новый столбец справа от ваших данных и дайте ему описательный заголовок, например "Дубликат?". Этот столбец будет использоваться для пометки дублирующихся записей для легкой идентификации.

Шаг 2: Введите формулу

В первую ячейку нового столбца введите следующую формулу. Обязательно настройте диапазоны в соответствии с вашими данными:

=COUNTIFS($A$2:$A2, A2, $B$2:$B2, B2, $C$2:$C2, C2, $D$2:$D2, D2) > 1

Это формула "текущего подсчета", которая проверяет, сколько раз комбинация значений текущей строки (из столбцов A, B, C и D) встречалась до сих пор. Если счетчик больше 1, она вернет TRUE, указывая на дубликат.

Примечание: более современной альтернативой является функция UNIQUE в Excel 365, но этот метод COUNTIFS работает во всех версиях Excel.

Шаг 3: Скопируйте формулу вниз

Чтобы применить формулу к остальным строкам, дважды щелкните маркер заполнения (маленький квадрат в правом нижнем углу ячейки). Это скопирует формулу вниз по всему столбцу, помечая все дубликаты.

Шаг 4: Отфильтруйте и удалите

• Примените фильтр к своим данным, выбрав строку заголовка и нажав Данные > Фильтр.

  

• Отфильтруйте столбец "Дубликат?", чтобы отображались только значения TRUE. Это отобразит все дублирующиеся строки (сохраняя первый экземпляр).

• Выберите все видимые строки, щелкните правой кнопкой мыши и выберите Удалить строку, чтобы удалить дубликаты.

  

• Очистите фильтр, чтобы просмотреть чистый, уникальный список данных.

Удаление дублирующихся данных в Excel с помощью Power Query

Для тех, кто регулярно работает с данными, Power Query (также известный как Get & Transform) меняет правила игры. Это неразрушающий и полностью обратимый процесс, позволяющий очищать данные без необратимого изменения оригинала. Кроме того, Power Query можно обновить одним щелчком мыши, если исходные данные изменятся, что делает его идеальным для текущего управления данными.

Лучше всего подходит для: очистки регулярно обновляемых данных и создания повторяемого процесса очистки данных.

Пошаговые инструкции:

Шаг 1: Загрузите данные в Power Query

• Выберите диапазон данных.

• Перейдите на вкладку Данные и нажмите Из таблицы в группе Получить и преобразовать.

  

• В диалоговом окне убедитесь, что установлен флажок Моя таблица имеет заголовки, затем нажмите ОК. Откроется окно редактора Power Query, где вы сможете очищать и преобразовывать свои данные.

Шаг 2: Удалите дубликаты

В редакторе Power Query вы можете удалять дубликаты на основе выбранных столбцов:

• Выберите столбцы, на основе которых вы хотите проверять наличие дубликатов. Удерживайте Ctrl, чтобы выбрать несколько столбцов.

• Щелкните правой кнопкой мыши один из выбранных заголовков столбцов и выберите Удалить дубликаты в контекстном меню.

  • Совет: чтобы удалить дубликаты на основе всей строки, выберите все столбцы, прежде чем нажимать Удалить дубликаты.

  

Шаг 3: Закройте и загрузите

После удаления дубликатов нажмите Закрыть и загрузить на вкладке Главная. Power Query создаст новый рабочий лист с вашими очищенными данными без дубликатов.

Устранение дубликатов с помощью функции UNIQUE в Excel 365

Если у вас есть Microsoft 365, у вас есть доступ к революционным функциям динамических массивов. Функция UNIQUE — это самый простой способ извлечь список уникальных значений в Excel без изменения исходных данных.

Лучше всего подходит для: мгновенного извлечения уникального списка, который обновляется динамически.

Пошаговые инструкции:

Шаг 1: Выберите одну ячейку

Щелкните пустую ячейку, в которой вы хотите, чтобы появился уникальный список. Это будет начальная точка, куда будут "выливаться" уникальные значения.

Шаг 2: Введите формулу UNIQUE

В выбранной ячейке введите следующую формулу:

=UNIQUE(A2:D10)

Это предполагает, что ваши данные находятся в диапазоне A2:D10. Измените диапазон в соответствии с вашим набором данных.

Шаг 3: Нажмите Enter

После ввода формулы просто нажмите Enter. Excel автоматически выведет весь список уникальных строк в ячейки ниже. Этот новый список является динамическим. Если вы измените данные в исходном диапазоне, уникальный список обновится автоматически.

Для получения дополнительной информации о функции UNIQUE см. официальную документацию Microsoft: функция UNIQUE.

Автоматизация удаления дублирующихся строк в Excel с помощью C#

Если вы работаете с большими файлами Excel и вам необходимо автоматизировать удаление дублирующихся строк в Excel, использование C# с библиотекой, такой как Spire.XLS for .NET, может упростить этот процесс. Этот инструмент позволяет создавать, читать и управлять файлами Excel программно, без необходимости установки Excel в вашей системе.

С помощью Spire.XLS вы можете легко удалять дублирующиеся строки из файлов Excel, используя всего несколько строк кода C#, что сэкономит ваше время и улучшит рабочий процесс управления данными.

Лучше всего подходит для: разработчиков или всех, кто хочет автоматизировать очистку данных, особенно для больших наборов данных.

Пошаговые инструкции:

Шаг 1: Установите Spire.XLS через NuGet

Для начала вам необходимо загрузить библиотеку или установить ее из NuGet, выполнив следующую команду в консоли диспетчера пакетов NuGet:

PM> Install-Package Spire.XLS

Это добавит библиотеку Spire.XLS в ваш проект, что позволит вам программно управлять файлами Excel.

Шаг 2: Используйте метод RemoveDuplicates

В своем приложении C# используйте метод RemoveDuplicates, предоставляемый Spire.XLS, для автоматизации удаления дублирующихся строк. Вот простой фрагмент кода для удаления дублирующихся строк из Excel на C#:

using Spire.Xls;

namespace RemoveDuplicateRows
{
    internal class Program
    {
        static void Main(string[] args)
        {
            // Open the Excel file
            Workbook workbook = new Workbook();
            workbook.LoadFromFile("input.xlsx");

            // Get the desired worksheet
            Worksheet sheet = workbook.Worksheets[0];

            // Remove duplicates from the specified cell range (if you want to remove all duplicates in the worksheet, do not set the parameters)
            sheet.RemoveDuplicates(2, 1, 10, 4);

            // Save the modified file
            workbook.SaveToFile("RemoveDuplicates.xlsx", ExcelVersion.Version2016);
            workbook.Dispose();
        }
    }
}

Этот код удалит дублирующиеся строки в указанном диапазоне ячеек и сохранит очищенную книгу в новый файл.

Какой метод выбрать для удаления дублирующихся строк в Excel?

Теперь, когда вы знакомы с различными методами удаления дублирующихся строк из Excel, важно понять, какой метод лучше всего соответствует вашим конкретным потребностям. В следующей таблице сравнивается каждый метод с точки зрения его идеального варианта использования, преимуществ и потенциальных недостатков, что поможет вам принять обоснованное решение на основе ваших требований.

Лучшие практики по удалению дубликатов в Excel

Хотя выбор правильного метода удаления дубликатов имеет решающее значение, соблюдение лучших практик может еще больше повысить точность и эффективность процесса очистки данных. Вот несколько важных советов, которые следует учитывать при удалении дублирующихся данных из файлов Excel.

• Резервное копирование ваших данных

  Всегда создавайте резервную копию своих данных перед удалением дубликатов, чтобы избежать случайной потери важной информации.

• Остерегайтесь скрытых дубликатов

  Иногда дубликаты не видны сразу из-за лишних пробелов или чувствительности к регистру. Используйте функцию TRIM для удаления ненужных пробелов и нормализуйте регистр с помощью функций LOWER или UPPER.

• Удаление дубликатов из определенных столбцов

  Если дубликаты относятся только к определенным столбцам (например, адресам электронной почты), выберите только эти столбцы при удалении дубликатов, а не проверяйте всю строку.

• Просмотрите данные перед удалением

  Если вы используете неразрушающие методы (например, Расширенный фильтр или Power Query), просмотрите результаты перед удалением, чтобы убедиться, что ценные данные не будут потеряны.

• Протестируйте методы на небольшом наборе данных

  Всегда тестируйте выбранный вами метод на небольшом наборе данных, чтобы убедиться, что он работает должным образом, прежде чем применять его ко всему набору данных.

Заключение

Независимо от размера вашего набора данных, удаление дублирующихся строк из Excel является важным шагом в поддержании чистых и точных данных. Независимо от того, используете ли вы встроенные инструменты Excel, используете Power Query для расширенного преобразования данных, применяете динамическую функцию UNIQUE в Excel 365 или автоматизируете процесс с помощью C# с использованием Spire.XLS, эти методы могут помочь вам эффективно удалить дублирующиеся строки из Excel и оптимизировать управление данными.

Начните очищать свои данные уже сегодня с помощью этих мощных методов и поднимите свою производительность в Excel на новый уровень!

Часто задаваемые вопросы: удаление дублирующихся строк из Excel

В1. Какой самый простой способ удалить дублирующиеся строки из Excel?

О1: Самый простой способ удалить дублирующиеся строки из Excel — использовать встроенный инструмент Удалить дубликаты. Просто выберите диапазон данных, и Excel удалит дубликаты за несколько кликов.

В2. Как удалить дубликаты, не изменяя исходные данные?

О2: Используйте Power Query или Расширенный фильтр, чтобы извлечь уникальные записи в новое место, сохранив исходные данные в целости.

В3. Как функция UNIQUE в Excel 365 помогает удалять дубликаты?

О3: Функция UNIQUE в Excel 365 динамически удаляет дубликаты, извлекая уникальные значения, и она автоматически обновляется при изменении данных.

В4. Могу ли я автоматизировать удаление дубликатов в Excel с помощью C#?

О4: Да, вы можете автоматизировать этот процесс с помощью Spire.XLS for .NET. Всего несколько строк кода C# помогут вам программно удалить дубликаты, сэкономив время на больших наборах данных.

В5. Следует ли мне создавать резервную копию своих данных перед удалением дубликатов?

О5: Да, всегда создавайте резервную копию своих данных перед удалением дубликатов, особенно при использовании инструмента Удалить дубликаты, чтобы избежать случайной потери.

Смотрите также

• Как удалить макросы из Excel — 4 простых способа
• Удаление таблицы в Excel (преобразование в диапазон, очистка форматирования, VBA и Python)
• Создание раскрывающегося списка в Excel: руководство по ручной и программной автоматизации
• Удаление гиперссылок в Excel — 4 простых метода