Со временем на наших компьютерах накапливаются фотографии, видео, документы, загрузки и другие данные. Дубликаты становятся неизбежными. Они не только занимают лишнее место в памяти, но и усложняют работу с файлами. В худших случаях они также влияют на скорость работы компьютера. Поэтому важно регулярно искать и удалять дубликаты файлов, чтобы поддерживать систему в хорошем состоянии и повышать её эффективность. В этой статье мы поделимся полезными советами, которые помогут вам управлять файлами на компьютере.
Дубликаты - это файлы с одинаковым или очень похожим содержимым, но не обязательно одинакового размера, имени или хэш-значения. Обычно эти файлы имеют одинаковое расширение, но могут отличаться для определенных типов, например phto.png и photo.jpg. Они могут появляться в следующих ситуациях:
Сделанные фотографии или видеоролики дублируются в результате импорта, экспорта, резервного копирования, создания нескольких копий и т. д.
Несколько копий сохраняются в процессе редактирования файла.
Повторная загрузка отснятых материалов или документов в разные папки.
Некоторые программы автоматически создают резервные или кэш-файлы для бесперебойной работы. Но они не очищают лишнее после.
Как удалить дубликаты файлов в Windows 12/11/10
Хотя дубликаты файлов могут казаться несущественными, они занимают место на жестком диске, что может привести к замедлению работы компьютера или невозможности сохранить новые данные. Чтобы поддерживать систему в хорошем состоянии и обеспечивать её стабильную работу, важно регулярно удалять такие файлы. Ознакомьтесь с представленными ниже способами.
Способ 1. Использование проводника файлов
Если на компьютере есть несколько дубликатов файлов, особенно фотографий, их можно найти и удалить вручную через Проводник файлов. Однако этот процесс может быть утомительным и потребует времени.
Щелкните правой кнопкой мыши значок «Пуск» и выберите «Параметры». Затем перейдите в раздел «Конфиденциальность и эашита» > «Поиск в Windows».
Прокрутите страницу вниз, найдите пункт «Дополнительные параметры индексирования» и нажмите его.
После нажатия кнопки «Изменить» в открывшемся окне нажмите «Показать все местоположения».
В области «Изменить выбранные местоположения» выберите все элементы и нажмите «ОК».
Откройте Проводник файлов и перейдите в то место, где нужно найти дубликаты файлов.
В поле поиска введите следующие расширения в соответствии с вашими потребностями для проверки дубликатов.
Тип данных
Расширение файла
фото
jpg, jpeg, png, webp, svg, bmp, cr2, crw, nef, tif, tiif, ico, gif, avif, raw и другие.
Видео
mp4, avi, mov, rem flv, 3gp, mpg, rm, mpeg, wmv и другие.
Документы
Word: docx, doc, docm, dot, dotx и другие.
PowerPoint: ppt, pps, ppa, ppam, pptx, pptm, pot, potx, potm, ppsx и другие.
Excel: xls, xlt, xlm, xlsx, xlsm, xltx, xltm и другие.
Исполняемые файлы: exe, apk, iso, bat, bin, cgi и другие.
Файлы шрифтов: fnt, fon, otf, ttf, pcf и другие.
После завершения поиска проверьте возможные дубликаты по имени файла, размеру, дате и т. д. Если вы хотите удалить дубликаты фотографий, нажмите «Просмотр > Крупные значки» в верхнем меню, чтобы просмотреть миниатюры.
Удерживая клавишу Ctrl, щелкните, если нужно удалить несколько фотографий. После этого нажмите клавишу Delete. Затем перейдите в Корзину, чтобы удалить их окончательно.
Если вы хотите найти и удалить дубликаты различных типов файлов, укажите соответствующие расширения файлов на шаге 6. Также, если вы случайно удалили важные данные, ознакомьтесь с нашим руководством по восстановлению удалённых файлов в Windows 11/12.
Способ 2. Использование командной строки
Поиск дубликатов файлов через Проводник может занять много времени. Гораздо удобнее использовать командную строку. Хотя это может показаться сложным, на самом деле вы можете удалить дубликаты файлов в Windows 10/11/12, просто скопировав команду в командную строку. Этот способ абсолютно бесплатен.
Щелкните правой кнопкой мыши на значок «Пуск» в нижней части экрана. Для Windows 11/12 выберите «Терминал (администратор)», а для Windows 10 — «Windows PowerShell (администратор)». Когда появится диалоговое окно «Контроль учетных записей пользователей», нажмите «Да».
Введите команду «set-location -path #:\» и нажмите Enter. (# — буква диска, который нужно просканировать на наличие дубликатов файлов, например, «D»).
Введите следующую команду, чтобы сохранить каталог результатов поиска и имя файла.
ls "directory with duplicate files" -recurse | get-file hash | group -property hash | where { $_.count -gt 1 } | % { $_.group } | Out-File -FilePath "save the search result directory and file name."
Когда появится новая строка команд, это будет означать, что сканирование завершено. Откройте файлы, отображающиеся в результатах поиска, чтобы проверить их на наличие дубликатов.
Убедившись, что это дубликат файла, введите команду «XXX» для автоматического удаления дубликатов файлов в Windows 10/11/12.
Если дубликатов немного, их можно удалить вручную, без выполнения команды из шага 4.
Способ 3. Попробуйте скрипт DIY
Если вы обнаружили, что Проводник и командная строка не справляются с поиском похожих файлов, стандартные функции системы и имен файлов могут быть недостаточными. В таком случае вы можете использовать скрипт, разработанный нашими специалистами. С подробными комментариями он поможет вам очистить компьютер от ненужных файлов.
Учтите, что если вы храните несколько версий одного файла с небольшими изменениями, рекомендуется создать их резервную копию перед использованием скрипта.
A. Batch скрипт
Описание примера скрипта:
@echo off
set local to enable delayed expansion
:: Set the folder path to scan
set "folderPath=< Места, которые необходимо просканировать на наличие дубликатов файлов >"
:: Инициализация переменных
set "oldFileName="
set "oldFileSize=0"
:: Просмотр всех файлов в каталоге
for /f "delims=" %%f in ('dir /b /a-d "%folderPath%*"') do (
set "currentFileName=%%~nf"
set "currentFileSize=%%~zf"
:: Проверка на дублирование содержимого (на основе имени и размера файла)
if "!currentFileName!"=="!oldFileName!" if "!currentFileSize!"=="!oldFileSize!" (
echo Deleting duplicate file: "%%f."
del "%folderPath%\%%f"
) else (
:: Обновите информацию о предыдущем файле.
set "oldFileName=!currentFileName!"
set "oldFileSize=!currentFileSize!"
)
)
Echo Scan completed.
Pause
Как удалить дубликаты файлов на ПК используя Batch скрипт:
Щелкните правой кнопкой мыши на рабочем столе, затем выберите «Новый > Текстовый документ». Для удобства идентификации назовите его, например, «Удаление дубликатов».
Вставьте приведенный выше пример скрипта в этот текстовый документ, затем замените «место для сканирования дубликатов файлов» на путь к нужной папке, например, «C:\Users\Name\Pictures». После этого сохраните и закройте файл.
Щелкните правой кнопкой мыши на текстовый файл и выберите «Свойства».
В открывшемся окне измените суффикс «txt» на «bat», затем нажмите «ОК». Система выведет окно с предложением; нажмите «Да».
Дважды щелкните на BAT-файл, чтобы удалить дубликаты фотографий и другие элементы в указанной папке.
B. Python скрипт
Это улучшенная версия предыдущего скрипта, в которой объединены библиотеки хэширования изображений (ImageHash и Pillow). Это более эффективно для пользователей, которые хотят удалить дубликаты и похожие изображения.
Обратите внимание, что перед запуском скрипта необходимо использовать pip для установки библиотек ImageHash и Pillow.
Описание примера скрипта:
import os
from PIL import Image
from image hash import ImageHash, average_hash
from collections import defaultdict
# Установка пути к папке для сканирования
folder_path = 'path_to_your_images_folder'
# Установите пороговое значение сходства (от 0 до 1; чем ниже значение, тем строже критерий).
similarity_threshold = 0.1
# Создание словаря для хранения хэш-значения и соответствующего списка путей к изображениям
hash_dict = defaultdict(list)
# Просмотр всех изображений в папке
For root, dirs, files in os.walk(folder_path):
For file_name in files:
If file_name.lower().endswith(('.png,' '.jpg,' '.jpeg,' '.bmp,' '.gif')):
file_path = os.path.join(root, file_name)
Try:
# Откройте изображение и сгенерируйте хэш-значение
image = Image.open(file_path)
image_hash = average_hash(image)
# Добавьте хеш-значение и путь к изображению в словарь.
hash_dict[image_hash].append(file_path)
Except for Exception as e:
print(f" Unable to process file {file_path}: {e}")
# Откройте изображение и сгенерируйте хэш-значение
similar_images = []
for hash_value, file_list in hash_dict.items():
if len(file_list) > 1:
# Для каждого хэш-значения, если имеется более одного изображения, они считаются похожими (или идентичными).
# Однако необходимо также сравнить степень сходства между ними (для изображений, которые не являются точными копиями).
# В данном случае процесс упрощён, и перечисляются только изображения с одинаковым хэш-значением. Для более точного сравнения можно применить другие методы или алгоритмы хэширования.
similar_images.append((hash_value, file_list))
# Вывод похожих изображений
for hash_value, file_list in similar_images:
print(f" Hash value: {hash_value}")
print("File path of similar images:")
for file_path in file_list:
print(file_path)
print()
Для генерации хеш-значений изображений используется метод среднего хеша, который вполне подходит для поиска похожих изображений в большинстве случаев. Однако для некоторых типов изображений (например, с множеством деталей или цветовых переходов) может понадобиться более сложное хеширование (например, фазовый хеш, тире и другие методы) или комбинирование нескольких подходов для получения более точных результатов.
Способ 4. Использование бесплатной программы для поиска дубликатов файлов
Инструменты значительно облегчают работу с файлами на компьютере, включая не только их поиск, но и удаление дубликатов фотографий, видео, документов и других типов файлов. iBeesoft Duplicate File Finder был создан специально для этих целей. С помощью этой программы вы сможете быстро и без усилий избавиться от дубликатов всего за несколько кликов.
Лучшая бесплатная программа для удаления дубликатов файлов
★★★★★ (Рейтинг доверия 4,8 от 286 пользователей)
Уникальная технология сравнения файлов не только точно определяет дубликаты, но и настраивает размеры для поиска файлов, похожих по содержанию, даже если они скрыты.
Настройка диапазона поиска и размера файлов для быстрого поиска и удаления дубликатов/подобных файлов.
Функция "Умный выбор" поможет вам автоматически определить и выбрать файлы, которые необходимо удалить.
Простые шаги по удалению дубликатов и похожих файлов в Windows 12/11/10 с помощью iBeesoft Duplicate File Finder
Скачайте и установите iBeesoft Duplicate File Finder на свой компьютер.
Откройте программу и нажмите на четыре опции в нижней части первого окна, чтобы настроить параметры поиска для более быстрого и точного обнаружения дубликатов файлов.
Нажмите на значок "+", чтобы выбрать папку или диск для сканирования.
После завершения сканирования выберите тип файла в левой части окна, чтобы просмотреть найденные файлы.
Выберите файлы, которые хотите удалить, и нажмите "Удалить". Если дубликатов слишком много, можно использовать кнопку "Выбрать все дубликаты", чтобы выбрать их все сразу.
Как удалить дубликаты файлов на Mac
Поскольку пользователи Mac не могут просто расширить память устройства, удаление дубликатов и схожих файлов становится важным шагом для освобождения места. Если вы хотите очистить больше пространства на вашем Mac, вот несколько решений, которые помогут вам избавиться от дубликатов.
Способ 1. Используйте Finder
Фотографии и видео — это одни из самых часто встречающихся файлов. Если вы хотите найти дубликаты среди них вручную, использование Finder — это самый простой способ.
Откройте Finder и выберите "Загрузки" или "Документы" в левой колонке.
Введите тип файла в поле поиска в правом верхнем углу, например, ".jpg", ".mp4" или ".docx".
После появления результатов поиска нажмите на значок сортировки в верхней части окна. Затем выберите нужное расположение для просмотра этих файлов.
Если вы нашли дубликаты, удалите их по одному, а затем не забудьте очистить корзину.
Способ 2. Через «смарт папку»
Как следует из названия, этот метод более эффективен для поиска дубликатов файлов. Для этого откройте Finder и выберите "Файл" > "Новая смарт-папка" в верхней строке меню. Затем выполните те же действия, что и в способе 1, чтобы настроить поиск и фильтрацию файлов.
Способ 3. Попробуйте Mac Bash скрипт
Если предыдущие методы занимают много времени и не очень эффективны, особенно если на вашем компьютере тысячи файлов, можно использовать сценарий для автоматического удаления дубликатов файлов. Этот метод не требует установки дополнительного программного обеспечения и поможет ускорить процесс.
Здесь мы комбинируем команды find, md5, sort, unique и другие для автоматического выявления дубликатов, чтобы сэкономить ваше время.
Пример кода:
#!/bin/bash
#Укажите каталоги для поиска
SEARCH_DIR="/path/to/your/directory."
# Временный файл, сохраните MD5 и путь к файлу
TEMP_FILE="/tmp/md5sums.txt"
# Найдите все файлы, вычислите MD5 и сохраните их во временном файле
sort "$TEMP_FILE" | uniq -d | while read -r md5; do
# Найдите все файлы с одинаковым MD5
grep "^$md5 " "$TEMP_FILE" | awk '{print $2}'
done
Инструкции:
Скопируйте приведенный выше код и замените переменную SEARCH_DIR на директорию, в которой вы хотите выполнить поиск. Затем сохраните файл с расширением .sh.
Откройте консоль и введите команду "chmod +x <the name of the SH file>,". После этого запустите скрипт.
Этот скрипт использует MD5 в качестве уникального идентификатора для файлов. Несмотря на то, что вероятность совпадения MD5 крайне мала, в редких случаях разные файлы могут иметь одинаковое MD5-значение. Поэтому перед удалением дубликатов файлов рекомендуется внимательно проверить результаты.
Способ 4. Используйте MacClean
Для большинства пользователей приложения остаются лучшим выбором для работы с дубликатами файлов в macOS. MacClean — это удобный инструмент для очистки и обслуживания системы, который стоит попробовать. Вот как им пользоваться:
Загрузите и установите MacClean.
После запуска программы выберите "Инструменты очистки" в боковой панели, затем выберите "Поиск дубликатов".
Укажите папку для поиска и нажмите "Сканировать".
Выберите найденные дубликаты файлов и нажмите «Удалить».
Заключение
Мы уверены, что с этим подробным руководством вы сможете легко удалить дубликаты файлов как на Windows, так и на Mac. Независимо от того, предпочитаете ли вы удалять их вручную, использовать автоматические скрипты или специальные инструменты, вы найдете подходящее решение. Главное — помнить, что для предотвращения появления новых дубликатов необходимо улучшить систему управления файлами.
ОТВЕТЫ НА ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ
Опция «Дублировать» в контекстном меню на Mac — это операция по созданию копии выбранного файла (в этой статье она определяется как дублирование файлов), не похожая на Ctrl + C в Windows, что многие пользователи легко могут неправильно понять.
Если вы удаляете дубликаты файлов с помощью скрипта, они будут удалены навсегда. Если вы используете iBeesoft Duplicate File Finder или метод вручную, файлы будут перемещены в корзину.
Если дубликаты расположены на системном диске и занимают много места, это может замедлять работу системы. Удалив их, вы сможете значительно улучшить производительность. Если дубликаты находятся на другом диске или разделе, на систему это не повлияет.
Использование профессиональных инструментов, таких как iBeesoft Duplicate File Finder, может значительно сэкономить время и усилия для большинства пользователей. Если вы ИТ-специалист, вы также можете использовать скрипт, предоставленный в этой статье, для удаления дубликатов фотографий.