Смотрю моя мини-заметочка Find — поиск измененных/созданных файлов принесла пользу моим читателям, собственно в рамках этих полезных минизаметках, ещё полезная nix команда, которой мне довольно часто приходит пользоваться:

sort -u файл1 файл2 … файлN -o файлРезультат

на входе N текстовых файлов
на выходе результирующий файлик с отсортированным массивом строк, уже без дублей