Для себя решил в одно место полезные nix команды собрать — пользуюсь не часто, забываю 🙁
Список будет постоянно пополняться

сортировка и удаление дублей
cat file.txt | sort | uniq > out.txt

для больших файлов так гораздо быстрее
awk ‘!x[$0]++’ file.txt > out.txt

пока хватит 🙂

Источники:
https://habrahabr.ru/post/105926/
http://complike.ru/ispolzuem-komandy-uniq-i-sort-v-linux/