#uniq проверяет соседние строки на уникальность. Обычно используется в связке с sort - чтобы разместить одинаковые строки рядом.

есть удобный ключ чтобы отображать количество уникальных строк

cat file | sort | uniq -c

если мы хотим сделать уникальность не по всей строке а только по определенному полю - необходимо использовать sort