중복 줄 제거 lines

이 도구가 하는 일

목록에서 중복을 걸러내는 일은 자주 생깁니다. 로그에서 뽑아낸 IP 목록, 여러 파일에서 합친 이메일 주소, 설정에서 추출한 도메인 목록 같은 것들입니다. 스프레드시트를 열거나 명령어를 조합하지 않고 붙여 넣어 바로 정리할 수 있으면 편합니다.

이 도구는 네 가지 방식을 제공합니다. 처음 나온 것만 남기면 원래 순서를 유지하면서 중복이 사라지고, 마지막 것만 남기면 나중 값이 우선합니다. 고유한 줄만 보기는 한 번만 등장한 줄을 골라내고, 중복된 줄만 보기는 두 번 이상 등장한 값을 찾아냅니다. 마지막 방식은 중복이 왜 생겼는지 조사할 때 특히 유용합니다.

대소문자 무시와 앞뒤 공백 제거 옵션이 있고, 각 줄이 몇 번 등장했는지 개수를 함께 표시할 수도 있습니다.

언제 사용하나요

로그에서 추출한 IP나 URL 목록을 정리할 때, 여러 곳에서 모은 이메일 주소의 중복을 제거할 때, 데이터에 중복 키가 있는지 확인할 때, 설정 파일에서 같은 항목이 여러 번 정의되었는지 찾을 때 사용합니다.

입력과 출력 예시

주의사항

중복 판정은 문자열이 완전히 같은지로 이루어집니다. 눈에 보이지 않는 앞뒤 공백이나 줄 끝의 캐리지 리턴이 남아 있으면 같아 보이는 줄이 다른 값으로 처리되므로, 기본으로 켜져 있는 앞뒤 공백 제거 옵션을 유지하는 것이 좋습니다. 대소문자 무시 옵션을 켜면 비교는 소문자로 하지만 출력은 원래 표기를 유지하므로, 어떤 표기가 남을지는 선택한 방식에 따라 달라집니다. 이메일처럼 대소문자 구분이 상황에 따라 다른 데이터는 주의해서 사용하십시오.

자주 묻는 질문