Usuwanie wierszy ze zduplikowaną kolumną
Odrzuć wiersze CSV/TSV, których wartość w wybranej kolumnie już wystąpiła.
Powiązane narzędzia
Usuwanie wierszy ze zduplikowaną kolumną
Deduplikacja całych wierszy mija się z prawdziwym problemem: dwa wiersze rzadko są identyczne — dzielą tylko ten sam e-mail, ID czy SKU, a cała reszta się różni. To narzędzie ocenia wiersze po jednej wybranej kolumnie — ten sam klucz po raz drugi usuwa późniejszy wiersz, a zbiór danych zostaje jeden-wiersz-na-klucz bez żadnej formuły arkusza.
Wklej CSV, TSV lub dowolne rozdzielone wiersze; separator jest wykrywany z pierwszego wiersza danych (przecinek, średnik, tabulator lub kreska) z ręcznym nadpisaniem dla przypadków brzegowych. Kolumnę klucza wybierz numerem od 1, powiedz narzędziu, czy pierwszy wiersz to nagłówek — nagłówki są zachowywane i nigdy nie porównywane — i wybierz, które wystąpienie przetrwa. Pierwsze jest domyślne; ostatnie to klasyczny trik dla changelogów i eksportów, gdzie najnowszy wiersz na klucz siedzi na dole. Wartości są przycinane przed porównaniem, a przełącznik ignorowania wielkości scala [email protected] z [email protected].
Licznik raportuje usunięcia i liczby wierszy po obu stronach, więc wklejenie, które po cichu nic nie zrobiło — zła kolumna, zły separator — widać natychmiast. Wiersze krótsze niż kolumna klucza liczą się, jakby miały tam pustą wartość, i deduplikują się między sobą.
Jedno uczciwe ograniczenie: dzielenie jest proste, nie pełny parser CSV, więc cytowane pole zawierające sam separator przesunie kolumny tego wiersza — takie pliki najpierw przepuść przez zmianę separatora CSV. Wszystko działa lokalnie w twojej przeglądarce; twoje dane nigdy nie opuszczają twojego urządzenia.