Kiedyś zapytanie działało dobrze, a teraz działa gorzej? Co się zmieniło, że spadek wydajności jest zauważalny? Nie ma na to jednej odpowiedzi, bo do kroków analizy należałoby dodać także sprawdzenie dostępnej ilości RAM, szybkości dostępu do dysków itp. O ile jednak administratorzy z tymi testami zazwyczaj problemów nie mają, o tyle sprawdzanie wydajności z dokładnością […]
Archiwum za miesiąc 2020-02
SQL: Query Store 1 – Konfiguracja
2020-02-22
Python: Pycharm – wyświetlanie dużych DataFame ze wszystkimi kolumnami bez kropek
2020-02-22
Kiedy pracujesz z dużymi danymi w Pycharm, chcesz zwykle zobaczyć, co w tych danych się znajduje. Najprościej to zrobić wyświetlając DataFrame na ekranie. Niestety, jeśli obiekt ma wiele kolumn to domyślnie zostanie wyświetlonych tylko kilka a między nimi pojawi się symbol trzech kropek mówiący o tym, że nie wszystko się zmieściło. Podobnie kiedy do wyświetlenia […]
R: pobranie pliku CSV z jedną uszkodzoną linijką
2020-02-02
Instrukcje dostępne w języku R (ale też w innych), po cichu zakładają, że dane na jakich pracują są czyste. Pisząc czyste, mam na myśli o ustalonej strukturze. Niestety, może się zdarzyć, że jedna linijka znajdująca się gdzieś pośrodku jest… uszkodzona. Pobranie całego pliku kończy się wtedy błedem. Oto przykład:
|
1 2 3 4 5 6 7 8 9 10 11 |
> cars <- fread( + input ='https://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data', + header = F, + sep = ' ', + na.strings = '?', + fill = T) [0%] Downloaded 0 bytes... Warning message: In fread(input = "https://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data", : Stopped early on line 293. Expected 12 fields but found 13. Consider fill=TRUE and comment.char=. First discarded non-empty line: <<18.5 8 360.0 150.0 3940. 13.0 79 1 "chrysler lebaron town @ country (sw)">> |
Gdyby takie dane były dostarczane […]
