Python: przykładowe pliki do analizy danych

2018-01-12

Python, a zwłaszcza moduł PANDAS pozwala na analizę danych. Skąd wziąć jakieś przkładowe pliki do analizy, które na dodatek będą miały fajne znacznie. Np z github:

https://github.com/AddisonGauss/NbaData2015-2016

https://github.com/thiloklein/thiloklein.github.io/tree/master/R/WB

https://catalog.data.gov/dataset?res_format=CSV&tags=food

https://github.com/danielmarcelino/Datasets  (fortune1000)

https://github.com/umbrae/reddit-top-2.5-million/tree/master/data

Ale czasami ciekawe dane na swój temat lub na temat prowadzonej dizałalności organizaje publikują same:

https://data.cityofchicago.org/Health-Human-Services/for-csv/j8a4-a59k/data

https://www.google.com/finance/historical?q=GOOGL&output=csv

 

By Rafał Kraik in Python

Python: Jak zmienić katalog startowy jupyter notebook?

2018-01-12

1. Najpierw uruchamiasz anaconda prompt, a w nim wykonujesz:
jupyter notebook –generate-config
2. Ta komenda wyświetli nazwę pliku konfiguracyjnego
3. Teraz wyedytuj ten plik w notatniku u mnie:
notepad „C:\Users\rafal\.jupyter\jupyter_notebook_config.py”
4. W tym pliku szukasz wpisu:
#c.NotebookApp.notebook_dir
Odkomentowujesz znak # z przodu i podajesz ścieżkę dostępu do katalogu, który ma być domyślnie owierany. U mnie:
c.NotebookApp.notebook_dir = ‚C:\\Users\\student\\Python-02-PL\\Examples’
5. Zapisujesz plik i uruchamiasz jupyter notebook jeszcze raz.

Przy okazji zobacz ile tam jest opcji 🙂

By Rafał Kraik in Python

Python: Problem z instalacją pydot

2017-12-31

W skrypcie próbowałem skorzystać z pydot. Linijka

import pydot

kończyła się błędem o braku tej biblioteki. Pestka!

  • Jeśli pracujesz np z IDLE i ścieżka systemowa wskazuje właśnie na tą instalację Pythona to problem rozwiązuje się przez uruchomienie w wierszu poleceń (pamiętaj o run as administrator):
pip install pydot

  • Jeśli pracujesz z Anaconda i ta instalacja nie jest wskazywana przez zmienną systemową PATH, to aby zainstalować bibliotekę pydot wejdź do Anaconda Prompt (Start >> Anaconda Prompt) – znowu pamiętaj o uruchomieniu komendy jako administrator. Tu również wystarczy uruchomić

Czytaj dalej »

By Rafał Kraik in Python

Kurs SQL modyfikacja danych, transakcje i obsługa błędów – za darmo na Udemy

2017-12-20

Już teraz na Udemy dostępny jest kurs „SQL #4: Modyfikacja danych, transakcje i obsługa błędów”. Szkolenie składa się z ponad 4 godzin nagrań video i przez kilka pierwszych dni jest dostępne za darmo!

Szkolenie

  • szczegółowo omawia polecenia INSERT, UPDATE, DELETE
  • przedstawia jak pracować z transakcjami
  • omawia rodzaje locków zakładanych podczas modyfikacji danych
  • prezentuje transaction isolation level
  • uczy jak obsługiwać błędy, również te do których dochodzi w transakcjach

… a do tego zawiera mnóstwo laboratoriów, więc nie czekaj tylko zapisz się już teraz klikając w obrazek poniżej! Przy okazji sprawdź też inne nasze kursy:


Kurs SQL Server #2 - Zapytania SQL
Kurs SQL Server #3 - Programowanie, typy zaawansowane, XML Kurs SQL Server #4 - Modyfikacja danych, transakcje i obsługa błędów
Kurs Reporting Services - Tworzenie raportów Kurs PowerShell dla administratora Windows
Kurs Python dla początkujących Course Sybase - Installation and Configuration


 

By Rafał Kraik in Aktualności

Kurs SQL modyfikacja danych, transakcje i obsługa błędów – już niebawem na Udemy za darmo

2017-12-16

Już niebawem na Udemy dostępny będzie kurs „SQL #4: Modyfikacja danych, transakcje i obsługa błędów”. Szkolenie składa się z ponad 4 godzin nagrań video i przez kilka pierwszych dni będzie dostępne za darmo!

Informacja o udostępnieniu kursu pojawi się na tym blogu. Jeżeli chcesz być poinformowany o dacie premiery – zasubskrybuj bloga już dzisiaj!

Kurs ma na  celu dokładne przedstawienie modyfikacji danych. Widziałem już wiele szkoleń, gdzie autor poświęcał na polecenie INSERT jedną 5 minutową lekcję, gdzie uczył jak wstawić rekord. Tutaj na same polecenie INSERT jest przeznaczone aż 11 lekcji o łącznym czasie 70 minut.  Pokazuję nie tylko jak wstawić rekord, ale jakie problemy mogą przy tym wystąpić, jak pracować z IDENTITY, SEQUENCE, wartościami domyślnymi, jak naprawić IDENTITY, obalam mit o unikalności identity, pokazuję jak kopiować rekordy poleceniem SELECT INTO, INSERT SELECT czy INSERT EXEC. Kawał porządnej SQL-owej wiedzy, tak by się tego nauczyć i nie musieć już na własną rękę szukać więcej materiałów. Podobnie jest z UPDATE i DELETE.

Kolejna część to transakcje i obsługa błędów. Wielu programistów unika transakcji, a jeśli się na nie decyduje to często używa ich „na intuicję”, a tymczasem na tej intuicji można nieźle popłynąć. Dlatego z lekcji na lekcję pogłębiamy temat, aby w końcu pokazać najlepsze praktyki w pracy z transakcjami i obsługą błędów.

Unikalna część kursu to Transaction Isolation Level. Każdy z poziomów izolacji transakcji jest opisany oddzielnie i ostatecznie porównany z pozostałymi. Po ukończeniu kursu nie powinieneś mieć problemów ze zrozumieniem co i dlaczego zostało zablokowane oraz jak używać transakcji.

Póki co zapoznaj się z informacją o aktualnie dostępnych kursach: https://www.mobilo24.eu/kursy/

By Rafał Kraik in Aktualności

Helpdesk: Windows nie widzi słuchawek USB: A request for the USB device descriptor failed (kod 43)

2017-11-24

No to ci pech. Masz słuchawki – może nawet sprawnie działające na innym komputerze a tu na Twoim pojawia się komunikat „nierozpoznane urządzenie USB” lub „żądanie deskryptora urządzenia nie powiodło się” lub „A request for the USB device descriptor failed”. Nawet sterownika nie da się zainstalować lub zaktualizować bo urządzenie nie jest rozpoznane. Windows wyświetla tylko wdzięczny komunikat o tym że „sterownik dla nieznanego urządzenia jest najnowszy z możliwych” – oj daleko jeszcze do sztucznej inteligencji….

Czy działa na innym komputerze?

W moim przypadku słuchawki przestały działać dość nagle, właściwie bez powodu. Zawsze mogło się zdarzyć, że połamały się kabelki, więc test numer jeden to sprawdzenie  sprzętu na innym komputerze. Gdyby nie działał – no cóż sprzęt jeszcze na gwarancji, ale na szczęście słuchawki działały

Konflikty?

Jeśli możesz na czas rozwiązywania problemu odłączyć inne urządzenia USB to zrób to. Zawsze to mniejsza szansa na konflikt z już istniejącym urządzeniem.

A może coś nie tak z portem?

Drugi test to przełożenie słuchawek do innego portu. Zdarza się, że to pomaga. Niestety – nie w tym przypadku

Reinstalacja sterownika?

Chciałoby sie, ale Microsoft ma własny sterownik dla nierozpoznanych urządzeń i twierdzi że ten jest najaktualniejszy. Wprawdzie można zainstalować sterownik na komputerze na którym sprzętu nie ma, ale to nie rozwiązywało problemu w tym przypadku, no bo urządzenia nie widać. Niemniej spróbować można.

Jeśli masz sterownik na płytce lub pobrany z site producenta, poszukaj pliku inf, kliknij go prawym przyciskiem myszki i wybierz zainstaluj. U mnie operacja się udała i pacjent zmarł, tzn. instalacja zakończona sukcesem, ale słuchawki nadal nie działają Czytaj dalej »

By Rafał Kraik in Helpdesk

SSRS: Dynamiczny connection string

2017-11-19

Kiedy chcesz aby raport dynamicznie łączył się do jednego lub innego źródła danych, które będzie zależało od parametru raportu to:

  • Skorzystaj z data source wbudowanego w raport (nie można korzystać z Shared DataSource)
  • Dodaj parametr, który wyświetli np. nazwy instancji SQL do których należy się łączyć
  • Zadbaj o to aby struktury danych z jakich ma korzystać raport były na tych wszystkich instancjach takie same
  • Budując raport testuj go na jednym źródle danych, ale tuż przed opublikowaniem zmień connection string na wyrażenie dynamiczne

Dodatkowo, jeżeli chcesz aby raport mógł być subskrybowany – nie podawaj nazwy użytkownika ani hasła w connection string ale skorzystaj ze Stored Credentials (podaj credentials we właściwościach DataSource)

 

https://docs.microsoft.com/en-us/sql/reporting-services/report-data/data-connections-data-sources-and-connection-strings-report-builder-and-ssrs

By Rafał Kraik in SQL