Zainstaluj Java JDK w wersji 17, np. do katalogu c:\spark\java Zainstaluj WinUtils w wersji 3.3.6 (jeśli używasz Windows 11) np do katalogu c:\spark\hadoop Zainstaluj Spark 3.5.5 z Hadoop 3.3, np. do katalogu c:\spark\spark Zainstaluj Python 3.11, np. do katalogu c:\spark\python. Wykonaj dodatkową kopię pliku python.exe i nazwij ją python3.exe Zdefiniuj zmienne środowiskowe np. dla użytkownika: […]

Wykonując testy, warto mieć pod ręką coś małego, co powinno zawsze zadziałać. Oto moja propozycja: Snippet pochodzi z https://stackoverflow.com/questions/76743484/configuration-of-pyspark-py4jjavaerror

W świeżej instalacji Apache Spark po wykonaniu polecenia df.show() dla prostego data frame pojawiał się bład:Py4JJavaError: An error occurred while calling o160.showString.Instalacja nowa, robiona zgodnie z 1000 instrukcji dostępnych na necie. Bez owijania w bawełnę – chodziło o wersje aplikacji. Tak więc krótko: Instalacja dotyczy Spark 3.5.5 (FEB 27 2025) z wbudowanym Apache Hadoop 3.3 […]

Visual Studio Code robi czasami psikusy ze środowiskami wirtualnymi. Jeśli instalujesz moduły, a one nadal nie działają to można podejść do sprawy tak: – utworzyć środowisko wirtualne, co robi się komendą: python -m venv venv aktywować to środowisko komendą: venv/scripts/activate.ps1 Na tym środowisku można zaintalować wymagane pakiety (zakładając że to będzie nowe środowisko, to należy […]

Załóżmy, że dotarły do nas dane w takiej oto postaci: Mamy więc „sztuczny” indeks wierszy 'MF’ o wartościach 0,1,2,3,4 oraz kolumny, które są opisane muli-indeksem. Chcielibyśmy taką pivot-table czyli tabelę przestawną „odpivotować” i zobaczyć ją w tzw. długim formacie: Jeśli chcesz samodzilnie sobie takie dane wyczarować to użyj poniższego kodu: import pandas as pd import […]

Doinstalowywanie oprogramowania do Pythona jest proste, o ile się wie jak to robić, a przecież na początku nie wie się niczego. Spróbujmy więc krok po kroku zobaczyć, jak w PyCharm, w zupełnie nowym projekcie zaistalować moduł na przykładzie requests: Na początku wybrałem polecenie „New project” 1 – nazywam projekt „jakoś tam”2 – kontrolnie patrzę na […]

Praca z Jupyter Notebook daje fajną izolację od tego co dzieje sie na poziomie systemu operacyjnego. Co jednak zrobić, kiedy chcesz dowiedzieć się z jaką wersją modułu lub pythona pracujesz? Prosto: Żeby sprawdzić numer wersji Pythona użyj: import syssys.version_info Żeby sprawdzić numer wersji modułu skorzystaj z : import pandas as pdpd.version