W uczeniu maszynowym często wykonujemy operacje na macierzach (wektor to też przykład macierzy, tylko że jeden z wymiarów wynosi 1). Cchcemy takie operacje wykonywać, gdzie tylko się da przy pomocy funkcji z modułu numpy, bo tak jest efektywniej!
Matematyka jest bezlitosna. Istnieją pewne określone reguły, określające warunki kiedy na macierzach można wykonywać operacje:
aby dodać do siebie macierze/wektory, muszą one mieć takie same wymiary
aby pomnożyć przez siebie dwie macierze, pierwsza z nich musi mieć tyle kolumn, co druga wierszy
Tymczasem u nas te warunki nie zawsze będą spełnione. Można się jednak „umówić”, co do tego jak wykonywać operacje, których, matematycznie rzecz ujmując, nie można wykonywać. Taki mechanizm w numpy nosi nazwę broadcasting, bo określa on, jak należy powiększyć mniejszą macierz do rozmiarów pasujących do większej macierzy, aby w intuicyjny sposób wykonać operację na macierzach.
Żeby uniknąć matematycznego hejtu, na usprawiedliwienie należy dodać, że broadcasting-u można by uniknąć. W takim przypadku programista musiałby po prostu samodzielnie dbać o to, żeby macierze miały właściwe rozmiary. Taka praca, nie dość że nudna, to jeszcze spowoduje znaczne użycie pamięci. Dlatego tak się palimy do zautomatyzowanego i zoptymalizowanego procesu broadcastu. Czytaj dalej »
Błąd pojawiał się na Centos 8 zainstalowanym pod Hyper-V. Cała instalacja przebiegła pomyślnie, ale po restarcie pokazywał się tylko komunikat
FATAL: no config space access function found
Co bardzo ważne, serwer był instalowany razem z grafiką i to właśnie problem z którymś ze sterowników powodował błąd. Wystarczyło przełączyć się do innej konsoli (CTRL+ALT+F2) i zaktualizować:
1
yum update
Inna kwestia, że oprócz nie działającej grafiki, również i klawiatura działała wolno…. dlatego zdecydowałem się uruchomić serwer w run level 3
Podczas instalacji Centos na Windows 10 z HyperV pojawil się komunikat:
The image’s hash and certificate are not allowed (DB)
Plik z instalają był pobrany z pewnego źródła, więc komunikat był trochę zastanawiający….
Przyczyną była opcja „Enable Secure Boot”, która jest domyślnie zaznaczona na nowej maszynie wirtualnej. Żeby ją wyłaczyć należy wejść w ustawienia maszyny wirtualnej, w sekcji Security odszukać zaznaczonej opcji „Enable Secure Boot”, odznaczyć ją, zapisać zmiany i gotowe!
Zaczynamy od zainstalowania pakietu pixiedust. W tym celu w anaconda prompt wykonaj polecenie:
1
pip installpixiedust
Teraz już w Jupyter Notebook należy załadować moduł odpowiedzialny za debugowanie:
1
import pixiedust
Kiedy chcesz rozpocząć debugowanie kodu dodaj do niego linijkę %%pixie_debugger, o tak:
1
2
3
4
5
6
7
8
9
10
11
12
%%pixie_debugger
i=1
whilei<10:
print(i)
i+=3
ifi%2==0:
i-=2
print('done i={}'.format(i))
Po uruchomieniu tej komórki, zostanie pod nią wyświetlony interfejs debuggera:
Nie wchodząc zbytnio w szczegóły pierwszy pomarańczowy przycisk uruchamia kod dalej (run), drugi – ze strzałką wykonuje jedną linijkę kodu itd. Warto po prostu poczytać dymki widoczne w tych raptem kilku widocznych poleceniach.
Kiedy chesz sprawdzić wartość wyrażenia korzystasz z evaluate:
A kiedy chcesz zatrzymać program w określonej linijce, kliknij na numerze tej linijki myszką. W ten sposób zdefiniujesz breakpoint symbolizowany ikonką rozdeptanego robaka na marginesie. Numer linii będzie można też zobaczyć w okienku Breakpoints.
I co? Nie da się? Da się, tylko może jest potrzebnych kilka dodatkowych kroków!
W Pythonie występuje funkcja globals(), która zwraca tablicę przechowującą wszystkie zmienne sesji. Kiedy chcesz utworzyć nową zmienną, możesz po prostu dodać nowy element do tej listy
1
2
3
4
foriinrange(0,3):
globals()['var_{}'.format(i)]=i *100
print(var_0,var_1,var_2)
Tutaj przechodzimy pętlą for przez kod 3 razy i tworzymy zmienne o nazwach var_0, var_1 i var_2. Żeby się przekonać, że instrukcja wykorzystująca funkcję globals działa, wyświetlamy zmienne podając ich statyczne nazwy, jakie na tym etapie wykonania kodu powinny już istnieć.
Zależnie od wykorzystywanego edytora, przy linijce zawierającej ten kod może się pojawić ostrzeżenie:
Skoro ta metoda jest taka zła, to czego używać zamiast tego? Można by próbować z listą:
W tym przypadku chodziło o instalację Centosa, który został zaintalowany w środowisku graficznym. Z grafiką jednak pojawiły się problemy powodujące, że serwer całkowicie się blokował (problemy z klawiaturą).
Oto jak uruchomić Linuxa bez grafiki, ale z obsługą sieci (run level 2 lub 3): Czytaj dalej »
Kiedy robisz rzeczy standardowe, korzystasz sobie ze standardowych metod, ale kiedy przychodzi zmierzyć się z niestandardowym problemem, to trzeba sięgnąć po funkcję apply.
Tutaj mamy dosyć nietypowy DataFrame. Dla każdego wiersza DataFrame trzeba wykonać jakąś niestandardową czynność…
1
2
3
4
5
6
7
8
9
10
11
import pandas aspd
df=pd.DataFrame(
[[-1,-1],
[[11,12],[21,22]],
[-1,-1],
[[101,102],[201,202]]
],
columns=['rola','X_dist'])
df
1
2
3
4
5
rola X_dist
0-1-1
1[11,12][21,22]
2-1-1
3[101,102][201,202]
Dajmy na to, że w zależności od zawartości kolumny „rola” trzeba zwrócić taki albo inny DataFrame – ogólnie wykonać jakąś złożoną operację. W tym celu zdefiunujemy funkcję. Pisząc ją myśl, jakby miała pracować na wierszu z DataFrame. Do dyspozycji masz zmienną row, możesz się odwoływać do niej, jak do wiersza danych, sprawdzać wartości, pobierać dane, budować if, while – cokolwiek. Funkcja ta może zwracać nowy obiekt Series:
1
2
3
def do_something(row):
returnpd.Series([row['rola'],'x','101'])
Jak wywołać tą funkcję? Tak:
1
df.apply(do_something,axis=1)
Istotne jest wskazanie argumentem axis, że funkcja ma być stosowana do każdego wiesza, bo domyślnie apply wywołuje funkcję dla kolumn. Oto wynik:
1
2
3
4
5
012
0-1x101
1[11,12]x101
2-1x101
3[101,102]x101
Ten wynik można zapisać do innego DataFrame, czy właściwie zrobić z nim, co tam się chce 🙂
Funkcja apply – stosuj w przypadkach niestandardowych
