Player FM uygulamasıyla çevrimdışı Player FM !
#184 GPU Programmierung - von CUDA bis OpenMP mit Peter Thoman
Manage episode 468381472 series 3432292
GPU-Programmierung: Andere Chips und eine andere Art zu programmieren
In der heutigen Zeit dreht sich fast alles in der IT um AI. Und damit auch oft um den sich positiv entwickelnden Aktienkurs von Nvidia. Warum Nvidia? Als Hersteller von Grafikkarten bzw. Grafikchips (kurz GPUs) profitieren sie deutlich von den hohen Nachfragen nach dieser Art von Chips. Das Ganze hat die Frage aufgeworfen: Inwieweit ist die Programmierung auf bzw. für eine GPU anders als bei einer klassischen CPU?
In dieser Episode behandeln wir dieses Thema: Paralleles Programmieren auf der GPU.
Wir bröseln das Buzzword-Bingo auf und schauen uns an, was der Unterschied zu verteiltem vs. parallelem Rechnen ist, was HPC und CUDA eigentlich ist, ob bzw. wie man auf Grafikkarten ohne Frameworks programmieren kann, welche algorithmischen Use Cases neben AI und Transformer-Modelle existieren, wie man einen Algorithmus für die GPU programmiert und was man alles vermeiden sollte, sprechen über Speicherzugriffsmuster und warum Matrizen-Multiplikationen so gut auf GPUs funktionieren aber auch was Performance-Portabilität bedeutet und ob es Probleme mit der Heterogenität von Grafikkarten und Chips gibt.
Und das alles mit Dr. Prof. Peter Thoman.
Bonus: Wie besucht man möglichst effizient alle Städte in Deutschland? Das Problem des Handlungsreisenden.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
Links
- Dr. Peter Thoman: https://dps.uibk.ac.at/~petert/
- PH3 GmbH: https://www.ph3.at
- SimSYCL: https://github.com/celerity/SimSYCL
- Celerity: https://celerity.github.io/
- CUDA: https://developer.nvidia.com/cuda-toolkit
- Was ist CUDA: https://www.bigdata-insider.de/was-ist-cuda-a-851005/
- OpenMP: https://www.openmp.org/
- OpenMPI: https://www.open-mpi.org/
- OpenGL: https://www.opengl.org/
- OpenCL: https://www.khronos.org/opencl/
- Engineering Kiosk Episode #180 Skalierung, aber zu welchem Preis? (Papers We Love): https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/
- Nvidia Self-Paced Training: https://learn.nvidia.com/en-us/training/self-paced-courses
- SYCL Academy: https://github.com/codeplaysoftware/syclacademy
Sprungmarken
(00:00:00) Intro
(00:01:28) Paralleles Programmieren auf der GPU mit Peter Thoman
(00:07:26) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr
(00:08:34) Info/Werbung
(00:09:34) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr
(00:22:34) Wie hat die Berechnung auf der GPU begonnen?
(00:33:23) Use-Cases für die GPU
(00:45:58) Matrizenmultiplikation und Neuronale Netze auf der GPU
(00:55:11) Heterogenität der Grafikkarten und Chips
(01:00:10) Dein Einstieg in die GPU-Programmierung
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
191 bölüm
Manage episode 468381472 series 3432292
GPU-Programmierung: Andere Chips und eine andere Art zu programmieren
In der heutigen Zeit dreht sich fast alles in der IT um AI. Und damit auch oft um den sich positiv entwickelnden Aktienkurs von Nvidia. Warum Nvidia? Als Hersteller von Grafikkarten bzw. Grafikchips (kurz GPUs) profitieren sie deutlich von den hohen Nachfragen nach dieser Art von Chips. Das Ganze hat die Frage aufgeworfen: Inwieweit ist die Programmierung auf bzw. für eine GPU anders als bei einer klassischen CPU?
In dieser Episode behandeln wir dieses Thema: Paralleles Programmieren auf der GPU.
Wir bröseln das Buzzword-Bingo auf und schauen uns an, was der Unterschied zu verteiltem vs. parallelem Rechnen ist, was HPC und CUDA eigentlich ist, ob bzw. wie man auf Grafikkarten ohne Frameworks programmieren kann, welche algorithmischen Use Cases neben AI und Transformer-Modelle existieren, wie man einen Algorithmus für die GPU programmiert und was man alles vermeiden sollte, sprechen über Speicherzugriffsmuster und warum Matrizen-Multiplikationen so gut auf GPUs funktionieren aber auch was Performance-Portabilität bedeutet und ob es Probleme mit der Heterogenität von Grafikkarten und Chips gibt.
Und das alles mit Dr. Prof. Peter Thoman.
Bonus: Wie besucht man möglichst effizient alle Städte in Deutschland? Das Problem des Handlungsreisenden.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
Links
- Dr. Peter Thoman: https://dps.uibk.ac.at/~petert/
- PH3 GmbH: https://www.ph3.at
- SimSYCL: https://github.com/celerity/SimSYCL
- Celerity: https://celerity.github.io/
- CUDA: https://developer.nvidia.com/cuda-toolkit
- Was ist CUDA: https://www.bigdata-insider.de/was-ist-cuda-a-851005/
- OpenMP: https://www.openmp.org/
- OpenMPI: https://www.open-mpi.org/
- OpenGL: https://www.opengl.org/
- OpenCL: https://www.khronos.org/opencl/
- Engineering Kiosk Episode #180 Skalierung, aber zu welchem Preis? (Papers We Love): https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/
- Nvidia Self-Paced Training: https://learn.nvidia.com/en-us/training/self-paced-courses
- SYCL Academy: https://github.com/codeplaysoftware/syclacademy
Sprungmarken
(00:00:00) Intro
(00:01:28) Paralleles Programmieren auf der GPU mit Peter Thoman
(00:07:26) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr
(00:08:34) Info/Werbung
(00:09:34) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr
(00:22:34) Wie hat die Berechnung auf der GPU begonnen?
(00:33:23) Use-Cases für die GPU
(00:45:58) Matrizenmultiplikation und Neuronale Netze auf der GPU
(00:55:11) Heterogenität der Grafikkarten und Chips
(01:00:10) Dein Einstieg in die GPU-Programmierung
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
191 bölüm
Tüm bölümler
×
1 #189 Fuzzing: Wenn der Zufall dein bester Tester ist mit Prof. Andreas Zeller 1:19:38

1 #188 Spieleentwicklung: Die Königsdisziplin der Informatik mit Dominic Pacher 1:31:37

1 #187 Meeresschutz mit Code – Sea Shepherds Tech-Einsatz mit Florian Stadler 1:07:30

1 #186 Von CNC-Fräse bis RFID-Tag: Wenn Informatik zur Kunst wird mit Sabine Wieluch aka Bleeptrack 1:16:48

1 #185 Der Mainframe ist tot, lang lebe der Mainframe! Von COBOL bis JavaScript am Mainframe mit Tobias Leicher von IBM 1:23:52

1 #184 GPU Programmierung - von CUDA bis OpenMP mit Peter Thoman 1:10:21

1 #183 Event-Sourcing: Die intelligente Datenarchitektur mit semantischer Historie – mit Golo Roden 1:35:51

1 #182 Happy Birthday SQL: 50 Jahre Abfragesprache 1:05:32

1 #181 Von Code zu Value: Wie Entwickler·innen Business-Mehrwert schaffen 1:09:11

1 #180 Skalierung, aber zu welchem Preis? (Papers We Love) 58:55

1 #179 MLOps: Machine Learning in die Produktion bringen mit Michelle Golchert und Sebastian Warnholz 1:16:51

1 #178 Code der bewegt: Infotainmentsysteme auf Kreuzfahrtschiffen mit Sebastian Hammerl 1:08:44

1 #177 Stream Processing & Kafka: Die Basis moderner Datenpipelines mit Stefan Sprenger 1:07:40

1 #176 Der Engineering Kiosk wird 3 Jahre alt! 1:05:51

1 #175 Von Lustig bis Traurig: Wenn Open Source Geschichten schreibt 46:42
Player FM'e Hoş Geldiniz!
Player FM şu anda sizin için internetteki yüksek kalitedeki podcast'leri arıyor. En iyi podcast uygulaması ve Android, iPhone ve internet üzerinde çalışıyor. Aboneliklerinizi cihazlar arasında eş zamanlamak için üye olun.