Afleveringen
-
Denne uges afsnit er optaget til konferencen Applied AI Nordics 2024 i DR Byen. Vi har 4 af konferencens talere med foran mikrofonen til at dele deres indsigt i anvendt AI. Gæsterne er Joachim Bingel fra Podimo, Natasha Norsker fra Todai og Women in AI Denmark, Rasmus Nyeland fra Crayon og Casper Guldager fra KPMG NewTech.
-
I dag har vi fået Jørgen Kragh Jakobsen i studiet til at gøre os klogere på, hvordan man udvikler mikrochips. Jørgen har mange års erfaring inden for IC-design (mikrochipdesign) og har en dyb indsigt i udviklingsprocessen, markedet for mikrochips, mikrochipudvikling i Danmark og ikke mindst de ændringer inden for feltet, som er opstået i de seneste par år på grund af open source. Dette afsnit skal du glæde dig til! Vi var i hvert fald lutter øre og helt blæst bagover over alt den viden, Jørgen delte under samtalen. God fornøjelse!
Find Jørgen på LinkedIn: https://www.linkedin.com/in/j%C3%B8rgen-kragh-jakobsen-52a972/
-
Zijn er afleveringen die ontbreken?
-
Børsen i København brændte i går, og der er stemning for at den skal genopbygges. Men hvordan gør man det og kan man bruge AI til at hjælpe med det? Det taler vi om i denne uges afsnit af Verbos Podcast.
Links:
NERFs: https://youtu.be/wKsoGiENBHU?si=eMCYZDPnJ4NY7PbP
Gaussian Splatting: https://youtu.be/VkIJbpdTujE?si=F0vrTvm1QQwVuGrb
Nerfstudio: https://docs.nerf.studio/
Point-E: https://openai.com/research/point-e
Depth Estimation Model: https://huggingface.co/Intel/dpt-large
-
I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:
DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML. JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller. xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils. Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.Links:
https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm https://www.ai21.com/blog/announcing-jamba https://arxiv.org/pdf/2403.19887.pdf https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/ https://github.com/libarchive/libarchive/pull/1609 -
Hvem bliver den første til at få en røvfuld af en AI-robot? I denne uge har vi ladet os inspirere af virksomheden Figures speech-to-speech-demonstration af deres robot, Figure 01, som de har udviklet i samarbejde med OpenAI. Vi taler om vision-language-action (VLA) modeller, som højst sandsynligt er den model, som ligger bag Figure 01s sprog-billede-action-forståelse. Vi har fået Nicolai Nielsen med på episoden, der har en solid baggrund i computer vision og også ved en hel del om robotter, og derfor kan hjælpe os med at forstå, hvad der sker i forskningen på dette område!
Shownote Links:
Figure 01 speech-to-speech demo: https://youtu.be/Sq1QZB5baNw?si=OxcqQU_9tCjFuXU0
3D-VLA: A 3D Vision-Language-Action Generative World Model: https://arxiv.org/abs/2403.09631
Find Nicolai Nielsen her:YouTube: https://www.youtube.com/@NicolaiAI
LinkedIn: https://www.linkedin.com/in/nicolaiai/
-
I dette afsnit af Verbos Podcast bytter vi om på rollerne, og det er i dag vores gæst, Martin Kongshave, som skal interviewe Jonas og Kasper. Martin Kongshave har en baggrund i filosofi og som lærer og er interesseret i at forstå teknikken bag sprogmodellerne, især med henblik på at anvende generativ AI i skolesammenhæng. Det blev til en række gode spørgsmål og førte til mange gode snakke om generativ AI og sprogmodeller!
-
Vi er tilbage fra vinterferie og i ugens episode står programmet hovedsageligt på model releases, både åbne, lukkede og announcements 🥳 Derudover tager vi også en snake om et forslag fra SF som blev behandlet i folketinget om hvor vidt Staten skal udvikle en dansk LLM.
Links:
Sora: https://openai.com/research/video-generation-models-as-world-simulators
Gemma: https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
Stable Diffusion 3: https://stability.ai/news/stable-diffusion-3
Mistral Large: https://mistral.ai/news/mistral-large/
Folketingsforslag om Dansk LLM: https://www.ft.dk/forhandlinger/20231/20231M059_2024-02-22_1000.htm
Ny dansk SOTA LLM: https://huggingface.co/Mabeck/Heidrun-Mistral-7B-chat
-
Hvilke teknikker findes der til at teste sprogmodellers evne til at forstå sprog? Er de åbne engelske og multilingvale modeller gode på de skandinaviske sprog? Eller bør vi yde en indsats i de nordiske lande for at få sprogmodellerne up to speed med at forstå f.eks. dansk? Dan Saattrup Nielsen har udviklet ScandEval, et framework til evaluering af nordiske sprogmodeller. Han ved virkelig meget om evaluering af sprogmodeller, og i dette afsnit af Verbos fortæller han netop om dette!
ScandEval GitHub: https://github.com/ScandEval/ScandEval
ScandEval NLG Leaderboard: https://scandeval.com/mainland-scandinavian-nlg/
ScandEval NLU Leaderboard: https://scandeval.com/mainland-scandinavian-nlu/
-
Mange virksomheder, der udgiver LLM'er på Hugging Face, taler om, at deres modeller er "open source". Mange mener dog, at disse modeller ikke er open source, da essentielle komponenter som f.eks. kildekoden og datasættet, som modellerne er trænet på, ofte ikke er frigivet sammen med modellen. Allen Institute for AI har dog lige udgivet deres open source LLM-serie "OLMo", som står for Open Language Model, hvor de er gået efter at dele så meget som muligt, altså ikke bare modelartefaktet, men også kode, data, logs og hele molevitten.
OLMo
https://huggingface.co/allenai/OLMo-7B
https://huggingface.co/datasets/allenai/dolma
https://arxiv.org/abs/2402.00838
Open Source Initiative
https://opensource.org/osd/
https://opensource.org/licenses/
Dansk Data Historisk Forening
https://datamuseum.dk/ -
AI eksploderer lige nu, og mange leder efter kvalificeret arbejdskraft til at drive udviklingen. Men hvad vil det sige at være Data Scientist, Machine Learning Engineer, Data Engineer osv.? Hvilke skills er værdifulde at have, hvis man gerne vil positionere sig som AI-udvikler? Og hvad er kendetegn ved virksomheder, som er attraktive over for AI-ingeniører? Det, og mere, skal vi tale om i denne uges afsnit af Verbos Podcast 🔥
-
I denne episode tager vi en snak med to af de primære folk bag det danske sprogteknologiske projekt Danish Foundation Models (DFM). I DFM-projektet arbejdes der med at udvikle danske sprogmodeller, blandt andet en dansk Large Language Model (LLM), men også en række andre typer sprogmodeller, som vi skal tale med Kenneth og Lasse om. Lyt med på dagens afsnit og bliv klogere på Danish Foundation Models-projektet 🚀
DFM website: https://centre-for-humanities-computing.github.io/danish-foundation-models/
DFM repository: https://github.com/centre-for-humanities-computing/danish-foundation-models
-
2023 var et vildt AI år, vi tror at 2024 bliver endnu vildere! Her er de teknologier som vi tror blive vigtige og derfor gerne vil nørde i 2024!
Links:
- verbospodcast.dk
- https://github.com/huggingface/candle
- https://github.com/jmorganca/ollama
- https://github.com/openai/weak-to-strong
- https://github.com/microsoft/autogen
-
I denne uge er vi tilbage og zoomer ind på et udvalg af AI nyheder. Vi taler om Googles nye model serie Gemini, Mistrals nye Mixture of Experts model, Hugging Face's nye PyTorch-agtige framework "Candle" som er skrevet i Rust, og så en ny samling af organisationer kaldet AI Alliance, som bl.a. vil arbejde imod mere åben AI.
-
I denne uges episode af Verbos sidder Jonas og Kasper fysisk sammen hos Kasper! Vi benytter lejligheden til at imødekomme en lytterhenvendelse om at gennemgå nogle af de tekniske AI-ord, vi bruger flittigt i podcasten! Derfor går vi i dag igennem en liste af 20 tekniske AI-termer og forklarer dem så grundigt, at vi forhåbentlig kan gøre os forståelige over for flere af vores lyttere 🤗
Her er en liste over de begreber vi forklarer 👇
- Neuralt netværk
- Embeddings
- Vector databaser
- Embeddings
- RAG
- Transformer
- Attention
- Tokens / Tokenizer
- Backpropagation
- Recurrent Neural Network
- AI vs ML
- LLM
- RLHF
- Reinforcement Learning
- Supervised vs Unsupervised Learning vs Self-supervised Learning
- Prompt Engineering
- Fine tuning
- Pretraining
- Encoder
- Decoder -
I den seneste episode af Verbos Podcast, tager vi en dybdegående snak med Morten Lantow om MLOps og LLMOps. Som Head of MLOps hos DSV deler Morten sine erfaringer med implementering af Large Language Models og giver indsigt i, hvordan man kan håndtere machine learning i stor skala. Denne episode tilbyder praktiske perspektiver og principper for alle, der arbejder med eller interesserer sig for avanceret machine learning.
Links
Morten Lantows Python pakke Labton: https://pypi.org/project/labton/
-
AI og IT-industrien stormer frem, men hvad med de bæredygtige aspekter i branchen? Hvordan kan vi tænke bæredygtighed ind i softwareudvikling og data science? Er der nogle udviklingsmønstre, som ikke er bæredygtige på sigt? Hvad sker der for eksempel med al den data, som indsamles og gemmes i stor stil? I denne uge har vi besøg af data scientist og AI-bæredygtighedsskribent, Kasper Groes Albin Ludvigsen, til en snak om netop dette!
- Laat meer zien