https://youtu.be/xEbNfpVE_A8

Huvudspelare på marknaden

Traditionella aktörer

• Nvidia dominerar med sina GPU:er men tar ut 90% marginal1
• AMD erbjuder 4x bättre effektivitet och 30% lägre kostnad1
• Google beskrivs som en "sleeping giant" med den perfekta triangeln: produkter, data och beräkningskraft1

Nya utmanare

• Tensor och Visora utvecklar specialiserade AI-chips1
• DeepSeek har visat att effektivitet är avgörande1
• Cerebras har imponerande teknologi men är extremt dyrt1

Viktiga tekniska koncept

Destillering

• En process där en större "lärarmodell" överför kunskap till en mindre "elevmodell"6
• Kan ibland resultera i att mindre modeller presterar bättre än större1
• Kräver minst 10 sparade körningar, men hundratals eller tusentals rekommenderas4

Inference vs Training

• Om 5 år kommer 95% vara inference och endast 5% träning1
• Inference handlar om produktion och kräver stabilitet1
• Mindre modeller blir allt viktigare för effektivitetens skull

Inference vs Training