Inteligența artificială poate procesa toate cele șase milioane de articole de pe Wikipedia în doar câteva secunde.

Capacitatea de procesare a modelelor de limbaj mari (LLM), precum GPT-4 sau Claude, se bazează pe o arhitectură numită Transformer, introdusă de cercetătorii Google în lucrarea din 2017 intitulată Attention Is All You Need. Această tehnologie permite procesarea paralelă a datelor, ceea ce înseamnă că sistemul analizează volume masive de text simultan, nu secvențial. Wikipedia în limba engleză conține peste 6,7 milioane de articole și aproximativ 4,5 miliarde de cuvinte, o bază de date pe care un computer modern o poate scana în fracțiuni de secundă.Pentru a pune lucrurile în perspectivă, un cititor uman mediu parcurge aproximativ 250 de cuvinte pe minut. Ar fi necesari peste 30 de ani de citit 24 de ore din 24 pentru ca o persoană să termine întreaga enciclopedie. În schimb, unitățile de procesare grafică (GPU) de ultimă generație, precum NVIDIA H100, pot procesa trilioane de operații pe secundă. Aceste cipuri permit antrenarea modelelor pe seturi de date care includ nu doar Wikipedia, ci și întreg indexul Common Crawl, care cuprinde sute de miliarde de pagini web.Procesul de indexare transformă cuvintele în vectori numerici într-un spațiu multidimensional. Această metodă, numită word embedding, permite algoritmilor să calculeze distanța semantică dintre termeni. Astfel, IA nu doar stochează informația, ci înțelege contextul și analogiile prin calcule matematice rapide. Această eficiență transformă Wikipedia dintr-o simplă colecție de texte într-o hartă interconectată de cunoștințe accesibilă instantaneu.