Statistics of Common Crawl Monthly Archives

Number of pages, distribution of top-level domains, crawl overlaps, etc. - basic metrics about Common Crawl Monthly Crawl Archives
Latest crawl: CC-MAIN-2025-47

View the Project on GitHub

Distribution of Languages

The language of a document is identified byCompact Language Detector 2 (CLD2). It is able to identify 160 different languages and up to 3 languages per document. The table lists the percentage covered by the primary language of a document (returned first by CLD2). So far, only HTML pages are passed to the language detector. The underlying data including page counts is provided inlanguages.csv.

crawl	CC-MAIN-2025-38	CC-MAIN-2025-43	CC-MAIN-2025-47
language
<unknown>	2.7649	2.5819	2.9445
aar	0.0001	0.0001	0.0001
abk	0.0006	0.0006	0.0006
afr	0.0082	0.0082	0.0092
aka	0.0001	0.0001	0.0002
amh	0.0033	0.0034	0.0036
ara	0.6549	0.6604	0.6575
asm	0.0025	0.0025	0.0029
aym	0.0001	0.0001	0.0001
aze	0.0624	0.0542	0.0572
bak	0.0014	0.0008	0.0027
bel	0.0153	0.0133	0.0169
ben	0.1093	0.1112	0.1140
bih	0.0005	0.0006	0.0008
bis	0.0001	0.0001	0.0001
bod	0.0009	0.0011	0.0011
bos	0.0557	0.0494	0.0548
bre	0.0016	0.0031	0.0020
bul	0.2840	0.2577	0.2792
cat	0.1741	0.1775	0.1928
ceb	0.0021	0.0018	0.0021
ces	0.9881	1.0675	1.1343
chr	0.0000	0.0000	0.0000
cos	0.0022	0.0021	0.0024
crs	0.0001	0.0001	0.0001
cym	0.0094	0.0100	0.0103
dan	0.4432	0.5058	0.4980
deu	6.0060	5.6512	5.7417
div	0.0025	0.0021	0.0021
dzo	0.0001	0.0001	0.0001
ell	0.4898	0.4899	0.5136
eng	44.3285	44.8292	42.0781
epo	0.0073	0.0068	0.0076
est	0.1170	0.1156	0.1374
eus	0.0306	0.0303	0.0356
fao	0.0045	0.0047	0.0052
fas	0.7814	0.7378	0.8042
fij	0.0001	0.0001	0.0001
fin	0.3184	0.3372	0.3488
fra	4.4605	4.4414	4.4007
fry	0.0032	0.0014	0.0034
gla	0.0014	0.0014	0.0018
gle	0.0069	0.0057	0.0073
glg	0.0279	0.0260	0.0291
glv	0.0004	0.0004	0.0005
got	0.0000	0.0000	0.0000
grn	0.0008	0.0008	0.0008
guj	0.0110	0.0116	0.0126
hat	0.0017	0.0023	0.0020
hau	0.0027	0.0025	0.0031
haw	0.0008	0.0007	0.0008
heb	0.2285	0.2449	0.2359
hin	0.1930	0.1972	0.2086
hmn	0.0007	0.0006	0.0007
hrv	0.2081	0.1918	0.2058
hun	0.4644	0.4713	0.5026
hye	0.0353	0.0296	0.0309
ibo	0.0008	0.0007	0.0009
iku	0.0002	0.0002	0.0002
ile	0.0003	0.0003	0.0003
ina	0.0005	0.0005	0.0005
ind	0.9505	1.0124	1.0491
ipk	0.0001	0.0001	0.0001
isl	0.0415	0.0385	0.0382
ita	2.0407	2.0349	2.1831
jav	0.0024	0.0017	0.0038
jpn	5.2018	5.2703	5.5747
kal	0.0009	0.0008	0.0009
kan	0.0142	0.0141	0.0161
kas	0.0000	0.0000	0.0000
kat	0.0433	0.0386	0.0416
kaz	0.0352	0.0332	0.0357
kha	0.0003	0.0003	0.0004
khm	0.0105	0.0107	0.0098
kin	0.0021	0.0021	0.0022
kir	0.0103	0.0095	0.0100
kor	0.7754	0.7145	0.8091
kur	0.0058	0.0060	0.0073
lao	0.0041	0.0038	0.0041
lat	0.0983	0.0998	0.1017
lav	0.0866	0.0859	0.0923
lif	0.0000	0.0000	0.0000
lin	0.0003	0.0002	0.0003
lit	0.1601	0.1626	0.1669
ltz	0.0040	0.0028	0.0048
lug	0.0001	0.0001	0.0001
mal	0.0227	0.0219	0.0259
mar	0.0265	0.0267	0.0312
mfe	0.0002	0.0002	0.0001
mkd	0.0375	0.0337	0.0349
mlg	0.0031	0.0037	0.0032
mlt	0.0036	0.0032	0.0028
mon	0.0148	0.0143	0.0160
mri	0.0014	0.0013	0.0012
msa	0.0675	0.0715	0.0790
mya	0.0136	0.0136	0.0155
nau	0.0000	0.0000	0.0000
nep	0.0454	0.0494	0.0518
nld	1.8755	1.7675	1.7293
nno	0.0140	0.0134	0.0155
nor	0.3213	0.2986	0.3069
nso	0.0001	0.0001	0.0001
nya	0.0006	0.0006	0.0007
oci	0.0033	0.0020	0.0043
ori	0.0052	0.0056	0.0063
orm	0.0005	0.0006	0.0007
pan	0.0074	0.0064	0.0083
pol	1.6602	1.8221	1.9306
por	2.0696	2.2523	2.3370
pus	0.0035	0.0038	0.0040
que	0.0006	0.0006	0.0007
roh	0.0011	0.0010	0.0012
ron	0.4819	0.5160	0.5245
run	0.0001	0.0001	0.0001
rus	6.1083	5.8427	6.4822
sag	0.0004	0.0003	0.0004
san	0.0024	0.0025	0.0025
sco	0.0007	0.0013	0.0006
sin	0.0082	0.0083	0.0083
slk	0.3853	0.3796	0.4083
slv	0.1264	0.1147	0.1231
smo	0.0007	0.0006	0.0007
sna	0.0007	0.0008	0.0009
snd	0.0016	0.0014	0.0018
som	0.0044	0.0046	0.0049
sot	0.0006	0.0006	0.0006
spa	4.3672	4.4619	4.4292
sqi	0.0474	0.0447	0.0457
srp	0.2053	0.2092	0.2353
ssw	0.0000	0.0000	0.0000
sun	0.0015	0.0012	0.0013
sux	0.0000	0.0000	0.0000
swa	0.0104	0.0097	0.0110
swe	0.5874	0.6579	0.6481
syr	0.0003	0.0003	0.0003
tam	0.0396	0.0431	0.0488
tat	0.0080	0.0064	0.0073
tel	0.0174	0.0185	0.0201
tgk	0.0071	0.0054	0.0078
tgl	0.0088	0.0076	0.0093
tha	0.3842	0.3853	0.3874
tir	0.0009	0.0009	0.0010
ton	0.0001	0.0001	0.0001
tsn	0.0001	0.0001	0.0001
tso	0.0001	0.0001	0.0001
tuk	0.0012	0.0011	0.0014
tur	1.1973	1.1516	1.1411
uig	0.0012	0.0012	0.0015
ukr	0.7083	0.6431	0.6768
urd	0.0283	0.0267	0.0297
uzb	0.0250	0.0207	0.0244
ven	0.0000	0.0000	0.0000
vie	1.0549	1.0278	1.0838
vol	0.0008	0.0007	0.0009
war	0.0024	0.0015	0.0019
wol	0.0001	0.0002	0.0002
xho	0.0008	0.0008	0.0010
yid	0.0019	0.0018	0.0018
yor	0.0011	0.0010	0.0014
zha	0.0001	0.0001	0.0001
zho	5.1598	5.0878	5.5505
zul	0.0013	0.0013	0.0015

Movatterモバイル変換

Distribution of Languages