Merge pull request #295 from duckduckgo/sam/new-cdns

Add new CDNs and CPMs to categorization table

build-data/static/categorized_trackers.csv

@@ -48,6 +48,7 @@ adtdp.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
 adtech.de,1,1,,,,,,,,,,,,,,,,,,,,,,,
 adthrive.com,,1,,,,,,,,,,,,,,,,,,,,,,,
 advertising.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
+afcdn.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 affec.tv,1,1,1,,1,,,,,,,,,,,,,,,,,,,,
 agkn.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
 aidata.io,1,,,1,1,,,1,,,,,,,,,,,,,,,,,
@@ -90,6 +91,7 @@ ausgezeichnet.org,,,,,,,,,,,,,,,,1,,,,,,,,,
 avocet.io,1,1,1,,1,,,,,,,,,,,,,,,,,,,,
 azure.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 azureedge.net,,,,,,,,,,,,,,,1,,,,,,,,,,
+azurefd.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 azurewebsites.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 b-cdn.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 bannerflow.com,1,1,,,,,,,,,,1,,,,,,,,,,,,,
@@ -129,14 +131,16 @@ bytecdn.cn,,,,,,,,,,,,,,,1,,,,,,,,,,
 c3tag.com,1,1,,1,,,,1,,,,,,,,,,,,,,,,,
 cachefly.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 casalemedia.com,1,1,,1,,,,,,,,,,,,,,,,,,,,,
+cdn-apple.com,,,,,,,,,,,,,,,1,,,,,,,,,,
+cdn-cookieyes.com,,,,,,,,,,,,,,,,,,,,,,,1,,
 cdninstagram.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 cdnwidget.com,,,,,,,,,,,,,1,1,,,,,,,,,,,
-cdn-apple.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 chartbeat.com,1,1,,1,1,,,,,,,,,,,,,,,,,,,,
 chartbeat.net,1,1,,1,1,,,,,,,,,,,,,,,,,,,,
 chaturbate.com,1,1,,,,,,,,,,,,,,,1,,,,,,,,
 chimpstatic.com,1,1,,1,1,,,1,,,,,,,1,,,,,,,,,,
 civiccomputing.com,,,,,,,,,,,,,,,,,,,,,,,1,,
+ck.page,,,,,,,,,,,,,,,1,,,,,,,,,,
 clickagy.com,1,1,,1,1,,,1,,,,,,,,,,,,,,,,,
 clickcertain.com,1,1,,,1,,,,,,,,,,,,,,,,,,,,
 clicktale.net,,,,1,,,,,,,,1,,,,,,1,,,,,,,
@@ -245,6 +249,7 @@ eyeota.net,1,1,,1,1,,,1,,,,,,,,,,,,,,,,,
 eyereturn.com,1,1,,1,,,,1,,,,1,,,,,,1,,,,,,,
 eyeviewads.com,1,1,1,1,1,,,,,,,1,,,,,1,,,,,,,,
 ezoic.net,1,1,,1,1,,,1,,,,1,,,,,,1,,,,,,,
+ezojs.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 facebook.com,1,1,1,1,1,1,,,1,1,,1,,,,1,1,,1,,,,,,
 facebook.net,1,1,1,1,1,1,,,1,1,,1,,,,1,1,,1,,,,,,
 fastly-insights.com,,,,1,,,,,,,,,,,,,,,,,,,,,
@@ -303,6 +308,7 @@ hsforms.com,,,,1,,,,,,,,,,,,,1,,,,,,,,
 hsleadflows.net,,,,1,1,,,1,,,,,,,,,,,,,,,,,
 hubapi.com,1,1,,1,1,,,1,,,,,,,,,,,,,,,,,
 hubspot.com,1,1,,1,,,,1,,,,,,,,,1,,,,,,,,
+hubspotusercontent-na1.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 hwcdn.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 hybrid.ai,1,1,,1,1,,,,,,,,,,,,,,,,,,,,
 iasds01.com,1,1,1,,,,,,,,,,,,,,,,,,,,,,
@@ -531,9 +537,11 @@ sift.com,,,,,,,,,,,,,,,,,,,,,,1,,,
 siftscience.com,,,,,,,,,,,,,,,,,,,,,,1,,,
 simpli.fi,1,1,,1,,,,,,,,,,,,,,,,,,,,,
 sirv.com,,,,,,,,,,,,,,,1,,,,,,,,,,
+site.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 siteimprove.com,,,,1,,,,,,,,,,,,,,,,,,,,,
 siteimproveanalytics.com,,,,1,,,,,,,,,,,,,,,,,,,,,
 siteimproveanalytics.io,,,,1,,,,,,,,,,,,,,,,,,,,,
+sitescdn.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 sitescout.com,1,1,,1,,,,,,,,1,,,,,,,,,,,,,
 skimresources.com,1,1,,1,,,,,,,,,,,,,,,,,,,,,
 smaato.net,1,1,,1,,,,,,,,,,,,,,,,,,,,,
@@ -550,6 +558,7 @@ spotify.com,,,,,,,,,,,,,,,1,,1,,,,,,,,
 spotifycdn.com,,,,,,,,,,,,,,,1,,1,,,,,,,,
 spotxchange.com,1,1,,1,,,,,,,,,,,,,,,,,,,,,
 springserve.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
+squarespace.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 ssl-images-amazon.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 stackadapt.com,1,1,,1,1,,,,,,,1,,,,,,,,,,,,,
 stackpathcdn.com,,,,,,,,,,,,,,,1,,,,,,,,,,
@@ -586,6 +595,7 @@ tns-counter.ru,,,,1,,,,,,,,,,,,,,,,,,,,,
 trackcmp.net,1,1,,,,,,,,,,1,,,,,,,,,,,,,
 trafficmanager.net,,,,,,,,,,,,,,,1,,,,,,,,,,
 trafficstars.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
+transcend-cdn.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 treasuredata.com,1,,,1,1,,,,,,,,,,,,,,,,,,,,
 tremorhub.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
 tribalfusion.com,1,1,,,,,,,,,,,,,,,,,,,,,,,
@@ -640,6 +650,7 @@ wcfbc.net,1,1,,1,,,,,,,,,,,,,,,,,,,,,
 webclicks24.com,,1,,,,,,,,,,,,,,,,,,,,,,,
 weborama.com,1,1,,1,,,,,,,,,,,,,,,,,,,,,
 weborama.fr,1,1,,1,,,,,,,,,,,,,,,,,,,,,
+website-files.com,,,,,,,,,,,,,,,1,,,,,,,,,,
 webvisor.org,,,,,,,,,,,,,,,,,,1,,,,,,,
 wikimedia.org,,,,,,,,,,,,,,,,,,,,1,,,,,
 wikipedia.org,,,,,,,,,,,,,,,,,,,,1,,,,,

build-data/static/category_patches/002 - TR Update Nov 2024.sql

@@ -0,0 +1,15 @@
+INSERT INTO trackers (domain, "CDN") VALUES 
+    ('website-files.com', 1), 
+    ('hubspotusercontent-na1.net', 1), 
+    ('azurefd.net', 1), 
+    ('transcend-cdn.com', 1), 
+    ('site.com', 1),
+    ('ck.page', 1),
+    ('afcdn.com', 1),
+    ('sitescdn.net', 1),
+    ('squarespace.com', 1),
+    ('ezojs.com', 1)
+ON CONFLICT(domain) DO UPDATE SET "CDN" = 1;
+INSERT INTO trackers (domain, "Consent Management Platform") VALUES
+    ('cdn-cookieyes.com', 1)
+ON CONFLICT(domain) DO UPDATE SET "Consent Management Platform" = 1;

build-data/static/update_trackers.sh

@@ -7,7 +7,7 @@ sqlite3 << 'END_SQL'
 .import categorized_trackers.csv trackers
 CREATE UNIQUE INDEX domain_idx ON trackers(domain);
 -- Instructions to modify the table here
-.read "category_patches/001 - Support chat widgets.sql"
+.read "category_patches/002 - TR Update Nov 2024.sql"
 -- END modification - now export
 .output categorized_trackers.csv
 .headers on