En av våra kunder nämnde nyligen att de var oroliga för att deras data skulle skrapas på webben. Webbskrapning är inte listat som ett av de främsta OWASP-hoten, men det ligger strax under dessa. Men det finns i listan som det 11:e vanligaste – OAT-011 Scraping.
Ett exempel på webbskrapning
LinkedIn, den allmänt erkända professionella nätverksplattformen, är ett företag som fallit offer för omfattande webbskrapning-attacker. Förövarna använde automatiserad programvara för att systematiskt söka igenom LinkedIn-användarnas offentliga profiler och extrahera data från miljontals profiler. På så sätt utsattes miljontals användare för potentiella spamkampanjer och phishingattacker. LinkedIn stämde 100 enskilda hackare men förlorade i domstol. Domstolen betraktade inte skrapning av offentligt tillgängliga data som ett brott.
Snabbspola fram till 2021, och LinkedIn befann sig i rampljuset igen. Data från över 700 miljoner profiler hittades till salu på darknet. Denna incident underströk det växande hotet från webbskrapning-attacker och behovet av robusta säkerhetsåtgärder för att skydda användardata.
Avslöja hotet: Vad är webbskrapning-attacker?
Webbskrapning är en metod som används för att extrahera data från webbplatser. Den används ofta vid dataanalys eller maskininlärning, där stora mängder data måste samlas in och bearbetas. Webbskrapning blir dock ett kraftfullt vapen när det används på ett skadligt sätt, som i LinkedIn-incidenterna.
Denna teknik utförs i stor skala i en webbskrapning-attack. Angriparna använder ofta robotar för att utan tillstånd extrahera stora mängder data från utvalda webbplatser. De data som hämtas kan vara allt från användarinformation till priser, produktbeskrivningar eller annat proprietärt innehåll. De skrapade uppgifterna kan sedan användas på ett skadligt sätt, från att skapa förfalskade webbplatser och sänka konkurrenternas priser till att sälja uppgifterna till tredje part.
Minutiöst planerade attacker
Webbskrapning-attacker är ofta noggrant planerade och utförs i olika steg för att kringgå befintliga säkerhetsåtgärder som WAF (Web Application Firewalls), IDS (Intrusion Detection Systems) och IPS (Intrusion Prevention Systems). Trots dessa säkerhetssystem lyckas specifika skrapning-attacker utnyttja svagheter, främst eftersom dessa system inte kan se tillbaka historiskt, saknar djupinlärningsförmåga och har förmågan att upptäcka automatiserat beteende i syntaktiskt giltiga HTTP-förfrågningar.
Dagens angripare använder exploateringskit med en kombination av verktyg som proxy-IP, flera användaragenter (UA) och programmatiska/sekventiella förfrågningar för att tränga sig in i webbapplikationer, mobilappar och API:er. Dessa attacker kan allvarligt äventyra webbplatsens säkerhet och störa kontinuiteten i verksamheten.
Förstå faran: Varför är webbskrapning-attacker ett problem?
Webbskrapning-attacker utgör ett stort hot mot företag och deras närvaro på nätet. Dessa hot manifesteras i olika former:
1. Förlust av konkurrensfördelar
Precis som i LinkedIn-scenariot kan skrapning leda till förlust av unika företagsdata, som konkurrenter kan använda för att få en orättvis fördel.
2. Minskad prestanda och ökade kostnader
Webbskrapning-robotar kan förbruka betydande serverresurser, vilket leder till långsammare prestanda och ökade hostingkostnader. I extrema fall kan det till och med leda till en DoS-situation (Denial of Service).
3. Kränkning av den personliga integriteten
Om användarinformation skrapas och säljs kan det leda till allvarliga kränkningar av den personliga integriteten, vilket kan leda till juridiska komplikationer och skada företagets rykte.
4. Stöld av immateriella rättigheter
Webbskrapning kan leda till stöld av proprietärt innehåll eller immateriella rättigheter, som sedan kan publiceras på nytt utan samtycke.
Vad är några tecken på att webbskrapning pågår?
I ett fall bombarderades en populär e-handelsplattform med skrapningsattacker som genererade hundratusentals träffar på dess kategori- och produktsidor under två veckor. Angriparna använde en specialbyggd skrapmotor och ett exploit kit med olika kombinationer av hård- och mjukvara för att kringgå webbens försvarsmekanismer. Här är vad angriparna gjorde:
1. Skapande av falskt konto:
Förövarna riktade in sig på registreringssidan med olika attackvektorer. De skapade flera falska användar-ID (UID) för att registrera bots som äkta användare på webbplatsen. Med hjälp av dessa falska konton i kombination med olika enhets-ID, cookies och UA kunde de utge sig för att vara autentiska användare och generera helt giltiga HTTP-förfrågningar för att kringgå traditionella regelbaserade säkerhetsåtgärder.
2. Skrapning av produkt
Angriparna använde falska UID och loggade in på webbplatsen. Sedan gjorde de hundratusentals träffar på kategorisidor för att skrapa innehållet från kategoriresultaten.
3. Pris- och produktinformation
Efter att ha skrapat kategorisidorna utförde angriparna hundratusentals träffar på specifika produktsidor och lagrade priser och produktinformation för riktade produkter i sin databas. Förövarna upprätthöll en realtidsdatabas över e-handelsportalens hela produktkatalog. De spårade regelbundet prisförändringar för att hålla sin databas uppdaterad med den senaste prisinformationen.
Rättslig tvetydighet för webbskrapning
Den rättsliga statusen för webbskrapning är fortfarande oklar, vilket gör frågan ännu mer komplicerad. LinkedIn försökte få till stånd rättsliga förelägganden för att blockera skraparna, men domstolen gick emot dem och hävdade att de uppgifter som skrapades var allmänt tillgängliga och därför inte skyddades av gällande lagar. Det här fallet belyste det juridiska vakuum som webbskrapning verkar i, vilket gör det ännu viktigare för företag att vidta tekniska åtgärder för att skydda sig mot skrapning-attacker. Det finns också giltiga skäl för webbskrapning, t.ex. när sökmotorer kontrollerar en webbplats för att tillhandahålla relevanta sökresultat.
Navigera i hotbilden: Hur skyddar man sig mot webbskrapning-attacker?
Även om webbskrapning-attacker är kraftfulla och potentiellt förödande, kan företag vidta flera åtgärder för att skydda sig:
1 Övervaka webb-trafiken
Regelbunden övervakning av webb-trafiken kan hjälpa till att identifiera ovanliga mönster eller toppar i trafiken, vilket kan tyda på en skrapning-attack.
Identifiera mycket aktiva konton som inte gör några inköp: E-handelsportaler bör övervaka konton som är mycket aktiva men som inte har gjort några inköp under en längre period. Sådana konton kan drivas av botar som imiterar riktiga användare för att skrapa produktdetaljer och prisinformation.
Övervaka ovanlig trafik på utvalda produktsidor: E-handelsföretag bör hålla ett öga på ovanliga toppar i sidvisningar av vissa produkter, vilket ofta kan vara periodiskt. En plötslig ökning av engagemanget på utvalda produktsidor kan tyda på icke-mänsklig aktivitet på webbplatsen.
Konkurrentövervakning för prisspårning: Många e-handelsföretag använder robotar eller anlitar experter för att skrapa fram produktinformation och prisuppgifter från konkurrenternas webbplatser. Företag bör regelbundet spåra konkurrenter för tecken på matchning av priser och produktkataloger.
Identifiering av automatiserad aktivitet i legitimt användarbeteende: Sofistikerade robotar kan simulera musrörelser, utföra slumpmässiga klick och navigera på sidor på ett människoliknande sätt. För att förhindra sådana attacker krävs djupgående beteendemodeller, fingeravtryck på enheter/webbläsare och återkopplingssystem med slutna kretsar. Specialbyggda lösningar för bot-förmildring kan identifiera sådana sofistikerade automatiserade aktiviteter och hjälpa dig att agera mot dem. Traditionella lösningar som WAF:er är däremot begränsade till att spåra förfalskade cookies, användaragenter och IP-rykte.
2 CAPTCHA
CAPTCHA kan effektivt skilja mellan mänskliga användare och robotar, vilket gör det svårare för skrapande robotar att komma åt din webbplats data.
3 Hastighetsbegränsning
Genom att införa hastighetsbegränsning kan man begränsa antalet förfrågningar som en användare (eller bot) kan göra inom en viss tidsram. Sådana åtgärder kommer att sakta ner eller stoppa en skrapning-attack.
4 Brandväggar för webbapplikationer (WAF)
En WAF kan hjälpa till att upptäcka och blockera misstänkt aktivitet, inklusive potentiella skrapning-attacker.
Sammanfattning
Hotet från webbskrapningsattacker är ett bekymmer för alla företag som tillhandahåller värdefull information online. Även om skrapning kanske ligger på 11:e plats på OWASP:s hotlista, är det verkligen inte att underskatta! Särskilt med tanke på att det kan äventyra ett företags konkurrensfördelar, integritet och immateriella rättigheter.
LinkedIns misslyckade juridiska strider visar på den juridiska tvetydigheten kring webbskrapning. Därför kan företag inte enbart förlita sig på juridiska medel för att bekämpa denna fråga. Det åligger organisationerna att införa robusta tekniska åtgärder och strategier för att upptäcka och mildra skrapningsattacker. Sådana åtgärder sträcker sig från övervakning av webbtrafik och identifiering av misstänkt användarbeteende till implementering av CAPTCHA, hastighetsbegränsning och webbapplikationsbrandväggar.
Det är dock viktigt att komma ihåg att dessa åtgärder bör vara en del av en heltäckande säkerhetsstrategi. Även om de kan bidra till att skydda mot skrapning-attacker är det inte säkert att de är tillräckliga på egen hand. Företag bör vara proaktiva och anta en integrerad strategi där dessa tekniker kombineras med andra bästa metoder för att stärka sin närvaro på nätet.
Webbskrapning kan visserligen utgöra ett betydande hot, men med rätt verktyg och strategier kan företagen navigera i detta komplexa landskap, skydda sina data och behålla sin konkurrensfördel.
På Gislen Software kan vi hjälpa dig att bygga webbapplikationer med inbyggd säkerhet eller lägga till skydd mot webbskrapning på befintliga webbplatser. Kontakta oss för att diskutera programvaruutveckling!