Coronapandemin flyttade en stor del av ungdomsarbetets funktioner till nätet för en dryg månad sen. Mycket snart började ledarna, beslutsfattarna och finansierarna intressera sig för ungdomsarbetets effektivitet, kvalitet och påverkande. Bemöter man ungdomarna lika mycket på nätet som ansikte mot ansikte? Hurdan kvalitet har nätverksamheten? Hurdana påverkan kan nätverksamheten ha?
Det är viktigt att föra statistik över verksamheten så att den görs synlig och man kan utvärdera och vidare utveckla den. Med hjälp av statistiken vill man framför allt kunna svara på frågan “vad tjänar den här verksamheten till?”. Därför är det särskilt viktigt att tänka på vad man för statistik över: Vilka mätare beskriver vår framgång eller hur vi når de mål man har satt för oss? Vilken slags information hjälper oss att utveckla vår verksamhet?
I början av undantagssituationen var målet att så mycket som möjligt ta ungdomsarbetet till nätet. Då var det en tillräcklig mätare för verksamheten hur mycket man kunde nå ungdomar genom nättjänsterna. Själva mätarna även styr och i bästa fall uppmuntrar ungdomsarbetet mot verksamhet och handlingar.
Om till exempel antalet uppdateringar i de sociala medierna mäts, kan det uppmuntra arbetsgemenskapen till att skapa mer innehåll och uppdatera regelbundet. Nu när verksamheten inom ungdomsarbete på webben redan har etablerat sig lite, kan man använda statistiken till att utvärdera planerad verksamhet lite djupare och till exempel tänka på växelverkans kvalitet.
Det är bra att komma ihåg att målet i grund och botten inte är bara att fungera i webbmiljön, så det lönar sig i längden inte att fokusera på att mäta det. Väsentligare är det att tänka på vilka som är de ungdomsarbetets mål som ska nås genom arbetet på webben – och hur kunde man mäta hur man nått dem.
Hurdan statistik visar oss att vår verksamhet…
- svarar på de mål man har satt för oss?
- har nått vår målgrupp?
- har hög kvalitet?
- svarar på ungdomarnas önskemål?
- svarar på ungdomarnas behov?
Eftersom webbarbetets mål varierar mellan organisationer och arbetsformer, finns det inte bara ett sätt att föra statistik över ungdomsarbete på webben som kan rekommenderas för alla. Precis som i annat ungdomsarbete beror sätten att föra statistik och statistikens behov på organisationens mål, målgrupp, metoder och tjänster. Till exempel ungdomsarbete på Discord kan skilja sig från ungdomsarbete på Instagram lika mycket som ungdomsarbete på gatan och i ungdomslokalen skiljer sig från varandra.
Webbtjänsterna erbjuder verktyg för automatisk statistik
Besökarantalen, visningsmängder, läsningsgånger, tid som tillbringas på tjänsten, gillanden och andra reaktioner kan förhållandevis lätt samlas in via själva webbtjänsterna. Själva tjänstens karaktär bestämmer vad man överhuvudtaget kan föra statistik över och hurdana lösningar man kan använda för statistiken. Till exempel kan man installera StatBot på ens egen Discord-server, vilket möjliggör att samla in data. Det lönar sig alltså att använda tid på att bekanta sig med möjligheterna att föra statistik i de webbtjänster man använder och komma ihåg att också titta på statistiken tillräckligt ofta.
Till exempel Instagram erbjuder en hel del information om besökare, särskilt om organisationen använder ett företagskonto. Bland besökaruppgifterna ska ni åtminstone följa åldern på besökarna på ert Instagramkonto, alltså om ni når ungdomar i er målgrupp. Besökaruppgifterna avslöjar även om ni har nått målgruppen inom rätt område.
Titta också på vad kanalerna i de sociala medierna visar till exempel om hur publikationerna sprids: har någon till exempel upplevt en uppdatering så nyttig att man ville spara den på sitt eget Instagram, hur många har delat Facebookpublikationen vidare eller vad består visningarna på YouTube av.
Man ska dock inte bli alltför kär i webbtjänsternas statistikverktyg. Största delen av tjänsternas egen statistik är helt intressant information, men de berättar inte direkt någonting om huruvida man på riktigt har nått ungdomarna och hurdan kvalitet ungdomsarbetet på webben hade, än mindre om huruvida verksamheten var effektiv.
Statistikverktygen på de sociala mediernas tjänster har gjorts för kommunikationens behov, inte ungdomsarbetets. Om man alltså enbart använder de sociala mediernas statistik, mäter man något helt annat än hur den egna verksamhetens grundläggande mål nås.
Att alltför mycket stirra på de sociala mediernas statistik kan dessutom leda till att de börjar styra verksamheten i stället för mätarna för ungdomsarbetet. Å andra sidan är det i webbmiljön inte alltid lätt eller ens ändamålsenligt att skilja mellan kommunikation och ungdomsarbete. Man ska alltså grundligt tänka efter sina val angående vilken statistik man följer och hur man tolkar den.
Definitioner och anvisningar är viktiga
Det är bra att säkerställa att alla anställda förstår betydelsen av och principerna för statistikförandet. Det är därför viktigt att diskutera tillsammans och skapa anvisningar för hur man definierar till exempel ett möte på webben. Räcker det med att tycka om en Instagramuppdatering eller en visning av YouTubevideo? Gäller samma definition i alla de webbmiljöer ni använder vid ungdomsarbete?
Och hur ska man förhålla sig till de tysta ungdomarna i webbdiskussioner som “promenerade in”? Det är svårt att visa att någon lyssnar aktivt på webben. Läs- och visningsgånger berättar dock någonting, och en ungdom som sett på en webbvideo eller läst andra ungdomars kommentarer kan ha fått verkligen mycket till stöd för sin egen uppväxt – precis som tysta personer också i livesituationer kan delta genom att lyssna. Man kan dock inte anta att alla som såg en uppdatering på webben har satt sig in i innehållet ordentligt.
Det är också bra att komma ihåg att om ett webbmöte i statistiken liknas med ett möte ansikte mot ansikte till exempel i ungdomsgården, finns det en risk att en del av de nyanser som är karakteristiska för växelverkan på webben inte känns igen. Strikta definitioner är inte lämpliga för olika webbtjänster, så det är en bra idé att diskutera definitionerna i arbetsgemenskapen och man ska också vara färdig att ändra dem om man tar i bruk nya verksamhetsmiljöer.
På vilka andra sätt kan man samla in data?
När ni har fått tillräckligt med erfarenhet av webbverksamheten, är det viktigt att samla in information om verksamhetens kvalitet. Alla mätare som är värdefulla för verksamhetsutvecklingen kan inte utvärderas med hjälp av webbtjänsternas statistik. Dock kan tjänstens popularitet, till exempel visningsgånger, berätta om dess kvalitet, men djupare kan kvaliteten endast utvärderas med hjälp av respons, kamratutvärderingar eller självutvärderingar som samlas in av ungdomarna samt ungdomsarbetarna eller till exempel utomståendes utvärderingar.
Enklast kan respons samlas in av ungdomar till exempel via en responslåda på Insta Story eller genom att utarbeta en lätt responsenkät som ungdomarna fyller i efter en öppen kväll på Discord.
För att utveckla ungdomsarbetets kvalitet har många kommuner redan länge använt ungdomsarbetets auditerings- och självutvärderingsmodell, där man har skapat egna utvärderingskriterier för webbaserat ungdomsarbete. Utvärdering och utveckling av webbverksamheten kan även utföras tillsammans med målgruppen och intressegrupperna med hjälp av olika interaktiva metoder.
När man talar om en positiv förändring som åstadkommits genom målinriktad verksamhet, talar man om effektivitet. Det är utmanande att mäta effektivitet, eftersom det vanligtvis tar tid att påvisa förändringen, för det krävs långvarig uppföljning och förändringen beror på många olika faktorer. För att kunna uppfölja effektiviteten, måste man mycket sannolikt kombinera flera olika statistikkällor och datainsamlingsmetoder.
Det är dock inte omöjligt att mäta webbarbetets effektivitet. Särskilt just nu när funktionerna fungerar på fullt är det bra att tänka på hur man mäter och synliggör verksamhetens effekter inte bara på den kort utan även på lång sikt. Till exempel på webbplatsen Hyvän mitta finns mycket bra stödmaterial till bedömning av effektivitet.
I framtiden ska artificiell intelligens tolka statistiken?
När man samlar in mycket data om användningen av webbtjänsterna från flera olika källor, kan det börja kännas jobbigt att gå igenom den. Människans förmåga att dra slutsatser räcker inte längre till att skilja på allt som skulle vara värdefull information för utvecklingen av tjänsten. Och ju mer man samlar in statistik, desto oftare borde man uppdatera tjänsterna enligt den, eftersom data föråldras om den inte utnyttjas. Det lönar sig alltså i längden att automatisera beslut som fattas på grund av statistiken, och där kommer styrande analys och artificiell intelligens med i bilden.
Det är klart att lösningar som utnyttjar artificiell intelligens i framtiden används även i ungdomsarbete både som en del av tjänsterna och som ett datainsamlingsverktyg vid utvecklingen av tjänsterna. Utveckling av olika lösningar som utnyttjar artificiell intelligens för ungdomsarbetets behov tar tid och kräver pengar.
Därför ska lösningar inte utvecklas endast till en organisations behov, utan utvecklingsarbetet ska genomföras regionalt och riksomfattande samt över sektorsgränser. Samarbete är viktigt även därför att utvecklingsbehoven i ungdomsarbetets tjänster som avslöjas av data kan vara sådana som ingen organisation kan lösa ensam.
Om du är intresserad av att veta mer om artificiell intelligens och dess möjligheter i ungdomsarbete, kan du bekanta dig till exempel med en video som Verke skapat om ämnet eller fördjupa dig i den artificiella intelligensens värld i Verkes nyaste verk Mitä nuorisotyön tulisi tietää?.
