Automatisert tilgjengelighetstesting (SortSite)

Hva kan automatiserte testverktøy sjekke? Kan vi stole på resultatene, og når må mennesker være med på å avgjøre hva som er tilgjengelig?

WCAG 2.0 på nivå AA (med noen unntak for teksting og synstolking) er lovpålagt i Norge. Det er selvsagt fristende å benytte automatiserte testverktøy for å sjekke om nettsteder oppfyller lovkravet. Slike verktøy kan absolutt brukes til noe, men til hva? Et av testverktøyene jeg benytter daglig er SortSite. I denne artikkelen skal jeg forklare hva SortSite tester og hvordan du bør forholde deg til en del av testresultatene. Jeg vil også si noe om det som ikke testes. Siden SortSite og andre testverktøy sjekker kode er det ikke til å komme fra at en del av det som beskrives nedenfor blir litt teknisk.

For å unngå misforståelser, og for å gjøre det litt enklere å søke på nettet har jeg valgt å benytte engelske navn på suksesskriterier og SortSite-regler i denne artikkelen.

Aller først et lite hjertesukk. Sorry, men jeg kan ikke la være!

Innhold for mennesker bør testes av mennesker

Webinnhold lages for mennesker, eller? Universell utforming handler om mennesker, eller? Det å lage ting som fungerer bra for alle er mer utfordrende enn å lage noe for smarte mennesker uten spesielle behov, eller?

Til og med noen av de som svarer ja på spørsmålene tror at validatorer kan brukes for å avgjøre om nettsider er universelt utformet. Det er rart synes jeg, eller er det bare useriøs latskap? Selvsagt må det som lages for mennesker vurderes av mennesker. Web er kreativt, og det er grunnen til at web er så kult! Universell utforming burde være en naturlig del av den kreative prosessen når vi lager innhold og design. Testverktøy er ikke plagsomt kreative, så det som testes er rent tekniske ting. Validatorer kan rapportere feil på saker som fungerer helt knirkefritt, og nettsider med null feil kan være ubrukelige for alle.

Kjappe tilstandsrapporter

Testverktøy kan brukes for å få kjappe tilstandsrapporter. Som jeg jo alt har sagt kan selve testresultatene fra automatiserte tester problematiseres. Det er derfor veldig nyttig å vite hvilke tester som fungerer, når testfunn bør kontrolleres manuelt, hvilke suksesskriterier som ikke testes og så videre. SortSite har relativt god dokumentasjon for hvilke suksesskriterier som testes og hvilke regler som benyttes. Reglene som finnes eller mangler er vesentlig siden brudd på enkelte suksesskriterier kan ha en hel haug med ulike årsaker. For uu-eksperter er det selvsagt helt essensielt å vite hva som sjekkes og hva verktøyet ikke kan teste.

Trond Ausland og jeg har testet samtlige SortSite-regler. Noen få av reglene er det nærmest umulig å finne eksempler på. Vi har laget noen få egne testsider, men først og fremst har vi benyttet «ekte» innhold. Resultatene er grundig dokumentert i et samarbeidsprosjekt vi har gjennomført med Direktoratet for forvaltning og IKT (Difi). Hovedfunnet fra gjennomgangen er at SortSite tester de reglene som oppgis i dokumentasjonen. Vi har imidlertid også funnet eksempler på regler som ikke testes og regler som ikke testes godt nok.

SortSite er laget for «eksperter». Det betyr at du må ha en del HTML kunnskap og kjennskap til WCAG-standarden for å kunne rette feil (og forstå testresultatene fra SortSite). I denne artikkelen skal jeg ikke sammenlikne SortSite med andre verktøy. Et råd:

lær deg ett verktøy godt. Det er nyttigere enn å bruke massevis av verktøy uten å kunne avgjøre hva resultatene betyr og hvor mye du kan stole på det som rapporteres.

Veldig kort om SortSite

Noe av det som skiller SortSite fra en del andre WCAG-testverktøy (for eksempel Wave er:

  • SortSite finnes som web-utgave (cloud) og i desktop-versjon (for PC og Mac)
  • Kan skanne hele nettstedet (cloud versjonen tar 500 sider)
  • Desktop-versjonen kan brukes på sider som krever logginn.
  • Desktop-versjonen kan ta med utfylling av skjemaer (f. eks. søk) i evalueringen.
  • Det kan lagres en rapport i RTF-format som er relativt leselig.

Resultatene fra cloud- og desktop-utgavene er ikke alltid 100% like. Jeg har ikke gjort grundige sammenlikninger, men det kan se ut som desktop-versjonen faktisk finner flest feil. Antakelig skyldes dette at desktop-versjonen går gjennom mer enn 500 sider. Desktop-versjonen kan også ta med utfyllinger av skjemaer, og dermed får vi testet for eksempel søkeresultat-sider som web-versjonen aldri vil finne.

Mer om SortSite og verktøy fra samme produsent

Suksesskriterier uten tester

Dersom vi kun ser på lovpålagte suksesskriterier i Norge (WCAG/AA, med unntak for SK 1.2.3, SK 1.2.4 og SK 1.2.5) har SortSite tester for de fleste suksesskriterier. Det betyr ikke at alle feil kan oppdages siden regelsettet er begrenset.

Det er kanskje forståelig at konsistent navigering og identifikasjon ikke testes. Litt mer overraskende er det muligens at det ikke finnes noen regler i SortSite for tastaturfeller.

Følgende suksesskriterier testes ikke (dvs. har ingen testregler):

Vis suksesskriterier på nivå A som ikke testes Vis suksesskriterier på nivå AA som ikke testes Vis suksesskriterier på nivå AAA som ikke testes

E119 regler for testing av 39 suksesskriterier

Totalt finnes det 119 WCAG-regler for testing av 39 suksesskriterier. SortSite tester på alle WCAG-nivåer. Du kan imidlertid sette opp begrensninger (f. eks. droppe nivå AAA).
Noen regler kan avdekke feil på flere suksesskriterier, og for en del suksesskriterier finnes det mange regler.

SortSite dokumentasjon (oversikt over alle regler)

I den videre gjennomgangen ser utelates regler for nivå AAA. Sjekk SortSite-dokumentasjonen dersom du vil ha oversikt over alle reglene.

De mest relevante reglene

Noen regler er teknisk sett udiskutable, dvs. dersom SortSite rapporterer feil kan vi anta at det faktisk er en WCAG-feil. Eksempel: «Use the LANG attribute to identify the language of the page». Det vi imidlertid ikke vet uten å sjekke er om sidespråket er riktig. En ganske vanlig feil er for eksempel at norske nettsteder har informasjonssider på engelsk, og at disse sidene likevel er merket med norsk som sidespråk. En annen regel: «Ensure that foreground and background colors have enough contrast» er forsåvidt til å stole på når den først rapporterer feil, men på den annen side tar den ikke alle kontrastfeil (gjelder både tekst i grafikk og vanlig tekst).

Vis regler som fungerer og som gjenfinnes på vanlige nettsider

Mindre viktige regler

Noen SortSite-regler kan virke litt merkelige, f. eks. «The ALT text of this image mentions a color, which isn’t useful for blind users». Denne har vi ikke fått til å rapportere feil (selv om alt-attributtet inneholder engelske fargenavn). Har de tatt den bort fordi regelen er dum, men glemt å fjerne den fra dokumentasjonen? En liknende regel vi ikke har fått til å rapportere feil er: «FRAME titles must describe function rather than visual relationship…».

Enkelte regler kan verifiseres, men innebærer ikke nødvendigvis tilgjengelighetsfeil. Eksempel: «This image has been updated without updating the ALT attribute on the page».

Noen få regler ser ikke ut til å fungere, selv om disse i utgangspunktet burde være helt rett fram: «The ARIA-LABELLEDBY attribute references a non-existent element ID».

Blandt de 119 reglene er det flere som kan verifiseres, men som i praksis ikke er spesielt vanlige: «Do not use filenames, placeholders or empty text as text alternatives for timed media», «This page has words made of Unicode characters that look like English characters but are from another alphabet.»..

Vis andre regler det er vanskelig å verifisere

Kort oppsummering og behovet for stabile testsider

SortSite er et verktøy som krever en del teknisk kompetanse og brukserfaring. Noen WCAG-suksesskriterier testes bra, andre mangelfullt og en del suksesskriterier har ikke SortSite-tester. Verktøyet kan imidlertid gi en rask og relativt pålitelig indikasjon på om nettsteder har opplagte tilgjengelighetsfeil eller ikke. Et ganske stort minus er at innholdet i iframe (rammer) ikke testes. Script kan også gjøre rapporteringen mangelfull eller ubrukelig.

Noe av det som skiller SortSite fra en del andre verktøy er:

  • SortSite finnes som web-utgave (cloud) og i desktop-versjon (for PC og Mac)
  • Kan skanne hele nettstedet (cloud versjonen tar 500 sider)
  • Desktop-versjonen kan brukes på sider som krever logginn.
  • Desktop-versjonen kan ta med utfylling av skjemaer (f. eks. søk) i evalueringen.
  • Det kan lagres en rapport i RTF-format som er relativt leselig.

I samarbeidet med Difi og i MediaLTs øvrige arbeid med tilgjengelighet og universell utforming har vi testet hundretusenvis av nettsider med SortSite. Dette har blant annet resultert i at vi har et detaljert oppsett med funn for hver enkelt regel, tilhørende test-URLer og beskrivelse av hvor feilen finnes og så videre. Ulempen med denne dokumentasjonen er at URLer kan endres eller forsvinne. MediaLT har foreløpig ikke hatt kapasitet til å utvikle stabile testsider. Med testsider tenker jeg her på et sett med sider som inneholder kjente feil. Slike sider hadde vært veldig verdifulle for å kunne sammenlikne ulike verktøy, teste regelendringer, vurdere praktiske feil mot eksisterende teknologi (inklusive hjelpemiddelteknologi) og øve mennesker for å finne WCAG-feil. MediaLT vil vurdere å lage slike sider, og vil i så fall veldig gjerne ha med Difi og andre samarbeidspartnere.