Det er en app jeg har blitt veldig glad i og som jeg ønsker å si noen or om – Seeing Ai. «AI» står for artificial intelligence eller kunsig intelligents på norsk. Appen er på engelsk, men ble tilgjengelig for nedlastning på det norske markedet i AppStore (IOS) fra sommeren 2018. Jeg vil hevde at Seeing AI er den viktigste tilgjengelighetsappen i min hverdag. Den har gjort meg mer selvstendig spesielt når det er behov for å lese tekst. Det er Microsoft som har utviklet den. Den bruker kameraet på mobilen til å tolke omverdenen og hjelper meg som blind til å forklare hva som vises i kameralinsen enten det bare er lys, farge, tekst, sedler, person eller omgivelser – eller en kombinasjon.
Jeg vil først bare nevne kort:
- Person: Du kan ta bilde av en person og få en analyse. Da vurderer Seeing AI kjønn, alder, hårfarge og humør. Hvor mye denne er til å stole på er jeg ikke helt sikker på. Jeg er blitt tatt for å være en 13-åring og samboeren min en gammel mann… Og hvor praktisk nytteverdi har denne funksjonen utover en god underholdningsverdi? «Vent, jeg må ta bilde av deg, for jeg må finne ut hvem du er!» blir det neste blinde sier fremfor å si et imøtekommende «hei» for å kjenne igjen folk på stemmen.
- Currency: Denne hjelper deg med å gjenkjenne sedler. Foreløpig er det kun indiske rubies, britiske pounds, euro, canadiske og amerikanske dollar. Men det blir stadig flere valuta som kan gjenkjennes – for et halvt år siden var det kun amerikanske dollar og euro om jeg minnes rett. Det er en flott mulighet om vi er på reise i et land og vi ikke er vant til sedlene, i den grad vi håndterer kontanter i det hele tatt. Jeg for min del bruker i hvert fall mer og mer kort og i svært liten grad kontanter, men jeg er særdeles lite ute og reiser utenfor Norges grenser.
- Scene (preview/under utvikling): Denne har jeg personlig ingen erfaring med, men har hørt at den skal være imponerende bra. Man tar bilde/video av en situasjon og får beskrevet situasjonen. Et videoopptak jeg har sett fikk en opplyst hvilken bussnummer som kom kjørende.
- Color (preview/under utvikling): Enkel fargeindikator. Etter min mening er denne for enkel og har for stor feilmargin til å kunne være funksjonell. Jeg endte i hvert fall opp med feil farge på garnnøstet mitt når jeg forsøkte å bruke denne fargeindikatoren. Jeg skulle ha hvit og endte opp med åkergult. Når jeg ikke har mulighet til å spørre noen, men kan ringe noen, bruker jeg Facetime eller Skype og får hjelp på den måten.
- Handwriter (preview/under utvikling): Her kan Seeing AI tolke håndskrift. Denne har jeg ingen personlig erfaring med, men jeg har hørt at den i hvert fall skal være brukbar på engelsk tekst. Jeg har veldig sjelden håndskrevet tekst fremfor meg i det store og det hele. Det må i så fall være små lapper med et klokkeslett e.l. og om jeg får det, benytter jeg samme fremgangsmåte som ved fargeindikatoren – Facetime eller Skype.
- Light: Dette er vel den enkleste funksjonen i Seeing AI, men slettes ikke den dummeste. Den piper en mørk tone når det er mørkt i rommet og jo mer lys jo lysere tone. En veldig grei funksjon for oss som ikke kan se lys både for å sjekke om lyset er på og for å sjekke i hvilken retning lyset står på.
Men, for å få Person en noe mer fortjent og forsvart plass enn hva jeg først ga den, kan den også være nyttig. I siste versjon som ble sluppet i dag, kan du faktisk bruke Seeing AI til å tolke bilder du har liggende på telefonen eller som du kommer over på internett og den kan gjenkjenne deg selv eller kjente personer. Du kan lese blogginnlegget utgitt av Microsoft What’s new with Seeing AI?» eller den norske oversettelsen «Hva er nytt i Seeing AI?».
I tillegg har appen strekkodeleser, mulighet for å lese korte tekster og gjenkjenne dokumenter. Disse skal jeg omtale mer detaljert i dette blogginnlegget. For å høre en demonstrasjon av de ulike funksjonene til appen, har Morten Tollefsen laget dette lydopptaket hvor han viser appen i praktisk bruk.
Product (strekkodeleser)
Strekkodeleseren brukes kanskje mest på kjøkkenet for å skille produkter med lik emballasje. Det kan eksempelvis være matfløte/kremfløte/kaffefløte, ulike typer melk, ulike typer yoghurt, ulike typer biola, lettrømme/crème fraîche/kesam i ulike smaker, ulike typer Cola, ulike typer mel, ulike typer hermetikk, ulike typer poser med halvfabrikata (pulverposer) osv.
For å bruke strekkodeleseren må vi lære oss å finne strekkoden og lære oss å bruke kameraet riktig. Det kan være lurt å øve seg litt sammen med en som ser som kan veilede litt. Det var – er fremdeles – en del ting jeg i hvert fall ikke tenker over. Hvor er strekkoden? Den er ofte på baksiden av emballasjen, langs skjøten, på undersiden eller på siden om produktet er lite. Like viktig som å vite hvor strekkoden kan være, er å vite hvor strekkoden ikke er. Den er eksempelvis ikke på forsiden hvor det er produktets blikkfang. Når du skal lære å bruke kameraet, kan du tenke over avstand mellom kameraet og produkt, huske posisjon, forstå lysforhold, forstå emballasjens form, refleks og farge og hvordan alt dette påvirker hverandre. Det du skal huske på er at blank/reflekterende emballasje kan være vanskelig. Appen bruker blitz om det blir nødvendig, men det beste er om du bruker lys i rommet. Det gjør ingenting at emballasjen står på hodet. Omvendt kontrast har lite å si. Det viktigste er at det er tydelige bokstaver og ikke for snirklete skrift med for mye mønster.
Appen lager lydsignaler for å gi signaler om hvor langt unna sentrum i skjermbildet du er i å ha strekkoden. Den tar bildet automatisk når den mener at bildet er i fokus og er godt nok. Når den har tatt bildet, vises bildet på skjermen. Bildet/strekkoden gjenkjennes i en database. Bildet som vises på skjermen må lukkes før et nytt bilde må tas. Det sliter i hvert fall jeg litt med å skulle huske hver gang.
Jeg oplever at strekkodeleseren ikke er nøyaktig nok. Eksempelvis skiller den ikke på laktosefri og vanlig melk eller sukkerfritt og vanlig syltetøy. Man har en knapp som heter «More info» hvor det ville være naturlig at slik informasjon som dette ble lagt, men den knappen er inntil videre ikke tilgjengelig. Noe er man også nødt til å vite på forhånd, som blå gjær som brukes i brødbakst, den heter bare «original» i databasen sist jeg forsøkte.
Jeg synes det tar mye tid å bruke strekodeleseren i hverdagen. Jeg har ikke tid til å bruke ett minutt eller to for å finne ut om noe er kremfløte eller matfløte. Derfor har jeg funnet ut at short text er mye mer effektivt og gjør samme nytten.
Short text – OCR «in live»
Om jeg skal finne ut om jeg holder en matfløte eller kremfløte i hånden, som jo har helt lik embalasje, velger jeg modusen Short text. Da fungerer kameraet som en direkte OCR-skanner. Talen vil lese opp det som vises i kameraet akkurat der og da. Det som er viktig da, er at du er ganske stødig på hånden, for ved den minste bevegelse tolkes bildet på nytt og talen vil lese opp bildet på nytt. Om gjenstanden ikke er for høy, som f.eks. en putt kremfløte, yoghurtbeger eller rømmebeger, kan du støtte telefonen og begeret mmot bordplaten slik at begge deler holdes stille.
Det er først etter at jeg fikk prøve Seeing AI at jeg forstod hvor mye tekst som egentlig står på et produkt. Det står jo eksempelvis oppskrifter bakpå posene med havregryn, ulike meltyper, tips til tilberedning av gryter osv. Og når jeg skal lese teksten bak på en hel pose, eksempelvis en pose med havremel eller hvordan jeg tilbereder en gryte, bruker jeg modusen Document.
Document – til lengre tekster og dokumenter
Jeg kom med eksempelet nå på å bruke det til å lese bakpå gryter, melposer osv. Dette vil jeg nok i utgangspunktet si er en nødløsning. Om du skal lese teksten bakpå, vil jeg nok anbefale deg å bruke en skanner og et OCR-program som f.eks. OmniPage eller OpenBook (sistnevnte er spesiallaget med tanke på synshemmedes behov) fordi det gir en mer nøyaktig gjengivelse av teksten enn det Seeing AI klarer å gi nettopp fordi du bruker en skanner som gir bedre avlesningsforhold. Min erfaring er i hvert fall at teksten blir leselig om jeg legger godviljen til, men det blir en hel del feil og i blant må jeg gjette meg til hva som skal stå.
Men noe Documents er mer egnet til, er å lese et ark eller en bokside med tekst.Det gjør den så og si feilfritt. Om arket har kolonner, forsøker den også å tolke det, men så vidt jeg vet finnes det ikke noen innstillinger hvor man kan velge om den skal gjenkjenne kolonner eller ikke. Det kan være fint at den gjenkjenner kolonner om du skal lese en avisartikkel eller bok med kolonner, men det er ikke like praktisk om du ønsker å lese et program du har fått utdelt på et seminar du er deltaker på.
Når du skal ta bilde av f.eks. et ark, legger du arket på bordet fremfor deg og det er helst en fordel om lysforholdene er gode. Hold telefonen over arket og talen vil gi deg instrukser om du skal ta telefonen mer til høyre, mer til venstre, lenger oppover eller nedover for å få hele arket i fokus. Når hele arket har fått fokus i kameraet, blir bildet automatisk tatt og noen sekunder senere dukker det opp på skjermen som et dokument. Om dokumentet har overskrifter, er disse også kodet som overskrifter i den gjenkjente teksten. Du kan lese teksten med VoiceOver f.eks. ved å sveipe med en finger mot høyre og venstre slik at den leser avsnitt for avsnitt eller linje for linje, noe du velger i rotoren til VoiceOver. En enklere måte å lese dokumentet på er å dra en finger sakte nedover skjermen og talen vil lese opp det du har under fingeren. Når du kommer til bunnen, blar du til neste skjermbilde med å sveipe med tre fingre fra bunnen av skjermen mot toppen.
Laste ned og installere Seeing AI
For den som nå lurer, så finnes Seeing AI foreløpig kun for iPhone, men det er nok snakk om at den skal komme for Android-telefoner en gang i fremtiden.
For å laste ned Seeing AI, må du gå inn i AppStore. Gå inn på fanen Søk og skriv inn «Seeing» og velg deretter søkeforslaget «Seeing AI». Da får i hvert fall jeg opp Seeing AI som det første treffet. Deretter lastes appen ned som en hvilken som helst annen app, dvs. at du må ha en iCloud-konto med passord, og når den er lastet ned og installert velger du Åpne.