I puritanske New England, hvor romanen foregår, ble utroskap ansett som en alvorlig synd, og individer som ble funnet skyldige i slike handlinger møtte alvorlige konsekvenser. Det skarlagenrøde brevet ble pålagt Hester Prynne som en konstant påminnelse om hennes overtredelse, og hun ble tvunget til å bære det offentlig uansett hvor hun gikk.
Ved å få Hester til å bære det skarlagenrøde brevet, forsøkte det puritanske samfunnet å straffe henne, avskrekke andre fra å begå lignende synder og opprettholde sin strenge moralkodeks. Det var en form for offentlig ydmykelse og et middel til å stigmatisere Hester og hennes uekte datter, Pearl, i samfunnet deres.
Gjennom hele romanen får det skarlagenrøde brevet ulike symbolske betydninger. I utgangspunktet representerer den skam, skyld og straff, men etter hvert som historien skrider frem, blir den også en kilde til styrke, mot og motstandskraft for Hester. Hesters vekst og transformasjon i løpet av romanen utfordrer de strenge moralske vurderingene og rigide samfunnsnormene til hennes puritanske samfunn.