Het inleidende essay van de roman vertelt over de geboorteplaats van de auteur - Salem, over zijn voorouders - Puriteinse fanatici, over zijn werk in de gebruiken van Salem en over de mensen die hij daar moest ontmoeten. 'Noch de voordeur, noch de achterdeur van de douane leidt naar het paradijs', en dienstbaarheid in deze instelling draagt ​​niet bij tot het ontstaan ​​van goede neigingen bij mensen. Op een keer, op zoek naar papieren in een enorme kamer op de derde verdieping van de douane, vond de auteur een manuscript van een zekere Jonathan Pugh, die tachtig jaar geleden was overleden. Het was een biografie van Esther Prien, die aan het einde van de 17e eeuw leefde. Een rode doek werd bij de papieren bewaard, bij nader inzien bleek het verbazingwekkend geborduurd te zijn met de letter "A"; toen de auteur het op zijn borst legde, leek het of hij een brandwond voelde. De auteur werd afgewezen na de overwinning van Whig en keerde terug naar literaire studies, waarvoor de vruchten van het werk van de heer Pugh hem zeer nuttig waren.

Uit de gevangenis in Boston komt Esther Prien met een baby in haar armen. Ze draagt ​​een prachtige jurk die ze voor zichzelf in de gevangenis heeft genaaid, op zijn borst zijn scharlaken borduurwerk in de vorm van de letter "A" - de eerste letter van het woord Overspel (overspel). Iedereen veroordeelt het gedrag van Esther en haar uitdagende outfit. Ze wordt naar het marktplein geleid naar het platform, waar ze onder de vijandige blikken van de menigte tegen één uur 's middags moet opkomen - een dergelijke straf werd haar door de rechtbank opgelegd wegens haar zonde en omdat ze weigerde de naam van de vader aan haar pasgeboren dochter te geven. Esther stond aan de schandpaal en herinnert zich haar vorige leven, haar jeugd in het oude Engeland, een wetenschapper van middelbare leeftijd met wie ze haar lot in verband bracht. Als ze om zich heen kijkt, ziet ze op de achterste rijen een man die onmiddellijk haar gedachten in bezit neemt. Deze man is niet jong, hij heeft de indringende blik van een onderzoeker en de gebogen rug van een onvermoeibare werker. Hij vraagt ​​aan anderen wie ze is. Ze zijn verbaasd dat hij niets over haar heeft gehoord. Maar hij legt uit dat hij hier niet is, lange tijd tot slaaf is gemaakt van de heidenen, en nu bracht de Indiaan hem naar Boston om losgeld te ontvangen. Er wordt hem verteld dat Esther Prien de vrouw is van een Engelse wetenschapper die besloot naar New England te verhuizen. Hij stuurde zijn vrouw naar voren en bleef in Europa hangen. Tijdens haar twee jaar in Boston ontving Esther geen nieuws van hem: hij stierf waarschijnlijk. De neerbuigende rechtbank hield rekening met alle verzachtende omstandigheden en veroordeelde de gevallen vrouw niet ter dood, maar veroordeelde hem om slechts drie uur op het platform te staan ​​bij de beschamende pilaar en vervolgens het teken van oneer op zijn borst te dragen voor de rest van zijn leven. Maar iedereen is woedend dat ze de medeplichtige van de zonde niet heeft genoemd. De oudste priester uit Boston, John Wilson, haalt Esther over om de naam van de verleider te onthullen, gevolgd door een jonge dominee Dimsdale, wiens parochiaan ze was, die met een onderbroken stem tot haar sprak. Maar de jonge vrouw zwijgt koppig en houdt haar baby stevig tegen haar borst.

Als Esther terugkeert naar de gevangenis, komt dezelfde vreemdeling die ze op het plein zag naar haar toe. Hij is arts en noemt zichzelf Roger Chillingworth. Eerst kalmeert hij het kind en geeft dan het medicijn Esther. Ze is bang dat hij haar zal vergiftigen, maar de dokter belooft de jonge vrouw of de baby niet te wreken. Het was te aanmatigend van hem om met een jong mooi meisje te trouwen en te wachten op een wederzijds gevoel van haar. Esther was altijd eerlijk tegen hem en deed niet alsof ze van hem hield. Beiden hebben elkaar dus en zelfs schade berokkend. Maar Chillingworth wil de naam weten van zijn geliefde Esther, de naam van de persoon die hen beiden kwaad heeft gedaan. Esther weigert hem te noemen. Chillingworth laat haar zweren dat ze aan niemand zijn echte naam en haar relatie met hem zal onthullen. Laat iedereen geloven dat haar man dood is. Hij besluit in ieder geval uit te zoeken met wie Esther heeft gezondigd en haar geliefde te wreken.

Na het verlaten van de gevangenis vestigt Esther zich in een verlaten huis aan de rand van Boston en verdient ze haar brood als handwerk. Ze is zo'n ervaren borduurster dat ze geen eind heeft aan klanten. Ze koopt alleen de benodigdheden en verdeelt de rest van het geld aan de armen, waarbij ze vaak beledigingen hoort in plaats van dankbaarheid. Haar dochter Pearl is mooi, maar heeft een gepassioneerd en veranderlijk karakter, dus Esther is niet gemakkelijk met haar. Pearl wil geen regels gehoorzamen. Haar eerste bewuste indruk was de dieprode letter op Esther's borst.

Het zegel van afwijzing ligt bij het meisje: ze is niet zoals andere kinderen, speelt niet met hen. Sommige burgers zien haar eigenaardigheden en wanhopig om erachter te komen wie haar vader is, en beschouwen haar als een duivelse spawn. Esther maakt het nooit uit met haar dochter en neemt haar overal mee naartoe. Op een dag komen ze naar de gouverneur om een ​​paar door hem bestelde ceremoniële geborduurde handschoenen terug te geven. De gouverneur is niet thuis en ze wachten op hem in de tuin. De gouverneur keert terug met de priesters Wilson en Dimsdale. Onderweg spraken ze dat Pearl een kind van de zonde was en dat ze het van haar moeder moest overnemen en in andere handen zou overdragen. Als ze dit aan Esther melden, stemt ze er niet mee in haar dochter op te geven. Pastor Wilson besluit uit te zoeken of Esther haar opvoedt in een christelijke geest. Pearl, die nog meer weet dan wat zou moeten zijn op haar leeftijd, koppig en beantwoordt de vraag wie haar heeft geschapen, antwoordt dat niemand haar heeft geschapen, haar moeder heeft haar net in een rozenstruik voor de deur van de gevangenis gevonden. Vrome heren zijn met afschuw vervuld: het meisje is al drie jaar oud en ze weet niet wie haar heeft gemaakt. Ze besluiten Pearl van hun moeder te nemen en ze slaagt erin haar dochter alleen thuis te houden dankzij de tussenkomst van dominee Dimsdale.

De kennis van geneeskunde en vroomheid heeft het respect van de inwoners van Boston voor Chillingworth verdiend. Kort na zijn aankomst koos hij de dominee Dimsdale als zijn spirituele vader. Alle parochianen hadden veel waardering voor de jonge theoloog en waren bezorgd over zijn gezondheid, die de afgelopen jaren sterk is verslechterd. Mensen zagen de vinger van de Voorzienigheid bij hun aankomst bij hun bekwame arts en stonden erop dat de heer Dimsdale hem om hulp vroeg. Het resultaat was dat de jonge priester en de oude dokter vrienden maakten en zich zelfs samen vestigden. Chillingworth, die Esther's geheimen met de strenge onpartijdigheid van een rechter begon te onderzoeken, valt steeds meer onder de macht van één enkel gevoel - wraak, die zijn hele leven heeft onderworpen. Omdat hij de vurige aard van de jonge priester voelt, wil hij doordringen in de verborgen diepten van zijn ziel en daarvoor houdt het niet op. Chillingworth provoceert Dimsdale de hele tijd en vertelt hem over niet-berouwvolle zondaars. Hij beweert dat de lichamelijke aandoening van Dimsdale gebaseerd is op een mentale wond en de priester overhaalt om hem, de dokter, de oorzaak van zijn emotionele lijden te onthullen. Dimsdale roept uit: "Wie ben jij om tussen de lijder en zijn Heer te staan?" Maar zodra een jonge priester overdag in een stoel in slaap valt en niet wakker wordt, zelfs niet als Chillingworth de kamer binnenkomt. De oude man komt naar hem toe, legt zijn hand op zijn borst en maakt kleren los die Dimsdale nooit heeft uitgetrokken in het bijzijn van een dokter. Chillingworth zegeviert - "zo gedraagt ​​Satan zich wanneer hij ervan overtuigd is dat een kostbare menselijke ziel verloren is gegaan voor de hemel en gewonnen voor de hel." Dimsdale voelt vijandigheid jegens Chillingworth en verwijt zichzelf haar dat hij geen reden voor haar heeft gevonden en Chillingworth - "een ellendig, eenzaam wezen, nog ellendiger dan zijn slachtoffer" - probeert uit alle macht Dimsdales mentale kwelling te verergeren.

Op een avond loopt Dimsdale naar het marktplein en staat bij de schandpaal. Passeer bij zonsopgang Esther Prien en Pearl. De priester roept hen, ze gaan naar het podium en gaan naast hem staan. Pearl vraagt ​​Dimsdale of hij hier morgenmiddag bij hen zal staan, maar hij antwoordt dat ze op de Dag van het Laatste Oordeel alle drie voor de troon van de grote rechter zullen staan, maar nu is het niet de tijd en het daglicht zou hen niet drie moeten zien. De donkere lucht licht plotseling op - waarschijnlijk is dit het licht van een meteoor. Ze zien niet ver van het platform van Chillingworth, die onafscheidelijk naar hen kijkt. Dimsdale vertelt Esther dat hij voor deze man een onuitsprekelijke gruwel voelt, maar Esther, gebonden door een eed, onthult hem de geheimen van Chillingworth niet.

Jaren gaan voorbij. Pearl is zeven jaar oud. Het perfecte gedrag van Esther en haar belangeloze hulp aan de getroffenen leidt ertoe dat de inwoners van de stad haar met een soort respect beginnen te behandelen. Zelfs de scharlaken letter lijkt hun geen symbool van zonde, maar van innerlijke kracht. Eens, tijdens een wandeling met Pearl, ontmoet Esther Chillingworth en is verbaasd over de verandering die de afgelopen jaren in hem is opgetreden. Het kalme, wijze gezicht van de wetenschapper kreeg een roofzuchtige, wrede uitdrukking, een glimlach kijkt hem met een grimas aan. Esther spreekt met hem, dit is hun eerste gesprek sinds hij zijn eed niet heeft afgelegd om zijn echte naam te onthullen. Esther vraagt ​​hem om Dimsdale niet te martelen: het lijden dat Chillingworth hem oploopt is erger dan de dood. Bovendien wordt hij gekweld door de ogen van zijn gezworen vijand, zelfs niet wetend wie hij is. Esther vraagt ​​waarom Chillingworth geen wraak op haar neemt; hij antwoordt dat een dieprode brief hem heeft gewroken. Esther smeekt Chillingworth om van gedachten te veranderen, hij kan nog steeds worden gered, omdat deze haat hem heeft veranderd van een wijs, rechtvaardig persoon in de duivel. Het is in zijn macht om te vergeven, de vergeving van mensen die hem hebben beledigd, zal zijn redding zijn. Maar Chillingworth kan niet vergeven; zijn lot is haat en wraak.

Esther besluit aan Dimsdale te onthullen dat Chillingworth haar echtgenoot is. Ze zoekt een ontmoeting met de priester. Uiteindelijk ontmoet ze hem in het bos. Dimsdale vertelt haar hoe hij lijdt onder het feit dat iedereen hem puur en onberispelijk vindt, terwijl hij zichzelf met zonde heeft gekleurd. Hij is omgeven door leugens, leegte, dood. Esther onthult hem die zich onder de naam Chillingworth verstopt. Dimsdale is woedend: door de schuld van Esther 'legde hij zijn zwakke criminele ziel bloot voor de blik van degene die haar in het geheim bespotte'. Maar hij vergeeft Esther. Beiden geloven dat de zonde van Chillingworth nog erger is dan hun zonde: hij heeft inbreuk gemaakt op het heiligdom van het menselijk hart. Ze begrijpen het - Chillingworth, wetende dat Esther Dimsdale zijn geheim zal onthullen, bedenkt nieuwe intriges. Esther biedt Dimsdale aan om te rennen en een nieuw leven te beginnen. Ze is het eens met de schipper van het schip dat naar Bristol vaart dat hij twee volwassenen en een kind aan boord zal nemen.

Het schip zal over drie dagen varen en aan de vooravond van Dimsdale staat op de verkiezingsdag een preek te lezen. Maar hij voelt zijn geest vertroebelen. Chillingworth biedt hem zijn hulp aan, maar Dimsdale weigert. Mensen verzamelen zich op het marktplein om de boodschap van Dimsdale te horen. Esther ontmoet een schipper van een Bristol-schip in de menigte en hij deelt haar mee dat Chillingworth ook met hen mee zal varen. Aan de andere kant van Chillingworth Square ziet ze wie onheilspellend naar haar glimlacht. Dimsdale houdt een schitterende preek. De feestelijke processie begint, Dimsdale besluit zich tot het volk te bekeren. Chillingworth realiseert zich dat dit de kwelling van de patiënt zal verlichten en voelt dat het slachtoffer van hem wegglijdt, snelt naar hem toe en smeekt hem om zijn heilige waardigheid niet te schamen. Dimsdale vraagt ​​Esther hem te helpen het platform te beklimmen. Hij staat aan de schandpaal en bekeert zich van zijn zonde voor het volk. Ten slotte scheurt hij de priesterlijke sjaal af, waarbij hij zijn borst blootlegt. Zijn blik verdwijnt, hij sterft, zijn laatste woorden - lof aan de Almachtige. Er gaan verschillende geruchten rond in de stad: sommigen zeggen dat er een dieprode letter op de borst van de priester stond - een exacte overeenkomst met die van Esther Prien. Anderen beweren integendeel dat de borst van de priester schoon was, maar toen hij voelde dat de dood naderde, wilde hij de geest in de armen van een gevallen vrouw opgeven om de wereld te laten zien hoe twijfelachtig de rechtvaardigheid van de meest onberispelijke mensen is.

Na de dood van Dimsdale werd Chillingworth, die de zin van het leven had verloren, onmiddellijk vervallen en zijn spirituele en fysieke kracht verliet hem meteen. Er was nog geen jaar verstreken voordat hij stierf. Hij heeft zijn hele grote fortuin nagelaten aan de kleine parel. Na de dood van de oude dokter verdwenen Esther en haar dochter en werd het verhaal van Esther een legende. Vele jaren later keerde Esther terug en zette opnieuw vrijwillig het embleem van schaamte op. Ze woont alleen in haar oude huis aan de rand van Boston. Pearl, blijkbaar gelukkig getrouwd, herinnerde zich haar moeder, schreef haar, stuurde geschenken en zou blij zijn als Esther bij haar zou wonen. Maar Esther wilde wonen waar haar zonde was gebeurd - ze geloofde dat daar ook verzoening moest worden gedaan. Toen ze stierf, werd ze begraven naast dominee Dimsdale, maar er bleef een opening tussen de twee graven, alsof zelfs na de dood de as van deze twee niet het recht had zich te mengen.