Úvodní úvod k románu vypráví o autorově rodném městě - Salemu, jeho předcích - puritánských fanatikech, jeho práci v Salemově zvycích a lidech, kterým tam musel čelit. "Přední dveře ani zadní dveře celních služeb nevedou k ráji," a služba v této instituci nepřispívá k rozkvětu dobrých sklonů u lidí. Jednou, při procházení papíry nashromážděných v obrovské místnosti ve třetím patře zvyků, našel autor rukopis jistého Jonathana Pugha, který zemřel před osmdesáti lety. Byla to životopis Esther Prienové, která žila na konci 17. století. S papíry byl držen červený hadr, při bližší prohlídce se ukázalo, že je úžasně vyšívané písmenem „A“; když ho autor položil na hruď, zdálo se mu, že cítil popálení. Po whigově vítězství byl autor propuštěn do literárních studií, pro které byly plody práce pana Pugha pro něj velmi užitečné.

Z vězení v Bostonu přichází Esther Prien s dítětem v náručí. Má na sobě krásné šaty, které si přišila pro sebe ve vězení, na jeho hrudi šarlatovou výšivku ve tvaru písmene „A“ - první písmeno slova cizoložství (cizoložství). Každý odsuzuje chování Esther a její vzdorné oblečení. Je vedena na tržiště na plošinu, kde se bude muset odpoledne postavit pod nepřátelské pohledy davu - soud jí takový trest přinesl za hřích a za odmítnutí dát otci své novorozené dceři. Esther, stojící u pranýře, vzpomíná na svůj minulý život, dětství ve staré Anglii, středověku shledanou vědkyni, s níž spojila svůj osud. Když se rozhlédne po davu, všimne si v zadních řadách muže, který se okamžitě zmocní jejích myšlenek. Tento muž není mladý, má pronikavý pohled vědce a shrbený záda neúnavného pracovníka. Zeptá se ostatních, kdo to je. Jsou překvapeni, že o ní nic neslyšel. Vysvětluje však, že tu není, dlouho byl zotročen k pohanům a teď ho Indián přivedl do Bostonu, aby získal výkupné. Říká se, že Esther Prien je manželkou anglického vědce, který se rozhodl přestěhovat do Nové Anglie. Poslal svou ženu dopředu a setrval v Evropě. Během dvou let v Bostonu od něj Esther neobdržela žádné zprávy: pravděpodobně zemřel. Soucitný soud vzal v úvahu všechny polehčující okolnosti a neodsuzoval padlou ženu k smrti, ale odsoudil ho, aby stál jen tři hodiny na nástupišti u hanebného sloupu, a pak na zbytek jeho života nesl na hrudi znamení nepoctivosti. Ale každý je pobouřen, že pojmenovává hřích. Nejstarší bostonský kněz John Wilson přesvědčí Esther, aby odhalila jméno svůdce, následovaného mladým pastorem, Dimsdale, jehož farnicí byla, a přerušila její vzrušení. Mladá žena však tvrdohlavě mlčí a drží dítě pevně na hrudi.

Když se Esther vrátí do vězení, přichází k ní stejný cizinec, kterého viděla na náměstí. Je to doktor a říká si Rogera Chillingwortha. Nejprve uklidní dítě a poté podá lék Esther. Bojí se, že ji otravuje, ale doktor slibuje, že se pomstí ani mladé ženě ani dítěti. Bylo pro něj příliš domýšlivé vzít si mladou krásnou dívku a čekat na její vzájemný pocit. Esther s ním byla vždy upřímná a nepředstírala, že ho miluje. Oba tedy způsobili újmu a dokonce i sobě navzájem. Chillingworth však chce znát jméno svého milovaného Esteru, jméno osoby, která jim oběma udělala zlo. Esther ho odmítá pojmenovat. Chillingworth ji přísahá, že nikomu neprozradí své skutečné jméno a svůj vztah s ním. Nechť všichni věří, že její manžel je mrtvý. Rozhodne se všemi prostředky zjistit, s kým Esther zhřešila a pomstít svého milence.

Po odchodu z vězení se Esther usadí v opuštěném domě na okraji Bostonu a živí se jako vyšívání. Je tak zkušená vyšívačka, že nemá konce se zákazníky. Kupuje si pouze potřeby a zbylé peníze rozděluje chudým, často na oplátku zaslouží urážky místo vděčnosti. Její dcera Pearl je krásná, ale má vášnivé a proměnlivé dispozice, takže s ní Esther není snadná. Pearl se nechce řídit žádnými pravidly. Její první vědomý dojem byl šarlatový dopis na Estherově hrudi.

Pečetí odmítnutí leží na dívce: není jako ostatní děti, nehraje si s nimi. Někteří občané, kteří viděli dívčí zvláštnosti a zoufalí, aby zjistili, kdo je jejím otcem, považují za ďábelský potěr. Esther se nikdy nerozdělí s dcerou a vezme ji s sebou všude. Jednoho dne přijdou k guvernérovi, aby mu vrátili pár slavnostních vyšívaných rukavic, které nařídil. Guvernér není doma a čekají na něj v zahradě. Guvernér se vrací s knězem Wilsonem a Dimsdale. Cestou mluvili o tom, že Pearl je dítě hříchu, a měli by to vzít od své matky a přenést je do jiných rukou. Když to oznámí Esther, nesouhlasí s tím, aby se vzdala své dcery. Pastor Wilson se rozhodne zjistit, zda ji Esther vychovává v křesťanském duchu. Pearl, která ví ještě víc než to, co má být ve svém věku, tvrdohlavě a odpovídá na otázku, kdo ji vytvořil, odpovídá, že ji nikdo nevytvořil, její matka ji právě našla v růžovém keři u dveří vězení. Zbožní pánové jsou zděšeni: dívka je již tři roky stará a neví, kdo ji vytvořil. Rozhodnou se vzít Pearl od své matky a ona dokáže udržet svou dceru doma jen díky přímluvě pastora Dimsdale.

Znalost medicíny a zbožnosti si vydobyla úctu lidí z Bostonu k Chillingworthu. Brzy po svém příjezdu zvolil reverend Dimsdale za svého duchovního otce. Všichni farníci vysoce oceňovali mladého teologa a měli obavy z jeho zdraví, které se v posledních letech prudce zhoršilo. Lidé při svém příchodu ke svému zkušenému lékaři viděli prst Prozřetelnosti a trvali na tom, aby se k němu pan Dimsdale obrátil o pomoc. V důsledku toho se mladý kněz a starý lékař spojili, a pak se dokonce usadili. Chillingworth, který se pustil do zkoumání tajemství Esther s přísnou nestranností soudce, stále více spadá do moci jediného pocitu - pomsty, která podrobuje celý jeho život. Cítí zanícenou povahu mladého kněze, chce proniknout do skrytých hlubin své duše, a to se nezastaví na nic. Chillingworth neustále provokuje Dimsdale a vypráví mu o nenápadných hříšcích. Tvrdí, že Dimsdaleovo tělesné onemocnění je založeno na duševní ráně a přesvědčuje kněze, aby mu odhalil, doktora, příčinu jeho emocionálního utrpení. Dimsdale zvolal: „Kdo jsi, abys stál ... mezi trpícím a jeho Pánem?“ Jakmile však mladý kněz během dne usne na židli a neprobudí se, ani když Chillingworth vstoupí do místnosti. Starý muž se k němu přiblíží, položí si ruku na hruď a rozepne si oblečení, které Dimsdale nikdy nesundal v přítomnosti lékaře. Chillingworth triumfuje - „takto se chová Satan, když je přesvědčen, že vzácná lidská duše je ztracena pro nebe a vyhraje pro peklo.“ Dimsdale cítí nepřátelství vůči Chillingworthovi a vyčítá za ni, nenašel pro ni žádný důvod, a Chillingworth - „ubohý, osamělý tvor, ještě více mizerný než jeho oběť“ - se vší mocí snaží Dimsdaleho duševní trápení zhoršit.

Jednou v noci chodí Dimsdale na tržiště a stojí u pranýře. Za úsvitu projíždějí Esther Prien a Pearl. Kněz k nim volá, vystoupají na plošinu a stojí vedle něj. Pearl se ptá Dimsdale, jestli tu s nimi bude stát zítra odpoledne, ale odpoví, že v den posledního soudu budou všichni tři stát před trůnem velkého soudce, ale nyní není čas a denní světlo by je nemělo vidět tři. Temná obloha se náhle rozsvítí - pravděpodobně to je světlo meteoru. Vidí nedaleko platformy Chillingworth, která se na ně neoddělitelně dívá. Dimsdale řekne Esther, že před tímto mužem cítí nevyslovitelnou hrůzu, ale Esther, svázaná přísahou, mu neodhalí tajemství Chillingwortha.

Roky ubíhají. Pearl má sedm let. Dokonalé chování Esther a její nezajímavá pomoc postiženým vede k tomu, že se k ní obyvatelé města začnou chovat s určitým respektem. Dokonce i šarlatové písmeno se jim nezdá být symbolem hříchu, ale vnitřní síly. Jednou při chůzi s Pearl se Esther setká s Chillingworthem a je ohromena změnou, která se v něm v posledních letech objevila. Klidná, moudrá tvář vědce získala dravý, krutý výraz, úsměv na něj vypadá s úšklebkem. Esther s ním mluví, toto je jejich první rozhovor od doby, kdy od ní složil přísahu, aby neodhalil své skutečné jméno. Esther ho žádá, aby Dimsdaleho nemučil: utrpení, které ho Chillingworth postavil, je horší než smrt. Kromě toho ho trápí oči přísežného nepřítele, ani nevěděl, kdo to je. Esther se ptá, proč se jí Chillingworth nemiluje; odpoví, že mu pomstil šarlatový dopis. Esther prosí Chillingwortha, aby změnil názor, stále může být spasen, protože tato nenávist ho změnila z moudrého, spravedlivého na ďábla. Je v jeho moci odpustit, odpuštění lidem, kteří ho urazili, bude jeho spasením. Chillingworth ale nemůže odpustit, jeho osud je nenávist a pomsta.

Esther se rozhodne odhalit Dimsdale, že Chillingworth je její manžel. Hledá schůzku s knězem. Nakonec se s ním setká v lese. Dimsdale jí říká, jak trpí skutečností, že ho každý považuje za čistého a neposkvrněného, ​​zatímco se potřísnil hříchem. Je obklopen lži, prázdnotou, smrtí. Esther se zjevuje tomu, kdo se skrývá pod jménem Chillingworth. Dimsdale je rozzuřený: zavinil Esther, že „obnažil svou slabou kriminální duši před pohledem toho, kdo ji tajně vysmíval“. Ale odpouští Esther. Oba věří, že hřích Chillingworthu je ještě horší než jejich hřích: zasáhl svatyni lidského srdce. Chápou - Chillingworth, protože věděl, že Esther odhalí Dimsdale jeho tajemství, vymýšlí nové intriky. Esther nabízí Dimsdale k běhu a zahájení nového života. Souhlasí s kapitánem lodi plující do Bristolu, že vezme na palubu dva dospělé a dítě.

Loď se má plavit za tři dny a v předvečer Dimsdale se chystá číst kázání v den voleb. Ale cítí, jak se jeho mysl zahaluje. Chillingworth mu nabízí jeho pomoc, ale Dimsdale odmítá. Lidé se shromažďují na náměstí, aby slyšeli Dimsdaleovu zprávu. Esther se setká s kapitánem Bristolského plavidla v davu a informuje ji, že s nimi bude také plavit Chillingworth. Vidí na druhé straně náměstí Chillingworth, které se na ni zlověstně usmívá. Dimsdale přináší brilantní kázání. Slavnostní průvod začíná, Dimsdale se rozhodne činit pokání s lidmi. Chillingworth si uvědomil, že to ulehčí trápení trpícího, a pocit, že oběť sklouzává od něj, spěchá k němu a prosí ho, aby nehanbil jeho svatou důstojnost. Dimsdale žádá Esther, aby mu pomohla vylézt na plošinu. Stojí před pranýřem a činí pokání z hříchu před lidmi. Na závěr trhá kněžský šátek a odhaluje jeho hruď. Jeho pohled slábne, umírá, jeho poslední slova - chvála Všemohoucímu. Po městě se plazí různé pověsti: někteří říkají, že na hrudi kněze byl šarlatový dopis - přesně podobná té, kterou nosila Esther Prien. Jiní naopak tvrdí, že knězova prsa byla čistá, ale když vycítil přístup smrti, chtěl se vzdát ducha v náručí padlé ženy, aby ukázal světu, jak pochybné je spravedlnost těch nejnebezpečnějších lidí.

Po smrti Dimsdale se Chillingworth, který ztratil smysl života, okamžitě propadl a jeho duchovní a fyzická síla ho okamžitě opustila. Uplynul ani rok, než zemřel. Odkázal celé své jmění malé Pearl. Po smrti starého doktora Esther a její dcera zmizely a příběh Esther se stal legendou. O mnoho let později se Esther vrátila a znovu si dobrovolně oblékla znak hanby. Žije sama ve svém starém domě na okraji Bostonu. Pearl se očividně šťastně oženil, vzpomněl si na svou matku, napsal jí, poslal dárky a byl by rád, kdyby s ní Esther žila. Ale Esther chtěla žít tam, kde se stal její hřích - věřila, že by tam mělo být také odčinění. Když zemřela, byla pohřbena vedle pastora Dimsdale, ale mezi dvěma hroby zůstala mezera, jako by ani po smrti neměl popel těchto dvou osob právo se mísit.