Risörs historia går tillbaka till slutet av 1500-talet. Då var Risör ett litet fiskesamhälle dit holländare kom för att köpa timmer. I början av 1600-talet hade två värdshus öppnats som service till de holländska sjömännen. I slutet av 1700-talet var Risör den sjätte största sjöfartsstaden och en av fyra skeppsbyggnadscenter i Norge.

Under 1800-talet spelade Risör en roll i Napoleonkrigen mellan 1807-1814. Danmark-Norge tog Frankrikes sida och blev därmed fiende med Norges mest betydande handelspartner, Storbritannien. Det var söder om Risör i Lyngör som britterna sänkte det sista betydande fartyget, Norges stolthet HDMS Najaden.   

I mitten av 1800-talet försvann Risör nästan från kartan när en olycksalig brand endast lämnade kvar 85 hus och kyrkan från 1647. Staden återuppbyggdes dock och är idag präglad av de vita trähusen. I slutet av 1800-talet var Risör hemmahamn för över 100 segelfartyg och mer än 1000 seglare. Men övergången till ångfartyg och den ekonomiska nedgången till följd av först världskriget förstörde i stor utsträckning Risörs sjöfartsindustri.

Risör har idag närmare 7000 innvånare.