Robert Smalls werd geboren in Beaufort, South Carolina, op 5 april 1839 en werkte als huisslaaf tot hij 12 jaar oud was. Op dat moment stuurde zijn eigenaar, John K. McKee, hem naar Charleston om te werken als kelner, scheepstakelaar en matroos, waarbij alle verdiensten naar McKee gingen. Deze regeling bleef bestaan tot Smalls 18 jaar was, toen hij onderhandelde om op $15 na al zijn maandelijkse loon te mogen houden, een deal die Smalls in staat stelde om geld te gaan sparen. Het spaargeld dat hij verzamelde werd later gebruikt om zijn vrouw en dochter van hun eigenaar te kopen voor een bedrag van $800. Hun zoon werd een paar jaar later geboren.
In 1861 werd Smalls aangenomen als matroos op het confederale transportstoomschip Planter van generaal Roswell Ripley, de commandant van het Tweede Militaire District van Zuid-Carolina. De Planter kreeg de taak om bewapening naar de geconfedereerde forten te brengen. Op 13 mei 1862 ging de bemanning van de Planter voor de avond aan land, Smalls achterlatend om het schip en de inhoud te bewaken. Smalls laadde het schip met zijn vrouw, kinderen en 12 andere slaven uit de stad en voer ermee naar het deel van de haven waar de schepen van de Unie hun blokkade hadden gevormd. Deze tocht voerde het schip langs vijf forten, die allemaal het juiste fluitsignaal nodig hadden om aan te geven dat het om een Confederatie-schip ging. Smalls bood de Planter uiteindelijk aan voor Onward, een unie-blokkadeschip en hijsde de witte vlag van overgave. Later droeg hij alle kaarten, een codeboek van de geconfedereerde marine en de bewapening, evenals de Planter zelf, over aan de marine van de Unie.
Smalls prestatie wordt deels toegeschreven aan het overhalen van een onwillige president Abraham Lincoln om nu te overwegen Afrikaanse Amerikanen toe te laten tot het leger van de Unie. Smalls ging op tournee door het Noorden om de episode te beschrijven en zwarte soldaten te werven voor de oorlogsinspanning. Eind 1863 keerde hij terug naar het oorlogsgebied om de Planter te besturen, nu een oorlogsschip van de Unie. In december 1863 werd hij bevorderd tot kapitein van het schip en werd daarmee de eerste Afro-Amerikaan die deze rang bekleedde in de geschiedenis van de Amerikaanse marine.
Na de Burgeroorlog ging Smalls de politiek in als Republikein. Hij werd gekozen in het Huis van Afgevaardigden van Zuid-Carolina en later in de Senaat van Zuid-Carolina. Hij werd gekozen in het Huis van Afgevaardigden van de Verenigde Staten, eerst vanuit het 5e Congresdistrict van South Carolina en later vanuit het 7e Congresdistrict van South Carolina. Smalls diende in het Congres tussen 1868 en 1889.
Toen zijn laatste ambtstermijn afliep verhuisde Smalls terug naar Beaufort, South Carolina om de United States Collector of Customs te worden. Hij kocht en bewoonde ook het huis waarin hij ooit slaaf was geweest. Robert Smalls stierf in Beaufort op 22 februari 1915 en ligt daar bij zijn familie begraven. Hij was 76 jaar toen hij stierf.