Robert Smalls blev født i Beaufort, South Carolina, den 5. april 1839 og arbejdede som hjemmeslave, indtil han var 12 år gammel. På det tidspunkt sendte hans ejer, John K. McKee, ham til Charleston for at arbejde som tjener, skibsrigger og sømand, og al indtjening gik til McKee. Denne ordning fortsatte, indtil Smalls var 18 år, hvor han forhandlede sig frem til at beholde alt undtagen 15 dollars af sin månedlige løn, en aftale, der gjorde det muligt for Smalls at begynde at spare penge op. Den opsparing, som han samlede op, blev senere brugt til at købe sin kone og datter fra deres ejer for et beløb på 800 dollars. Deres søn blev født et par år senere.
I 1861 blev Smalls ansat som dæksmand på den konfødererede transportdamper Planter, der havde general Roswell Ripley som kaptajn, der var kommandør for det andet militærdistrikt i South Carolina, som kaptajn. Planter fik til opgave at levere våben til de konfødererede forter. Den 13. maj 1862 gik besætningen på Planter i land for aftenen og efterlod Smalls til at bevogte skibet og dets indhold. Smalls lastede skibet med sin kone, sine børn og 12 andre slaver fra byen og sejlede det til det område af havnen, hvor Unionens skibe havde dannet deres blokade. Denne tur førte skibet forbi fem forter, som alle krævede det korrekte fløjtesignal for at angive, at de var et konfødereret skib. Smalls præsenterede til sidst Planter for Onward, et unionsblokadeskib, og hejste det hvide overgivelsesflag. Senere overdrog han alle søkort, en kodebog for den konfødererede flåde og våben samt Planter selv til Unionens flåde.
Smalls’ bedrift er til dels krediteret for at have overtalt en modvillig præsident Abraham Lincoln til nu at overveje at tillade afroamerikanere at blive optaget i Unionens hær. Smalls tog på en foredragsturné i hele Norden for at beskrive episoden og rekruttere sorte soldater til krigsindsatsen. I slutningen af 1863 vendte han tilbage til krigszonen for at styre Planter, som nu var et af Unionens krigsskibe. I december 1863 blev han forfremmet til kaptajn på skibet og blev den første afroamerikaner til at have denne rang i den amerikanske flådes historie.
Efter borgerkrigen gik Smalls ind i politik som republikaner. Han blev valgt til South Carolinas Repræsentanternes Hus og senere til South Carolinas Senat. Han blev valgt til USA’s Repræsentanternes Hus først fra South Carolinas 5. kongresdistrikt og senere fra South Carolinas 7. kongresdistrikt. Smalls sad i kongressen mellem 1868 og 1889.
Da hans sidste mandatperiode sluttede, flyttede Smalls tilbage til Beaufort, South Carolina for at blive United States Collector of Customs. Han købte og boede også i det hus, hvor han engang havde været slave. Robert Smalls døde i Beaufort den 22. februar 1915 og ligger begravet der sammen med sin familie. Han var 76 år på dødstidspunktet.