Robert Smalls se narodil 5. dubna 1839 v Beaufortu v Jižní Karolíně a do svých 12 let pracoval jako domácí otrok. Tehdy ho jeho majitel John K. McKee poslal do Charlestonu, kde pracoval jako číšník, lodní takelážník a námořník, přičemž veškerý výdělek připadl McKeemu. Toto uspořádání trvalo až do Smallsových 18 let, kdy si vyjednal, že si bude moci ponechat celou měsíční mzdu kromě 15 dolarů, což Smallsovi umožnilo začít šetřit peníze. Nashromážděné úspory později použil na koupi své ženy a dcery od jejich majitele za částku 800 dolarů. O několik let později se jim narodil syn.
V roce 1861 byl Smalls najat jako palubní dělník na konfederačním transportním parníku Planter, jehož kapitánem byl generál Roswell Ripley, velitel druhého vojenského okruhu Jižní Karolíny. Planter měl za úkol dopravovat výzbroj do konfederačních pevností. Dne 13. května 1862 se posádka parníku Planter vydala na večer na břeh a nechala Smallse hlídat loď a její obsah. Smalls naložil na loď svou ženu, děti a dalších 12 otroků z města a odplul s ní do oblasti přístavu, kde lodě Unie vytvořily blokádu. Tato cesta vedla kolem pěti pevností, z nichž všechny vyžadovaly správný signál píšťalkou, který oznamoval, že se jedná o loď Konfederace. Smalls nakonec předvedl Planter před blokádní loď Unie Onward a vztyčil bílou vlajku kapitulace. Později předal námořnictvu Unie všechny mapy, námořní kódovou knihu Konfederace a výzbroj i samotnou loď Planter.
Smallsův čin má částečně zásluhu na tom, že přesvědčil váhajícího prezidenta Abrahama Lincolna, aby nyní uvažoval o povolení vstupu Afroameričanů do armády Unie. Smalls se vydal na přednáškové turné po Severu, aby popsal tuto epizodu a získal černošské vojáky pro válečné úsilí. Koncem roku 1863 se vrátil do válečné zóny, aby řídil loď Planter, nyní válečné plavidlo Unie. V prosinci 1863 byl povýšen na kapitána lodi a stal se tak prvním Afroameričanem v této hodnosti v historii námořnictva Spojených států.
Po skončení občanské války Smalls vstoupil do politiky jako republikán. Byl zvolen do Sněmovny reprezentantů Jižní Karolíny a později do Senátu Jižní Karolíny. Do Sněmovny reprezentantů Spojených států byl zvolen nejprve za 5. kongresový obvod Jižní Karolíny a později za 7. kongresový obvod Jižní Karolíny. Smalls působil v Kongresu v letech 1868 až 1889.
Po skončení svého posledního funkčního období se Smalls přestěhoval zpět do Beaufortu v Jižní Karolíně, kde se stal celním výběrčím Spojených států. Zakoupil také dům, v němž byl kdysi otrokem, a bydlel v něm. Robert Smalls zemřel v Beaufortu 22. února 1915 a je zde pohřben se svou rodinou. V době smrti mu bylo 76 let.