ロバート・スモールズは1839年4月5日にサウスカロライナ州ビューフォートで生まれ、12歳まで家内奴隷として働いていた。 その時点で、彼の所有者であるジョン・K・マッキーは彼をチャールストンに送り、ウェイター、船具工、船員として働かせ、その収益はすべてマッキーに支払われた。 この取り決めはスモールズが18歳になるまで続き、彼は毎月の給料のうち15ドルを除くすべてを自分のものにするよう交渉し、この取り決めによってスモールズはお金を貯め始めることができるようになった。 その結果、スモールズは貯金をすることができるようになり、その貯金を元手に妻と娘を800ドルで買い取った。 1861年、スモールズはサウスカロライナ州第二軍管区司令官ロズウェル・リプリー将軍の乗る南軍の輸送蒸気船プランターの甲板員として採用された。 プランター号は南軍の砦に兵器を運ぶ仕事を任されていた。 1862年5月13日、プランター号の乗組員は夕刻に上陸し、スモールズは船とその中身を守るために残された。 スモールズは、妻や子供たち、市内にいた12人の奴隷を船に乗せ、北軍の船が封鎖している港湾地域まで航行させた。 この旅で船は5つの砦を通過したが、どの砦も南軍の船であることを示す正しい汽笛の合図が必要であった。 スモールズは最終的に北軍の封鎖船オンワードの前にプランター号を差し出し、降伏の白旗を掲げた。
スモールズは、渋るリンカーン大統領にアフリカ系アメリカ人の北軍入隊を認めるよう説得した功績があるとされる。 スモールズは、このエピソードを説明し、戦争に参加する黒人兵士を募集するため、北部全域で講演ツアーを行った。 1863年末には戦地に戻り、北軍の軍艦となったプランター号を操縦するようになった。 1863年12月、彼は艦長に昇進し、アメリカ海軍史上初めてアフリカ系アメリカ人としてその地位についた。 南北戦争後、スモールズは共和党の政治家になり、サウスカロライナ州の下院議員に当選、後に上院議員になった。 その後、サウスカロライナ州議会第5区、第7区から下院議員に選出された。 1868年から1889年まで議員を務めた。
最後の任期が終わると、スモールズはサウスカロライナ州ビューフォートに戻り、合衆国税関長に就任した。 また、かつて奴隷であった家を購入し、居住していた。 ロバート・スモールズは1915年2月22日にビューフォートで亡くなり、家族とともに同地に埋葬されている。 死亡時、76歳であった
。