J. C. Penney föddes den 16 september 1875 på sin fars gård i närheten av Hamilton, Missouri, och var det sjunde av tolv barn, av vilka endast sex växte upp till vuxen ålder. Hans far, pastor James Cash Penney Sr. tjänstgjorde som obetald predikant för en fundamentalistisk sekt, känd som Primitive Baptists, och bedrev jordbruk för att försörja sig. Hans mor, Mary Frances Paxton Penney, var från Kentuck. Livet var glädjelöst och svårt för familjen, och vid åtta års ålder fick den unge Penney veta att han var tvungen att köpa sina egna kläder. Detta var inte i första hand på grund av nödvändighet, utan snarare för att lära honom värdet av pengar och självtillit. För att tjäna pengar köpte han en gris, gödde den och sålde den med vinst, för att sedan köpa andra. Senare beordrade hans far honom att sälja sina grisar innan de var färdiga för ett högsta pris eftersom de var stötande för grannarna, så han övergick till att odla och sälja vattenmeloner.
Penney tog examen från Hamilton High School 1893 men hade inte pengar för högre utbildning. Med hjälp av sin far fick han en anställning som kontorist i en lokal torrvaru- och klädbutik. Från och med den 4 februari 1895 fick han 25 dollar i månaden. Han var aldrig atletisk eller fysiskt stark och drygt två år efter att han börjat arbeta började hans hälsa svikta. På inrådan av sin läkare reste han 1897 till Colorado för att återfå sin hälsa. Han arbetade kortvarigt i två butiker och köpte sedan en slakteri men gick i konkurs hellre än att skänka whisky till kocken på ett lokalt hotell för att få affärer.
En lovande ny möjlighet kom när Penney anställdes av en köpman i Longmont, Colorado, T. M. Callahan, för att arbeta i Callahans första butik i hans lilla kedja Golden Rule Mercantile Company. I mars 1899 skickade Callahan den unge mannen för att arbeta i sin butik i Evanston, Wyoming, med en lön på 50 dollar i månaden. Kort därefter, den 24 augusti 1899, gifte han sig med Berta A. Hess som skulle föda två söner, Roswell Kemper och James Cash, Jr. Tre år senare skickades Penney till staden Kemmerer i Wyoming för att öppna en ny Golden Rule-butik där. Butiken hade ett kapital på 6 000 dollar, varav en tredjedel tillhörde Penney, vilket gjorde honom till juniorpartner. Chansen att få del i ägandet ökade hans ambitioner, stimulerade hans fantasi och gav honom idén om att en dag ha en egen butikskedja som bygger på samma princip med delägare som delar på vinsten. Till en början levde han sparsamt i ett vindsrum ovanför butiken. Han öppnade butiken klockan sju på morgonen, stängde klockan nio eller tio på kvällen och arbetade en halv dag på söndagen.
1903 förvärvade han en tredjedels andel i en annan Golden Rule-butik, och ett år senare övervakade han en tredje butik i vilken han såldes med en tredjedels andel. År 1907 köpte Penney de andra två tredjedelarna i dessa tre Golden Rule-butiker. Han hittade, valde ut och utbildade män, övertygad om att butikscheferna hade skyldighet att dela med sig av sina erfarenheter till sina lovande säljare. Han delegerade ansvar, litade på sitt folk och gjorde dem så småningom till delägare när nya butiker öppnades. De enskilda butikscheferna delade en tredjedel av vinsten, vilket enligt Penney var en motiverande faktor för framgång i affärslivet. År 1909 gav han upp den personliga ledningen av Kemmererstbutiken och flyttade till Salt Lake City för att upprätta ett huvudkontor för alla sina butiker.
I januari 1913 bolagiserades Penneys kedja och namnet ändrades till J. C. Penney Company. Huvudkontoret för kedjan med 48 butiker flyttade 1914 till New York City. Penney fortsatte expansionen och 1924 öppnade han den 500:e butiken i sin hemstad Hamilton, Missouri. Företaget fortsatte att drivas som ett partnerskap fram till 1927, då det fanns över 1 000 butiker, vilket gjorde det nödvändigt med en fullständig bolagisering. Cheferna hade från och med 1907 fått aktier i kedjan, vars storlek bestämdes av vinsten i deras enskilda butiker. År 1927 bytte de ut dessa aktier mot aktier i företaget som helhet.
Penney var företagets ordförande fram till 1917, styrelseordförande 1917-1946 och hedersordförande 1946-1958. Vid sin död den 12 februari 1971 hade han skapat ett enormt företagsimperium. Det fanns 1 660 butiker med en årlig försäljning på över 4 miljarder dollar, vilket gjorde att J. C. Penney kom på andra plats efter Sears, Roebuck and Co. när det gällde detaljhandel med andra varor än livsmedel i landet. Alla 50 000 anställda, eller ”medarbetare” som Penney kallade dem, fick ta del av vinsten.
Penney gillade att bli kallad ”The Man with a Thousand Partners”, en fras som han använde i titeln på en självbiografi. Han hävdade att ”de etiska metoder genom vilka mina affärspartner och jag har tjänat pengar är viktigare än det faktum att vi har nått affärsframgångar.”
När Penney lämnade ordförandeskapet för företaget 1917 ägnade han mer tid åt sina externa intressen. Ett av dem var boskapsuppfödning. Han drev en gård på 705 hektar i delstaten New York från 1922 till 1953 där han födde upp renrasiga Guernsey-mjölkboskap. Han drev ytterligare en gård i staten New York och åtta eller nio gårdar i Missouri. Penney var också engagerad i många välgörenhets- och religiösa verksamheter och var en fantastisk talare. Han var aktiv i Young Men’s Christian Association, Boy Scouts, National 4-H Club, Allied Youth Inc. och Laymen’s Movement for a Christian World. Han grundade ett hem för pensionerade religiösa arbetare i Florida till minne av sina föräldrar. Trots att han endast hade en begränsad utbildning var han mottagare av 17 hedersgrader och många andra utmärkelser, utmärkelser och citeringar.
Under sina 95 år var Penney gift tre gånger och hade fem barn och nio barnbarn. Hans första fru dog 1910 och 1919 gifte han sig med Mary Hortense Kimball. Hon dog 1923 efter att ha fött en son, Kimball. Tre år senare, 1926, gifte han sig med Caroline B. Autenrieth, som födde två döttrar, Mary Frances och Carol.
Penneys uppgång till berömmelse och förmögenhet var inte en oomärkt framgångssaga. En stor ekonomisk katastrof inträffade i samband med börskraschen 1929. Penney förlorade 40 miljoner dollar när flera banker som han hade lånat av utmätning av lån som var säkrade av hans personliga aktieinnehav. Han lät sina anställda gå och slutade försvagad i själ och hälsa med en skuld på 7 miljoner dollar vid 56 års ålder. Men Penney kunde börja om på nytt med lånade pengar och återfick snart kontrollen över sitt ”imperium”. På sina senare år reflekterade han: ”Jag tror på att hålla fast vid den gyllene regeln, tro på Gud och landet. Om jag var en ung man igen skulle detta vara mina viktigaste principer.”