De zevende van 12 kinderen, van wie er slechts zes volwassen werden, werd op 16 september 1875 geboren op de boerderij van zijn vader in de buurt van Hamilton, Missouri. Zijn vader, dominee James Cash Penney Sr., diende als onbezoldigd prediker voor een fundamentalistische sekte, bekend als Primitieve Baptisten en boerde om in zijn levensonderhoud te voorzien. Zijn moeder, Mary Frances Paxton Penney, was een Kentuckiaanse. Het leven was vreugdeloos en moeilijk voor het gezin, en op achtjarige leeftijd kreeg de jonge Penney te horen dat hij zijn eigen kleren moest kopen. Dit was niet in de eerste plaats uit noodzaak, maar veeleer om hem de waarde van geld en zelfredzaamheid bij te brengen. Om geld te verdienen kocht hij een varken, vetmestte het, verkocht het met winst en kocht er daarna nog meer. Later beval zijn vader hem zijn varkens te verkopen voordat ze klaar waren voor een hoofdprijs omdat de buren er bezwaar tegen hadden, dus ging hij watermeloenen verbouwen en verkopen.
Penney studeerde in 1893 af aan de Hamilton High School maar had geen geld voor hoger onderwijs. Met de hulp van zijn vader kreeg hij een baan als bediende in een plaatselijke winkel in droge goederen en kleding. Hij begon op 4 februari 1895 en kreeg 25 dollar per maand betaald. Hij was nooit atletisch of fysiek sterk en iets meer dan twee jaar nadat hij was gaan werken begon zijn gezondheid te verslechteren. Op advies van zijn arts vertrok hij in 1897 naar Colorado om zijn gezondheid te herwinnen. Hij werkte kort in twee winkels en kocht daarna een slagerij, maar ging liever failliet dan whisky te schenken aan de kok van een plaatselijk hotel om zaken te doen.
Een veelbelovende nieuwe kans deed zich voor toen Penney in dienst kwam van een koopman uit Longmont, Colorado, T. M. Callahan, om te werken in Callahan’s eerste winkel in zijn kleine keten Golden Rule Mercantile Company. In maart 1899 stuurde Callahan de jongeman naar zijn winkel in Evanston, Wyoming, voor een salaris van 50 dollar per maand. Kort daarna, op 24 augustus 1899, trouwde hij met Berta A. Hess, die twee zonen zou baren, Roswell Kemper en James Cash, Jr. Drie jaar later werd Penney naar de stad Kemmerer, Wyoming, gestuurd om daar een nieuwe Golden Rule Store te openen. De winkel werd gekapitaliseerd op 6.000 dollar, waarvan Penney een derde deel voor zijn rekening nam, waardoor hij een junior partner werd. De kans om te delen in de eigendom verhoogde zijn ambitie, prikkelde zijn verbeelding en gaf hem het idee om op een dag een eigen winkelketen te hebben, gebaseerd op hetzelfde principe van partner-eigenaren die delen in de winst. In het begin woonde hij sober op een zolderkamer boven de winkel. Hij opende de winkel om 7 uur ’s morgens, sloot om 9 of 10 uur ’s avonds, en werkte op zondag een halve dag.
In 1903 verwierf hij een derde belang in een andere Golden Rule winkel, en een jaar later hield hij toezicht op een derde winkel waarin hem een derde belang werd verkocht. In 1907 kocht Penney het andere tweederde belang in deze drie Golden Rule-winkels. Hij vond, selecteerde en trainde mannen, ervan overtuigd dat winkelmanagers de plicht hadden hun ervaring te delen met hun veelbelovende verkopers. Hij delegeerde verantwoordelijkheid, stelde zijn vertrouwen in zijn mensen, en maakte hen uiteindelijk partners wanneer nieuwe winkels werden geopend. Individuele winkelmanagers deelden een derde van de winst, een motiverende factor voor succes in zaken volgens Penney. In 1909 gaf hij het persoonlijk beheer van de Kemmererstore op en verhuisde naar Salt Lake City om een hoofdkantoor voor al zijn winkels op te zetten.
In januari 1913 werd Penney’s keten ingelijfd en werd de naam veranderd in J.C. Penney Company. Het hoofdkantoor voor de keten van 48 winkels verhuisde in 1914 naar New York City. Penney zette de expansie voort en opende in 1924 de 500e winkel in zijn geboortestad Hamilton, Missouri. Het bedrijf bleef opereren als een partnerschap tot 1927, toen er meer dan 1.000 winkels waren, waardoor volledige oprichting noodzakelijk werd. De managers hadden vanaf 1907 aandelen in de keten gekregen, waarvan de hoogte werd bepaald door de winst van hun individuele winkels. In 1927 ruilden zij deze aandelen in voor aandelen in het bedrijf als geheel.
Penney was president van het bedrijf tot 1917, voorzitter van de raad van bestuur van 1917 tot 1946, en ere-voorzitter van de raad van bestuur van 1946 tot 1958. Tegen de tijd van zijn dood op 12 februari 1971, had hij een enorm bedrijfsimperium gecreëerd. Er waren 1.660 winkels met een jaarlijkse omzet van meer dan 4 miljard dollar, waarmee J.C. Penney alleen na Sears, Roebuck and Co. de tweede winkelketen in het land was. Alle 50.000 werknemers, of “associates” zoals Penney ze noemde, deelden in de winst.
Penney werd graag “The Man with a Thousand Partners” genoemd, een uitdrukking die hij gebruikte in de titel van een autobiografie. Hij beweerde dat “de ethische manier waarop mijn zakenpartners en ik geld hebben verdiend belangrijker is dan het feit dat we zakelijk succes hebben behaald.”
Nadat hij in 1917 het presidentschap van het bedrijf opgaf, besteedde Penney meer tijd aan zijn neveninteresses. Een daarvan was veeteelt. Van 1922 tot 1953 had hij een boerderij van 705 hectare in de staat New York, waar hij raszuivere Guernsey-melkvee fokte. Hij exploiteerde nog een boerderij in de staat New York en acht of negen boerderijen in Missouri. Penney was ook betrokken bij vele liefdadigheids- en religieuze activiteiten en was een buitengewoon spreker. Hij was actief in de Young Men’s Christian Association, de padvinders, de nationale 4-H Club, Allied Youth Inc. en de Laymen’s Movement for a Christian World. Hij stichtte een tehuis voor gepensioneerde religieuze arbeiders in Florida ter nagedachtenis aan zijn ouders. Hoewel hij slechts een beperkte opleiding had genoten, ontving hij 17 eredoctoraten en vele andere eerbewijzen, onderscheidingen en citaties.
Tijdens zijn 95 jaar was Penney driemaal getrouwd en kreeg vijf kinderen en negen kleinkinderen. Zijn eerste vrouw stierf in 1910, en in 1919 trouwde hij met Mary Hortense Kimball. Zij stierf in 1923 na het baren van een zoon, Kimball. Drie jaar later, in 1926, trouwde hij met Caroline B. Autenrieth, die twee dochters baarde, Mary Frances en Carol.
Penney’s opgang naar roem en fortuin was geen onbedorven succesverhaal. De beurskrach van 1929 betekende een grote financiële ramp. Penney verloor 40 miljoen dollar toen verschillende banken waarvan hij geleend had, beslag legden op leningen die gedekt waren door zijn persoonlijke aandelenbezit. Hij liet zijn bedienden gaan en eindigde verzwakt in geest en gezondheid en met een schuld van $7 miljoen op 56-jarige leeftijd. Maar Penney was in staat om opnieuw te beginnen met geleend geld en kreeg spoedig weer controle over zijn “imperium”. In zijn latere jaren zei hij: “Ik geloof in het naleven van de gulden regel, geloof in God en het land. Als ik weer jong was, zouden dat mijn kardinale principes zijn.”