Seitsemäs kahdestatoista lapsesta, joista vain kuusi varttui täysi-ikäiseksi, syntyi 16. syyskuuta 1875 isänsä maatilalla lähellä Hamiltonia Missourissa. Hänen isänsä, pastori James Cash Penney, vanhempi, toimi palkattomana saarnamiehenä fundamentalistisessa lahkossa, joka tunnettiin nimellä primitiiviset baptistit, ja viljeli maatilaa ansaitakseen elantonsa. Hänen äitinsä Mary Frances Paxton Penney oli Kentuckyn kansalainen. Elämä oli perheelle ilotonta ja vaikeaa, ja kahdeksanvuotiaana nuorelle Penneylle kerrottiin, että hänen oli ostettava omat vaatteensa. Tämä ei johtunut ensisijaisesti välttämättömyydestä, vaan pikemminkin siitä, että hänelle opetettaisiin rahan ja itseluottamuksen arvo. Ansaitakseen rahaa hän osti sian, lihotti sitä ja myi sen voitolla, minkä jälkeen hän osti lisää. Myöhemmin hänen isänsä määräsi hänet myymään sikansa ennen kuin ne olivat valmiita huippuhintaan, koska ne olivat naapureille vastenmielisiä, joten hän siirtyi viljelemään ja myymään vesimeloneita.
Penney valmistui Hamiltonin lukiosta vuonna 1893, mutta hänellä ei ollut rahaa korkeampaan koulutukseen. Isänsä avustuksella hän sai työpaikan myyjänä paikallisessa kuiva-aine- ja vaatekaupassa. Hän aloitti 4. helmikuuta 1895 ja sai palkkaa 25 dollaria kuukaudessa. Hän ei ollut koskaan ollut urheilullinen tai fyysisesti vahva, ja hieman yli kaksi vuotta työnteon aloittamisen jälkeen hänen terveytensä alkoi pettää. Lääkärin neuvosta hän lähti vuonna 1897 Coloradoon saadakseen terveytensä takaisin. Hän työskenteli lyhyen aikaa kahdessa kaupassa ja osti sitten lihakaupan, mutta meni konkurssiin mieluummin kuin lahjoitti viskiä paikallisen hotellin keittäjälle saadakseen liiketoimintaa.
Lupaava uusi tilaisuus tarjoutui, kun Coloradon osavaltiossa Longmontissa asuva kauppias T. M. Callahan palkkasi Penneyn työskentelemään Callahanin ensimmäiseen myymälään hänen pienessä Golden Rule Mercantile Company -ketjussaan. Maaliskuussa 1899 Callahan lähetti nuoren miehen töihin Wyomingin Evanstonissa sijaitsevaan myymäläänsä 50 dollarin kuukausipalkalla. Pian tämän jälkeen, 24. elokuuta 1899, hän meni naimisiin Berta A. Hessin kanssa, joka synnytti kaksi poikaa, Roswell Kemperin ja James Cash Jr. Kolme vuotta myöhemmin Penney lähetettiin Kemmererin kaupunkiin Wyomingiin avaamaan siellä uusi Golden Rule -myymälä. Kaupan pääoma oli 6 000 dollaria, josta kolmannes oli Penneyn, mikä teki hänestä nuoremman osakkaan. Mahdollisuus päästä osakkaaksi lisäsi hänen kunnianhimoaan, kiihdytti hänen mielikuvitustaan ja antoi hänelle ajatuksen siitä, että jonain päivänä hänellä olisi oma myymäläketju, joka perustuisi samaan periaatteeseen, jonka mukaan osakkaat ovat osakkaita ja jakavat voitot. Hän asui aluksi säästeliäästi kaupan yläpuolella olevassa ullakkohuoneessa. Hän avasi liikkeen kello 7.00, sulki sen kello 21.00 tai 22.00 ja työskenteli sunnuntaisin puoli päivää.
Vuonna 1903 hän hankki kolmanneksen osuuden toisesta Golden Rule -liikkeestä, ja vuotta myöhemmin hän valvoi kolmatta liikettä, josta hänelle myytiin kolmannesosuus. Vuonna 1907 Penney osti toisen kahden kolmasosan osuuden näistä kolmesta Golden Rule -liikkeestä. Hän etsi, valitsi ja koulutti miehiä vakuuttuneena siitä, että myymäläpäälliköillä oli velvollisuus jakaa kokemuksensa lupaavien myyjiensä kanssa. Hän delegoi vastuuta, luotti työntekijöihinsä ja teki heistä lopulta osakkaita, kun uusia myymälöitä avattiin. Yksittäiset myymäläpäälliköt jakoivat kolmanneksen voitoista, mikä oli Penneyn mukaan motivoiva tekijä liiketoiminnan menestykselle. Vuoteen 1909 mennessä hän luopui Kemmererstoren henkilökohtaisesta johtamisesta ja muutti Salt Lake Cityyn perustamaan pääkonttoria kaikille myymälöilleen.
Tammikuussa 1913 Penneyn ketju yhtiöitettiin ja nimi muutettiin J. C. Penney Companyksi. Vuonna 1914 48 myymälää käsittävän ketjun pääkonttori muutti New Yorkiin. Penney jatkoi laajentumista ja avasi vuonna 1924 500. myymälän kotikaupunkiinsa Hamiltoniin, Missouriin. Yhtiö jatkoi toimintaansa osakkuusyhtiönä vuoteen 1927 asti, jolloin myymälöitä oli yli 1 000, mikä edellytti täydellistä yhtiöittämistä. Vuodesta 1907 lähtien johtajat olivat saaneet ketjun osakkeita, joiden määrä määräytyi heidän myymälöidensä voittojen mukaan. Vuonna 1927 he vaihtoivat nämä osakkeet koko yhtiön osakkeisiin.
Penney oli yhtiön toimitusjohtaja vuoteen 1917 asti, hallituksen puheenjohtaja vuosina 1917-1946 ja hallituksen kunniapuheenjohtaja vuosina 1946-1958. Kuollessaan 12. helmikuuta 1971 hän oli luonut laajan yritysimperiumin. Yrityksellä oli 1 660 myymälää, joiden vuosimyynti oli yli 4 miljardia dollaria, joten J. C. Penney oli maan toiseksi suurin ei-ruokakauppias Sears, Roebuck and Co:n jälkeen. Kaikki 50 000 työntekijää tai ”osakkuuttajaa”, kuten Penney heitä kutsui, osallistuivat voittoihin.
Penney piti siitä, että häntä kutsuttiin ”mieheksi, jolla on tuhat osakkuutta”, ja tätä ilmaisua hän käytti omaelämäkerran otsikossa. Hän väitti, että ”eettiset keinot, joilla liikekumppanini ja minä olemme tienanneet rahaa, ovat tärkeämpiä kuin se, että olemme saavuttaneet liiketoiminnallista menestystä.”
Lähdettyään yhtiön puheenjohtajuudesta vuonna 1917 Penney käytti enemmän aikaa ulkopuolisiin kiinnostuksen kohteisiinsa. Yksi niistä oli karjankasvatus. Hän piti 705 hehtaarin suuruista maatilaa New Yorkin osavaltiossa vuosina 1922-1953 kasvattaen puhdasrotuista Guernsey-lypsykarjaa. Hänellä oli toinen tila New Yorkin osavaltiossa ja kahdeksan tai yhdeksän tilaa Missourissa. Penney osallistui myös moniin hyväntekeväisyys- ja uskonnollisiin hankkeisiin ja oli loistava puhuja. Hän toimi aktiivisesti nuorten miesten kristillisessä yhdistyksessä, partiolaisissa, kansallisessa 4-H-kerhossa, Allied Youth Inc:ssä ja Laymen’s Movement for a Christian World -järjestössä. Hän perusti Floridaan eläkkeellä olevien uskonnollisten työntekijöiden kodin vanhempiensa muistoksi. Vaikka hänellä oli vain vähäinen koulutus, hän sai 17 kunniatohtorin tutkintoa ja monia muita kunnianosoituksia, palkintoja ja kunniamainintoja.
Penney oli 95 ikävuotensa aikana kolme kertaa naimisissa, ja hänellä oli viisi lasta ja yhdeksän lastenlasta. Hänen ensimmäinen vaimonsa kuoli vuonna 1910, ja vuonna 1919 hän meni naimisiin Mary Hortense Kimballin kanssa. Hän kuoli vuonna 1923 synnytettyään pojan, Kimballin. Kolme vuotta myöhemmin, vuonna 1926, hän meni naimisiin Caroline B. Autenriethin kanssa, joka synnytti kaksi tytärtä, Mary Francesin ja Carolin.
Penneyn nousu kuuluisuuteen ja omaisuuteen ei ollut tahraton menestystarina. Suuri taloudellinen katastrofi iski vuoden 1929 pörssiromahduksessa. Penney menetti 40 miljoonaa dollaria, kun useat pankit, joilta hän oli ottanut lainaa, pakkolunastivat lainat, joiden vakuutena olivat hänen henkilökohtaiset osakeomistuksensa. Hän päästi palvelijansa menemään ja päätyi 56-vuotiaana hengeltään ja terveydeltään heikentyneenä 7 miljoonan dollarin velkoihin. Penney pystyi kuitenkin aloittamaan uudelleen lainarahalla ja sai pian ”imperiuminsa” takaisin hallintaansa. Myöhempinä vuosinaan hän pohdiskeli: ”Uskon kultaisen säännön noudattamiseen, uskoon Jumalaan ja isänmaahan. Jos olisin taas nuori mies, nuo olisivat pääperiaatteeni.”