Als siebtes von 12 Kindern, von denen nur sechs erwachsen wurden, wurde J. C. Penney am 16. September 1875 auf der Farm seines Vaters in der Nähe von Hamilton, Missouri, geboren. Sein Vater, Reverend James Cash Penney Sr., arbeitete als unbezahlter Prediger für eine fundamentalistische Sekte, die als Primitive Baptisten bekannt war, und verdiente seinen Lebensunterhalt mit der Landwirtschaft. Seine Mutter, Mary Frances Paxton Penney, stammte aus Kentuck. Das Leben der Familie war freudlos und schwierig, und im Alter von acht Jahren wurde dem jungen Penney gesagt, er müsse seine Kleidung selbst kaufen. Dies geschah nicht in erster Linie aus Notwendigkeit, sondern um ihm den Wert des Geldes und der Selbstständigkeit zu vermitteln. Um Geld zu verdienen, kaufte er ein Schwein, mästete es und verkaufte es mit Gewinn, um dann weitere zu kaufen. Später befahl ihm sein Vater, seine Schweine zu verkaufen, bevor sie den Höchstpreis erzielten, weil sie den Nachbarn nicht gefielen, und so wandte er sich dem Anbau und Verkauf von Wassermelonen zu.
Penney machte 1893 seinen Abschluss an der Hamilton High School, hatte aber nicht das Geld für eine höhere Ausbildung. Mit Hilfe seines Vaters bekam er eine Stelle als Angestellter in einem örtlichen Trocken- und Bekleidungsgeschäft. Ab dem 4. Februar 1895 erhielt er 25 Dollar pro Monat. Da er nie sportlich oder körperlich robust war, begann seine Gesundheit etwas mehr als zwei Jahre nach Beginn seiner Tätigkeit zu schwächeln. Auf Anraten seines Arztes reiste er 1897 nach Colorado, um seine Gesundheit wiederzuerlangen. Er arbeitete kurzzeitig in zwei Geschäften und kaufte dann eine Metzgerei, ging aber lieber in Konkurs, als dem Koch eines örtlichen Hotels Whiskey zu spenden, um das Geschäft zu erhalten.
Eine vielversprechende neue Chance ergab sich, als Penney von einem Kaufmann, T. M. Callahan, aus Longmont, Colorado, eingestellt wurde, um in Callahans erstem Geschäft seiner kleinen Kette Golden Rule Mercantile Company zu arbeiten. Im März 1899 schickte Callahan den jungen Mann in sein Geschäft in Evanston, Wyoming, mit einem Gehalt von 50 Dollar pro Monat. Bald darauf, am 24. August 1899, heiratete er Berta A. Hess, die ihm zwei Söhne, Roswell Kemper und James Cash, Jr. Drei Jahre später wurde Penney in die Stadt Kemmerer, Wyoming, geschickt, um dort einen neuen Golden Rule Store zu eröffnen. Das Geschäft wurde mit 6.000 Dollar kapitalisiert, wovon ein Drittel Penney gehörte, was ihn zu einem Juniorpartner machte. Die Chance, Teilhaber zu werden, steigerte seinen Ehrgeiz, regte seine Fantasie an und brachte ihn auf die Idee, eines Tages eine eigene Ladenkette zu besitzen, die auf demselben Prinzip der Teilhaberschaft und Gewinnbeteiligung basierte. Anfangs lebte er sparsam in einem Dachzimmer über dem Geschäft. Er öffnete das Geschäft um 7.00 Uhr morgens, schloss um 21.00 oder 22.00 Uhr und arbeitete sonntags einen halben Tag.
Im Jahr 1903 erwarb er ein Drittel der Anteile an einem weiteren Golden Rule-Geschäft, und ein Jahr später beaufsichtigte er ein drittes Geschäft, an dem er ein Drittel der Anteile verkaufte. Im Jahr 1907 kaufte Penney die anderen zwei Drittel der Anteile an diesen drei Golden-Rule-Läden. Er suchte, wählte und schulte Mitarbeiter, da er davon überzeugt war, dass Filialleiter die Pflicht hatten, ihre Erfahrungen mit ihren vielversprechenden Verkäufern zu teilen. Er übertrug Verantwortung, schenkte seinen Mitarbeitern Vertrauen und machte sie schließlich zu Partnern, wenn neue Geschäfte eröffnet wurden. Die einzelnen Filialleiter wurden mit einem Drittel am Gewinn beteiligt, was laut Penney ein motivierender Faktor für den Geschäftserfolg war. Im Jahr 1909 gab er die persönliche Leitung der Kemmerer-Filiale auf und zog nach Salt Lake City, um dort einen Hauptsitz für alle seine Filialen einzurichten.
Im Januar 1913 wurde Penneys Kette in eine Aktiengesellschaft umgewandelt und der Name in J. C. Penney Company geändert. Der Hauptsitz der Kette mit 48 Filialen wurde 1914 nach New York City verlegt. Penney setzte die Expansion fort und eröffnete 1924 die 500. Filiale in seiner Heimatstadt Hamilton, Missouri. Das Unternehmen wurde bis 1927 als Personengesellschaft weitergeführt, bis es über 1.000 Filialen zählte, was die Gründung einer eigenen Gesellschaft erforderlich machte. Seit 1907 hatten die Manager Aktien der Kette erhalten, deren Höhe sich nach den Gewinnen ihrer einzelnen Geschäfte richtete. Im Jahr 1927 tauschten sie diese Aktien gegen Anteile am gesamten Unternehmen ein.
Penney war bis 1917 Präsident des Unternehmens, von 1917 bis 1946 Vorsitzender des Verwaltungsrats und von 1946 bis 1958 Ehrenvorsitzender des Verwaltungsrats. Bis zu seinem Tod am 12. Februar 1971 hatte er ein riesiges Firmenimperium geschaffen. Mit 1.660 Geschäften und einem Jahresumsatz von über 4 Milliarden Dollar war J. C. Penney nach Sears, Roebuck and Co. das zweitgrößte Einzelhandelsunternehmen im Land. Alle 50.000 Angestellten oder „Mitarbeiter“, wie Penney sie nannte, wurden am Gewinn beteiligt.
Penney wurde gerne als „Der Mann mit den tausend Partnern“ bezeichnet, ein Ausdruck, den er im Titel einer Autobiographie verwendete. Er behauptete, dass „die ethischen Mittel, mit denen meine Geschäftspartner und ich Geld verdient haben, wichtiger sind als die Tatsache, dass wir geschäftlichen Erfolg hatten“.
Nach seinem Ausscheiden aus dem Vorstand des Unternehmens im Jahr 1917 widmete Penney mehr Zeit seinen außerbetrieblichen Interessen. Eines davon war die Viehzucht. Von 1922 bis 1953 betrieb er eine 705 Hektar große Farm im Staat New York, auf der er reinrassige Guernsey-Milchkühe züchtete. Er betrieb eine weitere Farm im Staat New York und acht oder neun Farmen in Missouri. Penney engagierte sich auch in vielen karitativen und religiösen Einrichtungen und war ein hervorragender Redner. Er war aktiv in der Young Men’s Christian Association, den Pfadfindern, dem National 4-H Club, Allied Youth Inc. und der Laienbewegung für eine christliche Welt. Im Gedenken an seine Eltern gründete er in Florida ein Heim für pensionierte Ordensleute. Obwohl er nur über eine begrenzte Bildung verfügte, erhielt er 17 Ehrentitel und viele andere Auszeichnungen und Ehrungen.
Im Laufe seiner 95 Jahre war Penney dreimal verheiratet und hatte fünf Kinder und neun Enkelkinder. Seine erste Frau starb 1910, und 1919 heiratete er Mary Hortense Kimball. Sie starb 1923, nachdem sie einen Sohn, Kimball, geboren hatte. Drei Jahre später, 1926, heiratete er Caroline B. Autenrieth, die ihm zwei Töchter, Mary Frances und Carol, gebar.
Penneys Aufstieg zu Ruhm und Reichtum war keine ungetrübte Erfolgsgeschichte. Beim Börsenkrach von 1929 kam es zu einem großen finanziellen Desaster. Penney verlor 40 Millionen Dollar, als mehrere Banken, bei denen er sich Geld geliehen hatte, die durch seinen persönlichen Aktienbesitz gesicherten Kredite zwangsvollstreckten. Er entließ seine Angestellten und endete im Alter von 56 Jahren geistig und gesundheitlich geschwächt mit einer Verschuldung von 7 Millionen Dollar. Doch Penney konnte mit geliehenem Geld einen Neuanfang wagen und bald die Kontrolle über sein „Imperium“ zurückgewinnen. In seinen späteren Jahren reflektierte er: „Ich glaube an die Einhaltung der Goldenen Regel, an den Glauben an Gott und an das Land. Wenn ich noch einmal ein junger Mann wäre, wären das meine wichtigsten Prinzipien.“