O sétimo dos 12 filhos, dos quais apenas seis cresceram até à maturidade, J. C. Penney nasceu a 16 de Setembro de 1875, na quinta do seu pai, perto de Hamilton, Missouri. Seu pai, o Reverendo James Cash Penney, Sr., serviu como pregador não remunerado para uma seita fundamentalista conhecida como Batistas Primitivos e cultivada para ganhar a vida. A sua mãe, Mary Frances Paxton Penney, era uma kentuckiana. A vida era sem alegria e difícil para a família, e aos oito anos de idade foi-lhe dito que tinha de comprar a própria roupa. Isto não foi principalmente por necessidade, mas para lhe ensinar o valor do dinheiro e da auto-suficiência. Para ganhar dinheiro, ele comprou um porco, engordou-o e vendeu-o com lucro, depois comprou outros. Mais tarde seu pai ordenou que ele vendesse seus porcos antes que eles estivessem prontos para um preço superior, porque eles eram censuráveis aos vizinhos, então ele se voltou para o cultivo e venda de melancias.
Penney se formou na Hamilton High School em 1893, mas não tinha dinheiro para o ensino superior. Com a ajuda de seu pai ele conseguiu uma posição como balconista em uma loja local de secos e roupas. A partir de 4 de fevereiro de 1895, ele recebeu 25 dólares por mês. Nunca atlético ou fisicamente robusto, pouco mais de dois anos após ele ter começado a trabalhar a sua saúde começou a falhar. A conselho de seu médico, ele partiu em 1897 para o Colorado para recuperar sua saúde. Ele trabalhou brevemente em duas lojas e depois comprou um açougue, mas foi à falência em vez de doar uísque para o cozinheiro de um hotel local a fim de obter negócios.
Uma nova e promissora oportunidade veio quando Penney foi empregado por um comerciante de Longmont, Colorado, T. M. Callahan, para trabalhar na primeira loja de Callahan na sua pequena cadeia de empresas Golden Rule Mercantile. Em março de 1899, Callahan enviou o jovem para trabalhar em sua loja Evanston, Wyoming, com um salário de 50 dólares por mês. Logo depois, em 24 de agosto de 1899, ele se casou com Berta A. Hess, que iria ter dois filhos, Roswell Kemper e James Cash, Jr. Três anos depois, Penney foi enviado para a cidade de Kemmerer, Wyoming, para abrir lá uma nova loja de Regras de Ouro. A loja foi capitalizada em 6.000 dólares, dos quais um terço era de Penney, o que o tornava um sócio júnior. A chance de compartilhar a propriedade aumentou sua ambição, excitou sua imaginação e lhe deu a idéia de um dia ter uma rede de lojas próprias baseada no mesmo princípio de sócios-proprietários que compartilharam dos lucros. No início, ele vivia frugalmente numa sala do sótão por cima da loja. Ele abriu a loja às 7:00 da manhã, fechou às 9:00 ou 10:00 p.m., e trabalhou meio dia no domingo.
Em 1903 ele adquiriu um terço de participação em outra loja Golden Rule, e um ano depois ele supervisionou uma terceira loja na qual ele foi vendido um terço de participação. Em 1907 Penney comprou os outros dois terços de participação nestas três lojas de Regras de Ouro. Ele encontrou, selecionou e treinou homens, convencido de que os gerentes de loja tinham o dever de compartilhar sua experiência com seus promissores vendedores. Ele delegou responsabilidade, colocou sua fé em seu pessoal, e eventualmente os fez parceiros quando novas lojas foram abertas. Cada gerente de loja compartilhou um terço dos lucros, um fator motivador para o sucesso nos negócios, segundo Penney. Em 1909 ele desistiu da gestão pessoal da Kemmererstore e mudou-se para Salt Lake City para estabelecer uma sede para todas as suas lojas.
Em janeiro de 1913 a cadeia Penney foi incorporada e o nome foi mudado para J. C. Penney Company. A sede da cadeia de 48 lojas mudou-se para Nova Iorque em 1914. Penney continuou a expansão e em 1924 abriu a 500ª loja na sua cidade natal de Hamilton, Missouri. A empresa continuou a operar como sociedade até 1927, quando havia mais de 1.000 lojas, necessitando de incorporação total. A partir de 1907, os gerentes passaram a ter estoque na rede, quantidade determinada pelos lucros de suas lojas individuais. Em 1927 eles trocaram essas ações por ações da empresa como um todo.
Penney foi presidente da empresa até 1917, presidente do conselho de administração de 1917 a 1946, e presidente honorário do conselho de administração de 1946 a 1958. Por ocasião de sua morte, em 12 de fevereiro de 1971, ele havia criado um vasto império corporativo. Havia 1.660 lojas com vendas anuais de mais de 4 bilhões de dólares, fazendo com que J. C. Penney ficasse atrás apenas da Sears, Roebuck e Co. nos varejistas não-alimentares do país. Todos os 50.000 empregados, ou “associados” como Penney os chamava, compartilhavam dos lucros.
Penney gostava de ser chamado de “O Homem com Mil Sócios”, uma frase que ele usava no título de uma autobiografia. Ele afirmava que “o meio ético pelo qual eu e os meus sócios ganhamos dinheiro é mais importante do que o fato de termos alcançado sucesso nos negócios”.
Após deixar a presidência da empresa em 1917, Penney gastou mais tempo com os seus interesses externos. Um deles era a criação de gado. Ele dirigiu uma fazenda de 705 acres no estado de Nova York de 1922 a 1953, criando gado leiteiro de raça pura Guernsey. Ele operava outra fazenda no estado de Nova York e oito ou nove fazendas no Missouri. Penney também esteve envolvido com muitos empreendimentos caritativos e religiosos e foi um orador prodigioso. Ele era ativo na Associação Cristã de Moços, Escoteiros, Clube Nacional 4-H, Allied Youth Inc., e no Movimento de Leigos para um Mundo Cristão. Ele fundou um lar para trabalhadores religiosos aposentados na Flórida, em memória de seus pais. Embora tivesse apenas uma educação limitada, ele recebeu 17 títulos honorários e muitas outras honras, prêmios e citações.
Durante seus 95 anos, Penney foi casado três vezes e teve cinco filhos e nove netos. Sua primeira esposa morreu em 1910 e, em 1919, ele casou-se com Mary Hortense Kimball. Ela morreu em 1923, após dar à luz um filho, Kimball. Três anos depois, em 1926, ele casou-se com Caroline B. Autenrieth, que teve duas filhas, Mary Frances e Carol.
A ascensão de Penney à fama e à fortuna não foi uma história de sucesso sem marcas. Um grande desastre financeiro ocorreu no crash da bolsa de 1929. Penney perdeu 40 milhões de dólares quando vários bancos aos quais tinha pedido emprestado empréstimos garantidos pelas suas participações pessoais em acções. Ele deixou seus empregados irem e acabou enfraquecido em espírito e saúde e enfrentando uma dívida de US$ 7 milhões aos 56 anos de idade. Mas Penney foi capaz de recomeçar com dinheiro emprestado e logo recuperou o controle de seu “império”. Nos seus últimos anos, ele reflectiu: “Eu acredito na adesão à Regra de Ouro, fé em Deus e no país. Se eu fosse novamente um jovem, esses seriam os meus princípios cardeais”