Pepperidge Farm blev grundlagt i 1939 af Margaret Rudkin, en mor til tre drenge. Hun begyndte at bage fuldkornsbrød i køkkenet på sin gård i Fairfield, Connecticut, til sin søn, Mark, som led af allergier og sygdomme og ikke kunne spise det meste kommercielt fremstillede brød, der var tilgængeligt på det tidspunkt.
Læger anbefalede hendes sunde brød til patienter, der havde brug for en mere næringsrig kost, og snart begyndte Margaret at sælge brød i sin lokale købmandsforretning. Kvaliteten var så god, at brødet blev solgt for 25 cents, da alle andre brød kun kostede 10 cents.
Rygterne om Margarets fremragende brød spredte sig, og hun flyttede til sidst fra at bage brødet på sin gård til et stort bageri i 1947. I de følgende år opbyggede Margaret Pepperidge Farm-brandet til en national fødevarevirksomhed og udvidede det til ikke kun at omfatte brød, men også småkager, kiks, kager og wienerbrød.
Goldfish-crackers blev lanceret i USA i 1962, efter at Margaret havde besøgt et schweizisk premiumkagefirma, Kambly, og prøvet deres Goldfish-crackers. Margaret så potentialet og indgik en aftale med Kambly SA om at fremstille og sælge produktet i USA. De første tilgængelige smagsvarianter var Cheese, Pizza, Smoky BBQ og Lightly Salted (nu kaldet Original).