Pepperidge Farm wurde 1939 von Margaret Rudkin, einer Mutter von drei Jungen, gegründet. Sie begann, in der Küche ihrer Farm in Fairfield, Connecticut, Vollkornbrot für ihren Sohn Mark zu backen, der an Allergien und Krankheiten litt und die meisten handelsüblichen Brotsorten, die damals erhältlich waren, nicht essen konnte.
Ärzte empfahlen ihr gesundes Brot Patienten, die eine nährstoffreichere Ernährung benötigten, und bald begann Margaret, Brote in ihrem örtlichen Lebensmittelgeschäft zu verkaufen. Die Qualität war so gut, dass das Brot für 25 Cents verkauft wurde, während alle anderen Brote nur 10 Cents kosteten.
Margarets ausgezeichnetes Brot sprach sich herum, und 1947 zog sie schließlich vom Backen auf ihrem Hof in eine große Bäckerei um. In den folgenden Jahren baute Margaret die Marke Pepperidge Farm zu einem landesweiten Lebensmittelunternehmen aus und expandierte über Brot hinaus zu Keksen, Crackern, Kuchen und Gebäck.
Goldfish-Cracker wurden 1962 in den USA eingeführt, nachdem Margaret eine Schweizer Premium-Keksfirma, Kambly, besucht und deren Goldfish-Cracker probiert hatte. Margaret erkannte das Potenzial und schloss mit Kambly SA eine Vereinbarung über die Herstellung und den Verkauf des Produkts in den USA. Die ersten verfügbaren Geschmacksrichtungen waren Cheese, Pizza, Smoky BBQ und Lightly Salted (heute Original genannt).