Pepperidge Farmin perusti vuonna 1939 Margaret Rudkin, kolmen pojan äiti. Hän alkoi leipoa täysjyväleipää maatilansa keittiössä Fairfieldissä, Connecticutissa, pojalleen Markille, joka kärsi allergioista ja sairauksista eikä pystynyt syömään suurinta osaa tuolloin saatavilla olleista kaupallisista leivistä.
Lääkärit suosittelivat hänen terveellistä leipäänsä potilaille, jotka tarvitsivat ravitsevampaa ruokavaliota, ja pian Margaret alkoi myydä leipiä paikallisessa ruokakaupassaan. Laatu oli niin hyvää, että leipää myytiin 25 sentillä, kun kaikki muut leivät maksoivat vain 10 senttiä.
Sana Margaretin erinomaisesta leivästä levisi, ja lopulta hän siirtyi leivän leipomisesta maatilallaan suureen leipomoon vuonna 1947. Seuraavina vuosina Margaret rakensi Pepperidge Farm -brändistä kansallisen elintarvikeyrityksen, joka laajeni leivän lisäksi kekseihin, kekseihin, kakkuihin ja leivonnaisiin.
Goldfish-keksit lanseerattiin Yhdysvalloissa vuonna 1962 sen jälkeen, kun Margaret oli vieraillut sveitsiläisessä premium-keksituotevalmistajassa Kamblyssä ja maistanut niiden Goldfish-keksejä. Margaret näki siinä potentiaalia ja teki Kambly SA:n kanssa sopimuksen tuotteen valmistamisesta ja myynnistä Yhdysvalloissa. Ensimmäiset saatavilla olevat maut olivat Cheese, Pizza, Smoky BBQ ja Lightly Salted (nykyään Original).