Lausetta harmaa hattu käytettiin ensimmäisen kerran julkisesti tietoturva-alalla, kun DEF CON -tapahtumassa ilmoitettiin ensimmäisistä suunnitelluista Black Hat -tiedotustilaisuuksista vuonna 1996, vaikka pienemmät ryhmät ovat saattaneet käyttää sitä jo aiemmin. Lisäksi kyseisessä konferenssissa pidettiin esitys, jossa L0pht-hakkeriryhmän keskeinen jäsen Mudge kertoi heidän aikomuksestaan harmaan hatun hakkereina tarjota Microsoftille haavoittuvuuslöydöksiä sen käyttöjärjestelmän valtavan käyttäjämäärän suojelemiseksi. Lopuksi Microsoftin palvelinryhmän johtaja Mike Nash totesi, että harmaan hatun hakkerit muistuttavat paljon itsenäisen ohjelmistoteollisuuden teknisiä henkilöitä siinä mielessä, että ”he ovat arvokkaita antamaan meille palautetta, jotta voimme parantaa tuotteitamme”.
Hakkeriryhmä L0pht käytti vuonna 1999 The New York Timesin haastattelussa ilmaisua harmaa hattu kuvaamaan hakkeritoimintaansa.
Lausetta käytettiin kuvaamaan hakkereita, jotka kannattavat haavoittuvuuksien eettistä raportointia suoraan ohjelmistotoimittajalle vastakohtana valkoisen hatun yhteisössä vallitsevalle full disclosure -käytännölle, jonka mukaan haavoittuvuuksia ei saa paljastaa ryhmänsä ulkopuolelle.
Vuonna 2002 Anti-Sec-yhteisö kuitenkin julkaisi termin käytön viittaamaan henkilöihin, jotka työskentelevät päivisin tietoturva-alalla, mutta harjoittavat mustan hatun aktiviteetteja öisin. Ironista oli se, että mustien hattujen keskuudessa tätä tulkintaa pidettiin halventavana terminä, kun taas valkoisten hattujen keskuudessa se oli termi, joka antoi tunnetta suositusta tunnettuudesta.
Täyden paljastamisen vs. anti-sec-”kultaisen aikakauden” nousun ja lopulta laskun jälkeen – ja sitä seuranneen ”eettisen hakkerointifilosofian” kasvun myötä – termi harmaa hattu (grey hat, grey hat, grey hat) alkoi saada mitä erilaisimpia ja moninaisimpia merkityksiä. Dmitri Skljarovin syytteeseen asettaminen Yhdysvalloissa toiminnasta, joka oli laillista hänen kotimaassaan, muutti monien tietoturvatutkijoiden asenteita. Kun internetiä alettiin käyttää yhä kriittisempiin toimintoihin ja huoli terrorismista kasvoi, termi ”valkoinen hattu” alkoi viitata yritysten tietoturva-asiantuntijoihin, jotka eivät kannattaneet täydellistä paljastamista.
Vuonna 2008 EFF määritteli harmaat hatut eettisiksi tietoturvatutkijoiksi, jotka tahattomasti tai väitetysti rikkovat lakia pyrkiessään tutkimaan ja parantamaan turvallisuutta. He kannattavat tietokonerikoksia koskevia lakeja, jotka ovat selkeämpiä ja suppeampia.