La frase sombrero gris se utilizó por primera vez públicamente en el contexto de la seguridad informática cuando DEF CON anunció las primeras sesiones informativas programadas de Sombrero Negro en 1996, aunque puede haber sido utilizada por grupos más pequeños antes de este momento. Además, en esta conferencia se hizo una presentación en la que Mudge, un miembro clave del grupo de hackers L0pht, habló de su intención como hackers de sombrero gris de proporcionar a Microsoft descubrimientos de vulnerabilidades para proteger al gran número de usuarios de su sistema operativo. Por último, Mike Nash, director del grupo de servidores de Microsoft, declaró que los hackers de sombrero gris son muy parecidos a los técnicos de la industria del software independiente en el sentido de que «son valiosos a la hora de darnos información para mejorar nuestros productos».
La frase sombrero gris fue utilizada por el grupo de hackers L0pht en una entrevista de 1999 con The New York Times para describir sus actividades de hacking.
La frase se utilizó para describir a los hackers que apoyan la notificación ética de las vulnerabilidades directamente al proveedor de software, en contraste con las prácticas de divulgación completa que prevalecían en la comunidad de sombrero blanco, según las cuales las vulnerabilidades no se divulgaban fuera de su grupo.
En 2002, sin embargo, la comunidad anti-seguridad publicó el uso del término para referirse a las personas que trabajan en la industria de la seguridad durante el día, pero se dedican a actividades de sombrero negro por la noche. La ironía fue que para los sombreros negros, esta interpretación fue vista como un término despectivo; mientras que entre los sombreros blancos era un término que daba un sentido de notoriedad popular.
Siguiendo el auge y el eventual declive de la «era dorada» de la divulgación total frente a la antiseguridad -y el subsiguiente crecimiento de una filosofía de «hacking ético»- el término sombrero gris comenzó a tomar todo tipo de significados diversos. El procesamiento en Estados Unidos de Dmitry Sklyarov por actividades que eran legales en su país cambió la actitud de muchos investigadores de seguridad. A medida que Internet se utilizaba para funciones más críticas y crecía la preocupación por el terrorismo, el término «sombrero blanco» empezó a referirse a los expertos en seguridad de las empresas que no apoyaban la divulgación total.
En 2008, la EFF definió a los sombreros grises como investigadores de seguridad éticos que inadvertida o discutiblemente violan la ley en un esfuerzo por investigar y mejorar la seguridad. Defienden que las leyes sobre delitos informáticos sean más claras y más limitadas.