Joe Gideon kwam voor het eerst onder de aandacht met zijn band Bikini Atoll in 2003. Ze brachten twee albums uit, waarna Joe besloot zijn ambacht als songwriter en tekstschrijver aan te scherpen en samen met zijn zus de tweedelige band Joe Gideon & The Shark te vormen. Het duo bracht twee albums uit en tourde met Seasick Steve en Nick Cave & The Bad Seeds door volle zalen in het Verenigd Koninkrijk. In 2012 gingen de broer en zus ieder hun eigen weg.