乔玄年轻时担任县里的功曹。当时的豫州刺史周景带领官属巡察到梁国,乔玄前往拜见周景,列数陈相羊昌的罪恶,请求周景任命自己为陈国从事,彻查羊昌的罪行。周景认为他意气豪迈,同意并派他去了。乔玄上任以后,收捕了羊昌的食客,详细地核查他的罪行。但羊昌一直被大将军梁冀优待。梁冀为了羊昌派快马传文书救他。周景按照梁冀的意思召回乔玄,乔玄只交还文书而自己不出发(回去汇报),核查羊昌的罪名更加急切。羊昌最后被囚车押解进京,乔玄因此而出名。
乔玄后来被举荐为孝廉,任命为洛阳左尉。当时梁不疑为河南尹,乔玄因为公事去拜见梁不疑接受问话,但乔玄耻于被梁不疑所侮辱,于是辞官回乡。
后来经过四次升迁而担任齐相,因为过失被罚服兵役,服刑完毕后,乔玄被朝廷征辟,出任上谷太守,后改任为汉阳太守。当时上邽县令皇甫祯犯了贪污罪,乔玄抓捕拷问他并施以拔光头发鞭笞的刑罚,皇甫祯死在冀地的集市。一郡的人都感到震惊。
郡人上邽姜岐,恪守信仰隐居不仕,闻名西州。乔玄召他出仕,姜岐托病不答应。乔玄大怒,命令督邮尹益逼迫他来,并说:“姜岐如果不来,马上就让他的母亲改嫁。”尹益坚持劝止乔玄没有成功,马上转告了姜岐。姜岐坚决躺在床上不起来做事。郡内的官员和读书人也都去劝说乔玄,乔玄才肯罢休。当时的人都拿这件事讥笑他。后来托病免职,又被公车征为司徒长史,后迁任将作大匠。
汉桓帝末年,鲜卑、南匈奴以及高句丽的继承人伯固等一同叛乱,在边境一带抢劫掠夺,四府共同举荐乔玄为度辽将军,特赐可以使用黄钺的权力。乔玄到任,修养兵士,然后监督各将领讨伐胡虏以及伯固等。将其全部击溃,任职三年,边境安定无事。
建宁三年(170年)八月,升任司空。次年三月,接替许训为司徒。 乔玄平日里与南阳太守陈球有仇怨,但当他任三公时,反而推荐陈球任廷尉。乔玄因为国家力量薄弱,并揣度自己的能力没有用武之地,于是托病上奏,把发生的各种灾害归咎在自己身上,于是被免职。一年多后,被任命为尚书令。当时太中大夫盖升和灵帝关系密切,曾任南阳太守,贪污好几亿钱。乔玄上奏罢免盖升并把他关押起来,没收他贿赂所得的财产。灵帝不同意,反而升任盖升为侍中。乔玄托病辞职,又被任命为光禄大夫。
光和元年(178年)十二月,升任太尉。 光和二年(179年)三月,因病再次被免职,改任太中大夫,在家中养病。
光和六年(184年)五月十日(6月6日),乔玄在洛阳去世,享年七十五岁。灵帝甚为哀痛,遣使吊唁并赠送财物,命以隆重的礼仪安葬他。九月十三日(11月4日),乔玄得以安葬。 蔡邕撰有《太尉乔玄碑》、《太尉乔玄碑阴》、《中鼎铭》、《东鼎铭》、《西鼎铭》、《黄钺铭》等传于后世。
出生地:梁国睢阳县(今河南省商丘市)
主要成就:保境安民,击破外族侵扰
典故:百折不饶
知己:曹操