谢玄是宰相谢安之侄,自幼聪慧过人,与表兄谢朗一起,都被谢安所器重。谢安常告诫子侄,并问:“子弟亦何豫人事,而正欲使其佳?”诸人莫有言者,唯谢玄回答:“譬如芝兰玉树,欲使其生于庭阶耳”(<晋书·谢玄传>)谢安听后很高兴。
谢玄小时候喜欢佩带紫罗香囊,谢安对此很是担心,但为了不让他伤心,于是便在一次和他作游戏的时候设法把香囊取到手中,把它烧掉,并劝说他以后别带这种东西,谢玄很听谢安的话,于是从此也不去佩带这一类物什。
谢玄长大后,显示出经国才略,朝廷几次召用他,他都推辞不受。后来谢玄与王珣被大将军桓温召为掾吏,不久任征西将军桓豁的司马、领南郡相,监北征诸军事。
当时北方前秦*为强大,前秦王符坚四处用兵,逐渐统一了中国北方,并多次侵扰晋国边境。于是朝廷商议要挑选一位能够防御北方的良将。太元二年(377年)十月,谢安便**了谢玄。中书郎郗超虽然一向和谢氏不和,但听到这一举荐却十分高兴,他称赞道:“安违众举亲,明也。玄必不负举 ,才也”(《晋书·谢玄传》)。而别人却不赞同郗超的意见,郗超又说:“吾尝与玄共在桓公府,见其使才,虽履屐间亦得其任,所以知之”(《晋书·谢玄传》)。于是朝廷召谢玄回朝,任他为建武将军,兖州刺史,领广陵相、监江北诸军事,镇守广陵(今江苏扬州市)。