他不负曾国藩之厚望，率领湘军水师于湘潭之战击败太平军，后随军攻陷岳州，在武汉、田家镇连败太平 军水师。后来他率领的湘军水师在江西湖口被石达开打败。于是他整顿水师，配合陆军于大败太平军于樟树镇、临江等地。接着，他率领的湘军水师与杨载福的部队一起攻占湖口、九江、安庆，升任水师提督，兼兵部右侍郎。在攻占天京（今南京）的战役中，他亲率水师策应曾国荃的陆师沿长江东下，堵截天京护城河口。第二年他与杨载福等攻下江浦、九洑洲、浦口，断绝了天京粮道，成为攻陷天京的大功臣。在剿灭了太平天国后，他一心扑在清军的长江水师的建设中，为清军的这支水师呕心沥血，鞠躬尽瘁。后来倾注了彭玉麟无数心血的长江水师被李鸿章全盘接收，成为北洋水师最主要的力量，近代海军起步于斯。
彭玉麟曾作一联，时人津津乐道，上联“烈士肝肠名士胆”，下联“杀人手段救人心”。他打仗以“不要命”而著称，“日日争命于锋镝丛中”。他常说：“吾不令将士独死，亦不令怯者独生！”史料记载的小孤山之战，当湘军水师进攻小孤山时，太平军“缘岸列炮，丸发如雨”，舰艇若无遮挡，水师官兵不得不思考“避炮子之方”。但试验了很多方法都不奏效。彭玉麟想出一招“以血肉之躯，植立船头，可避则避之，不可避者听之”。他亲自率先“植立船头”，只说一句：“今日，我死日也。义不令将士独死，亦不令怯者独生矣。”于是，他亲率湘军战船勇往直前，直扑小孤山，太平军岸炮齐发，湘军水勇则“出其矫捷之身手，与敏锐之眼光”，能躲则躲，不可躲则成仁，“有俯侧避炮者，皆目笑之，以为大耻”。在太平军的猛烈炮轰下，湘军死伤虽众，但仍然“战两日破之”。彭玉麟十分高兴，写了一首诗：“书生笑率战船来，江上旌旗耀日开，十万貔貅齐奏凯，彭郎夺得小姑回。”并制为诗笺，分送好友。其临危不惧之铁血豪情，令人敬佩不已。
彭玉麟对官场腐败深恶痛绝，下决心不与腐败官员为伍。他任长江水师提督治理水师及兵部尚书的时候，秉公办事，疾恶如仇，严惩恶势力，甚至不惜得罪清廷高官大红人曾国藩和李鸿章。曾国荃是曾国藩亲弟，彭玉麟发现曾国荃的陆军部队纲纪废弛，还抓住了曾国荃手下的两名吸鸦片的战将。曾国藩是彭玉麟的恩师，对他可谓恩重如山，但是彭玉麟却不顾师生情谊，毅然提笔三次弹劾曾国荃，致使曾国藩大怒写信给他责问自己弟弟到底哪里得罪了他。
有一年，彭玉麟路过安庆，忽然有人拦马喊冤，状告当地恶霸李秋升。李秋升是李鸿章的堂侄儿，仗着权倾朝野的李鸿章的势力横行乡里、夺人妻女，当地老百姓敢怒不敢言。经调查，彭玉麟掌握了足够证据，把李秋升抓来审讯，李秋升竟然藐视彭玉麟不敢把他怎么样而供认不讳。彭玉麟断然下令：“此人不除，安庆难安宁。”这时，安徽巡抚闻讯，风疾火急地赶来求情，彭玉麟开栅迎接，密令手下速将恶少斩首。巡抚还在字斟句酌，恶少业已命赴黄泉。事后，彭玉麟致书李鸿章，只是轻描淡写：“令侄坏公家声，想亦公所憾也，吾已为公处置讫矣。”李鸿章阅毕对彭玉麟恨之入骨，却还只得回信道谢！
彭玉麟任职期间还先后弹劾处置了腐败无能官吏一百余人，其中不乏高官。此外，彭玉麟的一个外甥曾任知府，由于贻误军机也被他杀了。他的所作所为在当时的民间流传下一句佳话：“彭公一出，江湖肃然。”安庆候补副将胡开泰召娼杀妻，彭玉麟怒而杀之；湖北总兵衔副将谭祖纶诱劫朋友发妻，还杀人灭口，州、县官员与他沆瀣一气，连总督都袒护他，但彭玉麟照样绳之以法而斩之。