เมื่อกลับมาประเทศไทยท่านได้รับราชการในกระทรวงมหาดไทย เป็นข้าหลวงเทศาภิบาลมณฑลนครศรีธรรมราชเป็นคนแรก ในตำแหน่งพระยาสุขุมนัยพินิต ได้พัฒนาปรับปรุงระเบียบการปกครองเจ็ดหัวเมืองภาคใต้เป็นอย่างดี จนได้รับการแต่งตั้งให้เป็นเสนาบดี กระทรวงโยธาธิการ และเสนาบดีกระทรวงนครบาล ตามลำดับ ผลงานของท่านที่กลับมารับราชการในส่วนกลางนั้น เป็นที่น่าประหลาดใจในความสามารถของท่านเป็นอย่างยิ่ง จากเด็กวัดชาวสุพรรณบุรี สู่การเป็นครู และฑูตสันถวไมตรี ท่านกลับมีความสามารถในการก่อสร้างอย่างน่าอัศจรรย์ ท่านเป็นผู้รับผิดชอบในการสร้างประปาพระนคร ไฟฟ้านครหลวง ผู้อำนวยการสร้างถนน สะพานทุกแห่ง ร่วมทั้งพระที่นั่งอนันตสมาคมอันสง่างาม จนได้รับการพระราชทานบรรดาศักดิ์เป็น เจ้าพระยายมราช ในรัชกาลพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 คุณงามความดีและความรับผิดชอบในการปฎิบัติราชการด้วยความซื่อตรง อุตสาหะ ของท่านเจ้าพระยายมราช ทำให้ท่านก้าวเข้าสู่ตำแหน่งสูงสุดในรัชสมัย พระบาทสมเด็จพระเจ้าอยู่หัวอานันทมหิดล รัชกาลที่ 8 ในตำแหน่งผู้สำเร็จราชการแทนพระองค์ และอยู่ในตำแหน่งนี้จนถึงแก่อนิจกรรม ปัจจุบันสถานที่ซึ่งยังเป็นอนุสรณ์อยู่ก็คือ โรงพยาบาลเจ้าพระยายมราช และบ้านเรือนไม้หลังเก่าที่สร้างอยู่ในบริเวณบ้านเดิมของท่านด้านข้างโรง พยาบาล