1955年、大分市議会議員に選挙朝鮮銀行より2千円の融資を受け、日本社会党から立候補し、当選(以後当選3回)。
1963年、大分県議会議員選挙に支持者の後援で立候補し、当選(以後連続3回当選)。
1972年12月、
第33回衆議院議員総選挙に立候補し、初当選(同じ自治体議員経験者たる社会党新人代議士に
竹村幸雄)。以降、当選8回。官公労、教育行政を中心に、地元政界にも深く影響力を発揮した。
1991年4月、
土井たか子に代わり
田邊誠が日本社会党委員長に就任すると、村山は日本社会党国会対策委員長に就任した。
1992年の
PKO国会では、国会対策委員長として陣頭指揮を執って粘り強く抵抗したものの、6月に自公民3党の多数で成立した。国会対策委員長として国会運営に携わったことから、
自民党の
梶山静六、
公明党の
神崎武法ら、各党国会対策委員長とのパイプを持つに至った。
1993年1月、田邊誠に代わり
山花貞夫が日本社会党委員長に就任したが、村山は国会対策委員長に留任した。
同年7月、
第40回衆議院議員総選挙で自由民主党は過半数を得られず、日本社会党は議席をほぼ半減させた。8月、日本社会党を含む8会派により非自民連立政権である
細川連立内閣が発足した。山花貞夫は政治改革担当大臣として入閣したものの、総選挙での敗北の責任を取り委員長辞任を表明した。後任には委員長代行
久保亘と村山が有力視されるが、委員長選挙への立候補を久保が辞退した。9月に行われた委員長選挙では、無投票当選阻止を図って立候補した
翫正敏を大差で破り、村山が社会党委員長に当選した。当選後、書記長には
久保亘を起用した。
