ムッシュ・オニオン・プロダクション出身、現在はフリー。
東映アニメーション、APPPの作品を中心に活躍する。
師匠は「北斗の拳」シリーズ、「魁!!男塾」で仕事を共にした須田正己。

「北斗の拳2」以降、劇画タッチのアニメーターとして名を馳せ、
その後もOVAシリーズの「BE-BOP-HIGHSCHOOL」「ジョジョの奇妙な冒険」などのキャラクターデザイン・作画監督を務める。

前述の北斗の拳シリーズにおける重量感抜群のキャラクター作画は今でも語り草となっており、
名実ともに羽山淳一の代表作となっている。
そのためか、現在でも北斗の拳関連の版権画などの仕事が羽山のもとに舞い込んでいるという。

実弟は同じくアニメーターの羽山賢二。
また、いとこに撮影監督で、ぎゃろっぷ、ウォルトディズニースタジオジャパンを経て、アンサースタジオ所属「ゴルゴ13」デジタルプロダクションディレクターなどを担当する、羽山泰功がいる。