現在でも貨物列車が頻繁に出入りする駅で、駅の西側と南側には多くの側線が広がっています。
旅客ホームは、東海道本線が2面4線、身延線が1面2線、いずれも島式となっています。この2つが完全に分かれているのは、東海道本線が当初から国によって建設されたのに対して、身延線の前身にあたる富士身延鉄道が省線の富士駅に乗り入れるという形を取ったためです。
駅舎は橋上に設置されており、メインの出口は北口となっています。駅正面にはペデストリアンデッキが整備されています。
新幹線の新富士駅は、南東へ2キロほど離れたところにあります。
急流を下ってきた富士川のデルタに位置しており、もとは富士川の水運で発展してきましたが、現在は製紙・パルプ関連の工業が中心となっています。
新幹線の新富士駅は、南東へ2キロほど離れたところにあり、路線バスで連絡しています。