神戸市の玄関駅ですが、すぐ東側が六甲トンネル、西側が神戸トンネルであり、トンネルの隙間に設けられたような位置にあります。1985年6月に地下鉄が開通する以前は、神戸市営バスで市街地へとアクセスする格好になっていました。あまり交通の便がよいとはいえず、神戸市街地から新幹線を利用する場合は、新快速などで新大阪へ出てしまうことも多く、都市の規模に比して存在感の小さい新幹線駅となっています。
神戸市内駅ですが、東海道本線および山陽本線（在来線）とは完全に孤立しているため、新幹線と在来線を乗り継ぐ際には、三ノ宮、元町、神戸、新長田の各駅で乗降することで接続が可能です（中間の地下鉄や路線バスなどの運賃は別払い）。例えば、神戸市内発の乗車券を持っていて住吉駅から乗車しても、三ノ宮や元町などで降り、ここから新神戸まで移動して新幹線に乗り換えることができます。
ホームは対向式2面2線となっており、ホームドアが設置されています。ホームは3階、改札は2階にあります。駅舎はちょうど生田川の上に建っており、駅前広場のすぐ下を川が流れています。
市街地の北の端に位置しているといえます。駅周辺は商店と住宅とが並んでおり、商業施設「新神戸OPA」があります。北野異人館街や布引の滝に近いこともあり、観光の拠点ともなっています。
徒歩で鉄道に連絡する場合は三宮よりも阪急の春日野道のほうが近いのですが、両駅間を歩く人はまずいないでしょう。