答えはくるみです。知ってるかたもいますよね。
ただこの漢字の成り立ちを知ってる方は少ないのでは？と思い
昨日くるみを食べながらこのうんちくを思いつきました。

実はこの胡桃という漢字、昔の中国の北方にあった国の名前なんです。
くるみは『胡国』と呼ばれる国から日本につたわったとされてます。
そして胡国から伝わった『桃』んみたいな食材から胡桃という漢字が誕生しました。