FreeBSD Daily Topicsにあるように
portupgrade -f -o math/gmp libgmp-4.3.2
これをやってもどうしてもアップグレードできないので
pkg_delete -f libgmp-4.3.2
pkgdb -F
portupgrade -a
でなんとかなった。 FreeBSD portsシステムは謎だらけ。