I have installed Ventura in my Mac Mini 2012 with opencore and have this problem too.
For me the contactsd stoping using the CPU after disable contact sync in the google account.
System adjust->Internet accounts-> Google accout-> turn off Contacts. (For me the mouse can't work to select the account lists an I have used TAB key to hight light and space or enter to select then)
Eu instalei o Ventura no meu Mac Mini 2012 com o opencore e tive o mesmo problema.
Para mim o contactsd parou de usar a CPU depois de desabilitar o sincronismo de contatos do google.
Ajustes do sistema-> Contas de internet->conta do Google->desligar a opção de contatos. (No meu caso o mouse não estava clicando pra selecionar, então precisei o usar a tecla TAB para ir selecionando até chegar na opção desejada e então apertar a tecla espaço ou enter para selecionar)