Error Controller NetApp : PANIC : PCI Error NMI from device(s):NETAPP NVRAM9 on Controller

Baru masuk kerja sudah dapat laporan disk server di site DRC mati, jadi saya harus melakukan onsite ke lokasi DRC, pertama console, posisi sudah masuk ke prompt Loader-A

Loader-A>

Saya coba jalankan boot nya dengan command : boot_ontap dan gagal :

PANIC  : PCI Error NMI from device(s):NETAPP NVRAM9 on Controller.
version: 8.2.1: Fri Mar 21 14:48:58 PDT 2014
conf   : x86_64
cpuid = 3
Uptime: 1m20s

PANIC: PCI Error NMI from device(s):NETAPP NVRAM9 on Controller.  in process idle on release 8.2.1 on Thu Dec 26 09
version: 8.2.1: Fri Mar 21 14:48:58 PDT 2014
compile flags: x86_64
Writing panic info to HA mailbox disks.
HA: current time (in sk_msecs) 29119 (in sk_cycles) 62656352821243748
DUMPCORE: START
oscall_nvram_num_cards:skipping NVRAM device.
Dumping to disks: 0a.00.2 0b.00.11 0a.00.22 0b.00.3
...................................................................................................................
DUMPCORE: END -- coredump written.
System halting...

Saya coba restart baik dengan soft maupun hard reset juga tetap sama.

Solusi dari support nya adalah :

1. Jalankan boot_backup untuk melakukan backup nvram :

LOADER-A> boot_backup

Please choose one of the following:

(1) Normal Boot.
(2) Boot without /etc/rc.
(3) Change password.
(4) Clean configuration and initialize all disks.
(5) Maintenance mode boot.
(6) Update flash from backup config.
(7) Install new software first.
(8) Reboot node.
Selection (1-8)? 5

Mucul pilihan, ketik atau pilih 5

Maka akan masuk ke maintenance mode, lalu tunggu sampai muncul prompt *>

Setelah muncul prompt *> lalu ketik halt

*> halt

Kemudian tekan enter

Tunggu sampai selesai proses booting, Jika masih masuk ke prompt Loader-A, coba jalankan kembali perintah boot_backup

LOADER-A> boot_backup

Please choose one of the following:

(1) Normal Boot.
(2) Boot without /etc/rc.
(3) Change password.
(4) Clean configuration and initialize all disks.
(5) Maintenance mode boot.
(6) Update flash from backup config.
(7) Install new software first.
(8) Reboot node.
Selection (1-8)?

Pilih atau ketik nomor : 1 (Normal Boot)

Tunggu sampai selesai proses booting, Jika masih masuk ke prompt Loader-A, mohon pastikan kabel koneksi antara controller dan disk nya dalam posisi UP led nya (warna hijau), Jika tidak coba matikan total dulu (Power Off) untuk controller dan disk nya. Tunggu 5 menitan dan coba di hidupkan kembali controller dan disk nya

Seharus nya saat ini sudah normal kembali karena sudah berhasil boot dari backup nvram nya

Semoga bermanfaat untuk pembaca semua.

Dony Ramansyah
site : http://donyramansyah.net
blog : dony-ramansyah.blogspot.com
email : dony.ramansyah[at]gmail.com
Registered linux user : ID 40017

Error vcenter : Failed to connect to endpoint vsphere-client isRedirect = false _port = 9090

Setelah problem kemarin, ternyata vm untuk vcenter nya jadi tidak bisa UP service nya, problem pertama nya adalah disk /dev/sda3 untuk partisi root nya gagal di fsck dari proses booting. Solusi nya saya harus masuk ke single mode di linux nya dulu, lalu lakukan fsck dari single mode linux :

# fsck -y /dev/sda3

Setelah selesai fsck dan berhasil di perbaiki partisi nya, lalu saya coba reboot lagi, dan web vcenter sudah muncul, namun ketika akan login muncul error ini :

503 Service Unavailable (Failed to connect to endpoint: [N7Vmacore4Http16LocalServiceSpecE:0x7fd0c818df90] _serverNamespace = /vsphere-client _isRedirect = false _port = 9090)

Saya coba contact support nya, dan diberikan solusi sebagai berikut :

1. Stop service client nya :

# service-control --stop vsphere-client

INFO:root:Service: vsphere-client, Action: stop
Service: vsphere-client, Action: stop
2019-12-27T08:23:55.129Z   Running command: ['/sbin/service', u'vsphere-client', 'status']
2019-12-27T08:23:55.209Z   Done running command

2. Star lagi service client nya :

localhost:~ # service-control --start vsphere-client

INFO:root:Service: vsphere-client, Action: start
Service: vsphere-client, Action: start
2019-12-27T08:24:08.814Z   Running command: ['/sbin/chkconfig', u'vsphere-client']
2019-12-27T08:24:08.847Z   Done running command
2019-12-27T08:24:08.847Z   Running command: ['/sbin/service', u'vsphere-client', 'status']
2019-12-27T08:24:08.927Z   Done running command
2019-12-27T08:24:08.927Z   Running command: ['/sbin/chkconfig', '--force', u'vsphere-client', 'on']
2019-12-27T08:24:08.960Z   Done running command
2019-12-27T08:24:08.960Z   Running command: ['/sbin/service', u'vsphere-client', 'start']
2019-12-27T08:24:12.681Z   Done running command
2019-12-27T08:24:12.681Z   Successfully started service vsphere-client

Setelah itu tunggu agak lama, karena sedang proses untuk menaikan kembali service nya :

The vSphere Client web server is initializing
The vSphere Client web server is still initializing. Please try again shortly.

VMware vSphere Documentation and Support

Tunggu hingga selesai, dan akan normal kembali :

Semoga bermanfaat untuk pembaca semua.

Dony Ramansyah
site : http://donyramansyah.net
blog : dony-ramansyah.blogspot.com
email : dony.ramansyah[at]gmail.com
Registered linux user : ID 40017