check_openmanage

   1 #!/usr/bin/perl
   2 #
   3 # Nagios plugin
   4 #
   5 # Monitor Dell server hardware status using Dell OpenManage Server
   6 # Administrator, either locally via NRPE, or remotely via SNMP.
   7 #
   8 # $Id$
   9 #
  10 # Copyright (C) 2008-2011 Trond H. Amundsen
  11 #
  12 # This program is free software: you can redistribute it and/or modify
  13 # it under the terms of the GNU General Public License as published by
  14 # the Free Software Foundation, either version 3 of the License, or
  15 # (at your option) any later version.
  16 #
  17 # This program is distributed in the hope that it will be useful, but
  18 # WITHOUT ANY WARRANTY; without even the implied warranty of
  19 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  20 # General Public License for more details.
  21 #
  22 # You should have received a copy of the GNU General Public License
  23 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  24 #
  25
  26 require 5.006;  # Perl v5.6.0 or newer is required
  27 use strict;
  28 use warnings;
  29 use POSIX qw(isatty ceil);
  30 use Getopt::Long qw(:config no_ignore_case);
  31
  32 # Global (package) variables used throughout the code
  33 use vars qw( $NAME $VERSION $AUTHOR $CONTACT $E_OK $E_WARNING $E_CRITICAL
  34              $E_UNKNOWN $FW_LOCK $USAGE $HELP $LICENSE
  35              $snmp_session $snmp_error $omreport $globalstatus $global
  36              $linebreak $omopt_chassis $omopt_system $blade
  37              $exit_code $snmp
  38              %check %opt %reverse_exitcode %status2nagios
  39              %snmp_status %snmp_probestatus %probestatus2nagios %sysinfo
  40              %blacklist %nagios_alert_count %count %snmp_enclosure %snmp_controller
  41              @perl_warnings @controllers @enclosures @perfdata
  42              @report_storage @report_chassis @report_other
  43           );
  44
  45 #---------------------------------------------------------------------
  46 # Initialization and global variables
  47 #---------------------------------------------------------------------
  48
  49 # Collect perl warnings in an array
  50 $SIG{__WARN__} = sub { push @perl_warnings, [@_]; };
  51
  52 # Version and similar info
  53 $NAME    = 'check_openmanage';
  54 $VERSION = '3.7.0-alpha';
  55 $AUTHOR  = 'Trond H. Amundsen';
  56 $CONTACT = 't.h.amundsen@usit.uio.no';
  57
  58 # Exit codes
  59 $E_OK       = 0;
  60 $E_WARNING  = 1;
  61 $E_CRITICAL = 2;
  62 $E_UNKNOWN  = 3;
  63
  64 # Firmware update lock file [FIXME: location on Windows?]
  65 $FW_LOCK = '/var/lock/.spsetup';  # default on Linux
  66
  67 # Usage text
  68 $USAGE = <<"END_USAGE";
  69 Usage: $NAME [OPTION]...
  70 END_USAGE
  71
  72 # Help text
  73 $HELP = <<'END_HELP';
  74
  75 GENERAL OPTIONS:
  76
  77    -p, --perfdata       Output performance data [default=no]
  78    -t, --timeout        Plugin timeout in seconds [default=30]
  79    -c, --critical       Custom temperature critical limits
  80    -w, --warning        Custom temperature warning limits
  81    -d, --debug          Debug output, reports everything
  82    -h, --help           Display this help text
  83    -V, --version        Display version info
  84
  85 SNMP OPTIONS:
  86
  87    -H, --hostname       Hostname or IP (required for SNMP)
  88    -C, --community      SNMP community string [default=public]
  89    -P, --protocol       SNMP protocol version [default=2]
  90    --port               SNMP port number [default=161]
  91    -6, --ipv6           Use IPv6 instead of IPv4 [default=no]
  92    --tcp                Use TCP instead of UDP [default=no]
  93
  94 OUTPUT OPTIONS:
  95
  96    -i, --info           Prefix any alerts with the service tag
  97    -e, --extinfo        Append system info to alerts
  98    -s, --state          Prefix alerts with alert state
  99    -S, --short-state    Prefix alerts with alert state abbreviated
 100    -o, --okinfo         Verbosity when check result is OK
 101    -B, --show-blacklist Show blacklistings in OK output
 102    -I, --htmlinfo       HTML output with clickable links
 103
 104 CHECK CONTROL AND BLACKLISTING:
 105
 106    -a, --all            Check everything, even log content
 107    -b, --blacklist      Blacklist missing and/or failed components
 108    --only               Only check a certain component or alert type
 109    --check              Fine-tune which components are checked
 110    --no-storage         Don't check storage
 111
 112 For more information and advanced options, see the manual page or URL:
 113   http://folk.uio.no/trondham/software/check_openmanage.html
 114 END_HELP
 115
 116 # Version and license text
 117 $LICENSE = <<"END_LICENSE";
 118 $NAME $VERSION
 119 Copyright (C) 2008-2011 $AUTHOR
 120 License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>
 121 This is free software: you are free to change and redistribute it.
 122 There is NO WARRANTY, to the extent permitted by law.
 123
 124 Written by $AUTHOR <$CONTACT>
 125 END_LICENSE
 126
 127 # Options with default values
 128 %opt = ( 'blacklist'         => [],       # blacklisting
 129          'check'             => [],       # check control
 130          'critical'          => [],       # temperature critical limits
 131          'warning'           => [],       # temperature warning limits
 132          'timeout'           => 30,       # default timeout is 30 seconds
 133          'debug'             => 0,        # debugging / verbose output
 134          'help'              => 0,        # display help output
 135          'perfdata'          => undef,    # output performance data
 136          'info'              => 0,        # display servicetag
 137          'extinfo'           => 0,        # display extra info
 138          'htmlinfo'          => undef,    # html tags in output
 139          'postmsg'           => undef,    # post message
 140          'state'             => 0,        # display alert type
 141          'short-state'       => 0,        # display alert type (short)
 142          'okinfo'            => 0,        # default "ok" output level
 143          'show_blacklist'    => 0,        # show blacklisted components
 144          'linebreak'         => undef,    # specify linebreak
 145          'version'           => 0,        # plugin version info
 146          'all'               => 0,        # check everything
 147          'only'              => undef,    # only one component
 148          'no_storage'        => 0,        # don't check storage
 149          'omreport'          => undef,    # omreport path
 150          'port'              => 161,      # default SNMP port
 151          'hostname'          => undef,    # hostname or IP
 152          'community'         => 'public', # SMNP v1 or v2c
 153          'protocol'          => 2,        # default SNMP protocol 2c
 154          'ipv6'              => 0,        # default is IPv4
 155          'tcp'               => 0,        # default is UDP
 156          'username'          => undef,    # SMNP v3
 157          'authpassword'      => undef,    # SMNP v3
 158          'authkey'           => undef,    # SMNP v3
 159          'authprotocol'      => undef,    # SMNP v3
 160          'privpassword'      => undef,    # SMNP v3
 161          'privkey'           => undef,    # SMNP v3
 162          'privprotocol'      => undef,    # SMNP v3
 163          'use_get_table'     => 0,        # hack for SNMPv3 on Windows with net-snmp
 164        );
 165
 166 # Get options
 167 GetOptions('b|blacklist=s'      => \@{ $opt{blacklist} },
 168            'check=s'            => \@{ $opt{check} },
 169            'c|critical=s'       => \@{ $opt{critical} },
 170            'w|warning=s'        => \@{ $opt{warning} },
 171            't|timeout=i'        => \$opt{timeout},
 172            'd|debug'            => \$opt{debug},
 173            'h|help'             => \$opt{help},
 174            'V|version'          => \$opt{version},
 175            'p|perfdata:s'       => \$opt{perfdata},
 176            'i|info'             => \$opt{info},
 177            'e|extinfo'          => \$opt{extinfo},
 178            'I|htmlinfo:s'       => \$opt{htmlinfo},
 179            'postmsg=s'          => \$opt{postmsg},
 180            's|state'            => \$opt{state},
 181            'S|short-state'      => \$opt{shortstate},
 182            'o|ok-info=i'        => \$opt{okinfo},
 183            'B|show-blacklist'   => \$opt{show_blacklist},
 184            'linebreak=s'        => \$opt{linebreak},
 185            'a|all'              => \$opt{all},
 186            'only=s'             => \$opt{only},
 187            'no-storage'         => \$opt{no_storage},
 188            'omreport=s'         => \$opt{omreport},
 189            'port=i'             => \$opt{port},
 190            'H|hostname=s'       => \$opt{hostname},
 191            'C|community=s'      => \$opt{community},
 192            'P|protocol=i'       => \$opt{protocol},
 193            '6|ipv6'             => \$opt{ipv6},
 194            'tcp'                => \$opt{tcp},
 195            'U|username=s'       => \$opt{username},
 196            'authpassword=s'     => \$opt{authpassword},
 197            'authkey=s'          => \$opt{authkey},
 198            'authprotocol=s'     => \$opt{authprotocol},
 199            'privpassword=s'     => \$opt{privpassword},
 200            'privkey=s'          => \$opt{privkey},
 201            'privprotocol=s'     => \$opt{privprotocol},
 202            'use-get_table'      => \$opt{use_get_table},
 203           ) or do { print $USAGE; exit $E_UNKNOWN };
 204
 205 # If user requested help
 206 if ($opt{help}) {
 207     print $USAGE, $HELP;
 208     exit $E_OK;
 209 }
 210
 211 # If user requested version info
 212 if ($opt{version}) {
 213     print $LICENSE;
 214     exit $E_OK;
 215 }
 216
 217 # Setting timeout
 218 $SIG{ALRM} = sub {
 219     print "PLUGIN TIMEOUT: $NAME timed out after $opt{timeout} seconds\n";
 220     exit $E_UNKNOWN;
 221 };
 222 alarm $opt{timeout};
 223
 224 # If we're using SNMP
 225 $snmp = defined $opt{hostname} ? 1 : 0;
 226
 227 # SNMP session variables
 228 $snmp_session = undef;
 229 $snmp_error   = undef;
 230
 231 # The omreport command
 232 $omreport = undef;
 233
 234 # Check flags, override available with the --check option
 235 %check = ( 'storage'     => 1,   # check storage subsystem
 236            'memory'      => 1,   # check memory (dimms)
 237            'fans'        => 1,   # check fan status
 238            'power'       => 1,   # check power supplies
 239            'temp'        => 1,   # check temperature
 240            'cpu'         => 1,   # check processors
 241            'voltage'     => 1,   # check voltage
 242            'batteries'   => 1,   # check battery probes
 243            'amperage'    => 1,   # check power consumption
 244            'intrusion'   => 1,   # check intrusion detection
 245            'sdcard'      => 1,   # check removable flash media (SD cards)
 246            'alertlog'    => 0,   # check the alert log
 247            'esmlog'      => 0,   # check the ESM log (hardware log)
 248            'esmhealth'   => 1,   # check the ESM log overall health
 249          );
 250
 251 # Default line break
 252 $linebreak = isatty(*STDOUT) ? "\n" : '<br/>';
 253
 254 # Line break from option
 255 if (defined $opt{linebreak}) {
 256     if ($opt{linebreak} eq 'REG') {
 257         $linebreak = "\n";
 258     }
 259     elsif ($opt{linebreak} eq 'HTML') {
 260         $linebreak = '<br/>';
 261     }
 262     else {
 263         $linebreak = $opt{linebreak};
 264     }
 265 }
 266
 267 # Exit with status=UNKNOWN if there is firmware upgrade in progress
 268 if (!$snmp && -f $FW_LOCK) {
 269     print "MONITORING DISABLED - Firmware update in progress ($FW_LOCK exists)\n";
 270     exit $E_UNKNOWN;
 271 }
 272
 273 # List of controllers and enclosures
 274 @controllers = ();  # controllers
 275 @enclosures  = ();  # enclosures
 276 %snmp_enclosure   = ();  # enclosures
 277
 278 # Messages
 279 @report_storage = ();  # messages with associated nagios level (storage)
 280 @report_chassis = ();  # messages with associated nagios level (chassis)
 281 @report_other   = ();  # messages with associated nagios level (other)
 282
 283 # Counters for everything
 284 %count
 285   = (
 286      'pdisk'  => 0, # number of physical disks
 287      'vdisk'  => 0, # number of logical drives (virtual disks)
 288      'temp'   => 0, # number of temperature probes
 289      'volt'   => 0, # number of voltage probes
 290      'amp'    => 0, # number of amperage probes
 291      'intr'   => 0, # number of intrusion probes
 292      'dimm'   => 0, # number of memory modules
 293      'mem'    => 0, # total memory
 294      'fan'    => 0, # number of fan probes
 295      'cpu'    => 0, # number of CPUs
 296      'bat'    => 0, # number of batteries
 297      'power'  => 0, # number of power supplies
 298      'sd'     => 0, # number of SD cards
 299      'esm'    => {
 300                   'Critical'     => 0, # critical entries in ESM log
 301                   'Non-Critical' => 0, # warning entries in ESM log
 302                   'Ok'           => 0, # ok entries in ESM log
 303                  },
 304      'alert'  => {
 305                   'Critical'     => 0, # critical entries in alert log
 306                   'Non-Critical' => 0, # warning entries in alert log
 307                   'Ok'           => 0, # ok entries in alert log
 308                  },
 309     );
 310
 311 # Performance data
 312 @perfdata = ();
 313
 314 # Global health status
 315 $global         = 1;      # default is to check global status
 316 $globalstatus   = $E_OK;  # default global health status is "OK"
 317
 318 # Nagios error levels reversed
 319 %reverse_exitcode
 320   = (
 321      $E_OK       => 'OK',
 322      $E_WARNING  => 'WARNING',
 323      $E_CRITICAL => 'CRITICAL',
 324      $E_UNKNOWN  => 'UNKNOWN',
 325     );
 326
 327 # OpenManage (omreport) and SNMP error levels
 328 %status2nagios
 329   = (
 330      'Unknown'         => $E_CRITICAL,
 331      'Critical'        => $E_CRITICAL,
 332      'Non-Critical'    => $E_WARNING,
 333      'Ok'              => $E_OK,
 334      'Non-Recoverable' => $E_CRITICAL,
 335      'Other'           => $E_CRITICAL,
 336     );
 337
 338 # Status via SNMP
 339 %snmp_status
 340   = (
 341      1 => 'Other',
 342      2 => 'Unknown',
 343      3 => 'Ok',
 344      4 => 'Non-Critical',
 345      5 => 'Critical',
 346      6 => 'Non-Recoverable',
 347     );
 348
 349 # Probe Status via SNMP
 350 %snmp_probestatus
 351   = (
 352      1  => 'Other',               # probe status is not one of the following:
 353      2  => 'Unknown',             # probe status is unknown (not known or monitored)
 354      3  => 'Ok',                  # probe is reporting a value within the thresholds
 355      4  => 'nonCriticalUpper',    # probe has crossed upper noncritical threshold
 356      5  => 'criticalUpper',       # probe has crossed upper critical threshold
 357      6  => 'nonRecoverableUpper', # probe has crossed upper non-recoverable threshold
 358      7  => 'nonCriticalLower',    # probe has crossed lower noncritical threshold
 359      8  => 'criticalLower',       # probe has crossed lower critical threshold
 360      9  => 'nonRecoverableLower', # probe has crossed lower non-recoverable threshold
 361      10 => 'failed',              # probe is not functional
 362     );
 363
 364 # Probe status translated to Nagios alarm levels
 365 %probestatus2nagios
 366   = (
 367      'Other'               => $E_CRITICAL,
 368      'Unknown'             => $E_CRITICAL,
 369      'Ok'                  => $E_OK,
 370      'nonCriticalUpper'    => $E_WARNING,
 371      'criticalUpper'       => $E_CRITICAL,
 372      'nonRecoverableUpper' => $E_CRITICAL,
 373      'nonCriticalLower'    => $E_WARNING,
 374      'criticalLower'       => $E_CRITICAL,
 375      'nonRecoverableLower' => $E_CRITICAL,
 376      'failed'              => $E_CRITICAL,
 377     );
 378
 379 # System information gathered
 380 %sysinfo
 381   = (
 382      'bios'     => 'N/A',  # BIOS version
 383      'biosdate' => 'N/A',  # BIOS release date
 384      'serial'   => 'N/A',  # serial number (service tag)
 385      'model'    => 'N/A',  # system model
 386      'rev'      => q{},    # system revision
 387      'osname'   => 'N/A',  # OS name
 388      'osver'    => 'N/A',  # OS version
 389      'om'       => 'N/A',  # OMSA version
 390      'bmc'      => 0,      # HAS baseboard management controller (BMC)
 391      'rac'      => 0,      # HAS remote access controller (RAC)
 392      'rac_name' => 'N/A',  # remote access controller (RAC)
 393      'bmc_fw'   => 'N/A',  # BMC firmware
 394      'rac_fw'   => 'N/A',  # RAC firmware
 395     );
 396
 397 # Adjust which checks to perform
 398 adjust_checks() if defined $opt{check};
 399
 400 # Blacklisted components
 401 %blacklist = defined $opt{blacklist} ? %{ get_blacklist() } : ();
 402
 403 # If blacklisting is in effect, don't check global health status
 404 if (scalar keys %blacklist > 0) {
 405     $global = 0;
 406 }
 407
 408 # Take into account new hardware and blades
 409 $omopt_chassis = 'chassis';  # default "chassis" option to omreport
 410 $omopt_system  = 'system';   # default "system" option to omreport
 411 $blade         = 0;          # if this is a blade system
 412
 413 # Some initializations and checking before we begin
 414 if ($snmp) {
 415     snmp_initialize();    # initialize SNMP
 416     snmp_check();         # check that SNMP works
 417     snmp_detect_blade();  # detect blade via SNMP
 418 }
 419 else {
 420     # Find the omreport binary
 421     find_omreport();
 422     # Check help output from omreport, see which options are available.
 423     # Also detecting blade via omreport.
 424     check_omreport_options();
 425 }
 426
 427
 428 #---------------------------------------------------------------------
 429 # Helper functions
 430 #---------------------------------------------------------------------
 431
 432 #
 433 # Store a message in one of the message arrays
 434 #
 435 sub report {
 436     my ($type, $msg, $exval, $id) = @_;
 437     defined $id or $id = q{};
 438
 439     my %type2array
 440       = (
 441          'storage' => \@report_storage,
 442          'chassis' => \@report_chassis,
 443          'other'   => \@report_other,
 444         );
 445
 446     return push @{ $type2array{$type} }, [ $msg, $exval, $id ];
 447 }
 448
 449
 450 #
 451 # Run command, put resulting output lines in an array and return a
 452 # pointer to that array
 453 #
 454 sub run_command {
 455     my $command = shift;
 456
 457     open my $CMD, '-|', $command
 458       or do { report('other', "Couldn't run command '$command': $!", $E_UNKNOWN)
 459                 and return [] };
 460     my @lines = <$CMD>;
 461     close $CMD
 462       or do { report('other', "Couldn't close filehandle for command '$command': $!", $E_UNKNOWN)
 463                 and return \@lines };
 464     return \@lines;
 465 }
 466
 467 #
 468 # Run command, put resulting output in a string variable and return it
 469 #
 470 sub slurp_command {
 471     my $command = shift;
 472
 473     open my $CMD, '-|', $command
 474       or do { report('other', "Couldn't run command '$command': $!", $E_UNKNOWN) and return };
 475     my $rawtext = do { local $/ = undef; <$CMD> }; # slurping
 476     close $CMD;
 477
 478     # NOTE: We don't check the return value of close() since omreport
 479     # does something weird sometimes.
 480
 481     return $rawtext;
 482 }
 483
 484 #
 485 # Initialize SNMP
 486 #
 487 sub snmp_initialize {
 488     # Legal SNMP v3 protocols
 489     my $snmp_v3_privprotocol = qr{\A des|aes|aes128|3des|3desde \z}xms;
 490     my $snmp_v3_authprotocol = qr{\A md5|sha \z}xms;
 491
 492     # Parameters to Net::SNMP->session()
 493     my %param
 494       = (
 495          '-port'     => $opt{port},
 496          '-hostname' => $opt{hostname},
 497          '-version'  => $opt{protocol},
 498         );
 499
 500     # Setting the domain (IP version and transport protocol)
 501     my $transport = $opt{tcp} ? 'tcp' : 'udp';
 502     my $ipversion = $opt{ipv6} ? 'ipv6' : 'ipv4';
 503     $param{'-domain'} = "$transport/$ipversion";
 504
 505     # Parameters for SNMP v3
 506     if ($opt{protocol} == 3) {
 507
 508         # Username is mandatory
 509         if (defined $opt{username}) {
 510             $param{'-username'} = $opt{username};
 511         }
 512         else {
 513             print "SNMP ERROR: With SNMPv3 the username must be specified\n";
 514             exit $E_UNKNOWN;
 515         }
 516
 517         # Authpassword is optional
 518         if (defined $opt{authpassword}) {
 519             $param{'-authpassword'} = $opt{authpassword};
 520         }
 521
 522         # Authkey is optional
 523         if (defined $opt{authkey}) {
 524             $param{'-authkey'} = $opt{authkey};
 525         }
 526
 527         # Privpassword is optional
 528         if (defined $opt{privpassword}) {
 529             $param{'-privpassword'} = $opt{privpassword};
 530         }
 531
 532         # Privkey is optional
 533         if (defined $opt{privkey}) {
 534             $param{'-privkey'} = $opt{privkey};
 535         }
 536
 537         # Privprotocol is optional
 538         if (defined $opt{privprotocol}) {
 539             if ($opt{privprotocol} =~ m/$snmp_v3_privprotocol/xms) {
 540                 $param{'-privprotocol'} = $opt{privprotocol};
 541             }
 542             else {
 543                 print "SNMP ERROR: Unknown privprotocol '$opt{privprotocol}', "
 544                   . "must be one of [des|aes|aes128|3des|3desde]\n";
 545                 exit $E_UNKNOWN;
 546             }
 547         }
 548
 549         # Authprotocol is optional
 550         if (defined $opt{authprotocol}) {
 551             if ($opt{authprotocol} =~ m/$snmp_v3_authprotocol/xms) {
 552                 $param{'-authprotocol'} = $opt{authprotocol};
 553             }
 554             else {
 555                 print "SNMP ERROR: Unknown authprotocol '$opt{authprotocol}', "
 556                   . "must be one of [md5|sha]\n";
 557                 exit $E_UNKNOWN;
 558             }
 559         }
 560     }
 561     # Parameters for SNMP v2c or v1
 562     elsif ($opt{protocol} == 2 or $opt{protocol} == 1) {
 563         $param{'-community'} = $opt{community};
 564     }
 565     else {
 566         print "SNMP ERROR: Unknown SNMP version '$opt{protocol}'\n";
 567         exit $E_UNKNOWN;
 568     }
 569
 570     # Try to initialize the SNMP session
 571     if ( eval { require Net::SNMP; 1 } ) {
 572         ($snmp_session, $snmp_error) = Net::SNMP->session( %param );
 573         if (!defined $snmp_session) {
 574             printf "SNMP: %s\n", $snmp_error;
 575             exit $E_UNKNOWN;
 576         }
 577     }
 578     else {
 579         print "ERROR: You need perl module Net::SNMP to run $NAME in SNMP mode\n";
 580         exit $E_UNKNOWN;
 581     }
 582     return;
 583 }
 584
 585 #
 586 # Checking if SNMP works by probing for "chassisModelName", which all
 587 # servers should have
 588 #
 589 sub snmp_check {
 590     my $chassisModelName = '1.3.6.1.4.1.674.10892.1.300.10.1.9.1';
 591     my $result = $snmp_session->get_request(-varbindlist => [$chassisModelName]);
 592
 593     # Typically if remote host isn't responding
 594     if (!defined $result) {
 595         printf "SNMP CRITICAL: %s\n", $snmp_session->error;
 596         exit $E_CRITICAL;
 597     }
 598
 599     # If OpenManage isn't installed or is not working
 600     if ($result->{$chassisModelName} =~ m{\A noSuch (Instance|Object) \z}xms) {
 601         print "ERROR: (SNMP) OpenManage is not installed or is not working correctly\n";
 602         exit $E_UNKNOWN;
 603     }
 604     return;
 605 }
 606
 607 #
 608 # Detecting blade via SNMP
 609 #
 610 sub snmp_detect_blade {
 611     my $DellBaseBoardType = '1.3.6.1.4.1.674.10892.1.300.80.1.7.1.1';
 612     my $result = $snmp_session->get_request(-varbindlist => [$DellBaseBoardType]);
 613
 614     # Identify blade. Older models (4th and 5th gen models) and/or old
 615     # OMSA (4.x) don't have this OID. If we get "noSuchInstance" or
 616     # similar, we assume that this isn't a blade
 617     if (exists $result->{$DellBaseBoardType} && $result->{$DellBaseBoardType} eq '3') {
 618         $blade = 1;
 619     }
 620     return;
 621 }
 622
 623 #
 624 # Locate the omreport binary
 625 #
 626 sub find_omreport {
 627     # If user has specified path to omreport
 628     if (defined $opt{omreport} and -x $opt{omreport}) {
 629         $omreport = qq{"$opt{omreport}"};
 630         return;
 631     }
 632
 633     # Possible full paths for omreport
 634     my @omreport_paths
 635       = (
 636          '/opt/dell/srvadmin/bin/omreport',              # default on Linux with OMSA >= 6.2.0
 637          '/usr/bin/omreport',                            # default on Linux with OMSA < 6.2.0
 638          '/opt/dell/srvadmin/oma/bin/omreport.sh',       # alternate on Linux
 639          '/opt/dell/srvadmin/oma/bin/omreport',          # alternate on Linux
 640          'C:\Program Files (x86)\Dell\SysMgt\oma\bin\omreport.exe', # default on Windows x64
 641          'C:\Program Files\Dell\SysMgt\oma\bin\omreport.exe',       # default on Windows x32
 642          'c:\progra~1\dell\sysmgt\oma\bin\omreport.exe', # 8bit legacy default on Windows x32
 643          'c:\progra~2\dell\sysmgt\oma\bin\omreport.exe', # 8bit legacy default on Windows x64
 644         );
 645
 646     # Find the one to use
 647   OMREPORT_PATH:
 648     foreach my $bin (@omreport_paths) {
 649         if (-x $bin) {
 650             $omreport = qq{"$bin"};
 651             last OMREPORT_PATH;
 652         }
 653     }
 654
 655     # Exit with status=UNKNOWN if OM is not installed, or we don't
 656     # have permission to execute the binary
 657     if (!defined $omreport) {
 658         print "ERROR: Dell OpenManage Server Administrator (OMSA) is not installed\n";
 659         exit $E_UNKNOWN;
 660     }
 661     return;
 662 }
 663
 664 #
 665 # Checks output from 'omreport -?' and searches for arguments to
 666 # omreport, to accommodate deprecated options "chassis" and "system"
 667 # (on newer hardware), as well as blade servers.
 668 #
 669 sub check_omreport_options {
 670     foreach (@{ run_command("$omreport -? 2>&1") }) {
 671        if (m/\A servermodule /xms) {
 672            # If "servermodule" argument to omreport exists, use it
 673            # instead of argument "system"
 674            $omopt_system = 'servermodule';
 675        }
 676        elsif (m/\A mainsystem /xms) {
 677            # If "mainsystem" argument to omreport exists, use it
 678            # instead of argument "chassis"
 679            $omopt_chassis = 'mainsystem';
 680        }
 681        elsif (m/\A modularenclosure /xms) {
 682            # If "modularenclusure" argument to omreport exists, assume
 683            # that this is a blade
 684            $blade = 1;
 685        }
 686     }
 687     return;
 688 }
 689
 690 #
 691 # Read the blacklist option and return a hash containing the
 692 # blacklisted components
 693 #
 694 sub get_blacklist {
 695     my @bl = ();
 696     my %blacklist = ();
 697
 698     if (scalar @{ $opt{blacklist} } >= 0) {
 699         foreach my $black (@{ $opt{blacklist} }) {
 700             my $tmp = q{};
 701             if (-f $black) {
 702                 open my $BL, '<', $black
 703                   or do { report('other', "Couldn't open blacklist file $black: $!", $E_UNKNOWN)
 704                             and return {} };
 705                 chomp($tmp = <$BL>);
 706                 close $BL;
 707             }
 708             else {
 709                 $tmp = $black;
 710             }
 711             push @bl, $tmp;
 712         }
 713     }
 714
 715     return {} if $#bl < 0;
 716
 717     # Parse blacklist string, put in hash
 718     foreach my $black (@bl) {
 719         my @comps = split m{/}xms, $black;
 720         foreach my $c (@comps) {
 721             next if $c !~ m/=/xms;
 722             my ($key, $val) = split /=/xms, $c;
 723             my @vals = split /,/xms, $val;
 724             $blacklist{$key} = \@vals;
 725         }
 726     }
 727
 728     return \%blacklist;
 729 }
 730
 731 #
 732 # Read the check option and adjust the hash %check, which is a rough
 733 # list of components to be checked
 734 #
 735 sub adjust_checks {
 736     my @cl = ();
 737
 738     # First, take the '--no-storage' option
 739     if ($opt{no_storage}) {
 740         $check{storage} = 0;
 741     }
 742
 743     # Adjust checking based on the '--all' option
 744     if ($opt{all}) {
 745         # Check option usage
 746         if (defined $opt{only} and $opt{only} !~ m{\A critical|warning \z}xms) {
 747             print qq{ERROR: Wrong simultaneous usage of the "--all" and "--only" options\n};
 748             exit $E_UNKNOWN;
 749         }
 750         if (scalar @{ $opt{check} } > 0) {
 751             print qq{ERROR: Wrong simultaneous usage of the "--all" and "--check" options\n};
 752             exit $E_UNKNOWN;
 753         }
 754
 755         # set the check hash to check everything
 756         map { $_ = 1 } values %check;
 757
 758         return;
 759     }
 760
 761     # Adjust checking based on the '--only' option
 762     if (defined $opt{only} and $opt{only} !~ m{\A critical|warning \z}xms) {
 763         # Check option usage
 764         if (scalar @{ $opt{check} } > 0) {
 765             print qq{ERROR: Wrong simultaneous usage of the "--only" and "--check" options\n};
 766             exit $E_UNKNOWN;
 767         }
 768         if (! exists $check{$opt{only}} && $opt{only} ne 'chassis') {
 769             print qq{ERROR: "$opt{only}" is not a known keyword for the "--only" option\n};
 770             exit $E_UNKNOWN;
 771         }
 772
 773         # reset the check hash
 774         map { $_ = 0 } values %check;
 775
 776         # adjust the check hash
 777         if ($opt{only} eq 'chassis') {
 778             map { $check{$_} = 1 } qw(memory fans power temp cpu voltage
 779                                       batteries amperage intrusion esmhealth);
 780         }
 781         else {
 782             $check{$opt{only}} = 1;
 783         }
 784
 785         return;
 786     }
 787
 788     # Adjust checking based on the '--check' option
 789     if (scalar @{ $opt{check} } >= 0) {
 790         foreach my $check (@{ $opt{check} }) {
 791             my $tmp = q{};
 792             if (-f $check) {
 793                 open my $CL, '<', $check
 794                   or do { report('other', "Couldn't open check file $check: $!", $E_UNKNOWN) and return };
 795                 chomp($tmp = <$CL>);
 796                 close $CL;
 797             }
 798             else {
 799                 $tmp = $check;
 800             }
 801             push @cl, $tmp;
 802         }
 803     }
 804
 805     return if $#cl < 0;
 806
 807     # Parse checklist string, put in hash
 808     foreach my $check (@cl) {
 809         my @checks = split /,/xms, $check;
 810         foreach my $c (@checks) {
 811             next if $c !~ m/=/xms;
 812             my ($key, $val) = split /=/xms, $c;
 813             $check{$key} = $val;
 814         }
 815     }
 816
 817     # Check if we should check global health status
 818   CHECK_KEY:
 819     foreach (keys %check) {
 820         next CHECK_KEY if $_ eq 'esmlog';   # not part of global status
 821         next CHECK_KEY if $_ eq 'alertlog'; # not part of global status
 822
 823         if ($check{$_} == 0) { # found something with checking turned off
 824             $global = 0;
 825             last CHECK_KEY;
 826         }
 827     }
 828
 829     return;
 830 }
 831
 832 #
 833 # Runs omreport and returns an array of anonymous hashes containing
 834 # the output.
 835 # Takes one argument: string containing parameters to omreport
 836 #
 837 sub run_omreport {
 838     my $command = shift;
 839     my @output  = ();
 840     my @keys    = ();
 841
 842     # Errors that are OK. Some low-end poweredge (and blades) models
 843     # don't have RAID controllers, intrusion detection sensor, or
 844     # redundant/instrumented power supplies etc.
 845     my $ok_errors
 846       = qr{
 847             Intrusion\sinformation\sis\snot\sfound\sfor\sthis\ssystem  # No intrusion probe
 848           | No\sinstrumented\spower\ssupplies\sfound\son\sthis\ssystem # No instrumented PS (blades/low-end)
 849           | No\sbattery\sprobes\sfound\son\sthis\ssystem               # No battery probes
 850           | Invalid\scommand:\spwrmonitoring                           # Old hardware
 851           | Hardware\sor\sfeature\snot\spresent\.                      # SD cards
 852           | Invalid\scommand:\sremovableflashmedia                     # SD cards with old OMSA
 853           | Error\sCorrection;                                         # Memory stuff. Not really an error (new in OMSA 6.4)
 854 #          | Current\sprobes\snot\sfound                                # OMSA + RHEL5.4 bug
 855 #          | No\scontrollers\sfound                                     # No RAID controller
 856         }xms;
 857
 858     # Errors that are OK on blade servers
 859     my $ok_blade_errors
 860       = qr{
 861               No\sfan\sprobes\sfound\son\sthis\ssystem   # No fan probes
 862       }xms;
 863
 864     # Run omreport and fetch output
 865     my $rawtext = slurp_command("$omreport $command -fmt ssv 2>&1");
 866     return [] if !defined $rawtext;
 867
 868     # Workaround for Openmanage BUG introduced in OMSA 5.5.0
 869     $rawtext =~ s{\n;}{;}gxms if $command eq 'storage controller';
 870
 871     # Report if no controllers found
 872     if ($command eq 'storage controller' and $rawtext =~ m{No\scontrollers\sfound}xms) {
 873         report('storage', 'Storage Error! No controllers found', $E_UNKNOWN);
 874     }
 875
 876     # Openmanage sometimes puts a linebreak between "Error" and the
 877     # actual error text
 878     $rawtext =~ s{^Error\s*\n}{Error: }xms;
 879
 880     # Parse output, store in array
 881     for ((split m{\n}xms, $rawtext)) {
 882         if (m{\AError}xms) {
 883             next if m{$ok_errors}xms;
 884             next if ($blade and m{$ok_blade_errors}xms);
 885             report('other', "Problem running 'omreport $command': $_", $E_UNKNOWN);
 886         }
 887
 888         next if !m/(.*?;){2}/xms;  # ignore lines with less than 3 fields
 889         my @vals = split /;/xms;
 890         if ($vals[0] =~ m/\A (Index|ID|Severity|Processor|Current\sSpeed|Connector\sName) \z/xms) {
 891             @keys = @vals;
 892         }
 893         else {
 894             my $i = 0;
 895             push @output, { map { $_ => $vals[$i++] } @keys };
 896         }
 897
 898     }
 899
 900     # Finally, return the collected information
 901     return \@output;
 902 }
 903
 904 #
 905 # Checks if a component is blacklisted. Returns 1 if the component is
 906 # blacklisted, 0 otherwise. Takes two arguments:
 907 #   arg1: component name
 908 #   arg2: component id or index
 909 #
 910 sub blacklisted {
 911     my $name = shift;  # component name
 912     my $id   = shift;  # component id
 913     my $ret  = 0;      # return value
 914
 915     if (defined $blacklist{$name}) {
 916         foreach my $comp (@{ $blacklist{$name} }) {
 917             if (defined $id and ($comp eq $id or uc($comp) eq 'ALL')) {
 918                 $ret = 1;
 919             }
 920         }
 921     }
 922
 923     return $ret;
 924 }
 925
 926 # Converts the NexusID from SNMP to our version
 927 sub convert_nexus {
 928     my $nexus = shift;
 929     $nexus =~ s{\A \\}{}xms;
 930     $nexus =~ s{\\}{:}gxms;
 931     return $nexus;
 932 }
 933
 934 # Sets custom temperature thresholds based on user supplied options
 935 sub custom_temperature_thresholds {
 936     my $type   = shift; # type of threshold, either w (warning) or c (critical)
 937     my %thres  = ();    # will contain the thresholds
 938     my @limits = ();    # holds the input
 939
 940     my @opt =  $type eq 'w' ? @{ $opt{warning} } : @{ $opt{critical} };
 941
 942     if (scalar @opt >= 0) {
 943         foreach my $t (@opt) {
 944             my $tmp = q{};
 945             if (-f $t) {
 946                 open my $F, '<', $t
 947                   or do { report('other', "Couldn't open temperature threshold file $t: $!",
 948                                  $E_UNKNOWN) and return {} };
 949                 $tmp = <$F>;
 950                 close $F;
 951             }
 952             else {
 953                 $tmp = $t;
 954             }
 955             push @limits, $tmp;
 956         }
 957     }
 958
 959     # Parse checklist string, put in hash
 960     foreach my $th (@limits) {
 961         my @tmp = split m{,}xms, $th;
 962         foreach my $t (@tmp) {
 963             next if $t !~ m{=}xms;
 964             my ($key, $val) = split m{=}xms, $t;
 965             if ($val =~ m{/}xms) {
 966                 my ($max, $min) = split m{/}xms, $val;
 967                 $thres{$key}{max} = $max;
 968                 $thres{$key}{min} = $min;
 969             }
 970             else {
 971                 $thres{$key}{max} = $val;
 972             }
 973         }
 974     }
 975
 976     return \%thres;
 977 }
 978
 979
 980 # Gets the output from SNMP result according to the OIDs checked
 981 sub get_snmp_output {
 982     my ($result,$oidref) = @_;
 983     my @temp   = ();
 984     my @output = ();
 985
 986     foreach my $oid (keys %{ $result }) {
 987         my $short = $oid;
 988         $short =~ s{\s}{}gxms;                   # remove whitespace
 989         $short =~ s{\A (.+) \. (\d+) \z}{$1}xms; # remove last number
 990         my $id = $2;
 991         if (exists $oidref->{$short}) {
 992             $temp[$id]{$oidref->{$short}} = $result->{$oid};
 993         }
 994     }
 995
 996     # Remove any empty indexes
 997     foreach my $out (@temp) {
 998         if (defined $out) {
 999             push @output, $out;
1000         }
1001     }
1002
1003     return \@output;
1004 }
1005
1006
1007 # Map the controller or other item in-place
1008 sub map_item {
1009     my ($key, $val, $list)  = @_;
1010
1011     foreach my $lst (@{ $list }) {
1012         if (!exists $lst->{$key}) {
1013             $lst->{$key} = $val;
1014         }
1015     }
1016     return;
1017 }
1018
1019 # Return the URL for official Dell documentation for a specific
1020 # PowerEdge server
1021 sub documentation_url {
1022     my $model = shift;
1023
1024     # create model short form, e.g. "r710"
1025     $model =~ s{\A PowerEdge \s (.+?) \z}{lc($1)}exms;
1026
1027     # special case for blades (e.g. M600, M710), they have common
1028     # documentation
1029     $model =~ s{\A m\d+ \z}{m}xms;
1030
1031     return 'http://support.dell.com/support/edocs/systems/pe' . $model . '/';
1032 }
1033
1034 # Return the URL for warranty information for a server with a given
1035 # serial number (servicetag)
1036 sub warranty_url {
1037     my $tag = shift;
1038
1039     # Dell support sites for different parts of the world
1040     my %supportsite
1041       = (
1042          'emea' => 'http://support.euro.dell.com/support/topics/topic.aspx/emea/shared/support/my_systems_info/',
1043          'ap'   => 'http://supportapj.dell.com/support/topics/topic.aspx/ap/shared/support/my_systems_info/en/details?',
1044          'glob' => 'http://support.dell.com/support/topics/global.aspx/support/my_systems_info/details?',
1045         );
1046
1047     # warranty URLs for different country codes
1048     my %url
1049       = (
1050          # EMEA
1051          'at' => $supportsite{emea} . 'de/details?c=at&l=de&ServiceTag=',  # Austria
1052          'be' => $supportsite{emea} . 'nl/details?c=be&l=nl&ServiceTag=',  # Belgium
1053          'cz' => $supportsite{emea} . 'cs/details?c=cz&l=cs&ServiceTag=',  # Czech Republic
1054          'de' => $supportsite{emea} . 'de/details?c=de&l=de&ServiceTag=',  # Germany
1055          'dk' => $supportsite{emea} . 'da/details?c=dk&l=da&ServiceTag=',  # Denmark
1056          'es' => $supportsite{emea} . 'es/details?c=es&l=es&ServiceTag=',  # Spain
1057          'fi' => $supportsite{emea} . 'fi/details?c=fi&l=fi&ServiceTag=',  # Finland
1058          'fr' => $supportsite{emea} . 'fr/details?c=fr&l=fr&ServiceTag=',  # France
1059          'gr' => $supportsite{emea} . 'en/details?c=gr&l=el&ServiceTag=',  # Greece
1060          'it' => $supportsite{emea} . 'it/details?c=it&l=it&ServiceTag=',  # Italy
1061          'il' => $supportsite{emea} . 'en/details?c=il&l=en&ServiceTag=',  # Israel
1062          'me' => $supportsite{emea} . 'en/details?c=me&l=en&ServiceTag=',  # Middle East
1063          'no' => $supportsite{emea} . 'no/details?c=no&l=no&ServiceTag=',  # Norway
1064          'nl' => $supportsite{emea} . 'nl/details?c=nl&l=nl&ServiceTag=',  # The Netherlands
1065          'pl' => $supportsite{emea} . 'pl/details?c=pl&l=pl&ServiceTag=',  # Poland
1066          'pt' => $supportsite{emea} . 'en/details?c=pt&l=pt&ServiceTag=',  # Portugal
1067          'ru' => $supportsite{emea} . 'ru/details?c=ru&l=ru&ServiceTag=',  # Russia
1068          'se' => $supportsite{emea} . 'sv/details?c=se&l=sv&ServiceTag=',  # Sweden
1069          'uk' => $supportsite{emea} . 'en/details?c=uk&l=en&ServiceTag=',  # United Kingdom
1070          'za' => $supportsite{emea} . 'en/details?c=za&l=en&ServiceTag=',  # South Africa
1071          # America
1072          'br' => $supportsite{glob} . 'c=br&l=pt&ServiceTag=',  # Brazil
1073          'ca' => $supportsite{glob} . 'c=ca&l=en&ServiceTag=',  # Canada
1074          'mx' => $supportsite{glob} . 'c=mx&l=es&ServiceTag=',  # Mexico
1075          'us' => $supportsite{glob} . 'c=us&l=en&ServiceTag=',  # USA
1076          # Asia/Pacific
1077          'au' => $supportsite{ap} . 'c=au&l=en&ServiceTag=',  # Australia
1078          'cn' => $supportsite{ap} . 'c=cn&l=zh&ServiceTag=',  # China
1079          'in' => $supportsite{ap} . 'c=in&l=en&ServiceTag=',  # India
1080          # default fallback
1081          'XX' => $supportsite{glob} . 'ServiceTag=',  # default
1082         );
1083
1084     if (exists $url{$opt{htmlinfo}}) {
1085         return $url{$opt{htmlinfo}} . $tag;
1086     }
1087     else {
1088         return $url{XX} . $tag;
1089     }
1090 }
1091
1092
1093 # This helper function returns the corresponding value of a hash key,
1094 # but takes into account that the key may not exist
1095 sub get_hashval {
1096     my $key  = shift || return undef;
1097     my $hash = shift;
1098     return defined $hash->{$key} ? $hash->{$key} : "Undefined value $key";
1099 }
1100
1101 # Find component status from hash
1102 sub get_snmp_status {
1103     my $key  = shift || return 'Unknown';
1104     return exists $snmp_status{$key} ? $snmp_status{$key} : 'Unknown';
1105 }
1106
1107 # Find component status from hash
1108 sub get_snmp_probestatus {
1109     my $key  = shift || return 'Unknown';
1110     return exists $snmp_probestatus{$key} ? $snmp_probestatus{$key} : 'Unknown';
1111 }
1112
1113 # Check that a hash entry is defined and not an empty string. Return a
1114 # chosen string (parameter) if these conditions are not met
1115 sub get_nonempty_string {
1116     my $key  = shift;  # key to check
1117     my $hash = shift;  # hash where the key belongs
1118     my $alt  = shift;  # alternate return value
1119     if (defined $hash->{$key} and $hash->{$key} ne q{}) {
1120         return $hash->{$key};
1121     }
1122     return $alt;
1123 }
1124
1125
1126 #---------------------------------------------------------------------
1127 # Check functions
1128 #---------------------------------------------------------------------
1129
1130 #-----------------------------------------
1131 # Check global health status
1132 #-----------------------------------------
1133 sub check_global {
1134     my $health = $E_OK;
1135
1136     if ($snmp) {
1137         #
1138         # Checks global status, i.e. both storage and chassis
1139         #
1140         my $systemStateGlobalSystemStatus = '1.3.6.1.4.1.674.10892.1.200.10.1.2.1';
1141         my $result = $snmp_session->get_request(-varbindlist => [$systemStateGlobalSystemStatus]);
1142         if (!defined $result) {
1143             printf "SNMP ERROR [global]: %s\n", $snmp_error;
1144             exit $E_UNKNOWN;
1145         }
1146         $health = $status2nagios{get_snmp_status($result->{$systemStateGlobalSystemStatus})};
1147     }
1148     else {
1149         #
1150         # NB! This does not check storage, only chassis...
1151         #
1152         foreach (@{ run_command("$omreport $omopt_system -fmt ssv") }) {
1153             next if !m/;/xms;
1154             next if m/\A SEVERITY;COMPONENT/xms;
1155             if (m/\A (.+?);Main\sSystem(\sChassis)? /xms) {
1156                 $health = $status2nagios{$1};
1157                 last;
1158             }
1159         }
1160     }
1161
1162     # Return the status
1163     return $health;
1164 }
1165
1166
1167 #-----------------------------------------
1168 # STORAGE: Check controllers
1169 #-----------------------------------------
1170 sub check_controllers {
1171     my $nexus    = undef;
1172     my $name     = undef;
1173     my $state    = undef;
1174     my $status   = undef;
1175     my $minfw    = undef;
1176     my $mindr    = undef;
1177     my $firmware = undef;
1178     my $driver   = undef;
1179     my $minstdr  = undef;  # Minimum required Storport driver version
1180     my $stdr     = undef;  # Storport driver version
1181     my @output   = ();
1182
1183     if ($snmp) {
1184         my %ctrl_oid
1185           = (
1186              '1.3.6.1.4.1.674.10893.1.20.130.1.1.1'  => 'controllerNumber',
1187              '1.3.6.1.4.1.674.10893.1.20.130.1.1.2'  => 'controllerName',
1188              '1.3.6.1.4.1.674.10893.1.20.130.1.1.5'  => 'controllerState',
1189              '1.3.6.1.4.1.674.10893.1.20.130.1.1.8'  => 'controllerFWVersion',
1190              '1.3.6.1.4.1.674.10893.1.20.130.1.1.38' => 'controllerComponentStatus',
1191              '1.3.6.1.4.1.674.10893.1.20.130.1.1.39' => 'controllerNexusID',
1192              '1.3.6.1.4.1.674.10893.1.20.130.1.1.41' => 'controllerDriverVersion',
1193              '1.3.6.1.4.1.674.10893.1.20.130.1.1.44' => 'controllerMinFWVersion',
1194              '1.3.6.1.4.1.674.10893.1.20.130.1.1.45' => 'controllerMinDriverVersion',
1195              '1.3.6.1.4.1.674.10893.1.20.130.1.1.55' => 'controllerStorportDriverVersion',
1196              '1.3.6.1.4.1.674.10893.1.20.130.1.1.56' => 'controllerMinRequiredStorportVer',
1197             );
1198
1199         # We use get_table() here for the odd case where a server has
1200         # two or more controllers, and where some OIDs are missing on
1201         # one of the controllers.
1202         my $controllerTable = '1.3.6.1.4.1.674.10893.1.20.130.1';
1203         my $result = $snmp_session->get_table(-baseoid => $controllerTable);
1204
1205         if (!defined $result) {
1206             report('storage', 'Storage Error! No controllers found', $E_UNKNOWN);
1207             return;
1208         }
1209
1210         @output = @{ get_snmp_output($result, \%ctrl_oid) };
1211     }
1212     else {
1213         @output = @{ run_omreport('storage controller') };
1214     }
1215
1216     my %ctrl_state
1217       = (
1218          0 => 'Unknown',
1219          1 => 'Ready',
1220          2 => 'Failed',
1221          3 => 'Online',
1222          4 => 'Offline',
1223          6 => 'Degraded',
1224         );
1225
1226   CTRL:
1227     foreach my $out (@output) {
1228         if ($snmp) {
1229             $name     = $out->{controllerName} || 'Unknown controller';
1230             $state    = get_hashval($out->{controllerState}, \%ctrl_state) || 'Unknown state';
1231             $status   = get_snmp_status($out->{controllerComponentStatus});
1232             $minfw    = $out->{controllerMinFWVersion} || undef;
1233             $mindr    = $out->{controllerMinDriverVersion} || undef;
1234             $firmware = $out->{controllerFWVersion} || 'N/A';
1235             $driver   = $out->{controllerDriverVersion} || 'N/A';
1236             $minstdr  = $out->{'controllerMinRequiredStorportVer'} || undef;
1237             $stdr     = $out->{controllerStorportDriverVersion} || undef;
1238             $nexus    = convert_nexus(($out->{controllerNexusID} || 9999));
1239         }
1240         else {
1241             $nexus    = get_nonempty_string('ID', $out, '9999');
1242             $name     = get_nonempty_string('Name', $out, 'Unknown controller');
1243             $state    = get_nonempty_string('State', $out, 'Unknown state');
1244             $status   = get_nonempty_string('Status', $out, 'Unknown');
1245             $minfw    = $out->{'Minimum Required Firmware Version'} ne 'Not Applicable'
1246               ? $out->{'Minimum Required Firmware Version'} : undef;
1247             $mindr    = $out->{'Minimum Required Driver Version'} ne 'Not Applicable'
1248               ? $out->{'Minimum Required Driver Version'} : undef;
1249             $firmware = $out->{'Firmware Version'} ne 'Not Applicable'
1250               ? $out->{'Firmware Version'} : 'N/A';
1251             $driver   = $out->{'Driver Version'} ne 'Not Applicable'
1252               ? $out->{'Driver Version'} : 'N/A';
1253             $minstdr  = (exists $out->{'Minimum Required Storport Driver Version'}
1254                          and $out->{'Minimum Required Storport Driver Version'} ne 'Not Applicable')
1255               ? $out->{'Minimum Required Storport Driver Version'} : undef;
1256             $stdr     = (exists $out->{'Storport Driver Version'}
1257                          and $out->{'Storport Driver Version'} ne 'Not Applicable')
1258               ? $out->{'Storport Driver Version'} : undef;
1259         }
1260
1261         $name =~ s{\s+\z}{}xms; # remove trailing whitespace
1262         push @controllers, $nexus;
1263
1264         # Collecting some storage info
1265         $sysinfo{'controller'}{$nexus}{'id'}       = $nexus;
1266         $sysinfo{'controller'}{$nexus}{'name'}     = $name;
1267         $sysinfo{'controller'}{$nexus}{'driver'}   = $driver;
1268         $sysinfo{'controller'}{$nexus}{'firmware'} = $firmware;
1269         $sysinfo{'controller'}{$nexus}{'storport'} = $stdr;
1270
1271         # Store controller info for future use (SNMP)
1272         if ($snmp) {
1273             $snmp_controller{$out->{controllerNumber}} = $nexus;
1274         }
1275
1276         next CTRL if blacklisted('ctrl', $nexus);
1277
1278         # Special case: old firmware
1279         if (!blacklisted('ctrl_fw', $nexus) && defined $minfw) {
1280             chomp $firmware;
1281             my $msg = sprintf q{Controller %d [%s]: Firmware '%s' is out of date},
1282               $nexus, $name, $firmware;
1283             report('storage', $msg, $E_WARNING, $nexus);
1284         }
1285         # Special case: old driver
1286         if (!blacklisted('ctrl_driver', $nexus) && defined $mindr) {
1287             chomp $driver;
1288             my $msg = sprintf q{Controller %d [%s]: Driver '%s' is out of date},
1289               $nexus, $name, $driver;
1290             report('storage', $msg, $E_WARNING, $nexus);
1291         }
1292         # Special case: old storport driver
1293         if (!blacklisted('ctrl_stdr', $nexus) && defined $minstdr) {
1294             chomp $stdr;
1295             my $msg = sprintf q{Controller %d [%s]: Storport driver '%s' is out of date},
1296               $nexus, $name, $stdr;
1297             report('storage', $msg, $E_WARNING, $nexus);
1298         }
1299         # Ok
1300         if ($status eq 'Ok' or ($status eq 'Non-Critical'
1301                                 and (defined $minfw or defined $mindr or defined $minstdr))) {
1302             my $msg = sprintf 'Controller %d [%s] is %s',
1303               $nexus, $name, $state;
1304             report('storage', $msg, $E_OK, $nexus);
1305         }
1306         # Default
1307         else {
1308             my $msg = sprintf 'Controller %d [%s] needs attention: %s',
1309               $nexus, $name, $state;
1310             report('storage', $msg, $status2nagios{$status}, $nexus);
1311         }
1312     }
1313     return;
1314 }
1315
1316
1317 #-----------------------------------------
1318 # STORAGE: Check physical drives
1319 #-----------------------------------------
1320 sub check_physical_disks {
1321     return if $#controllers == -1;
1322
1323     my $nexus    = undef;
1324     my $name     = undef;
1325     my $state    = undef;
1326     my $status   = undef;
1327     my $fpred    = undef;
1328     my $progr    = undef;
1329     my $ctrl     = undef;
1330     my $vendor   = undef;  # disk vendor
1331     my $product  = undef;  # product ID
1332     my $capacity = undef;  # disk length (size) in bytes
1333     my $media    = undef;  # media type (e.g. HDD, SSD)
1334     my $bus      = undef;  # bus protocol (e.g. SAS, SATA)
1335     my $spare    = undef;  # spare state (e.g. global hotspare)
1336     my @output  = ();
1337
1338     if ($snmp) {
1339         my %pdisk_oid
1340           = (
1341              '1.3.6.1.4.1.674.10893.1.20.130.4.1.2'  => 'arrayDiskName',
1342              '1.3.6.1.4.1.674.10893.1.20.130.4.1.3'  => 'arrayDiskVendor',
1343              '1.3.6.1.4.1.674.10893.1.20.130.4.1.4'  => 'arrayDiskState',
1344              '1.3.6.1.4.1.674.10893.1.20.130.4.1.6'  => 'arrayDiskProductID',
1345              '1.3.6.1.4.1.674.10893.1.20.130.4.1.9'  => 'arrayDiskEnclosureID',
1346              '1.3.6.1.4.1.674.10893.1.20.130.4.1.10' => 'arrayDiskChannel',
1347              '1.3.6.1.4.1.674.10893.1.20.130.4.1.11' => 'arrayDiskLengthInMB',
1348              '1.3.6.1.4.1.674.10893.1.20.130.4.1.15' => 'arrayDiskTargetID',
1349              '1.3.6.1.4.1.674.10893.1.20.130.4.1.21' => 'arrayDiskBusType',
1350              '1.3.6.1.4.1.674.10893.1.20.130.4.1.22' => 'arrayDiskSpareState',
1351              '1.3.6.1.4.1.674.10893.1.20.130.4.1.24' => 'arrayDiskComponentStatus',
1352              '1.3.6.1.4.1.674.10893.1.20.130.4.1.26' => 'arrayDiskNexusID',
1353              '1.3.6.1.4.1.674.10893.1.20.130.4.1.31' => 'arrayDiskSmartAlertIndication',
1354              '1.3.6.1.4.1.674.10893.1.20.130.4.1.35' => 'arrayDiskMediaType',
1355              '1.3.6.1.4.1.674.10893.1.20.130.5.1.7'  => 'arrayDiskEnclosureConnectionControllerNumber',
1356              '1.3.6.1.4.1.674.10893.1.20.130.6.1.7'  => 'arrayDiskChannelConnectionControllerNumber',
1357             );
1358         my $result = undef;
1359         if ($opt{use_get_table}) {
1360             my $arrayDiskTable = '1.3.6.1.4.1.674.10893.1.20.130.4';
1361             my $arrayDiskEnclosureConnectionControllerNumber = '1.3.6.1.4.1.674.10893.1.20.130.5.1.7';
1362             my $arrayDiskChannelConnectionControllerNumber = '1.3.6.1.4.1.674.10893.1.20.130.6.1.7';
1363
1364             $result  = $snmp_session->get_table(-baseoid => $arrayDiskTable);
1365             my $ext1 = $snmp_session->get_table(-baseoid => $arrayDiskEnclosureConnectionControllerNumber);
1366             my $ext2 = $snmp_session->get_table(-baseoid => $arrayDiskChannelConnectionControllerNumber);
1367
1368             if (defined $result) {
1369                 defined $ext1 && map { $$result{$_} = $$ext1{$_} } keys %{ $ext1 };
1370                 defined $ext2 && map { $$result{$_} = $$ext2{$_} } keys %{ $ext2 };
1371             }
1372         }
1373         else {
1374             $result = $snmp_session->get_entries(-columns => [keys %pdisk_oid]);
1375         }
1376
1377         if (!defined $result) {
1378             printf "SNMP ERROR [storage / pdisk]: %s.\n", $snmp_session->error;
1379             $snmp_session->close;
1380             exit $E_UNKNOWN;
1381         }
1382
1383         @output = @{ get_snmp_output($result, \%pdisk_oid) };
1384     }
1385     else {
1386         foreach my $c (@controllers) {
1387             # This blacklists disks with broken firmware, which includes
1388             # illegal XML characters that makes openmanage choke on itself
1389             next if blacklisted('ctrl_pdisk', $c);
1390
1391             push @output, @{ run_omreport("storage pdisk controller=$c") };
1392             map_item('ctrl', $c, \@output);
1393         }
1394     }
1395
1396     my %spare_state
1397       = (
1398          1  => 'VD member',    # disk is a member of a virtual disk
1399          2  => 'DG member',    # disk is a member of a disk group
1400          3  => 'Global HS',    # disk is a global hot spare
1401          4  => 'Dedicated HS', # disk is a dedicated hot spare
1402          5  => 'no',           # not a spare
1403          99 => 'n/a',          # not applicable
1404         );
1405
1406     my %media_type
1407       = (
1408          1 => 'unknown',
1409          2 => 'HDD',
1410          3 => 'SSD',
1411         );
1412
1413     my %bus_type
1414       = (
1415          1 => 'SCSI',
1416          2 => 'IDE',
1417          3 => 'Fibre Channel',
1418          4 => 'SSA',
1419          6 => 'USB',
1420          7 => 'SATA',
1421          8 => 'SAS',
1422         );
1423
1424     my %pdisk_state
1425       = (
1426          0  => 'Unknown',
1427          1  => 'Ready',
1428          2  => 'Failed',
1429          3  => 'Online',
1430          4  => 'Offline',
1431          6  => 'Degraded',
1432          7  => 'Recovering',
1433          11 => 'Removed',
1434          15 => 'Resynching',
1435          22 => 'Replacing', # FIXME: this one is not defined in the OMSA MIBs
1436          24 => 'Rebuilding',
1437          25 => 'No Media',
1438          26 => 'Formatting',
1439          28 => 'Diagnostics',
1440          34 => 'Predictive failure',
1441          35 => 'Initializing',
1442          39 => 'Foreign',
1443          40 => 'Clear',
1444          41 => 'Unsupported',
1445          53 => 'Incompatible',
1446         );
1447
1448     # Check physical disks on each of the controllers
1449   PDISK:
1450     foreach my $out (@output) {
1451         if ($snmp) {
1452             $name     = $out->{arrayDiskName} || 'Unknown disk';
1453             $state    = get_hashval($out->{arrayDiskState}, \%pdisk_state) || 'Unknown state';
1454             $status   = get_snmp_status($out->{arrayDiskComponentStatus});
1455             $fpred    = defined $out->{arrayDiskSmartAlertIndication}
1456               && $out->{arrayDiskSmartAlertIndication} == 2 ? 1 : 0;
1457             $progr    = q{};
1458             $nexus    = convert_nexus(($out->{arrayDiskNexusID} || 9999));
1459             $vendor   = $out->{arrayDiskVendor} || 'Unknown vendor';
1460             $product  = $out->{arrayDiskProductID} || 'Unknown product ID';
1461             $spare    = get_hashval($out->{arrayDiskSpareState}, \%spare_state) || q{};
1462             $bus      = get_hashval($out->{arrayDiskBusType}, \%bus_type);
1463             $media    = get_hashval($out->{arrayDiskMediaType}, \%media_type);
1464             $capacity = exists $out->{arrayDiskLengthInMB}
1465               ? $out->{arrayDiskLengthInMB} * 1024**2 : -1;
1466
1467             # try to find the controller where the disk belongs
1468             if (exists $out->{arrayDiskEnclosureConnectionControllerNumber}) {
1469                 # for disks that are attached to an enclosure
1470                 $ctrl = $snmp_controller{$out->{arrayDiskEnclosureConnectionControllerNumber}};
1471             }
1472             elsif (exists $out->{arrayDiskChannelConnectionControllerNumber}) {
1473                 # for disks that are not attached to an enclosure
1474                 $ctrl = $snmp_controller{$out->{arrayDiskChannelConnectionControllerNumber}};
1475             }
1476             else {
1477                 # last resort... use the nexus id (old/broken hardware)
1478                 $ctrl = $nexus;
1479                 $ctrl =~ s{\A (\d+) : .* \z}{$1}xms;
1480             }
1481         }
1482         else {
1483             $name     = get_nonempty_string('Name', $out, 'Unknown disk');
1484             $state    = get_nonempty_string('State', $out, 'Unknown state');
1485             $status   = get_nonempty_string('Status', $out, 'Unknown');
1486             $fpred    = lc(get_nonempty_string('Failure Predicted', $out, q{})) eq 'yes' ? 1 : 0;
1487             $progr    = ' [' . get_nonempty_string('Progress', $out, q{}) . ']';
1488             $nexus    = join q{:}, $out->{ctrl}, $out->{'ID'};
1489             $vendor   = get_nonempty_string('Vendor ID', $out, 'Unknown Vendor');
1490             $product  = get_nonempty_string('Product ID', $out, 'Unknown Product ID');
1491             $media    = get_nonempty_string('Media', $out, undef);
1492             $bus      = get_nonempty_string('Bus Protocol', $out, undef);
1493             $spare    = get_nonempty_string('Hot Spare', $out, q{});
1494             $ctrl     = $out->{ctrl};
1495             $capacity = get_nonempty_string('Capacity', $out, q{});
1496             $capacity =~ s{\A .*? \((\d+) \s bytes\) \z}{$1}xms;
1497             if ($capacity eq 'Unavailable') {
1498                 $capacity = -1;
1499             }
1500         }
1501
1502         $count{pdisk}++;
1503         next PDISK if blacklisted('pdisk', $nexus);
1504
1505         $vendor  =~ s{\s+\z}{}xms; # remove trailing whitespace
1506         $product =~ s{\s+\z}{}xms; # remove trailing whitespace
1507
1508         # If the disk is bad, the vendor field may be empty
1509         if ($vendor eq q{}) { $vendor = 'Unknown Vendor'; }
1510
1511         # Hot spare stuff
1512         if ($spare eq 'Global') { $spare = 'Global HS'; }
1513         elsif ($spare eq 'Dedicated') { $spare = 'Dedicated HS'; }
1514         elsif ($spare !~ m{\A Global|Dedicated}xms) { $spare = undef; }
1515
1516         # Calculate human readable capacity
1517         if ($capacity == -1) {
1518             # capacity is unknown
1519             $capacity = 'Unknown Size';
1520         }
1521         else {
1522             $capacity = ceil($capacity / 1000**3) >= 1000
1523               ? sprintf '%.1fTB', ($capacity / 1000**4)
1524                 : sprintf '%.0fGB', ($capacity / 1000**3);
1525             $capacity = '450GB' if $capacity eq '449GB';  # quick fix for 450GB disks
1526             $capacity = '300GB' if $capacity eq '299GB';  # quick fix for 300GB disks
1527             $capacity = '146GB' if $capacity eq '147GB';  # quick fix for 146GB disks
1528             $capacity = '100GB' if $capacity eq '99GB';   # quick fix for 100GB disks
1529         }
1530
1531         # Capitalize only the first letter of the vendor name
1532         $vendor = (substr $vendor, 0, 1) . lc (substr $vendor, 1, length $vendor);
1533
1534         # Remove unnecessary trademark rubbish from vendor name
1535         $vendor =~ s{\(tm\)\z}{}xms;
1536
1537         # bus and media aren't always defined
1538         my $busmedia = q{};
1539         if    (defined $bus && defined $media)   { $busmedia = "$bus-$media "; }
1540         elsif (defined $bus && ! defined $media) { $busmedia = "$bus ";        }
1541         elsif (! defined $bus && defined $media) { $busmedia = "$media ";      }
1542
1543         # Special case: Failure predicted
1544         if ($fpred) {
1545             my $msg = sprintf '%s [%s %s, %s] on ctrl %d needs attention: Failure Predicted',
1546               $name, $vendor, $product, $capacity, $ctrl;
1547             $msg .= " ($state)" if $state ne 'Predictive failure';
1548             report('storage', $msg,
1549                    ($status2nagios{$status} == $E_CRITICAL ? $E_CRITICAL : $E_WARNING), $nexus);
1550         }
1551         # Special case: Rebuilding / Replacing
1552         elsif ($state =~ m{\A Rebuilding|Replacing \z}xms) {
1553             my $msg = sprintf '%s [%s %s, %s] on ctrl %d is %s%s',
1554               $name, $vendor, $product, $capacity, $ctrl, $state, $progr;
1555             report('storage', $msg, $E_WARNING, $nexus);
1556         }
1557         # Default
1558         elsif ($status ne 'Ok') {
1559             my $msg =  sprintf '%s [%s %s, %s] on ctrl %d needs attention: %s',
1560               $name, $vendor, $product, $capacity, $ctrl, $state;
1561             report('storage', $msg, $status2nagios{$status}, $nexus);
1562         }
1563         # Ok
1564         else {
1565             my $msg = sprintf '%s [%s%s] on ctrl %d is %s',
1566               $name, $busmedia, $capacity, $ctrl, $state;
1567             if (defined $spare) { $msg .= " ($spare)"; }
1568             report('storage', $msg, $E_OK, $nexus);
1569         }
1570     }
1571     return;
1572 }
1573
1574
1575 #-----------------------------------------
1576 # STORAGE: Check logical drives
1577 #-----------------------------------------
1578 sub check_virtual_disks {
1579     return if $#controllers == -1;
1580
1581     my $name   = undef;
1582     my $nexus  = undef;
1583     my $dev    = undef;
1584     my $state  = undef;
1585     my $status = undef;
1586     my $layout = undef;
1587     my $size   = undef;
1588     my $progr  = undef;
1589     my $ctrl   = undef;
1590     my @output = ();
1591
1592     if ($snmp) {
1593         my %vdisk_oid
1594           = (
1595              '1.3.6.1.4.1.674.10893.1.20.140.1.1.3'  => 'virtualDiskDeviceName',
1596              '1.3.6.1.4.1.674.10893.1.20.140.1.1.4'  => 'virtualDiskState',
1597              '1.3.6.1.4.1.674.10893.1.20.140.1.1.6'  => 'virtualDiskLengthInMB',
1598              '1.3.6.1.4.1.674.10893.1.20.140.1.1.13' => 'virtualDiskLayout',
1599              '1.3.6.1.4.1.674.10893.1.20.140.1.1.20' => 'virtualDiskComponentStatus',
1600              '1.3.6.1.4.1.674.10893.1.20.140.1.1.21' => 'virtualDiskNexusID',
1601             );
1602         my $result = undef;
1603         if ($opt{use_get_table}) {
1604             my $virtualDiskTable = '1.3.6.1.4.1.674.10893.1.20.140.1';
1605             $result = $snmp_session->get_table(-baseoid => $virtualDiskTable);
1606         }
1607         else {
1608             $result = $snmp_session->get_entries(-columns => [keys %vdisk_oid]);
1609         }
1610
1611         # No logical drives is OK
1612         return if !defined $result;
1613
1614         @output = @{ get_snmp_output($result, \%vdisk_oid) };
1615     }
1616     else {
1617         foreach my $c (@controllers) {
1618             push @output, @{ run_omreport("storage vdisk controller=$c") };
1619             map_item('ctrl', $c, \@output);
1620         }
1621     }
1622
1623     my %vdisk_state
1624       = (
1625          0  => 'Unknown',
1626          1  => 'Ready',
1627          2  => 'Failed',
1628          3  => 'Online',
1629          4  => 'Offline',
1630          6  => 'Degraded',
1631          15 => 'Resynching',
1632          16 => 'Regenerating',
1633          24 => 'Rebuilding',
1634          26 => 'Formatting',
1635          32 => 'Reconstructing',
1636          35 => 'Initializing',
1637          36 => 'Background Initialization',
1638          38 => 'Resynching Paused',
1639          52 => 'Permanently Degraded',
1640          54 => 'Degraded Redundancy',
1641         );
1642
1643     my %vdisk_layout
1644       = (
1645          1  => 'Concatenated',
1646          2  => 'RAID-0',
1647          3  => 'RAID-1',
1648          4  => 'UNSUPPORTED:raid-2',
1649          5  => 'UNSUPPORTED:raid-3',
1650          6  => 'UNSUPPORTED:raid-4',
1651          7  => 'RAID-5',
1652          8  => 'RAID-6',
1653          9  => 'UNSUPPORTED:raid-7',
1654          10 => 'RAID-10',
1655          11 => 'UNSUPPORTED:raid-30',
1656          12 => 'RAID-50',
1657          13 => 'UNSUPPORTED:addSpares',
1658          14 => 'UNSUPPORTED:deleteLogical',
1659          15 => 'UNSUPPORTED:transformLogical',
1660          18 => 'UNSUPPORTED:raid-0-plus-1',
1661          19 => 'Concatenated RAID-1',
1662          20 => 'UNSUPPORTED:concatRaid-5',
1663          21 => 'UNSUPPORTED:noRaid',
1664          22 => 'UNSUPPORTED:volume',
1665          23 => 'UNSUPPORTED:raidMorph',
1666          24 => 'RAID-60',
1667          25 => 'CacheCade',
1668         );
1669
1670     # Check virtual disks on each of the controllers
1671   VDISK:
1672     foreach my $out (@output) {
1673         if ($snmp) {
1674             $dev    = $out->{virtualDiskDeviceName} || 'Unknown device';
1675             $state  = get_hashval($out->{virtualDiskState}, \%vdisk_state) || 'Unknown state';
1676             $layout = get_hashval($out->{virtualDiskLayout}, \%vdisk_layout) || 'Unknown layout';
1677             $status = get_snmp_status($out->{virtualDiskComponentStatus});
1678             $size   = sprintf '%.2f GB', ($out->{virtualDiskLengthInMB} || 0) / 1024;
1679             $progr  = q{};  # not available via SNMP
1680             $nexus  = convert_nexus(($out->{virtualDiskNexusID} || 9999));
1681         }
1682         else {
1683             $dev    = get_nonempty_string('Device Name', $out, 'Unknown device');
1684             $state  = get_nonempty_string('State', $out, 'Unknown state');
1685             $status = get_nonempty_string('Status', $out, 'Unknown');
1686             $layout = get_nonempty_string('Layout', $out, 'Unknown layout');
1687             $size   = get_nonempty_string('Size', $out, 'Unavailable');
1688             $size   =~ s{\A (.*GB).* \z}{$1}xms;
1689             $progr  = ' [' . get_nonempty_string('Progress', $out, q{}) . ']';
1690             $ctrl   = $out->{ctrl};
1691             $nexus  = join q{:}, $ctrl, get_nonempty_string('ID', $out, '9999');
1692         }
1693
1694         $count{vdisk}++;
1695         next VDISK if blacklisted('vdisk', $nexus);
1696
1697         # The device name is undefined sometimes
1698         $dev = q{} if !defined $dev;
1699
1700         # Special case: Regenerating
1701         if ($state eq 'Regenerating') {
1702             my $msg = sprintf q{Logical Drive '%s' [%s, %s] is %s%s},
1703               $dev, $layout, $size, $state, $progr;
1704             report('storage', $msg, $E_WARNING, $nexus);
1705         }
1706         # Default
1707         elsif ($status ne 'Ok') {
1708             my $msg = sprintf q{Logical Drive '%s' [%s, %s] needs attention: %s},
1709               $dev, $layout, $size, $state;
1710             report('storage', $msg, $status2nagios{$status}, $nexus);
1711         }
1712         # Ok
1713         else {
1714             my $msg = sprintf q{Logical Drive '%s' [%s, %s] is %s},
1715               $dev, $layout, $size, $state;
1716             report('storage', $msg, $E_OK, $nexus);
1717         }
1718     }
1719     return;
1720 }
1721
1722
1723 #-----------------------------------------
1724 # STORAGE: Check cache batteries
1725 #-----------------------------------------
1726 sub check_cache_battery {
1727     return if $#controllers == -1;
1728
1729     my $id     = undef;
1730     my $nexus  = undef;
1731     my $state  = undef;
1732     my $status = undef;
1733     my $ctrl   = undef;
1734     my $learn  = undef; # learn state
1735     my $pred   = undef; # battery's ability to be charged
1736     my @output = ();
1737
1738     if ($snmp) {
1739         my %bat_oid
1740           = (
1741              '1.3.6.1.4.1.674.10893.1.20.130.15.1.4'  => 'batteryState',
1742              '1.3.6.1.4.1.674.10893.1.20.130.15.1.6'  => 'batteryComponentStatus',
1743              '1.3.6.1.4.1.674.10893.1.20.130.15.1.9'  => 'batteryNexusID',
1744              '1.3.6.1.4.1.674.10893.1.20.130.15.1.10' => 'batteryPredictedCapacity',
1745              '1.3.6.1.4.1.674.10893.1.20.130.15.1.12' => 'batteryLearnState',
1746              '1.3.6.1.4.1.674.10893.1.20.130.16.1.5'  => 'batteryConnectionControllerNumber',
1747             );
1748         my $result = undef;
1749         if ($opt{use_get_table}) {
1750             my $batteryTable = '1.3.6.1.4.1.674.10893.1.20.130.15';
1751             my $batteryConnectionTable = '1.3.6.1.4.1.674.10893.1.20.130.16';
1752
1753             $result = $snmp_session->get_table(-baseoid => $batteryTable);
1754             my $ext = $snmp_session->get_table(-baseoid => $batteryConnectionTable);
1755
1756             if (defined $result) {
1757                 defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
1758             }
1759         }
1760         else {
1761             $result = $snmp_session->get_entries(-columns => [keys %bat_oid]);
1762         }
1763
1764         # No cache battery is OK
1765         return if !defined $result;
1766
1767         @output = @{ get_snmp_output($result, \%bat_oid) };
1768     }
1769     else {
1770         foreach my $c (@controllers) {
1771             push @output, @{ run_omreport("storage battery controller=$c") };
1772             map_item('ctrl', $c, \@output);
1773         }
1774     }
1775
1776     my %bat_state
1777       = (
1778          0  => 'Unknown',
1779          1  => 'Ready',
1780          2  => 'Failed',
1781          6  => 'Degraded',
1782          7  => 'Reconditioning',
1783          9  => 'High',
1784          10 => 'Power Low',
1785          12 => 'Charging',
1786          21 => 'Missing',
1787          36 => 'Learning',
1788         );
1789
1790     # Specifies the learn state activity of the battery
1791     my %bat_learn_state
1792       = (
1793          1  => 'Failed',
1794          2  => 'Active',
1795          4  => 'Timed out',
1796          8  => 'Requested',
1797          16 => 'Idle',
1798         );
1799
1800     # This property displays the battery's ability to be charged
1801     my %bat_pred_cap
1802       = (
1803          1 => 'Failed',  # The battery cannot be charged and needs to be replaced
1804          2 => 'Ready',   # The battery can be charged to full capacity
1805          4 => 'Unknown', # The battery is completing a Learn cycle. The charge capacity of the
1806                          # battery cannot be determined until the Learn cycle is complete
1807         );
1808
1809     # Check battery on each of the controllers
1810   BATTERY:
1811     foreach my $out (@output) {
1812         if ($snmp) {
1813             $status = get_snmp_status($out->{batteryComponentStatus});
1814             $state  = get_hashval($out->{batteryState}, \%bat_state) || 'Unknown state';
1815             $learn  = get_hashval($out->{batteryLearnState}, \%bat_learn_state) || 'Unknown learn state';
1816             $pred   = get_hashval($out->{batteryPredictedCapacity}, \%bat_pred_cap) || 'Unknown predicted capacity status';
1817             $ctrl   = ($out->{batteryConnectionControllerNumber} || 10000) - 1;
1818             $nexus  = convert_nexus(($out->{batteryNexusID} || 9999));
1819             $id     = $nexus;
1820             $id     =~ s{\A \d+:(\d+) \z}{$1}xms;
1821         }
1822         else {
1823             $id     = get_nonempty_string('ID', $out, 9999);
1824             $state  = get_nonempty_string('State', $out, 'Unknown state');
1825             $status = get_nonempty_string('Status', $out, 'Unknown');
1826             $learn  = get_nonempty_string('Learn State', $out, 'Unknown learn state');
1827             $pred   = get_nonempty_string('Predicted Capacity Status', $out, 'Unknown predicted capacity status');
1828             $ctrl   = $out->{'ctrl'};
1829             $nexus  = join q{:}, $out->{ctrl}, $id;
1830         }
1831
1832         next BATTERY if blacklisted('bat', $nexus);
1833
1834         # Special case: Charging
1835         if ($state eq 'Charging') {
1836             if ($pred eq 'Failed') {
1837                 my $msg = sprintf 'Cache Battery %d in controller %d is %s (%s) [replace battery]',
1838                   $id, $ctrl, $state, $pred;
1839                 report('storage', $msg, $E_CRITICAL, $nexus);
1840             }
1841             else {
1842                 next BATTERY if blacklisted('bat_charge', $nexus);
1843                 my $msg = sprintf 'Cache Battery %d in controller %d is %s (%s) [probably harmless]',
1844                   $id, $ctrl, $state, $pred;
1845                 report('storage', $msg, $E_WARNING, $nexus);
1846             }
1847         }
1848         # Special case: Learning (battery learns its capacity)
1849         elsif ($state eq 'Learning') {
1850             if ($learn eq 'Failed') {
1851                 my $msg = sprintf 'Cache Battery %d in controller %d is %s (%s)',
1852                   $id, $ctrl, $state, $learn;
1853                 report('storage', $msg, $E_CRITICAL, $nexus);
1854             }
1855             else {
1856                 next BATTERY if blacklisted('bat_charge', $nexus);
1857                 my $msg = sprintf 'Cache Battery %d in controller %d is %s (%s) [probably harmless]',
1858                   $id, $ctrl, $state, $learn;
1859                 report('storage', $msg, $E_WARNING, $nexus);
1860             }
1861         }
1862         # Special case: Power Low (first part of recharge cycle)
1863         elsif ($state eq 'Power Low') {
1864             next BATTERY if blacklisted('bat_charge', $nexus);
1865             my $msg = sprintf 'Cache Battery %d in controller %d is %s [probably harmless]',
1866               $id, $ctrl, $state;
1867             report('storage', $msg, $E_WARNING, $nexus);
1868         }
1869         # Special case: Degraded and Non-Critical (usually part of recharge cycle)
1870         elsif ($state eq 'Degraded' && $status eq 'Non-Critical') {
1871             next BATTERY if blacklisted('bat_charge', $nexus);
1872             my $msg = sprintf 'Cache Battery %d in controller %d is %s (%s) [probably harmless]',
1873               $id, $ctrl, $state, $status;
1874             report('storage', $msg, $E_WARNING, $nexus);
1875         }
1876         # Default
1877         else {
1878             my $msg = sprintf 'Cache Battery %d in controller %d is %s',
1879               $id, $ctrl, $state;
1880             report('storage', $msg, $status2nagios{$status}, $nexus);
1881         }
1882     }
1883     return;
1884 }
1885
1886
1887 #-----------------------------------------
1888 # STORAGE: Check connectors (channels)
1889 #-----------------------------------------
1890 sub check_connectors {
1891     return if $#controllers == -1;
1892
1893     my $nexus  = undef;
1894     my $name   = undef;
1895     my $state  = undef;
1896     my $status = undef;
1897     my $type   = undef;
1898     my $ctrl   = undef;
1899     my @output = ();
1900
1901     if ($snmp) {
1902         my %conn_oid
1903           = (
1904              '1.3.6.1.4.1.674.10893.1.20.130.2.1.2'  => 'channelName',
1905              '1.3.6.1.4.1.674.10893.1.20.130.2.1.3'  => 'channelState',
1906              '1.3.6.1.4.1.674.10893.1.20.130.2.1.8'  => 'channelComponentStatus',
1907              '1.3.6.1.4.1.674.10893.1.20.130.2.1.9'  => 'channelNexusID',
1908              '1.3.6.1.4.1.674.10893.1.20.130.2.1.11' => 'channelBusType',
1909             );
1910         my $result = undef;
1911         if ($opt{use_get_table}) {
1912             my $channelTable = '1.3.6.1.4.1.674.10893.1.20.130.2';
1913             $result = $snmp_session->get_table(-baseoid => $channelTable);
1914         }
1915         else {
1916             $result = $snmp_session->get_entries(-columns => [keys %conn_oid]);
1917         }
1918
1919         if (!defined $result) {
1920             printf "SNMP ERROR [storage / channel]: %s.\n", $snmp_session->error;
1921             $snmp_session->close;
1922             exit $E_UNKNOWN;
1923         }
1924
1925         @output = @{ get_snmp_output($result, \%conn_oid) };
1926     }
1927     else {
1928         foreach my $c (@controllers) {
1929             push @output, @{ run_omreport("storage connector controller=$c") };
1930             map_item('ctrl', $c, \@output);
1931         }
1932     }
1933
1934     my %conn_state
1935       = (
1936          0 => 'Unknown',
1937          1 => 'Ready',
1938          2 => 'Failed',
1939          3 => 'Online',
1940          4 => 'Offline',
1941          6 => 'Degraded',
1942         );
1943
1944     my %conn_bustype
1945       = (
1946          1 => 'SCSI',
1947          2 => 'IDE',
1948          3 => 'Fibre Channel',
1949          4 => 'SSA',
1950          6 => 'USB',
1951          7 => 'SATA',
1952          8 => 'SAS',
1953         );
1954
1955     # Check connectors on each of the controllers
1956   CHANNEL:
1957     foreach my $out (@output) {
1958         if ($snmp) {
1959             $name   = $out->{channelName} || 'Unknown channel';
1960             $status = get_snmp_status($out->{channelComponentStatus});
1961             $state  = get_hashval($out->{channelState}, \%conn_state) || 'Unknown state';
1962             $type   = get_hashval($out->{channelBusType}, \%conn_bustype) || 'Unknown type';
1963             $nexus  = convert_nexus(($out->{channelNexusID} || 9999));
1964             $ctrl   = $nexus;
1965             $ctrl   =~ s{(\d+):\d+}{$1}xms;
1966         }
1967         else {
1968             $name   = get_nonempty_string('Name', $out, 'Unknown channel');
1969             $state  = get_nonempty_string('State', $out, 'Unknown state');
1970             $status = get_nonempty_string('Status', $out, 'Unknown');
1971             $type   = get_nonempty_string('Connector Type', $out, 'Unknown type');
1972             $ctrl   = $out->{ctrl};
1973             $nexus  = join q{:}, $out->{ctrl}, $out->{'ID'};
1974         }
1975
1976         next CHANNEL if blacklisted('conn', $nexus);
1977
1978         my $msg = sprintf '%s [%s] on controller %d is %s',
1979           $name, $type, $ctrl, $state;
1980         report('storage', $msg, $status2nagios{$status}, $nexus);
1981     }
1982     return;
1983 }
1984
1985
1986 #-----------------------------------------
1987 # STORAGE: Check enclosures
1988 #-----------------------------------------
1989 sub check_enclosures {
1990     my $id       = undef;
1991     my $nexus    = undef;
1992     my $name     = undef;
1993     my $state    = undef;
1994     my $status   = undef;
1995     my $firmware = undef;
1996     my $ctrl     = undef;
1997     my $occupied_slots = undef; # number of occupied slots
1998     my $total_slots    = undef; # number of total slots
1999     my @output   = ();
2000
2001     if ($snmp) {
2002         my %encl_oid
2003           = (
2004              '1.3.6.1.4.1.674.10893.1.20.130.3.1.1'  => 'enclosureNumber',
2005              '1.3.6.1.4.1.674.10893.1.20.130.3.1.2'  => 'enclosureName',
2006              '1.3.6.1.4.1.674.10893.1.20.130.3.1.4'  => 'enclosureState',
2007              '1.3.6.1.4.1.674.10893.1.20.130.3.1.19' => 'enclosureChannelNumber',
2008              '1.3.6.1.4.1.674.10893.1.20.130.3.1.24' => 'enclosureComponentStatus',
2009              '1.3.6.1.4.1.674.10893.1.20.130.3.1.25' => 'enclosureNexusID',
2010              '1.3.6.1.4.1.674.10893.1.20.130.3.1.26' => 'enclosureFirmwareVersion',
2011              '1.3.6.1.4.1.674.10893.1.20.130.3.1.31' => 'enclosureOccupiedSlotCount', # new in OMSA 6.3.0
2012              '1.3.6.1.4.1.674.10893.1.20.130.3.1.32' => 'enclosureTotalSlots', # new in OMSA 6.3.0
2013             );
2014         my $result = undef;
2015         if ($opt{use_get_table}) {
2016             my $enclosureTable = '1.3.6.1.4.1.674.10893.1.20.130.3';
2017             $result = $snmp_session->get_table(-baseoid => $enclosureTable);
2018         }
2019         else {
2020             $result = $snmp_session->get_entries(-columns => [keys %encl_oid]);
2021         }
2022
2023         # No enclosures is OK
2024         return if !defined $result;
2025
2026         @output = @{ get_snmp_output($result, \%encl_oid) };
2027     }
2028     else {
2029         foreach my $c (@controllers) {
2030             push @output, @{ run_omreport("storage enclosure controller=$c") };
2031             map_item('ctrl', $c, \@output);
2032         }
2033     }
2034
2035     my %encl_state
2036       = (
2037          0 => 'Unknown',
2038          1 => 'Ready',
2039          2 => 'Failed',
2040          3 => 'Online',
2041          4 => 'Offline',
2042          6 => 'Degraded',
2043         );
2044
2045   ENCLOSURE:
2046     foreach my $out (@output) {
2047         if ($snmp) {
2048             $id       = ($out->{enclosureNumber} || 10000) - 1;
2049             $name     = $out->{enclosureName} || 'Unknown enclosure';
2050             $state    = get_hashval($out->{enclosureState}, \%encl_state) || 'Unknown state';
2051             $status   = get_snmp_status($out->{enclosureComponentStatus});
2052             $firmware = $out->{enclosureFirmwareVersion} || 'N/A';
2053             $nexus    = convert_nexus(($out->{enclosureNexusID} || 9999));
2054             $ctrl     = $nexus;
2055             $ctrl     =~ s{\A (\d+):.* \z}{$1}xms;
2056             # for the next two, a value of 9999 means feature not available
2057             $occupied_slots = defined $out->{enclosureOccupiedSlotCount}
2058               && $out->{enclosureOccupiedSlotCount} != 9999
2059                 ? $out->{enclosureOccupiedSlotCount} : undef;
2060             $total_slots    = defined $out->{enclosureTotalSlots}
2061               && $out->{enclosureTotalSlots} != 9999
2062                 ? $out->{enclosureTotalSlots} : undef;
2063         }
2064         else {
2065             $id       = get_nonempty_string('ID', $out, 9999);
2066             $name     = get_nonempty_string('Name', $out, 'Unknown enclosure');
2067             $state    = get_nonempty_string('State', $out, 'Unknown state');
2068             $status   = get_nonempty_string('Status', $out, 'Unknown');
2069             $firmware = get_nonempty_string('Firmware Version', $out, 'N/A');
2070             $firmware =~ s{Not\sApplicable}{N/A}xms;
2071             $nexus    = join q{:}, $out->{ctrl}, $id;
2072             $ctrl     = $out->{ctrl};
2073         }
2074
2075         $name     =~ s{\s+\z}{}xms; # remove trailing whitespace
2076         $firmware =~ s{\s+\z}{}xms; # remove trailing whitespace
2077
2078         # store enclosure data for future use
2079         if ($snmp) {
2080             $snmp_enclosure{$out->{enclosureNumber}}{id}    = $id;
2081             $snmp_enclosure{$out->{enclosureNumber}}{name}  = $name;
2082             $snmp_enclosure{$out->{enclosureNumber}}{nexus} = $nexus;
2083         }
2084         else {
2085             push @enclosures, { 'id'    => $id,
2086                                 'ctrl'  => $out->{ctrl},
2087                                 'name'  => $name };
2088         }
2089
2090         # Collecting some storage info
2091         $sysinfo{'enclosure'}{$nexus}{'id'}       = $nexus;
2092         $sysinfo{'enclosure'}{$nexus}{'name'}     = $name;
2093         $sysinfo{'enclosure'}{$nexus}{'firmware'} = $firmware;
2094
2095         next ENCLOSURE if blacklisted('encl', $nexus);
2096
2097         my $msg = q{};
2098         if (defined $occupied_slots && defined $total_slots) {
2099             $msg = sprintf 'Enclosure %s [%s, %d/%d slots occupied] on ctrl %d is %s',
2100               $nexus, $name, $occupied_slots, $total_slots, $ctrl, $state;
2101         }
2102         else {
2103             $msg = sprintf 'Enclosure %s [%s] on controller %d is %s',
2104               $nexus, $name, $ctrl, $state;
2105         }
2106         report('storage', $msg, $status2nagios{$status}, $nexus);
2107     }
2108     return;
2109 }
2110
2111
2112 #-----------------------------------------
2113 # STORAGE: Check enclosure fans
2114 #-----------------------------------------
2115 sub check_enclosure_fans {
2116     return if $#controllers == -1;
2117
2118     my $nexus     = undef;
2119     my $name      = undef;
2120     my $state     = undef;
2121     my $status    = undef;
2122     my $speed     = undef;
2123     my $encl_id   = undef;
2124     my $encl_name = undef;
2125     my @output    = ();
2126
2127     if ($snmp) {
2128         my %fan_oid
2129           = (
2130              '1.3.6.1.4.1.674.10893.1.20.130.7.1.2'  => 'fanName',
2131              '1.3.6.1.4.1.674.10893.1.20.130.7.1.4'  => 'fanState',
2132              '1.3.6.1.4.1.674.10893.1.20.130.7.1.11' => 'fanProbeCurrValue',
2133              '1.3.6.1.4.1.674.10893.1.20.130.7.1.15' => 'fanComponentStatus',
2134              '1.3.6.1.4.1.674.10893.1.20.130.7.1.16' => 'fanNexusID',
2135              '1.3.6.1.4.1.674.10893.1.20.130.8.1.4'  => 'fanConnectionEnclosureName',
2136              '1.3.6.1.4.1.674.10893.1.20.130.8.1.5'  => 'fanConnectionEnclosureNumber',
2137             );
2138         my $result = undef;
2139         if ($opt{use_get_table}) {
2140             my $fanTable = '1.3.6.1.4.1.674.10893.1.20.130.7';
2141             my $fanConnectionTable = '1.3.6.1.4.1.674.10893.1.20.130.8';
2142
2143             $result = $snmp_session->get_table(-baseoid => $fanTable);
2144             my $ext = $snmp_session->get_table(-baseoid => $fanConnectionTable);
2145
2146             if (defined $result) {
2147                 defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
2148             }
2149         }
2150         else {
2151             $result = $snmp_session->get_entries(-columns => [keys %fan_oid]);
2152         }
2153
2154         # No enclosure fans is OK
2155         return if !defined $result;
2156
2157         @output = @{ get_snmp_output($result, \%fan_oid) };
2158     }
2159     else {
2160         foreach my $enc (@enclosures) {
2161             push @output, @{ run_omreport("storage enclosure controller=$enc->{ctrl} enclosure=$enc->{id} info=fans") };
2162             map_item('ctrl', $enc->{ctrl}, \@output);
2163             map_item('encl_id', $enc->{id}, \@output);
2164             map_item('encl_name', $enc->{name}, \@output);
2165         }
2166     }
2167
2168     my %fan_state
2169       = (
2170          0  => 'Unknown',
2171          1  => 'Ready',
2172          2  => 'Failed',
2173          3  => 'Online',
2174          4  => 'Offline',
2175          6  => 'Degraded',
2176          21 => 'Missing',
2177         );
2178
2179     # Check fans on each of the enclosures
2180   FAN:
2181     foreach my $out (@output) {
2182         if ($snmp) {
2183             $name      = $out->{fanName} || 'Unknown fan';
2184             $state     = get_hashval($out->{fanState}, \%fan_state) || 'Unknown state';
2185             $status    = get_snmp_status($out->{fanComponentStatus});
2186             $speed     = $out->{fanProbeCurrValue} || 'N/A';
2187             $encl_name = $out->{fanConnectionEnclosureName} || 'Unknown enclosure';
2188             $encl_id   = $snmp_enclosure{$out->{fanConnectionEnclosureNumber}}{nexus};
2189             $nexus     = convert_nexus(($out->{fanNexusID} || 9999));
2190         }
2191         else {
2192             $name      = get_nonempty_string('Name', $out, 'Unknown fan');
2193             $state     = get_nonempty_string('State', $out, 'Unknown state');
2194             $status    = get_nonempty_string('Status', $out, 'Unknown');
2195             $speed     = get_nonempty_string('Speed', $out, 'N/A');
2196             $encl_id   = join q{:}, $out->{ctrl}, $out->{'encl_id'};
2197             $encl_name = $out->{encl_name};
2198             $nexus     = join q{:}, $out->{ctrl}, $out->{'encl_id'}, get_nonempty_string('ID', $out, '9999');
2199         }
2200
2201         next FAN if blacklisted('encl_fan', $nexus);
2202
2203         # Default
2204         if ($status ne 'Ok') {
2205             my $msg = sprintf '%s in enclosure %s [%s] needs attention: %s',
2206               $name, $encl_id, $encl_name, $state;
2207             report('storage', $msg, $status2nagios{$status}, $nexus);
2208         }
2209         # Ok
2210         else {
2211             my $msg = sprintf '%s in enclosure %s [%s] is %s (speed=%s)',
2212               $name, $encl_id, $encl_name, $state, $speed;
2213             report('storage', $msg, $E_OK, $nexus);
2214         }
2215     }
2216     return;
2217 }
2218
2219
2220 #-----------------------------------------
2221 # STORAGE: Check enclosure power supplies
2222 #-----------------------------------------
2223 sub check_enclosure_pwr {
2224     return if $#controllers == -1;
2225
2226     my $nexus     = undef;
2227     my $name      = undef;
2228     my $state     = undef;
2229     my $status    = undef;
2230     my $encl_id   = undef;
2231     my $encl_name = undef;
2232     my @output    = ();
2233
2234     if ($snmp) {
2235         my %ps_oid
2236           = (
2237              '1.3.6.1.4.1.674.10893.1.20.130.9.1.2'  => 'powerSupplyName',
2238              '1.3.6.1.4.1.674.10893.1.20.130.9.1.4'  => 'powerSupplyState',
2239              '1.3.6.1.4.1.674.10893.1.20.130.9.1.9'  => 'powerSupplyComponentStatus',
2240              '1.3.6.1.4.1.674.10893.1.20.130.9.1.10' => 'powerSupplyNexusID',
2241              '1.3.6.1.4.1.674.10893.1.20.130.10.1.4' => 'powerSupplyConnectionEnclosureName',
2242              '1.3.6.1.4.1.674.10893.1.20.130.10.1.5' => 'powerSupplyConnectionEnclosureNumber',
2243             );
2244         my $result = undef;
2245         if ($opt{use_get_table}) {
2246             my $powerSupplyTable = '1.3.6.1.4.1.674.10893.1.20.130.9';
2247             my $powerSupplyConnectionTable = '1.3.6.1.4.1.674.10893.1.20.130.10';
2248
2249             $result = $snmp_session->get_table(-baseoid => $powerSupplyTable);
2250             my $ext = $snmp_session->get_table(-baseoid => $powerSupplyConnectionTable);
2251
2252             if (defined $result) {
2253                 defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
2254             }
2255         }
2256         else {
2257             $result = $snmp_session->get_entries(-columns => [keys %ps_oid]);
2258         }
2259
2260         # No enclosure power supplies is OK
2261         return if !defined $result;
2262
2263         @output = @{ get_snmp_output($result, \%ps_oid) };
2264     }
2265     else {
2266         foreach my $enc (@enclosures) {
2267             push @output, @{ run_omreport("storage enclosure controller=$enc->{ctrl} enclosure=$enc->{id} info=pwrsupplies") };
2268             map_item('ctrl', $enc->{ctrl}, \@output);
2269             map_item('encl_id', $enc->{id}, \@output);
2270             map_item('encl_name', $enc->{name}, \@output);
2271         }
2272     }
2273
2274     my %ps_state
2275       = (
2276          0  => 'Unknown',
2277          1  => 'Ready',
2278          2  => 'Failed',
2279          5  => 'Not Installed',
2280          6  => 'Degraded',
2281          11 => 'Removed',
2282          21 => 'Missing',
2283         );
2284
2285     # Check power supplies on each of the enclosures
2286   PS:
2287     foreach my $out (@output) {
2288         if ($snmp) {
2289             $name      = $out->{powerSupplyName} || 'Unknown PSU';
2290             $state     = get_hashval($out->{powerSupplyState}, \%ps_state) || 'Unknown state';
2291             $status    = get_snmp_status($out->{powerSupplyComponentStatus});
2292             $encl_id   = $snmp_enclosure{$out->{powerSupplyConnectionEnclosureNumber}}{nexus};
2293             $encl_name = $out->{powerSupplyConnectionEnclosureName} || 'Unknown enclosure';
2294             $nexus     = convert_nexus(($out->{powerSupplyNexusID} || 9999));
2295         }
2296         else {
2297             $name      = get_nonempty_string('Name', $out, 'Unknown PSU');
2298             $state     = get_nonempty_string('State', $out, 'Unknown state');
2299             $status    = get_nonempty_string('Status', $out, 'Unknown');
2300             $encl_id   = join q{:}, $out->{ctrl}, $out->{'encl_id'};
2301             $encl_name = $out->{encl_name};
2302             $nexus     = join q{:}, $out->{ctrl}, $out->{'encl_id'}, get_nonempty_string('ID', $out, '9999');
2303         }
2304
2305         next PS if blacklisted('encl_ps', $nexus);
2306
2307         # Default
2308         if ($status ne 'Ok') {
2309             my $msg = sprintf '%s in enclosure %s [%s] needs attention: %s',
2310               $name, $encl_id, $encl_name, $state;
2311             report('storage', $msg, $status2nagios{$status}, $nexus);
2312         }
2313         # Ok
2314         else {
2315             my $msg = sprintf '%s in enclosure %s [%s] is %s',
2316               $name, $encl_id, $encl_name, $state;
2317             report('storage', $msg, $E_OK, $nexus);
2318         }
2319     }
2320     return;
2321 }
2322
2323
2324 #-----------------------------------------
2325 # STORAGE: Check enclosure temperatures
2326 #-----------------------------------------
2327 sub check_enclosure_temp {
2328     return if $#controllers == -1;
2329
2330     my $nexus     = undef;
2331     my $name      = undef;
2332     my $state     = undef;
2333     my $status    = undef;
2334     my $reading   = undef;
2335     my $unit      = undef;
2336     my $max_warn  = undef;
2337     my $max_crit  = undef;
2338     my $min_warn  = undef;
2339     my $min_crit  = undef;
2340     my $encl_id   = undef;
2341     my $encl_name = undef;
2342     my @output    = ();
2343
2344     if ($snmp) {
2345         my %temp_oid
2346           = (
2347              '1.3.6.1.4.1.674.10893.1.20.130.11.1.2'  => 'temperatureProbeName',
2348              '1.3.6.1.4.1.674.10893.1.20.130.11.1.4'  => 'temperatureProbeState',
2349              '1.3.6.1.4.1.674.10893.1.20.130.11.1.6'  => 'temperatureProbeUnit',
2350              '1.3.6.1.4.1.674.10893.1.20.130.11.1.7'  => 'temperatureProbeMinWarning',
2351              '1.3.6.1.4.1.674.10893.1.20.130.11.1.8'  => 'temperatureProbeMinCritical',
2352              '1.3.6.1.4.1.674.10893.1.20.130.11.1.9'  => 'temperatureProbeMaxWarning',
2353              '1.3.6.1.4.1.674.10893.1.20.130.11.1.10' => 'temperatureProbeMaxCritical',
2354              '1.3.6.1.4.1.674.10893.1.20.130.11.1.11' => 'temperatureProbeCurValue',
2355              '1.3.6.1.4.1.674.10893.1.20.130.11.1.13' => 'temperatureProbeComponentStatus',
2356              '1.3.6.1.4.1.674.10893.1.20.130.11.1.14' => 'temperatureProbeNexusID',
2357              '1.3.6.1.4.1.674.10893.1.20.130.12.1.4'  => 'temperatureConnectionEnclosureName',
2358              '1.3.6.1.4.1.674.10893.1.20.130.12.1.5'  => 'temperatureConnectionEnclosureNumber',
2359             );
2360         my $result = undef;
2361         if ($opt{use_get_table}) {
2362             my $temperatureProbeTable = '1.3.6.1.4.1.674.10893.1.20.130.11';
2363             my $temperatureConnectionTable = '1.3.6.1.4.1.674.10893.1.20.130.12';
2364
2365             $result = $snmp_session->get_table(-baseoid => $temperatureProbeTable);
2366             my $ext = $snmp_session->get_table(-baseoid => $temperatureConnectionTable);
2367
2368             if (defined $result) {
2369                 defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
2370             }
2371         }
2372         else {
2373             $result = $snmp_session->get_entries(-columns => [keys %temp_oid]);
2374         }
2375
2376         # No enclosure temperature probes is OK
2377         return if !defined $result;
2378
2379         @output = @{ get_snmp_output($result, \%temp_oid) };
2380     }
2381     else {
2382         foreach my $enc (@enclosures) {
2383             push @output, @{ run_omreport("storage enclosure controller=$enc->{ctrl} enclosure=$enc->{id} info=temps") };
2384             map_item('ctrl', $enc->{ctrl}, \@output);
2385             map_item('encl_id', $enc->{id}, \@output);
2386             map_item('encl_name', $enc->{name}, \@output);
2387         }
2388     }
2389
2390     my %temp_state
2391       = (
2392          0  => 'Unknown',
2393          1  => 'Ready',
2394          2  => 'Failed',
2395          4  => 'Offline',
2396          6  => 'Degraded',
2397          9  => 'Inactive',
2398          21 => 'Missing',
2399         );
2400
2401     # Check temperature probes on each of the enclosures
2402   TEMP:
2403     foreach my $out (@output) {
2404         if ($snmp) {
2405             $name      = $out->{temperatureProbeName} || 'Unknown temp probe';
2406             $state     = get_hashval($out->{temperatureProbeState}, \%temp_state) || 'Unknown state';
2407             $status    = get_snmp_probestatus($out->{temperatureProbeComponentStatus});
2408             $unit      = $out->{temperatureProbeUnit} || 'Unknown unit';
2409             $reading   = $out->{temperatureProbeCurValue} || '[N/A]';
2410             $max_warn  = $out->{temperatureProbeMaxWarning} || '[N/A]';
2411             $max_crit  = $out->{temperatureProbeMaxCritical} || '[N/A]';
2412             $min_warn  = $out->{temperatureProbeMinWarning} || '[N/A]';
2413             $min_crit  = $out->{temperatureProbeMinCritical} || '[N/A]';
2414             $encl_id   = $snmp_enclosure{$out->{temperatureConnectionEnclosureNumber}}{nexus};
2415             $encl_name = $out->{temperatureConnectionEnclosureName} || 'Unknown enclosure';
2416             $nexus     = convert_nexus(($out->{temperatureProbeNexusID} || 9999));
2417         }
2418         else {
2419             $name      = get_nonempty_string('Name', $out, 'Unknown temp probe');
2420             $state     = get_nonempty_string('State', $out, 'Unknown state');
2421             $status    = get_nonempty_string('Status', $out, 'Unknown');
2422             $unit      = 'FIXME';
2423             $reading   = get_nonempty_string('Reading', $out, '[N/A]');
2424             $max_warn  = get_nonempty_string('Maximum Warning Threshold', $out, '[N/A]');
2425             $max_crit  = get_nonempty_string('Maximum Failure Threshold', $out, '[N/A]');
2426             $min_warn  = get_nonempty_string('Minimum Warning Threshold', $out, '[N/A]');
2427             $min_crit  = get_nonempty_string('Minimum Failure Threshold', $out, '[N/A]');
2428             $encl_id   = join q{:}, $out->{ctrl}, $out->{'encl_id'};
2429             $encl_name = $out->{encl_name};
2430             $nexus     = join q{:}, $out->{ctrl}, $out->{'encl_id'}, get_nonempty_string('ID', $out, '9999');
2431         }
2432
2433         next TEMP if blacklisted('encl_temp', $nexus);
2434
2435         # Make sure these values are integers
2436         $reading  =~ s{\A \s* (-?\d+) \s* C? \s* \z}{$1}xms or $reading  = '[N/A]';
2437         $max_warn =~ s{\A \s* (-?\d+) \s* C? \s* \z}{$1}xms or $max_warn = '[N/A]';
2438         $max_crit =~ s{\A \s* (-?\d+) \s* C? \s* \z}{$1}xms or $max_crit = '[N/A]';
2439         $min_warn =~ s{\A \s* (-?\d+) \s* C? \s* \z}{$1}xms or $min_warn = '[N/A]';
2440         $min_crit =~ s{\A \s* (-?\d+) \s* C? \s* \z}{$1}xms or $min_crit = '[N/A]';
2441
2442         # Inactive temp probes
2443         if ($status eq 'Unknown' and $state eq 'Inactive') {
2444             my $msg = sprintf '%s in enclosure %s [%s] is %s',
2445               $name, $encl_id, $encl_name, $state;
2446             report('storage', $msg, $E_OK, $nexus);
2447         }
2448         elsif ($status ne 'Ok' and $max_crit ne '[N/A]' and $reading > $max_crit) {
2449             my $msg = sprintf '%s in enclosure %s [%s] is critically high at %d C',
2450               $name, $encl_id, $encl_name, $reading;
2451             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2452             report('chassis', $msg, $err, $nexus);
2453         }
2454         elsif ($status ne 'Ok' and $max_warn ne '[N/A]' and $reading > $max_warn) {
2455             my $msg = sprintf '%s in enclosure %s [%s] is too high at %d C',
2456               $name, $encl_id, $encl_name, $reading;
2457             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2458             report('chassis', $msg, $err, $nexus);
2459         }
2460         elsif ($status ne 'Ok' and $min_crit ne '[N/A]' and $reading < $min_crit) {
2461             my $msg = sprintf '%s in enclosure %s [%s] is critically low at %d C',
2462               $name, $encl_id, $encl_name, $reading;
2463             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2464             report('chassis', $msg, $err, $nexus);
2465         }
2466         elsif ($status ne 'Ok' and $min_warn ne '[N/A]' and $reading < $min_warn) {
2467             my $msg = sprintf '%s in enclosure %s [%s] is too low at %d C',
2468               $name, $encl_id, $encl_name, $reading;
2469             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2470             report('chassis', $msg, $err, $nexus);
2471         }
2472         # Default
2473         elsif ($status ne 'Ok') {
2474             my $msg = sprintf '%s in enclosure %s [%s] is %s',
2475               $name, $encl_id, $encl_name, $state;
2476             if (defined $reading && $reading =~ m{\A -?\d+ \z}xms) {
2477                 # take into account that with certain states the
2478                 # reading doesn't exist or is not an integer
2479                 $msg .= sprintf ' at %s C', $reading;
2480                 if ($min_warn eq '[N/A]' or $min_crit eq '[N/A]') {
2481                     $msg .= sprintf ' (max=%s/%s)', $max_warn, $max_crit;
2482                 }
2483                 else {
2484                     $msg .= sprintf ' (min=%s/%s, max=%s/%s)',
2485                       $min_warn, $min_crit, $max_warn, $max_crit;
2486                 }
2487             }
2488             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2489             report('storage', $msg, $err, $nexus);
2490         }
2491         # Ok
2492         else {
2493             my $msg = sprintf '%s in enclosure %s [%s]',
2494               $name, $encl_id, $encl_name;
2495             if (defined $reading && $reading ne '[N/A]') {
2496                 # take into account that with certain states the
2497                 # reading doesn't exist or is not an integer
2498                 $msg .= sprintf ' reads %d C', $reading;
2499                 if ($min_warn eq '[N/A]' or $min_crit eq '[N/A]') {
2500                     $msg .= sprintf ' (max=%s/%s)', $max_warn, $max_crit;
2501                 }
2502                 else {
2503                     $msg .= sprintf ' (min=%s/%s, max=%s/%s)',
2504                       $min_warn, $min_crit, $max_warn, $max_crit;
2505                 }
2506             }
2507             else {
2508                 $msg .= sprintf ' is %s', $state;
2509             }
2510             report('storage', $msg, $E_OK, $nexus);
2511         }
2512
2513         # Collect performance data
2514         if (defined $opt{perfdata} && $reading ne '[N/A]') {
2515             $name =~ s{\A Temperature\sProbe\s(\d+) \z}{temp_$1}gxms;
2516             my $label = "${name}";
2517             my $mini = $label;
2518             $mini =~ s{temp_}{t}xms;
2519             push @perfdata, {
2520                              type  => 'E',
2521                              id    => $encl_id,
2522                              unit  => 'C',
2523                              label => $label,
2524                              mini  => $mini,
2525                              value => $reading,
2526                              warn  => $max_warn,
2527                              crit  => $max_crit,
2528                             };
2529         }
2530     }
2531     return;
2532 }
2533
2534
2535 #-----------------------------------------
2536 # STORAGE: Check enclosure management modules (EMM)
2537 #-----------------------------------------
2538 sub check_enclosure_emms {
2539     return if $#controllers == -1;
2540
2541     my $nexus     = undef;
2542     my $name      = undef;
2543     my $state     = undef;
2544     my $status    = undef;
2545     my $encl_id   = undef;
2546     my $encl_name = undef;
2547     my @output    = ();
2548
2549     if ($snmp) {
2550         my %emms_oid
2551           = (
2552              '1.3.6.1.4.1.674.10893.1.20.130.13.1.2'  => 'enclosureManagementModuleName',
2553              '1.3.6.1.4.1.674.10893.1.20.130.13.1.4'  => 'enclosureManagementModuleState',
2554              '1.3.6.1.4.1.674.10893.1.20.130.13.1.11' => 'enclosureManagementModuleComponentStatus',
2555              '1.3.6.1.4.1.674.10893.1.20.130.13.1.12' => 'enclosureManagementModuleNexusID',
2556              '1.3.6.1.4.1.674.10893.1.20.130.14.1.4'  => 'enclosureManagementModuleConnectionEnclosureName',
2557              '1.3.6.1.4.1.674.10893.1.20.130.14.1.5'  => 'enclosureManagementModuleConnectionEnclosureNumber',
2558             );
2559         my $result = undef;
2560         if ($opt{use_get_table}) {
2561             my $enclosureManagementModuleTable = '1.3.6.1.4.1.674.10893.1.20.130.13';
2562             my $enclosureManagementModuleConnectionTable = '1.3.6.1.4.1.674.10893.1.20.130.14';
2563
2564             $result = $snmp_session->get_table(-baseoid => $enclosureManagementModuleTable);
2565             my $ext = $snmp_session->get_table(-baseoid => $enclosureManagementModuleConnectionTable);
2566
2567             if (defined $result) {
2568                 defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
2569             }
2570         }
2571         else {
2572             $result = $snmp_session->get_entries(-columns => [keys %emms_oid]);
2573         }
2574
2575         # No enclosure EMMs is OK
2576         return if !defined $result;
2577
2578         @output = @{ get_snmp_output($result, \%emms_oid) };
2579     }
2580     else {
2581         foreach my $enc (@enclosures) {
2582             push @output, @{ run_omreport("storage enclosure controller=$enc->{ctrl} enclosure=$enc->{id} info=emms") };
2583             map_item('ctrl', $enc->{ctrl}, \@output);
2584             map_item('encl_id', $enc->{id}, \@output);
2585             map_item('encl_name', $enc->{name}, \@output);
2586         }
2587     }
2588
2589     my %emms_state
2590       = (
2591          0  => 'Unknown',
2592          1  => 'Ready',
2593          2  => 'Failed',
2594          3  => 'Online',
2595          4  => 'Offline',
2596          5  => 'Not Installed',
2597          6  => 'Degraded',
2598          21 => 'Missing',
2599         );
2600
2601     # Check EMMs on each of the enclosures
2602   EMM:
2603     foreach my $out (@output) {
2604         if ($snmp) {
2605             $name      = $out->{enclosureManagementModuleName} || 'Unknown EMM';
2606             $state     = get_hashval($out->{enclosureManagementModuleState}, \%emms_state) || 'Unknown state';
2607             $status    = get_snmp_status($out->{enclosureManagementModuleComponentStatus});
2608             $encl_id   = $snmp_enclosure{$out->{enclosureManagementModuleConnectionEnclosureNumber}}{nexus};
2609             $encl_name = $out->{enclosureManagementModuleConnectionEnclosureName} || 'Unknown enclosure';
2610             $nexus     = convert_nexus(($out->{enclosureManagementModuleNexusID} || 9999));
2611         }
2612         else {
2613             $name      = get_nonempty_string('Name', $out, 'Unknown EMM');
2614             $state     = get_nonempty_string('State', $out, 'Unknown state');
2615             $status    = get_nonempty_string('Status', $out, 'Unknown');
2616             $encl_id   = join q{:}, $out->{ctrl}, $out->{'encl_id'};
2617             $encl_name = $out->{encl_name};
2618             $nexus     = join q{:}, $out->{ctrl}, $out->{'encl_id'}, get_nonempty_string('ID', $out, '9999');
2619         }
2620
2621         next EMM if blacklisted('encl_emm', $nexus);
2622
2623         # Not installed
2624         if ($status =~ m{\A Other|Unknown \z}xms and $state eq 'Not Installed') {
2625             my $msg = sprintf '%s in enclosure %s [%s] is %s',
2626               $name, $encl_id, $encl_name, $state;
2627             report('storage', $msg, $E_OK, $nexus);
2628         }
2629         # Default
2630         elsif ($status ne 'Ok') {
2631             my $msg = sprintf '%s in enclosure %s [%s] needs attention: %s',
2632               $name, $encl_id, $encl_name, $state;
2633             report('storage', $msg, $status2nagios{$status}, $nexus);
2634         }
2635         # Ok
2636         else {
2637             my $msg = sprintf '%s in enclosure %s [%s] is %s',
2638               $name, $encl_id, $encl_name, $state;
2639             report('storage', $msg, $E_OK, $nexus);
2640         }
2641     }
2642     return;
2643 }
2644
2645
2646 #-----------------------------------------
2647 # CHASSIS: Check memory modules
2648 #-----------------------------------------
2649 sub check_memory {
2650     my $index    = undef;
2651     my $status   = undef;
2652     my $location = undef;
2653     my $size     = undef;
2654     my $modes    = undef;
2655     my @failures = ();
2656     my @output   = ();
2657
2658     if ($snmp) {
2659         my %dimm_oid
2660           = (
2661              '1.3.6.1.4.1.674.10892.1.1100.50.1.2.1'  => 'memoryDeviceIndex',
2662              '1.3.6.1.4.1.674.10892.1.1100.50.1.5.1'  => 'memoryDeviceStatus',
2663              '1.3.6.1.4.1.674.10892.1.1100.50.1.8.1'  => 'memoryDeviceLocationName',
2664              '1.3.6.1.4.1.674.10892.1.1100.50.1.14.1' => 'memoryDeviceSize',
2665              '1.3.6.1.4.1.674.10892.1.1100.50.1.20.1' => 'memoryDeviceFailureModes',
2666             );
2667         my $result = undef;
2668         if ($opt{use_get_table}) {
2669             my $memoryDeviceTable = '1.3.6.1.4.1.674.10892.1.1100.50.1';
2670             $result = $snmp_session->get_table(-baseoid => $memoryDeviceTable);
2671         }
2672         else {
2673             $result = $snmp_session->get_entries(-columns => [keys %dimm_oid]);
2674         }
2675
2676         if (!defined $result) {
2677             printf "SNMP ERROR [memory]: %s.\n", $snmp_session->error;
2678             $snmp_session->close;
2679             exit $E_UNKNOWN;
2680         }
2681
2682         @output = @{ get_snmp_output($result, \%dimm_oid) };
2683     }
2684     else {
2685         @output = @{ run_omreport("$omopt_chassis memory") };
2686     }
2687
2688     # Note: These values are bit masks, so combination values are
2689     # possible. If value is 0 (zero), memory device has no faults.
2690     my %failure_mode
2691       = (
2692          1  => 'ECC single bit correction warning rate exceeded',
2693          2  => 'ECC single bit correction failure rate exceeded',
2694          4  => 'ECC multibit fault encountered',
2695          8  => 'ECC single bit correction logging disabled',
2696          16 => 'device disabled because of spare activation',
2697         );
2698
2699   DIMM:
2700     foreach my $out (@output) {
2701         @failures = ();  # Initialize
2702         if ($snmp) {
2703             $index    = ($out->{memoryDeviceIndex} || 10000) - 1;
2704             $status   = get_snmp_status($out->{memoryDeviceStatus});
2705             $location = $out->{memoryDeviceLocationName} || 'Unknown location';
2706             $size     = sprintf '%d MB', ($out->{memoryDeviceSize} || 0)/1024;
2707             $modes    = $out->{memoryDeviceFailureModes} || -9999;
2708             if ($modes > 0) {
2709                 foreach my $mask (sort keys %failure_mode) {
2710                     if (($modes & $mask) != 0) { push @failures, $failure_mode{$mask}; }
2711                 }
2712             }
2713             elsif ($modes == -9999) {
2714                 push @failures, q{ERROR: Failure modes not available via SNMP};
2715             }
2716         }
2717         else {
2718             my $type  = get_nonempty_string('Type', $out, q{});
2719             $index    = $type eq '[Not Occupied]' ? undef : get_nonempty_string('Index', $out, 9999);
2720             $status   = get_nonempty_string('Status', $out, 'Unknown');
2721             $location = get_nonempty_string('Connector Name', $out, 'Unknown location');
2722             $size     = get_nonempty_string('Size', $out, 0);
2723             if (defined $size) {
2724                 $size =~ s{\s\s}{ }gxms;
2725             }
2726             # Run 'omreport chassis memory index=X' to get the failures
2727             if ($status ne 'Ok' && defined $index) {
2728                 foreach (@{ run_command("$omreport $omopt_chassis memory index=$index -fmt ssv") }) {
2729                     if (m/\A Failures; (.+?) \z/xms) {
2730                         chop(my $fail = $1);
2731                         push @failures, split m{\.}xms, $fail;
2732                     }
2733                 }
2734             }
2735         }
2736         $location =~ s{\A \s*(.*?)\s* \z}{$1}xms;
2737
2738         # calculate total memory
2739         my $msize = defined $size ? $size : 0;
2740         $msize =~ s{\A (\d+) \s MB}{$1}xms;
2741         $count{mem} += $msize;
2742
2743         # Ignore empty memory slots
2744         next DIMM if !defined $index;
2745
2746         $count{dimm}++;
2747         next DIMM if blacklisted('dimm', $index);
2748
2749         if ($status ne 'Ok') {
2750             my $msg = undef;
2751             if (scalar @failures == 0) {
2752                 $msg = sprintf 'Memory module %d [%s, %s] needs attention (%s)',
2753                   $index, $location, $size, $status;
2754             }
2755             else {
2756                 $msg = sprintf 'Memory module %d [%s, %s] needs attention: %s',
2757                   $index, $location, $size, (join q{, }, @failures);
2758             }
2759
2760             report('chassis', $msg, $status2nagios{$status}, $index);
2761         }
2762         # Ok
2763         else {
2764             my $msg = sprintf 'Memory module %d [%s, %s] is %s',
2765               $index, $location, $size, $status;
2766             report('chassis', $msg, $E_OK, $index);
2767         }
2768     }
2769     return;
2770 }
2771
2772
2773 #-----------------------------------------
2774 # CHASSIS: Check fans
2775 #-----------------------------------------
2776 sub check_fans {
2777     my $index    = undef;
2778     my $status   = undef;
2779     my $reading  = undef;
2780     my $location = undef;
2781     my $max_crit = undef;
2782     my $max_warn = undef;
2783     my @output   = ();
2784
2785     if ($snmp) {
2786         my %cool_oid
2787           = (
2788              '1.3.6.1.4.1.674.10892.1.700.12.1.2.1'  => 'coolingDeviceIndex',
2789              '1.3.6.1.4.1.674.10892.1.700.12.1.5.1'  => 'coolingDeviceStatus',
2790              '1.3.6.1.4.1.674.10892.1.700.12.1.6.1'  => 'coolingDeviceReading',
2791              '1.3.6.1.4.1.674.10892.1.700.12.1.8.1'  => 'coolingDeviceLocationName',
2792              '1.3.6.1.4.1.674.10892.1.700.12.1.10.1' => 'coolingDeviceUpperCriticalThreshold',
2793              '1.3.6.1.4.1.674.10892.1.700.12.1.11.1' => 'coolingDeviceUpperNonCriticalThreshold',
2794             );
2795         my $result = undef;
2796         if ($opt{use_get_table}) {
2797             my $coolingDeviceTable = '1.3.6.1.4.1.674.10892.1.700.12.1';
2798             $result = $snmp_session->get_table(-baseoid => $coolingDeviceTable);
2799         }
2800         else {
2801             $result = $snmp_session->get_entries(-columns => [keys %cool_oid]);
2802         }
2803
2804         if ($blade && !defined $result) {
2805             return 0;
2806         }
2807         elsif (!$blade && !defined $result) {
2808             printf "SNMP ERROR [cooling]: %s.\n", $snmp_session->error;
2809             $snmp_session->close;
2810             exit $E_UNKNOWN;
2811         }
2812
2813         @output = @{ get_snmp_output($result, \%cool_oid) };
2814     }
2815     else {
2816         @output = @{ run_omreport("$omopt_chassis fans") };
2817     }
2818
2819   FAN:
2820     foreach my $out (@output) {
2821         if ($snmp) {
2822             $index    = ($out->{coolingDeviceIndex} || 10000) - 1;
2823             $status   = get_snmp_probestatus($out->{coolingDeviceStatus});
2824             $reading  = $out->{coolingDeviceReading} || 0;
2825             $location = $out->{coolingDeviceLocationName} || 'Unknown location';
2826             $max_crit = $out->{coolingDeviceUpperCriticalThreshold} || 0;
2827             $max_warn = $out->{coolingDeviceUpperNonCriticalThreshold} || 0;
2828         }
2829         else {
2830             $index    = get_nonempty_string('Index', $out, 9999);
2831             $status   = get_nonempty_string('Status', $out, 'Unknown');
2832             $reading  = get_nonempty_string('Reading', $out, 0);
2833             $location = get_nonempty_string('Probe Name', $out, 'Unknown location');
2834             $max_crit = get_nonempty_string('Maximum Failure Threshold', $out, 0);
2835             $max_warn = get_nonempty_string('Maximum Warning Threshold', $out, 0);
2836             if ($max_crit eq '[N/A]') { $max_crit = 0; }
2837             if ($max_warn eq '[N/A]') { $max_warn = 0; }
2838             $reading  =~ s{\A (\d+).* \z}{$1}xms;
2839             $max_warn =~ s{\A (\d+).* \z}{$1}xms;
2840             $max_crit =~ s{\A (\d+).* \z}{$1}xms;
2841         }
2842
2843         $count{fan}++;
2844         next FAN if blacklisted('fan', $index);
2845
2846         if ($status ne 'Ok') {
2847             my $msg = sprintf 'Chassis fan %d [%s] needs attention: %s',
2848               $index, $location, $status;
2849             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
2850             report('chassis', $msg, $err, $index);
2851         }
2852         else {
2853             my $msg = sprintf 'Chassis fan %d [%s]: %s',
2854               $index, $location, $reading;
2855             report('chassis', $msg, $E_OK, $index);
2856         }
2857
2858         # Collect performance data
2859         if (defined $opt{perfdata}) {
2860             my $pname = $location;
2861             $pname =~ s{\s}{_}gxms;
2862             $pname =~ s{proc_}{cpu#}xms;
2863             $pname =~ s{_rpm\z}{}ixms;
2864             push @perfdata, {
2865                              type  => 'F',
2866                              id    => $index,
2867                              unit  => 'rpm',
2868                              label => $pname,
2869                              mini  => 'f',
2870                              value => $reading,
2871                              warn  => $max_warn,
2872                              crit  => $max_crit,
2873                             };
2874         }
2875     }
2876     return;
2877 }
2878
2879
2880 #-----------------------------------------
2881 # CHASSIS: Check power supplies
2882 #-----------------------------------------
2883 sub check_powersupplies {
2884     my $index    = undef;
2885     my $status   = undef;
2886     my $type     = undef;
2887     my $err_type = undef;
2888     my $state    = undef;
2889     my @states   = ();
2890     my @output   = ();
2891
2892     if ($snmp) {
2893         my %ps_oid
2894           = (
2895              '1.3.6.1.4.1.674.10892.1.600.12.1.2.1'  => 'powerSupplyIndex',
2896              '1.3.6.1.4.1.674.10892.1.600.12.1.5.1'  => 'powerSupplyStatus',
2897              '1.3.6.1.4.1.674.10892.1.600.12.1.7.1'  => 'powerSupplyType',
2898              '1.3.6.1.4.1.674.10892.1.600.12.1.11.1' => 'powerSupplySensorState',
2899              '1.3.6.1.4.1.674.10892.1.600.12.1.12.1' => 'powerSupplyConfigurationErrorType',
2900             );
2901         my $result = undef;
2902         if ($opt{use_get_table}) {
2903             my $powerDeviceTable = '1.3.6.1.4.1.674.10892.1.600.12.1';
2904             $result = $snmp_session->get_table(-baseoid => $powerDeviceTable);
2905         }
2906         else {
2907             $result = $snmp_session->get_entries(-columns => [keys %ps_oid]);
2908         }
2909
2910         # No instrumented PSU is OK (blades, low-end servers)
2911         return 0 if !defined $result;
2912
2913         @output = @{ get_snmp_output($result, \%ps_oid) };
2914     }
2915     else {
2916         @output = @{ run_omreport("$omopt_chassis pwrsupplies") };
2917     }
2918
2919     my %ps_type
2920       = (
2921          1  => 'Other',
2922          2  => 'Unknown',
2923          3  => 'Linear',
2924          4  => 'Switching',
2925          5  => 'Battery',
2926          6  => 'Uninterruptible Power Supply',
2927          7  => 'Converter',
2928          8  => 'Regulator',
2929          9  => 'AC',
2930          10 => 'DC',
2931          11 => 'VRM',
2932         );
2933
2934     my %ps_state
2935       = (
2936          1  => 'Presence detected',
2937          2  => 'Failure detected',
2938          4  => 'Predictive Failure',
2939          8  => 'AC lost',
2940          16 => 'AC lost or out-of-range',
2941          32 => 'AC out-of-range but present',
2942          64 => 'Configuration error',
2943         );
2944
2945     my %ps_config_error_type
2946       = (
2947          1 => 'Vendor mismatch',
2948          2 => 'Revision mismatch',
2949          3 => 'Processor missing',
2950         );
2951
2952   PS:
2953     foreach my $out (@output) {
2954         if ($snmp) {
2955             @states = ();  # contains states for the PS
2956
2957             $index    = ($out->{powerSupplyIndex} || 10000) - 1;
2958             $status   = get_snmp_status($out->{powerSupplyStatus});
2959             $type     = get_hashval($out->{powerSupplyType}, \%ps_type) || 'Unknown type';
2960             $err_type = get_hashval($out->{powerSupplyConfigurationErrorType}, \%ps_config_error_type);
2961
2962             # get the combined state from the StatusReading OID
2963             my $raw_state = $out->{powerSupplySensorState} || 0;
2964             foreach my $mask (sort keys %ps_state) {
2965                 if (($raw_state & $mask) != 0) {
2966                     push @states, $ps_state{$mask};
2967                 }
2968             }
2969
2970             # If configuration error, also include the error type
2971             if (defined $err_type) {
2972                 push @states, $err_type;
2973             }
2974
2975             # Finally, construct the state string
2976             $state = join q{, }, @states;
2977         }
2978         else {
2979             $index  = get_nonempty_string('Index', $out, 9999);
2980             $status = get_nonempty_string('Status', $out, 'Unknown');
2981             $type   = get_nonempty_string('Type', $out, 'Unknown type');
2982             $state  = get_nonempty_string('Online Status', $out, 'Unknown state');
2983         }
2984
2985         $count{power}++;
2986         next PS if blacklisted('ps', $index);
2987
2988         if ($status ne 'Ok') {
2989             my $msg = sprintf 'Power Supply %d [%s] needs attention: %s',
2990               $index, $type, $state;
2991             report('chassis', $msg, $status2nagios{$status}, $index);
2992         }
2993         else {
2994             my $msg = sprintf 'Power Supply %d [%s]: %s',
2995               $index, $type, $state;
2996             report('chassis', $msg, $E_OK, $index);
2997         }
2998     }
2999     return;
3000 }
3001
3002
3003 #-----------------------------------------
3004 # CHASSIS: Check temperatures
3005 #-----------------------------------------
3006 sub check_temperatures {
3007     my $index    = undef;
3008     my $status   = undef;
3009     my $reading  = undef;
3010     my $location = undef;
3011     my $max_crit = undef;
3012     my $max_warn = undef;
3013     my $min_warn = undef;
3014     my $min_crit = undef;
3015     my $type     = undef;
3016     my $discrete = undef;
3017     my @output = ();
3018
3019     # Getting custom temperature thresholds (user option)
3020     my %warn_threshold = %{ custom_temperature_thresholds('w') };
3021     my %crit_threshold = %{ custom_temperature_thresholds('c') };
3022
3023     if ($snmp) {
3024         my %temp_oid
3025           = (
3026              '1.3.6.1.4.1.674.10892.1.700.20.1.2.1'  => 'temperatureProbeIndex',
3027              '1.3.6.1.4.1.674.10892.1.700.20.1.5.1'  => 'temperatureProbeStatus',
3028              '1.3.6.1.4.1.674.10892.1.700.20.1.6.1'  => 'temperatureProbeReading',
3029              '1.3.6.1.4.1.674.10892.1.700.20.1.7.1'  => 'temperatureProbeType',
3030              '1.3.6.1.4.1.674.10892.1.700.20.1.8.1'  => 'temperatureProbeLocationName',
3031              '1.3.6.1.4.1.674.10892.1.700.20.1.10.1' => 'temperatureProbeUpperCriticalThreshold',
3032              '1.3.6.1.4.1.674.10892.1.700.20.1.11.1' => 'temperatureProbeUpperNonCriticalThreshold',
3033              '1.3.6.1.4.1.674.10892.1.700.20.1.12.1' => 'temperatureProbeLowerNonCriticalThreshold',
3034              '1.3.6.1.4.1.674.10892.1.700.20.1.13.1' => 'temperatureProbeLowerCriticalThreshold',
3035              '1.3.6.1.4.1.674.10892.1.700.20.1.16.1' => 'temperatureProbeDiscreteReading',
3036             );
3037         # this didn't work well for some reason
3038         #my $result = $snmp_session->get_entries(-columns => [keys %temp_oid]);
3039
3040         # Getting values using the table
3041         my $temperatureProbeTable = '1.3.6.1.4.1.674.10892.1.700.20';
3042         my $result = $snmp_session->get_table(-baseoid => $temperatureProbeTable);
3043
3044         if (!defined $result) {
3045             printf "SNMP ERROR [temperatures]: %s.\n", $snmp_session->error;
3046             $snmp_session->close;
3047             exit $E_UNKNOWN;
3048         }
3049
3050         @output = @{ get_snmp_output($result, \%temp_oid) };
3051     }
3052     else {
3053         @output = @{ run_omreport("$omopt_chassis temps") };
3054     }
3055
3056     my %probe_type
3057       = (
3058          1  => 'Other',      # type is other than following values
3059          2  => 'Unknown',    # type is unknown
3060          3  => 'AmbientESM', # type is Ambient Embedded Systems Management temperature probe
3061          16 => 'Discrete',   # type is temperature probe with discrete reading
3062         );
3063
3064   TEMP:
3065     foreach my $out (@output) {
3066         if ($snmp) {
3067             $index    = ($out->{temperatureProbeIndex} || 10000) - 1;
3068             $status   = get_snmp_probestatus($out->{temperatureProbeStatus});
3069             $location = $out->{temperatureProbeLocationName} || 'Unknown location';
3070             $type     = get_hashval($out->{temperatureProbeType}, \%probe_type);
3071             $reading  = $out->{temperatureProbeReading} || '[N/A]';
3072             $max_crit = $out->{temperatureProbeUpperCriticalThreshold} || '[N/A]';
3073             $max_warn = $out->{temperatureProbeUpperNonCriticalThreshold} || '[N/A]';
3074             $min_crit = $out->{temperatureProbeLowerCriticalThreshold} || '[N/A]';
3075             $min_warn = $out->{temperatureProbeLowerNonCriticalThreshold} || '[N/A]';
3076             $discrete = $out->{temperatureProbeDiscreteReading} || '[N/A]';
3077
3078             # If numeric values, i.e. not discrete
3079             $reading  /= 10 if $reading  =~ m{\A \d+ \z}xms;
3080             $max_crit /= 10 if $max_crit =~ m{\A \d+ \z}xms;
3081             $max_warn /= 10 if $max_warn =~ m{\A \d+ \z}xms;
3082             $min_crit /= 10 if $min_crit =~ m{\A \d+ \z}xms;
3083             $min_warn /= 10 if $min_warn =~ m{\A \d+ \z}xms;
3084
3085             # workaround for bad temp probes
3086             if ($type eq 'AmbientESM' and $reading !~ m{\A \d+(\.\d+)? \z}xms) {
3087                 $type = 'Discrete';
3088             }
3089         }
3090         else {
3091             $index    = get_nonempty_string('Index', $out, 9999);
3092             $status   = get_nonempty_string('Status', $out, 'Unknown');
3093             $location = get_nonempty_string('Probe Name', $out, 'Unknown location');
3094             $reading  = get_nonempty_string('Reading', $out, '[N/A]');
3095             $max_crit = get_nonempty_string('Maximum Failure Threshold', $out, '[N/A]');
3096             $max_warn = get_nonempty_string('Maximum Warning Threshold', $out, '[N/A]');
3097             $min_crit = get_nonempty_string('Minimum Failure Threshold', $out, '[N/A]');
3098             $min_warn = get_nonempty_string('Minimum Warning Threshold', $out, '[N/A]');
3099
3100             # Cleaning the temp readings
3101             $reading =~ s{\.0\s+C}{}xms;
3102             $max_crit =~ s{\.0\s+C}{}xms;
3103             $max_warn =~ s{\.0\s+C}{}xms;
3104             $min_crit =~ s{\.0\s+C}{}xms;
3105             $min_warn =~ s{\.0\s+C}{}xms;
3106
3107             $type     = $reading =~ m{\A\d+\z}xms ? 'AmbientESM' : 'Discrete';
3108             $discrete = $reading;
3109         }
3110
3111         $count{temp}++;
3112         next TEMP if blacklisted('temp', $index);
3113
3114         if ($type eq 'Discrete') {
3115             my $msg = sprintf 'Temperature probe %d [%s] is %s',
3116               $index, $location, $discrete;
3117             my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3118             report('chassis', $msg, $err, $index);
3119         }
3120         else {
3121             # First check according to custom thresholds
3122             if (exists $crit_threshold{$index}{max} and $reading > $crit_threshold{$index}{max}) {
3123                 # Custom critical MAX
3124                 my $msg = sprintf 'Temperature Probe %d [%s] reads %d C (custom max=%d)',
3125                   $index, $location, $reading, $crit_threshold{$index}{max};
3126                 report('chassis', $msg, $E_CRITICAL, $index);
3127             }
3128             elsif (exists $warn_threshold{$index}{max} and $reading > $warn_threshold{$index}{max}) {
3129                 # Custom warning MAX
3130                 my $msg = sprintf 'Temperature Probe %d [%s] reads %d C (custom max=%d)',
3131                   $index, $location, $reading, $warn_threshold{$index}{max};
3132                 report('chassis', $msg, $E_WARNING, $index);
3133             }
3134             elsif (exists $crit_threshold{$index}{min} and $reading < $crit_threshold{$index}{min}) {
3135                 # Custom critical MIN
3136                 my $msg = sprintf 'Temperature Probe %d [%s] reads %d C (custom min=%d)',
3137                   $index, $location, $reading, $crit_threshold{$index}{min};
3138                 report('chassis', $msg, $E_CRITICAL, $index);
3139             }
3140             elsif (exists $warn_threshold{$index}{min} and $reading < $warn_threshold{$index}{min}) {
3141                 # Custom warning MIN
3142                 my $msg = sprintf 'Temperature Probe %d [%s] reads %d C (custom min=%d)',
3143                   $index, $location, $reading, $warn_threshold{$index}{min};
3144                 report('chassis', $msg, $E_WARNING, $index);
3145             }
3146             elsif ($status ne 'Ok' and $max_crit ne '[N/A]' and $reading > $max_crit) {
3147                 my $msg = sprintf 'Temperature Probe %d [%s] is critically high at %d C',
3148                   $index, $location, $reading;
3149                 my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3150                 report('chassis', $msg, $err, $index);
3151             }
3152             elsif ($status ne 'Ok' and $max_warn ne '[N/A]' and $reading > $max_warn) {
3153                 my $msg = sprintf 'Temperature Probe %d [%s] is too high at %d C',
3154                   $index, $location, $reading;
3155                 my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3156                 report('chassis', $msg, $err, $index);
3157             }
3158             elsif ($status ne 'Ok' and $min_crit ne '[N/A]' and $reading < $min_crit) {
3159                 my $msg = sprintf 'Temperature Probe %d [%s] is critically low at %d C',
3160                   $index, $location, $reading;
3161                 my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3162                 report('chassis', $msg, $err, $index);
3163             }
3164             elsif ($status ne 'Ok' and $min_warn ne '[N/A]' and $reading < $min_warn) {
3165                 my $msg = sprintf 'Temperature Probe %d [%s] is too low at %d C',
3166                   $index, $location, $reading;
3167                 my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3168                 report('chassis', $msg, $err, $index);
3169             }
3170             # Ok
3171             else {
3172                 my $msg = sprintf 'Temperature Probe %d [%s] reads %d C',
3173                   $index, $location, $reading;
3174                 if ($min_warn eq '[N/A]' and $min_crit eq '[N/A]') {
3175                     $msg .= sprintf ' (max=%s/%s)', $max_warn, $max_crit;
3176                 }
3177                 else {
3178                     $msg .= sprintf ' (min=%s/%s, max=%s/%s)',
3179                       $min_warn, $min_crit, $max_warn, $max_crit;
3180                 }
3181                 my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3182                 report('chassis', $msg, $err, $index);
3183             }
3184
3185             # Collect performance data
3186             if (defined $opt{perfdata}) {
3187                 my $pname = $location;
3188                 $pname =~ s{\s}{_}gxms;
3189                 $pname =~ s{_temp\z}{}xms;
3190                 $pname =~ s{proc_}{cpu#}xms;
3191                 push @perfdata, {
3192                                  type  => 'T',
3193                                  id    => $index,
3194                                  unit  => 'C',
3195                                  label => $pname,
3196                                  mini  => 't',
3197                                  value => $reading,
3198                                  warn  => $max_warn,
3199                                  crit  => $max_crit,
3200                                 };
3201             }
3202         }
3203     }
3204     return;
3205 }
3206
3207
3208 #-----------------------------------------
3209 # CHASSIS: Check processors
3210 #-----------------------------------------
3211 sub check_processors {
3212     my $index   = undef;
3213     my $status  = undef;
3214     my $state   = undef;
3215     my $brand   = undef;
3216     my $family  = undef;
3217     my $man     = undef;
3218     my $speed   = undef;
3219     my @output = ();
3220
3221     if ($snmp) {
3222
3223         # NOTE: For some reason, older models don't have the
3224         # "Processor Device Status" OIDs. We check both the newer
3225         # (preferred) OIDs and the old ones.
3226
3227         my %cpu_oid
3228           = (
3229              '1.3.6.1.4.1.674.10892.1.1100.30.1.2.1'  => 'processorDeviceIndex',
3230              '1.3.6.1.4.1.674.10892.1.1100.30.1.5.1'  => 'processorDeviceStatus',
3231              '1.3.6.1.4.1.674.10892.1.1100.30.1.8.1'  => 'processorDeviceManufacturerName',
3232              '1.3.6.1.4.1.674.10892.1.1100.30.1.9.1'  => 'processorDeviceStatusState',
3233              '1.3.6.1.4.1.674.10892.1.1100.30.1.10.1' => 'processorDeviceFamily',
3234              '1.3.6.1.4.1.674.10892.1.1100.30.1.12.1' => 'processorDeviceCurrentSpeed',
3235              '1.3.6.1.4.1.674.10892.1.1100.30.1.23.1' => 'processorDeviceBrandName',
3236              '1.3.6.1.4.1.674.10892.1.1100.32.1.2.1'  => 'processorDeviceStatusIndex',
3237              '1.3.6.1.4.1.674.10892.1.1100.32.1.5.1'  => 'processorDeviceStatusStatus',
3238              '1.3.6.1.4.1.674.10892.1.1100.32.1.6.1'  => 'processorDeviceStatusReading',
3239             );
3240         my $result = undef;
3241         if ($opt{use_get_table}) {
3242             my $processorDeviceTable = '1.3.6.1.4.1.674.10892.1.1100.30.1';
3243             my $processorDeviceStatusTable = '1.3.6.1.4.1.674.10892.1.1100.32.1';
3244
3245             $result = $snmp_session->get_table(-baseoid => $processorDeviceTable);
3246             my $ext = $snmp_session->get_table(-baseoid => $processorDeviceStatusTable);
3247
3248             defined $ext && map { $$result{$_} = $$ext{$_} } keys %{ $ext };
3249         }
3250         else {
3251             $result = $snmp_session->get_entries(-columns => [keys %cpu_oid]);
3252         }
3253
3254         if (!defined $result) {
3255             printf "SNMP ERROR [processors]: %s.\n", $snmp_session->error;
3256             $snmp_session->close;
3257             exit $E_UNKNOWN;
3258         }
3259
3260         @output = @{ get_snmp_output($result, \%cpu_oid) };
3261     }
3262     else {
3263         @output = @{ run_omreport("$omopt_chassis processors") };
3264     }
3265
3266     my %cpu_state
3267       = (
3268          1 => 'Other',         # other than following values
3269          2 => 'Unknown',       # unknown
3270          3 => 'Enabled',       # enabled
3271          4 => 'User Disabled', # disabled by user via BIOS setup
3272          5 => 'BIOS Disabled', # disabled by BIOS (POST error)
3273          6 => 'Idle',          # idle
3274         );
3275
3276     my %cpu_reading
3277       = (
3278          1    => 'Internal Error',      # Internal Error
3279          2    => 'Thermal Trip',        # Thermal Trip
3280          32   => 'Configuration Error', # Configuration Error
3281          128  => 'Present',             # Processor Present
3282          256  => 'Disabled',            # Processor Disabled
3283          512  => 'Terminator Present',  # Terminator Present
3284          1024 => 'Throttled',           # Processor Throttled
3285         );
3286
3287     # Mapping between family numbers from SNMP and actual CPU family
3288     my %cpu_family
3289       = (
3290          1   => 'Other',                                2   => 'Unknown',
3291          3   => '8086',                                 4   => '80286',
3292          5   => '386',                                  6   => '486',
3293          7   => '8087',                                 8   => '80287',
3294          9   => '80387',                                10  => '80487',
3295          11  => 'Pentium',                              12  => 'Pentium Pro',
3296          13  => 'Pentium II',                           14  => 'Pentium with MMX',
3297          15  => 'Celeron',                              16  => 'Pentium II Xeon',
3298          17  => 'Pentium III',                          18  => 'Pentium III Xeon',
3299          19  => 'Pentium III',                          20  => 'Itanium',
3300          21  => 'Xeon',                                 22  => 'Pentium 4',
3301          23  => 'Xeon MP',                              24  => 'Itanium 2',
3302          25  => 'K5',                                   26  => 'K6',
3303          27  => 'K6-2',                                 28  => 'K6-3',
3304          29  => 'Athlon',                               30  => 'AMD2900',
3305          31  => 'K6-2+',                                32  => 'Power PC',
3306          33  => 'Power PC 601',                         34  => 'Power PC 603',
3307          35  => 'Power PC 603+',                        36  => 'Power PC 604',
3308          37  => 'Power PC 620',                         38  => 'Power PC x704',
3309          39  => 'Power PC 750',                         40  => 'Core Duo',
3310          41  => 'Core Duo mobile',                      42  => 'Core Solo mobile',
3311          43  => 'Intel Atom',                           44  => undef,
3312          45  => undef,                                  46  => undef,
3313          47  => undef,                                  48  => 'Alpha',
3314          49  => 'Alpha 21064',                          50  => 'Alpha 21066',
3315          51  => 'Alpha 21164',                          52  => 'Alpha 21164PC',
3316          53  => 'Alpha 21164a',                         54  => 'Alpha 21264',
3317          55  => 'Alpha 21364',                          56  => 'Turion II Ultra Dual-Core Mobile M',
3318          57  => 'Turion II Dual-Core Mobile M',         58  => 'Athlon II Dual-Core Mobile M ',
3319          59  => 'Opteron 6100',                         60  => 'Opteron 4100',
3320          61  => undef,                                  62  => undef,
3321          63  => undef,                                  64  => 'MIPS',
3322          65  => 'MIPS R4000',                           66  => 'MIPS R4200',
3323          67  => 'MIPS R4400',                           68  => 'MIPS R4600',
3324          69  => 'MIPS R10000',                          70  => undef,
3325          71  => undef,                                  72  => undef,
3326          73  => undef,                                  74  => undef,
3327          75  => undef,                                  76  => undef,
3328          77  => undef,                                  78  => undef,
3329          79  => undef,                                  80  => 'SPARC',
3330          81  => 'SuperSPARC',                           82  => 'microSPARC II',
3331          83  => 'microSPARC IIep',                      84  => 'UltraSPARC',
3332          85  => 'UltraSPARC II',                        86  => 'UltraSPARC IIi',
3333          87  => 'UltraSPARC III',                       88  => 'UltraSPARC IIIi',
3334          89  => undef,                                  90  => undef,
3335          91  => undef,                                  92  => undef,
3336          93  => undef,                                  94  => undef,
3337          95  => undef,                                  96  => '68040',
3338          97  => '68xxx',                                98  => '68000',
3339          99  => '68010',                                100 => '68020',
3340          101 => '68030',                                102 => undef,
3341          103 => undef,                                  104 => undef,
3342          105 => undef,                                  106 => undef,
3343          107 => undef,                                  108 => undef,
3344          109 => undef,                                  110 => undef,
3345          111 => undef,                                  112 => 'Hobbit',
3346          113 => undef,                                  114 => undef,
3347          115 => undef,                                  116 => undef,
3348          117 => undef,                                  118 => undef,
3349          119 => undef,                                  120 => 'Crusoe TM5000',
3350          121 => 'Crusoe TM3000',                        122 => 'Efficeon TM8000',
3351          123 => undef,                                  124 => undef,
3352          125 => undef,                                  126 => undef,
3353          127 => undef,                                  128 => 'Weitek',
3354          129 => undef,                                  130 => 'Celeron M',
3355          131 => 'Athlon 64',                            132 => 'Opteron',
3356          133 => 'Sempron',                              134 => 'Turion 64 Mobile',
3357          135 => 'Dual-Core Opteron',                    136 => 'Athlon 64 X2 DC',
3358          137 => 'Turion 64 X2 M',                       138 => 'Quad-Core Opteron',
3359          139 => '3rd gen Opteron',                      140 => 'AMD Phenom FX Quad-Core',
3360          141 => 'AMD Phenom X4 Quad-Core',              142 => 'AMD Phenom X2 Dual-Core',
3361          143 => 'AMD Athlon X2 Dual-Core',              144 => 'PA-RISC',
3362          145 => 'PA-RISC 8500',                         146 => 'PA-RISC 8000',
3363          147 => 'PA-RISC 7300LC',                       148 => 'PA-RISC 7200',
3364          149 => 'PA-RISC 7100LC',                       150 => 'PA-RISC 7100',
3365          151 => undef,                                  152 => undef,
3366          153 => undef,                                  154 => undef,
3367          155 => undef,                                  156 => undef,
3368          157 => undef,                                  158 => undef,
3369          159 => undef,                                  160 => 'V30',
3370          161 => 'Quad-Core Xeon 3200',                  162 => 'Dual-Core Xeon 3000',
3371          163 => 'Quad-Core Xeon 5300',                  164 => 'Dual-Core Xeon 5100',
3372          165 => 'Dual-Core Xeon 5000',                  166 => 'Dual-Core Xeon LV',
3373          167 => 'Dual-Core Xeon ULV',                   168 => 'Dual-Core Xeon 7100',
3374          169 => 'Quad-Core Xeon 5400',                  170 => 'Quad-Core Xeon',
3375          171 => 'Dual-Core Xeon 5200',                  172 => 'Dual-Core Xeon 7200',
3376          173 => 'Quad-Core Xeon 7300',                  174 => 'Quad-Core Xeon 7400',
3377          175 => 'Multi-Core Xeon 7400',                 176 => 'M1',
3378          177 => 'M2',                                   178 => undef,
3379          179 => 'Pentium 4 HT',                         180 => 'AS400',
3380          181 => undef,                                  182 => 'Athlon XP',
3381          183 => 'Athlon MP',                            184 => 'Duron',
3382          185 => 'Pentium M',                            186 => 'Celeron D',
3383          187 => 'Pentium D',                            188 => 'Pentium Extreme',
3384          189 => 'Core Solo',                            190 => 'Core2',
3385          191 => 'Core2 Duo',                            192 => 'Core2 Solo',
3386          193 => 'Core2 Extreme',                        194 => 'Core2 Quad',
3387          195 => 'Core2 Extreme mobile',                 196 => 'Core2 Duo mobile',
3388          197 => 'Core2 Solo mobile',                    198 => 'Core i7',
3389          199 => 'Dual-Core Celeron',                    200 => 'IBM390',
3390          201 => 'G4',                                   202 => 'G5',
3391          203 => 'ESA/390 G6',                           204 => 'z/Architectur',
3392          205 => 'Core i5',                              206 => 'Core i3',
3393          207 => undef,                                  208 => undef,
3394          209 => undef,                                  210 => 'C7-M',
3395          211 => 'C7-D',                                 212 => 'C7',
3396          213 => 'Eden',                                 214 => 'Multi-Core Xeon',
3397          215 => 'Dual-Core Xeon 3xxx',                  216 => 'Quad-Core Xeon 3xxx',
3398          217 => 'VIA Nano',                             218 => 'Dual-Core Xeon 5xxx',
3399          219 => 'Quad-Core Xeon 5xxx',                  220 => undef,
3400          221 => 'Dual-Core Xeon 7xxx',                  222 => 'Quad-Core Xeon 7xxx',
3401          223 => 'Multi-Core Xeon 7xxx',                 224 => 'Multi-Core Xeon 3400',
3402          225 => undef,                                  226 => undef,
3403          227 => undef,                                  228 => undef,
3404          229 => undef,                                  230 => 'Embedded AMD Opteron Quad-Core',
3405          231 => 'AMD Phenom Triple-Core',               232 => 'AMD Turion Ultra Dual-Core Mobile',
3406          233 => 'AMD Turion Dual-Core Mobile',          234 => 'AMD Athlon Dual-Core',
3407          235 => 'AMD Sempron SI',                       236 => 'AMD Phenom II',
3408          237 => 'AMD Athlon II',                        238 => 'Six-Core AMD Opteron',
3409          239 => 'AMD Sempron M',                        240 => undef,
3410          241 => undef,                                  242 => undef,
3411          243 => undef,                                  244 => undef,
3412          245 => undef,                                  246 => undef,
3413          247 => undef,                                  248 => undef,
3414          249 => undef,                                  250 => 'i860',
3415          251 => 'i960',
3416         );
3417
3418   CPU:
3419     foreach my $out (@output) {
3420         if ($snmp) {
3421             $index  = exists $out->{processorDeviceStatusIndex}
3422               ? ($out->{processorDeviceStatusIndex} || 10000) - 1
3423                 : ($out->{processorDeviceIndex} || 10000) - 1;
3424             $status = exists $out->{processorDeviceStatusStatus}
3425               ? get_snmp_status($out->{processorDeviceStatusStatus})
3426                 : get_snmp_status($out->{processorDeviceStatus});
3427             if (defined $out->{processorDeviceStatusReading}) {
3428                 my @states  = ();  # contains states for the CPU
3429
3430                 # get the combined state from the StatusReading OID
3431                 foreach my $mask (sort keys %cpu_reading) {
3432                     if (($out->{processorDeviceStatusReading} & $mask) != 0) {
3433                         push @states, $cpu_reading{$mask};
3434                     }
3435                 }
3436
3437                 # Finally, create the state string
3438                 $state = join q{, }, @states;
3439             }
3440             else {
3441                 $state  = get_hashval($out->{processorDeviceStatusState}, \%cpu_state) || 'Unknown state';
3442             }
3443             $man    = $out->{processorDeviceManufacturerName} || undef;
3444             $family = (defined $out->{processorDeviceFamily}
3445                        and defined $cpu_family{$out->{processorDeviceFamily}})
3446               ? $cpu_family{$out->{processorDeviceFamily}} : undef;
3447             $speed  = $out->{processorDeviceCurrentSpeed} || undef;
3448             $brand  = $out->{processorDeviceBrandName} || undef;
3449         }
3450         else {
3451             $index  = get_nonempty_string('Index', $out, 9999);
3452             $status = get_nonempty_string('Status', $out, 'Unknown');
3453             $state  = get_nonempty_string('State', $out, 'Unknown state');
3454             $brand  = get_nonempty_string('Processor Brand', $out, undef);
3455             $family = get_nonempty_string('Processor Family',  $out, undef);
3456             $man    = get_nonempty_string('Processor Manufacturer', $out, undef);
3457             $speed  = get_nonempty_string('Current Speed', $out, undef);
3458         }
3459
3460         # Ignore unoccupied CPU slots (omreport)
3461         next CPU if (defined $out->{'Processor Manufacturer'}
3462                      and $out->{'Processor Manufacturer'} eq '[Not Occupied]')
3463           or (defined $out->{'Processor Brand'} and $out->{'Processor Brand'} eq '[Not Occupied]');
3464
3465         # Ignore unoccupied CPU slots (snmp)
3466         if ($snmp and defined $out->{processorDeviceStatusReading}
3467             and $out->{processorDeviceStatusReading} == 0) {
3468             next CPU;
3469         }
3470
3471         $count{cpu}++;
3472         next CPU if blacklisted('cpu', $index);
3473
3474         if (defined $brand) {
3475             $brand =~ s{\s\s+}{ }gxms;
3476             $brand =~ s{\((R|tm)\)}{}gxms;
3477             $brand =~ s{\s(CPU|Processor)}{}xms;
3478             $brand =~ s{\s\@}{}xms;
3479         }
3480         elsif (defined $family and defined $man and defined $speed) {
3481             $speed =~ s{\A (\d+) .*}{$1}xms;
3482             $brand = sprintf '%s %s %.2fGHz', $man, $family, $speed / 1000;
3483         }
3484         else {
3485             $brand = "unknown";
3486         }
3487
3488         # Default
3489         if ($status ne 'Ok') {
3490             my $msg = sprintf 'Processor %d [%s] needs attention: %s',
3491               $index, $brand, $state;
3492             report('chassis', $msg, $status2nagios{$status}, $index);
3493         }
3494         # Ok
3495         else {
3496             my $msg = sprintf 'Processor %d [%s] is %s',
3497               $index, $brand, $state;
3498             report('chassis', $msg, $E_OK, $index);
3499         }
3500     }
3501     return;
3502 }
3503
3504
3505 #-----------------------------------------
3506 # CHASSIS: Check voltage probes
3507 #-----------------------------------------
3508 sub check_volts {
3509     my $index    = undef;
3510     my $status   = undef;
3511     my $reading  = undef;
3512     my $location = undef;
3513     my $max_crit = undef;
3514     my $max_warn = undef;
3515     my @output = ();
3516
3517     if ($snmp) {
3518         my %volt_oid
3519           = (
3520              '1.3.6.1.4.1.674.10892.1.600.20.1.2.1'  => 'voltageProbeIndex',
3521              '1.3.6.1.4.1.674.10892.1.600.20.1.5.1'  => 'voltageProbeStatus',
3522              '1.3.6.1.4.1.674.10892.1.600.20.1.6.1'  => 'voltageProbeReading',
3523              '1.3.6.1.4.1.674.10892.1.600.20.1.8.1'  => 'voltageProbeLocationName',
3524              '1.3.6.1.4.1.674.10892.1.600.20.1.16.1' => 'voltageProbeDiscreteReading',
3525             );
3526
3527         my $voltageProbeTable = '1.3.6.1.4.1.674.10892.1.600.20.1';
3528         my $result = $snmp_session->get_table(-baseoid => $voltageProbeTable);
3529
3530         if (!defined $result) {
3531             printf "SNMP ERROR [voltage]: %s.\n", $snmp_session->error;
3532             $snmp_session->close;
3533             exit $E_UNKNOWN;
3534         }
3535
3536         @output = @{ get_snmp_output($result, \%volt_oid) };
3537     }
3538     else {
3539         @output = @{ run_omreport("$omopt_chassis volts") };
3540     }
3541
3542     my %volt_discrete_reading
3543       = (
3544          1 => 'Good',
3545          2 => 'Bad',
3546         );
3547
3548   VOLT:
3549     foreach my $out (@output) {
3550         if ($snmp) {
3551             $index    = ($out->{voltageProbeIndex} || 10000) - 1;
3552             $status   = get_snmp_probestatus($out->{voltageProbeStatus});
3553             $reading  = defined $out->{voltageProbeReading}
3554               ? sprintf('%.3f V', $out->{voltageProbeReading}/1000)
3555                 : (get_hashval($out->{voltageProbeDiscreteReading}, \%volt_discrete_reading) || 'Unknown reading');
3556             $location = $out->{voltageProbeLocationName} || 'Unknown location';
3557             $max_crit = $out->{voltageProbeUpperCriticalThreshold} || 0;
3558             $max_warn = $out->{voltageProbeUpperNonCriticalThreshold} || 0;
3559         }
3560         else {
3561             $index    = get_nonempty_string('Index', $out, 9999);
3562             $status   = get_nonempty_string('Status', $out, 'Unknown');
3563             $reading  = get_nonempty_string('Reading', $out, 'Unknown reading');
3564             $location = get_nonempty_string('Probe Name', $out, 'Unknown location');
3565             $max_crit = get_nonempty_string('Maximum Failure Threshold', $out, 0);
3566             $max_warn = get_nonempty_string('Maximum Warning Threshold', $out, 0);
3567
3568             $max_crit = 0 if $max_crit eq '[N/A]';
3569             $max_warn = 0 if $max_warn eq '[N/A]';
3570         }
3571
3572         $count{volt}++;
3573         next VOLT if blacklisted('volt', $index);
3574
3575         my $msg = sprintf 'Voltage sensor %d [%s] is %s',
3576           $index, $location, $reading;
3577         my $err = $snmp ? $probestatus2nagios{$status} : $status2nagios{$status};
3578         report('chassis', $msg, $err, $index);
3579
3580         # Collect performance data
3581         if (defined $opt{perfdata}) {
3582             $reading =~ s{\s+V\z}{}xms;  # remove unit
3583             $reading =~ s{\.000\z}{}xms; # if integer
3584             next VOLT if $reading !~ m{\A \d+(\.\d+)? \z}xms; # discrete reading (not number)
3585             my $label = join q{_}, $location;
3586             $label =~ s{\s}{_}gxms;
3587             push @perfdata, {
3588                              type  => 'V',
3589                              id    => $index,
3590                              unit  => 'V',
3591                              label => $label,
3592                              mini  => 'v',
3593                              value => $reading,
3594                              warn  => 0,
3595                              crit  => 0,
3596                             };
3597         }
3598     }
3599     return;
3600 }
3601
3602
3603 #-----------------------------------------
3604 # CHASSIS: Check batteries
3605 #-----------------------------------------
3606 sub check_batteries {
3607     my $index    = undef;
3608     my $status   = undef;
3609     my $reading  = undef;
3610     my $location = undef;
3611     my @output = ();
3612
3613     if ($snmp) {
3614         my %bat_oid
3615           = (
3616              '1.3.6.1.4.1.674.10892.1.600.50.1.2.1' => 'batteryIndex',
3617              '1.3.6.1.4.1.674.10892.1.600.50.1.5.1' => 'batteryStatus',
3618              '1.3.6.1.4.1.674.10892.1.600.50.1.6.1' => 'batteryReading',
3619              '1.3.6.1.4.1.674.10892.1.600.50.1.7.1' => 'batteryLocationName',
3620             );
3621         my $result = undef;
3622         if ($opt{use_get_table}) {
3623             my $batteryTable = '1.3.6.1.4.1.674.10892.1.600.50.1';
3624             $result = $snmp_session->get_table(-baseoid => $batteryTable);
3625         }
3626         else {
3627             $result = $snmp_session->get_entries(-columns => [keys %bat_oid]);
3628         }
3629
3630         # No batteries is OK
3631         return 0 if !defined $result;
3632
3633         @output = @{ get_snmp_output($result, \%bat_oid) };
3634     }
3635     else {
3636         @output = @{ run_omreport("$omopt_chassis batteries") };
3637     }
3638
3639     my %bat_reading
3640       = (
3641          1 => 'Predictive Failure',
3642          2 => 'Failed',
3643          4 => 'Presence Detected',
3644         );
3645
3646   BATTERY:
3647     foreach my $out (@output) {
3648         if ($snmp) {
3649             $index    = ($out->{batteryIndex} || 10000) - 1;
3650             $status   = get_snmp_status($out->{batteryStatus});
3651             $reading  = get_hashval($out->{batteryReading}, \%bat_reading) || 'Unknown reading';
3652             $location = $out->{batteryLocationName} || 'Unknown location';
3653         }
3654         else {
3655             $index    = get_nonempty_string('Index', $out, 9999);
3656             $status   = get_nonempty_string('Status', $out, 'Unknown');
3657             $reading  = get_nonempty_string('Reading', $out, 'Unknown reading');
3658             $location = get_nonempty_string('Probe Name', $out, 'Unknown location');
3659         }
3660
3661         $count{bat}++;
3662         next BATTERY if blacklisted('bp', $index);
3663
3664         my $msg = sprintf 'Battery probe %d [%s] is %s',
3665           $index, $location, $reading;
3666         report('chassis', $msg, $status2nagios{$status}, $index);
3667     }
3668     return;
3669 }
3670
3671
3672 #-----------------------------------------
3673 # CHASSIS: Check amperage probes (power monitoring)
3674 #-----------------------------------------
3675 sub check_pwrmonitoring {
3676     my $index    = undef;
3677     my $status   = undef;
3678     my $reading  = undef;
3679     my $location = undef;
3680     my $max_crit = undef;
3681     my $max_warn = undef;
3682     my $unit     = undef;
3683     my $type     = undef;
3684     my @output = ();
3685
3686     if ($snmp) {
3687         my %amp_oid
3688           = (
3689              '1.3.6.1.4.1.674.10892.1.600.30.1.2.1'  => 'amperageProbeIndex',
3690              '1.3.6.1.4.1.674.10892.1.600.30.1.5.1'  => 'amperageProbeStatus',
3691              '1.3.6.1.4.1.674.10892.1.600.30.1.6.1'  => 'amperageProbeReading',
3692              '1.3.6.1.4.1.674.10892.1.600.30.1.7.1'  => 'amperageProbeType',
3693              '1.3.6.1.4.1.674.10892.1.600.30.1.8.1'  => 'amperageProbeLocationName',
3694              '1.3.6.1.4.1.674.10892.1.600.30.1.10.1' => 'amperageProbeUpperCriticalThreshold',
3695              '1.3.6.1.4.1.674.10892.1.600.30.1.11.1' => 'amperageProbeUpperNonCriticalThreshold',
3696              '1.3.6.1.4.1.674.10892.1.600.30.1.16.1' => 'amperageProbeDiscreteReading',
3697             );
3698         my $result = undef;
3699         if ($opt{use_get_table}) {
3700             my $amperageProbeTable = '1.3.6.1.4.1.674.10892.1.600.30.1';
3701             $result = $snmp_session->get_table(-baseoid => $amperageProbeTable);
3702         }
3703         else {
3704             $result = $snmp_session->get_entries(-columns => [keys %amp_oid]);
3705         }
3706
3707         # No pwrmonitoring is OK
3708         return 0 if !defined $result;
3709
3710         @output = @{ get_snmp_output($result, \%amp_oid) };
3711     }
3712     else {
3713         @output = @{ run_omreport("$omopt_chassis pwrmonitoring") };
3714     }
3715
3716     my %amp_type   # Amperage probe types
3717       = (
3718          1  => 'amperageProbeTypeIsOther',            # other than following values
3719          2  => 'amperageProbeTypeIsUnknown',          # unknown
3720          3  => 'amperageProbeTypeIs1Point5Volt',      # 1.5 amperage probe
3721          4  => 'amperageProbeTypeIs3Point3volt',      # 3.3 amperage probe
3722          5  => 'amperageProbeTypeIs5Volt',            # 5 amperage probe
3723          6  => 'amperageProbeTypeIsMinus5Volt',       # -5 amperage probe
3724          7  => 'amperageProbeTypeIs12Volt',           # 12 amperage probe
3725          8  => 'amperageProbeTypeIsMinus12Volt',      # -12 amperage probe
3726          9  => 'amperageProbeTypeIsIO',               # I/O probe
3727          10 => 'amperageProbeTypeIsCore',             # Core probe
3728          11 => 'amperageProbeTypeIsFLEA',             # FLEA (standby) probe
3729          12 => 'amperageProbeTypeIsBattery',          # Battery probe
3730          13 => 'amperageProbeTypeIsTerminator',       # SCSI Termination probe
3731          14 => 'amperageProbeTypeIs2Point5Volt',      # 2.5 amperage probe
3732          15 => 'amperageProbeTypeIsGTL',              # GTL (ground termination logic) probe
3733          16 => 'amperageProbeTypeIsDiscrete',         # amperage probe with discrete reading
3734          23 => 'amperageProbeTypeIsPowerSupplyAmps',  # Power Supply probe with reading in Amps
3735          24 => 'amperageProbeTypeIsPowerSupplyWatts', # Power Supply probe with reading in Watts
3736          25 => 'amperageProbeTypeIsSystemAmps',       # System probe with reading in Amps
3737          26 => 'amperageProbeTypeIsSystemWatts',      # System probe with reading in Watts
3738         );
3739
3740     my %amp_discrete
3741       = (
3742          1 => 'Good',
3743          2 => 'Bad',
3744         );
3745
3746     my %amp_unit
3747       = (
3748          'amperageProbeTypeIsPowerSupplyAmps'  => 'hA',  # tenths of Amps
3749          'amperageProbeTypeIsSystemAmps'       => 'hA',  # tenths of Amps
3750          'amperageProbeTypeIsPowerSupplyWatts' => 'W',   # Watts
3751          'amperageProbeTypeIsSystemWatts'      => 'W',   # Watts
3752          'amperageProbeTypeIsDiscrete'         => q{},   # discrete reading, no unit
3753         );
3754
3755   AMP:
3756     foreach my $out (@output) {
3757         if ($snmp) {
3758             $index    = ($out->{amperageProbeIndex} || 10000) - 1;
3759             $status   = get_snmp_probestatus($out->{amperageProbeStatus});
3760             $type     = get_hashval($out->{amperageProbeType}, \%amp_type);
3761             $reading  = $type eq 'amperageProbeTypeIsDiscrete'
3762               ? get_hashval($out->{amperageProbeDiscreteReading}, \%amp_discrete)
3763                 : ($out->{amperageProbeReading} || 0);
3764             $location = $out->{amperageProbeLocationName} || 'Unknown location';
3765             $max_crit = $out->{amperageProbeUpperCriticalThreshold} || 0;
3766             $max_warn = $out->{amperageProbeUpperNonCriticalThreshold} || 0;
3767             $unit     = exists $amp_unit{$amp_type{$out->{amperageProbeType}}}
3768               ? $amp_unit{$amp_type{$out->{amperageProbeType}}} : 'mA';
3769
3770             # calculate proper values and set unit for ampere probes
3771             if ($unit eq 'hA' and $type ne 'amperageProbeTypeIsDiscrete') {
3772                 $reading  /= 10;
3773                 $max_crit /= 10;
3774                 $max_warn /= 10;
3775                 $unit      = 'A';
3776             }
3777         }
3778         else {
3779             $index    = get_nonempty_string('Index', $out, 9999);
3780             $status   = get_nonempty_string('Status', $out, 'Unknown');
3781             $reading  = get_nonempty_string('Reading', $out, 'Unknown reading');
3782             $location = get_nonempty_string('Probe Name', $out, 'Unknown location');
3783             $max_crit = get_nonempty_string('Failure Threshold', $out, 0);
3784             $max_warn = get_nonempty_string('Warning Threshold', $out, 0);
3785
3786             $max_crit = 0 if $max_crit eq '[N/A]';
3787             $max_warn = 0 if $max_warn eq '[N/A]';
3788
3789             $reading  =~ s{\A (\d+.*?)\s+([a-zA-Z]+) \s*\z}{$1}xms;
3790             $unit     = $2 || 'unknown';
3791             $max_warn =~ s{\A (\d+.*?)\s+[a-zA-Z]+ \s*\z}{$1}xms;
3792             $max_crit =~ s{\A (\d+.*?)\s+[a-zA-Z]+ \s*\z}{$1}xms;
3793         }
3794
3795         next AMP if $index !~ m{\A \d+ \z}xms;
3796
3797         # Special case: Probe is present but unknown. This happens via
3798         # SNMP on some systems where power monitoring capability is
3799         # disabled due to non-redundant and/or non-instrumented power
3800         # supplies.
3801         # E.g. R410 with newer BMC firmware and 1 power supply
3802         if ($snmp && $status eq 'Unknown' && $reading == 0) {
3803             next AMP;
3804         }
3805
3806         $count{amp}++;
3807         next AMP if blacklisted('amp', $index);
3808
3809         # Special case: Discrete reading
3810         if (defined $type and $type eq 'amperageProbeTypeIsDiscrete') {
3811             my $msg = sprintf 'Amperage probe %d [%s] is %s',
3812               $index, $location, $reading;
3813             report('chassis', $msg, $status2nagios{$status}, $index);
3814         }
3815         # Default
3816         else {
3817             my $msg = sprintf 'Amperage probe %d [%s] reads %s %s',
3818               $index, $location, $reading, $unit;
3819             report('chassis', $msg, $status2nagios{$status}, $index);
3820         }
3821
3822         # Collect performance data
3823         if (defined $opt{perfdata}) {
3824             next AMP if $reading !~ m{\A \d+(\.\d+)? \z}xms; # discrete reading (not number)
3825             my $label = join q{_},  $location;
3826             $label =~ s{\s}{_}gxms;
3827             push @perfdata, {
3828                              type  => $unit,
3829                              id    => $index,
3830                              unit  => $unit,
3831                              label => $label,
3832                              mini  => lc $unit,
3833                              value => $reading,
3834                              warn  => $max_warn,
3835                              crit  => $max_crit,
3836                             };
3837         }
3838     }
3839
3840     # Collect EXTRA performance data not found at first run. This is a
3841     # rather ugly hack
3842     if (defined $opt{perfdata} && !$snmp) {
3843         my $found = 0;
3844         my $index = 0;
3845         my %used  = ();
3846
3847         # find used indexes
3848         foreach (@perfdata) {
3849             if ($_->{label} =~ m/\A [WA](\d+)/xms) {
3850                 $used{$1} = 1;
3851             }
3852         }
3853
3854       AMP2:
3855         foreach my $line (@{ run_command("$omreport $omopt_chassis pwrmonitoring -fmt ssv") }) {
3856             chop $line;
3857             if ($line eq 'Location;Reading') {
3858                 $found = 1;
3859                 next AMP2;
3860             }
3861             if ($line eq q{}) {
3862                 $found = 0;
3863                 next AMP2;
3864             }
3865             if ($found and $line =~ m/\A ([^;]+?) ; (\d*\.\d+) \s [AW] \z/xms) {
3866                 my $aname = lc $1;
3867                 my $aval = $2;
3868                 $aname =~ s{\s}{_}gxms;
3869
3870                 # don't use an existing index
3871                 while (exists $used{$index}) { ++$index; }
3872
3873                 push @perfdata, {
3874                                  label => "pwr_mon_${index}_${aname}",
3875                                  mini  => "p${index}a",
3876                                  value => $aval,
3877                                  warn  => 0,
3878                                  crit  => 0,
3879                                 };
3880                 ++$index;
3881             }
3882         }
3883     }
3884
3885     return;
3886 }
3887
3888
3889 #-----------------------------------------
3890 # CHASSIS: Check intrusion
3891 #-----------------------------------------
3892 sub check_intrusion {
3893     my $index    = undef;
3894     my $status   = undef;
3895     my $reading  = undef;
3896     my @output = ();
3897
3898     if ($snmp) {
3899         my %int_oid
3900           = (
3901              '1.3.6.1.4.1.674.10892.1.300.70.1.2.1' => 'intrusionIndex',
3902              '1.3.6.1.4.1.674.10892.1.300.70.1.5.1' => 'intrusionStatus',
3903              '1.3.6.1.4.1.674.10892.1.300.70.1.6.1' => 'intrusionReading',
3904             );
3905         my $result = undef;
3906         if ($opt{use_get_table}) {
3907             my $intrusionTable = '1.3.6.1.4.1.674.10892.1.300.70.1';
3908             $result = $snmp_session->get_table(-baseoid => $intrusionTable);
3909         }
3910         else {
3911             $result = $snmp_session->get_entries(-columns => [keys %int_oid]);
3912         }
3913
3914         # No intrusion is OK
3915         return 0 if !defined $result;
3916
3917         @output = @{ get_snmp_output($result, \%int_oid) };
3918     }
3919     else {
3920         @output = @{ run_omreport("$omopt_chassis intrusion") };
3921     }
3922
3923     my %int_reading
3924       = (
3925          1 => 'Not Breached',          # chassis not breached and no uncleared breaches
3926          2 => 'Breached',              # chassis currently breached
3927          3 => 'Breached Prior',        # chassis breached prior to boot and has not been cleared
3928          4 => 'Breach Sensor Failure', # intrusion sensor has failed
3929         );
3930
3931   INTRUSION:
3932     foreach my $out (@output) {
3933         if ($snmp) {
3934             $index    = ($out->{intrusionIndex} || 10000) - 1;
3935             $status   = get_snmp_status($out->{intrusionStatus});
3936             $reading  = get_hashval($out->{intrusionReading}, \%int_reading) || 'Unknown reading';
3937         }
3938         else {
3939             $index    = get_nonempty_string('Index', $out, 9999);
3940             $status   = get_nonempty_string('Status', $out, 'Unknown');
3941             $reading  = get_nonempty_string('State', $out, 'Unknown reading');
3942         }
3943
3944         $count{intr}++;
3945         next INTRUSION if blacklisted('intr', $index);
3946
3947         if ($status ne 'Ok') {
3948             my $msg = sprintf 'Chassis intrusion %d detected: %s',
3949               $index, $reading;
3950             report('chassis', $msg, $E_WARNING, $index);
3951         }
3952         # Ok
3953         else {
3954             my $msg = sprintf 'Chassis intrusion %d detection: %s (%s)',
3955               $index, $status, $reading;
3956             report('chassis', $msg, $E_OK, $index);
3957         }
3958     }
3959     return;
3960 }
3961
3962
3963 #-----------------------------------------
3964 # CHASSIS: Check SD Card Device
3965 #-----------------------------------------
3966 sub check_sdcard {
3967     my $index    = undef;
3968     my $status   = undef;
3969     my $state    = undef;
3970     my $location = undef;
3971     my $capacity = undef;
3972     my $setting  = undef;
3973     my @output = ();
3974
3975     if ($snmp) {
3976         my %sd_oid
3977           = (
3978              '1.3.6.1.4.1.674.10892.1.1100.112.1.2.1'  => 'sdCardDeviceIndex',
3979              '1.3.6.1.4.1.674.10892.1.1100.112.1.3.1'  => 'sdCardDeviceStatus',
3980              '1.3.6.1.4.1.674.10892.1.1100.112.1.4.1'  => 'sdCardDeviceType',
3981              '1.3.6.1.4.1.674.10892.1.1100.112.1.7.1'  => 'sdCardDeviceLocationName',
3982              '1.3.6.1.4.1.674.10892.1.1100.112.1.8.1'  => 'sdCardDeviceCardPresent',
3983              '1.3.6.1.4.1.674.10892.1.1100.112.1.9.1'  => 'sdCardDeviceCardState',
3984              '1.3.6.1.4.1.674.10892.1.1100.112.1.10.1' => 'sdCardDeviceCardStorageSize',
3985             );
3986         my $result = undef;
3987         if ($opt{use_get_table}) {
3988             my $sdCardDeviceTable = '1.3.6.1.4.1.674.10892.1.1100.112.1';
3989             $result = $snmp_session->get_table(-baseoid => $sdCardDeviceTable);
3990         }
3991         else {
3992             $result = $snmp_session->get_entries(-columns => [keys %sd_oid]);
3993         }
3994
3995         # No SD cards is OK
3996         return 0 if !defined $result;
3997
3998         @output = @{ get_snmp_output($result, \%sd_oid) };
3999     }
4000     else {
4001         @output = @{ run_omreport("$omopt_chassis removableflashmedia") };
4002     }
4003
4004     # Note: These values are bit fields, so combination values are possible.
4005     my %sd_state
4006       = (
4007          0   => 'None',            # state is none of the following:
4008          1   => 'Present',         # device is present
4009          2   => 'IPMI-ready',      # device is IPMI ready
4010          4   => 'Full-ready',      # device is full ready
4011          8   => 'Offline',         # device is offline
4012          16  => 'Failed',          # device is failed
4013          32  => 'Active',          # device is active
4014          64  => 'Bootable',        # device is bootable
4015          128 => 'Write-protected', # device is write-protected
4016          256 => 'Standby',         # device is in standby mode
4017         );
4018
4019     my $c = 0;
4020   SDCARD:
4021     foreach my $out (@output) {
4022         if ($snmp) {
4023             $index    = ($out->{sdCardDeviceIndex} || 10000) - 1;
4024             $status   = get_snmp_status($out->{sdCardDeviceStatus});
4025
4026             if (defined $out->{sdCardDeviceCardState}) {
4027                 my @states  = ();  # contains states SD card
4028
4029                 # get the combined state from the Device Status OID
4030                 foreach my $mask (sort keys %sd_state) {
4031                     if (($out->{sdCardDeviceCardState} & $mask) != 0) {
4032                         push @states, $sd_state{$mask};
4033                     }
4034                 }
4035
4036                 # Finally, create the state string
4037                 $state = join q{, }, @states;
4038
4039                 # special case: absent
4040                 if ($out->{sdCardDeviceCardState} % 2 == 0) {
4041                     $state = 'Absent';
4042                 }
4043             }
4044
4045             $location = $out->{sdCardDeviceLocationName} || 'Unknown location';
4046             $capacity = sprintf '%s MB', ($out->{sdCardDeviceCardStorageSize} || 'Unknown size');
4047         }
4048         else {
4049             $index    = $c++;
4050             $status   = get_nonempty_string('Status', $out, 'Ok');
4051             $state    = get_nonempty_string('State', $out, 'Unknown state');
4052             $location = get_nonempty_string('Connector Name', $out, 'Unknown location');
4053             $capacity = get_nonempty_string('Storage Size', $out, 'Unknown size');
4054
4055             $capacity =~ s{\[Not Available\]}{Unknown Size};
4056         }
4057
4058         $count{sd}++ if $state ne 'Absent';
4059         next SDCARD if blacklisted('sd', $index);
4060
4061         if ($status ne 'Ok') {
4062             my $msg = sprintf 'SD Card %d needs attention: %s',
4063               $index, $state;
4064             report('chassis', $msg, $E_WARNING, $index);
4065         }
4066         # Special case: Not Present
4067         elsif ($status eq 'Ok' and $state eq 'Absent') {
4068             my $msg = sprintf 'SD Card %d [%s] is %s',
4069               $index, $location, $state;
4070             report('chassis', $msg, $E_OK, $index);
4071         }
4072         # Ok
4073         else {
4074             my $msg = sprintf 'SD Card %d [%s, %s] is %s',
4075               $index, $location, $capacity, $state;
4076             report('chassis', $msg, $E_OK, $index);
4077         }
4078     }
4079     return;
4080 }
4081
4082
4083 #-----------------------------------------
4084 # CHASSIS: Check alert log
4085 #-----------------------------------------
4086 sub check_alertlog {
4087     return if $snmp; # Not supported with SNMP
4088
4089     my @output = @{ run_omreport("$omopt_system alertlog") };
4090     foreach my $out (@output) {
4091         ++$count{alert}{$out->{Severity}};
4092     }
4093
4094     # Create error messages and set exit value if appropriate
4095     my $err = 0;
4096     if ($count{alert}{'Critical'} > 0)        { $err = $E_CRITICAL; }
4097     elsif ($count{alert}{'Non-Critical'} > 0) { $err = $E_WARNING;  }
4098
4099     my $msg = sprintf 'Alert log content: %d critical, %d non-critical, %d ok',
4100       $count{alert}{'Critical'}, $count{alert}{'Non-Critical'}, $count{alert}{'Ok'};
4101     report('other', $msg, $err);
4102
4103     return;
4104 }
4105
4106 #-----------------------------------------
4107 # CHASSIS: Check ESM log overall health
4108 #-----------------------------------------
4109 sub check_esmlog_health {
4110     my $health = 'Ok';
4111
4112     if ($snmp) {
4113         my $systemStateEventLogStatus = '1.3.6.1.4.1.674.10892.1.200.10.1.41.1';
4114         my $result = $snmp_session->get_request(-varbindlist => [$systemStateEventLogStatus]);
4115         if (!defined $result) {
4116             my $msg = sprintf 'SNMP ERROR [esmhealth]: %s',
4117               $snmp_session->error;
4118             report('other', $msg, $E_UNKNOWN);
4119         }
4120         $health = get_snmp_status($result->{$systemStateEventLogStatus});
4121     }
4122     else {
4123         foreach (@{ run_command("$omreport $omopt_system esmlog -fmt ssv") }) {
4124             if (m/\A Health;(.+) \z/xms) {
4125                 $health = $1;
4126                 chop $health;
4127                 last;
4128             }
4129         }
4130     }
4131
4132     # If the overall health of the ESM log is other than "Ok", the
4133     # fill grade of the log is more than 80% and the log should be
4134     # cleared
4135     if ($health eq 'Ok') {
4136         my $msg = sprintf 'ESM log health is Ok (less than 80%% full)';
4137         report('other', $msg, $E_OK);
4138     }
4139     elsif ($health eq 'Critical') {
4140         my $msg = sprintf 'ESM log is 100%% full';
4141         report('other', $msg, $status2nagios{$health});
4142     }
4143     else {
4144         my $msg = sprintf 'ESM log is more than 80%% full';
4145         report('other', $msg, $status2nagios{$health});
4146     }
4147
4148     return;
4149 }
4150
4151 #-----------------------------------------
4152 # CHASSIS: Check ESM log
4153 #-----------------------------------------
4154 sub check_esmlog {
4155     my @output = ();
4156
4157     if ($snmp) {
4158         my %esm_oid
4159           = (
4160              '1.3.6.1.4.1.674.10892.1.300.40.1.7.1'  => 'eventLogSeverityStatus',
4161             );
4162         my $result = $snmp_session->get_entries(-columns => [keys %esm_oid]);
4163
4164         # No entries is OK
4165         return if !defined $result;
4166
4167         @output = @{ get_snmp_output($result, \%esm_oid) };
4168         foreach my $out (@output) {
4169             ++$count{esm}{$snmp_status{$out->{eventLogSeverityStatus}}};
4170         }
4171     }
4172     else {
4173         @output = @{ run_omreport("$omopt_system esmlog") };
4174         foreach my $out (@output) {
4175             ++$count{esm}{$out->{Severity}};
4176         }
4177     }
4178
4179     # Create error messages and set exit value if appropriate
4180     my $err = 0;
4181     if ($count{esm}{'Critical'} > 0)        { $err = $E_CRITICAL; }
4182     elsif ($count{esm}{'Non-Critical'} > 0) { $err = $E_WARNING;  }
4183
4184     my $msg = sprintf 'ESM log content: %d critical, %d non-critical, %d ok',
4185       $count{esm}{'Critical'}, $count{esm}{'Non-Critical'}, $count{esm}{'Ok'};
4186     report('other', $msg, $err);
4187
4188     return;
4189 }
4190
4191 #
4192 # Handy function for checking all storage components
4193 #
4194 sub check_storage {
4195     check_controllers();
4196     check_physical_disks();
4197     check_virtual_disks();
4198     check_cache_battery();
4199     check_connectors();
4200     check_enclosures();
4201     check_enclosure_fans();
4202     check_enclosure_pwr();
4203     check_enclosure_temp();
4204     check_enclosure_emms();
4205     return;
4206 }
4207
4208
4209
4210 #---------------------------------------------------------------------
4211 # Info functions
4212 #---------------------------------------------------------------------
4213
4214 #
4215 # Fetch output from 'omreport chassis info', put in sysinfo hash
4216 #
4217 sub get_omreport_chassis_info {
4218     if (open my $INFO, '-|', "$omreport $omopt_chassis info -fmt ssv") {
4219         my @lines = <$INFO>;
4220         close $INFO;
4221         foreach (@lines) {
4222             next if !m/\A (Chassis\sModel|Chassis\sService\sTag|Model|Service\sTag|System\sRevision)/xms;
4223             my ($key, $val) = split /;/xms;
4224             $key =~ s{\s+\z}{}xms; # remove trailing whitespace
4225             $val =~ s{\s+\z}{}xms; # remove trailing whitespace
4226             if ($key eq 'Chassis Model' or $key eq 'Model') {
4227                 $sysinfo{model}  = $val;
4228             }
4229             if ($key eq 'Chassis Service Tag' or $key eq 'Service Tag') {
4230                 $sysinfo{serial} = $val;
4231             }
4232             if ($key eq 'System Revision') {
4233                 $sysinfo{rev} = q{ } . $val;
4234             }
4235         }
4236     }
4237     return;
4238 }
4239
4240 #
4241 # Fetch output from 'omreport chassis bios', put in sysinfo hash
4242 #
4243 sub get_omreport_chassis_bios {
4244     if (open my $BIOS, '-|', "$omreport $omopt_chassis bios -fmt ssv") {
4245         my @lines = <$BIOS>;
4246         close $BIOS;
4247         foreach (@lines) {
4248             next if !m/;/xms;
4249             my ($key, $val) = split /;/xms;
4250             $key =~ s{\s+\z}{}xms; # remove trailing whitespace
4251             $val =~ s{\s+\z}{}xms; # remove trailing whitespace
4252             $sysinfo{bios}     = $val if $key eq 'Version';
4253             $sysinfo{biosdate} = $val if $key eq 'Release Date';
4254         }
4255     }
4256     return;
4257 }
4258
4259 #
4260 # Fetch output from 'omreport system operatingsystem', put in sysinfo hash
4261 #
4262 sub get_omreport_system_operatingsystem {
4263     if (open my $VER, '-|', "$omreport $omopt_system operatingsystem -fmt ssv") {
4264         my @lines = <$VER>;
4265         close $VER;
4266         foreach (@lines) {
4267             next if !m/;/xms;
4268             my ($key, $val) = split /;/xms;
4269             $key =~ s{\s+\z}{}xms; # remove trailing whitespace
4270             $val =~ s{\s+\z}{}xms; # remove trailing whitespace
4271             if ($key eq 'Operating System') {
4272                 $sysinfo{osname} = $val;
4273             }
4274             elsif ($key eq 'Operating System Version') {
4275                 $sysinfo{osver}  = $val;
4276             }
4277         }
4278     }
4279     return;
4280 }
4281
4282 #
4283 # Fetch output from 'omreport about', put in sysinfo hash
4284 #
4285 sub get_omreport_about {
4286     if (open my $OM, '-|', "$omreport about -fmt ssv") {
4287         my @lines = <$OM>;
4288         close $OM;
4289         foreach (@lines) {
4290             if (m/\A Version;(.+) \z/xms) {
4291                 $sysinfo{om} = $1;
4292                 chomp $sysinfo{om};
4293             }
4294         }
4295     }
4296     return;
4297 }
4298
4299 #
4300 # Fetch chassis info via SNMP, put in sysinfo hash
4301 #
4302 sub get_snmp_chassis_info {
4303     my %chassis_oid
4304       = (
4305          '1.3.6.1.4.1.674.10892.1.300.10.1.9.1'  => 'chassisModelName',
4306          '1.3.6.1.4.1.674.10892.1.300.10.1.11.1' => 'chassisServiceTagName',
4307          '1.3.6.1.4.1.674.10892.1.300.10.1.48.1' => 'chassisSystemRevisionName',
4308         );
4309
4310     my $chassisInformationTable = '1.3.6.1.4.1.674.10892.1.300.10.1';
4311     my $result = $snmp_session->get_table(-baseoid => $chassisInformationTable);
4312
4313     if (defined $result) {
4314         foreach my $oid (keys %{ $result }) {
4315             if (exists $chassis_oid{$oid} and $chassis_oid{$oid} eq 'chassisModelName') {
4316                 $sysinfo{model} = $result->{$oid};
4317                 $sysinfo{model} =~ s{\s+\z}{}xms; # remove trailing whitespace
4318             }
4319             elsif (exists $chassis_oid{$oid} and $chassis_oid{$oid} eq 'chassisServiceTagName') {
4320                 $sysinfo{serial} = $result->{$oid};
4321             }
4322             elsif (exists $chassis_oid{$oid} and $chassis_oid{$oid} eq 'chassisSystemRevisionName') {
4323                 $sysinfo{rev} = q{ } . $result->{$oid};
4324             }
4325         }
4326     }
4327     else {
4328         my $msg = sprintf 'SNMP ERROR getting chassis info: %s',
4329           $snmp_session->error;
4330         report('other', $msg, $E_UNKNOWN);
4331     }
4332     return;
4333 }
4334
4335 #
4336 # Fetch BIOS info via SNMP, put in sysinfo hash
4337 #
4338 sub get_snmp_chassis_bios {
4339     my %bios_oid
4340       = (
4341          '1.3.6.1.4.1.674.10892.1.300.50.1.7.1.1' => 'systemBIOSReleaseDateName',
4342          '1.3.6.1.4.1.674.10892.1.300.50.1.8.1.1' => 'systemBIOSVersionName',
4343         );
4344
4345     my $systemBIOSTable = '1.3.6.1.4.1.674.10892.1.300.50.1';
4346     my $result = $snmp_session->get_table(-baseoid => $systemBIOSTable);
4347
4348     if (defined $result) {
4349         foreach my $oid (keys %{ $result }) {
4350             if (exists $bios_oid{$oid} and $bios_oid{$oid} eq 'systemBIOSReleaseDateName') {
4351                 $sysinfo{biosdate} = $result->{$oid};
4352                 $sysinfo{biosdate} =~ s{\A (\d{4})(\d{2})(\d{2}).*}{$2/$3/$1}xms;
4353             }
4354             elsif (exists $bios_oid{$oid} and $bios_oid{$oid} eq 'systemBIOSVersionName') {
4355                 $sysinfo{bios} = $result->{$oid};
4356             }
4357         }
4358     }
4359     else {
4360         my $msg = sprintf 'SNMP ERROR getting BIOS info: %s',
4361           $snmp_session->error;
4362         report('other', $msg, $E_UNKNOWN);
4363     }
4364     return;
4365 }
4366
4367 #
4368 # Fetch OS info via SNMP, put in sysinfo hash
4369 #
4370 sub get_snmp_system_operatingsystem {
4371     my %os_oid
4372       = (
4373          '1.3.6.1.4.1.674.10892.1.400.10.1.6.1' => 'operatingSystemOperatingSystemName',
4374          '1.3.6.1.4.1.674.10892.1.400.10.1.7.1' => 'operatingSystemOperatingSystemVersionName',
4375         );
4376
4377     my $operatingSystemTable = '1.3.6.1.4.1.674.10892.1.400.10.1';
4378     my $result = $snmp_session->get_table(-baseoid => $operatingSystemTable);
4379
4380     if (defined $result) {
4381         foreach my $oid (keys %{ $result }) {
4382             if (exists $os_oid{$oid} and $os_oid{$oid} eq 'operatingSystemOperatingSystemName') {
4383                 $sysinfo{osname} = ($result->{$oid});
4384             }
4385             elsif (exists $os_oid{$oid} and $os_oid{$oid} eq 'operatingSystemOperatingSystemVersionName') {
4386                 $sysinfo{osver} = $result->{$oid};
4387             }
4388         }
4389     }
4390     else {
4391         my $msg = sprintf 'SNMP ERROR getting OS info: %s',
4392           $snmp_session->error;
4393         report('other', $msg, $E_UNKNOWN);
4394     }
4395     return;
4396 }
4397
4398 #
4399 # Fetch OMSA version via SNMP, put in sysinfo hash
4400 #
4401 sub get_snmp_about {
4402     # systemManagementSoftwareGlobalVersionName
4403     my $oid = '1.3.6.1.4.1.674.10892.1.100.10.0';
4404     my $result = $snmp_session->get_request(-varbindlist => [$oid]);
4405
4406     if (defined $result) {
4407         $sysinfo{om} = exists $result->{$oid} && $result->{$oid} ne q{}
4408           ? $result->{$oid} : 'unknown';
4409     }
4410     else {
4411         my $msg = sprintf 'SNMP ERROR: Getting OMSA version failed: %s', $snmp_session->error;
4412         report('other', $msg, $E_UNKNOWN);
4413     }
4414     return;
4415 }
4416
4417 #
4418 # Collects some information about the system
4419 #
4420 sub get_sysinfo
4421 {
4422     # Get system model and serial number
4423     $snmp ? get_snmp_chassis_info() : get_omreport_chassis_info();
4424
4425     # Get BIOS information. Only if needed
4426     if ( $opt{okinfo} >= 1
4427          or $opt{debug}
4428          or (defined $opt{postmsg} and $opt{postmsg} =~ m/[%][bd]/xms) ) {
4429         $snmp ? get_snmp_chassis_bios() : get_omreport_chassis_bios();
4430     }
4431
4432     # Get OMSA information. Only if needed
4433     if ($opt{okinfo} >= 3 or $opt{debug}) {
4434         $snmp ? get_snmp_about() : get_omreport_about();
4435     }
4436
4437     # Return now if debug
4438     return if $opt{debug};
4439
4440     # Get OS information. Only if needed
4441     if (defined $opt{postmsg} and $opt{postmsg} =~ m/[%][or]/xms) {
4442         $snmp ? get_snmp_system_operatingsystem() : get_omreport_system_operatingsystem();
4443     }
4444
4445     return;
4446 }
4447
4448
4449 # Helper function for running omreport when the results are strictly
4450 # name=value pairs.
4451 sub run_omreport_info {
4452     my $command = shift;
4453     my %output  = ();
4454     my @keys    = ();
4455
4456     # Run omreport and fetch output
4457     my $rawtext = slurp_command("$omreport $command -fmt ssv 2>&1");
4458
4459     # Parse output, store in array
4460     for ((split /\n/xms, $rawtext)) {
4461         if (m/\A Error/xms) {
4462             my $msg = "Problem running 'omreport $command': $_";
4463             report('other', $msg, $E_UNKNOWN);
4464         }
4465         next if !m/;/xms;  # ignore lines with less than two fields
4466         my @vals = split m/;/xms;
4467         $output{$vals[0]} = $vals[1];
4468     }
4469
4470     # Finally, return the collected information
4471     return \%output;
4472 }
4473
4474 # Get various firmware information (BMC, RAC)
4475 sub get_firmware_info {
4476     my @snmp_output = ();
4477     my %nrpe_output = ();
4478
4479     if ($snmp) {
4480         my %fw_oid
4481           = (
4482              '1.3.6.1.4.1.674.10892.1.300.60.1.7.1'  => 'firmwareType',
4483              '1.3.6.1.4.1.674.10892.1.300.60.1.8.1'  => 'firmwareTypeName',
4484              '1.3.6.1.4.1.674.10892.1.300.60.1.11.1' => 'firmwareVersionName',
4485             );
4486
4487         my $firmwareTable = '1.3.6.1.4.1.674.10892.1.300.60.1';
4488         my $result = $snmp_session->get_table(-baseoid => $firmwareTable);
4489
4490         # Some don't have this OID, this is ok
4491         if (!defined $result) {
4492             return;
4493         }
4494
4495         @snmp_output = @{ get_snmp_output($result, \%fw_oid) };
4496     }
4497     else {
4498         %nrpe_output = %{ run_omreport_info("$omopt_chassis info") };
4499     }
4500
4501     my %fw_type  # Firmware types
4502       = (
4503          1  => 'other',                              # other than following values
4504          2  => 'unknown',                            # unknown
4505          3  => 'systemBIOS',                         # System BIOS
4506          4  => 'embeddedSystemManagementController', # Embedded System Management Controller
4507          5  => 'powerSupplyParallelingBoard',        # Power Supply Paralleling Board
4508          6  => 'systemBackPlane',                    # System (Primary) Backplane
4509          7  => 'powerVault2XXSKernel',               # PowerVault 2XXS Kernel
4510          8  => 'powerVault2XXSApplication',          # PowerVault 2XXS Application
4511          9  => 'frontPanel',                         # Front Panel Controller
4512          10 => 'baseboardManagementController',      # Baseboard Management Controller
4513          11 => 'hotPlugPCI',                         # Hot Plug PCI Controller
4514          12 => 'sensorData',                         # Sensor Data Records
4515          13 => 'peripheralBay',                      # Peripheral Bay Backplane
4516          14 => 'secondaryBackPlane',                 # Secondary Backplane for ESM 2 systems
4517          15 => 'secondaryBackPlaneESM3And4',         # Secondary Backplane for ESM 3 and 4 systems
4518          16 => 'rac',                                # Remote Access Controller
4519          17 => 'iDRAC',                              # Integrated Dell Remote Access Controller
4520          19 => 'unifiedServerConfigurator',          # Unified Server Configurator
4521          20 => 'lifecycleController',                # Lifecycle Controller
4522         );
4523
4524
4525     if ($snmp) {
4526         foreach my $out (@snmp_output) {
4527             if ($fw_type{$out->{firmwareType}} eq 'baseboardManagementController') {
4528                 $sysinfo{'bmc'} = 1;
4529                 $sysinfo{'bmc_fw'} = $out->{firmwareVersionName};
4530             }
4531             elsif ($fw_type{$out->{firmwareType}} =~ m{\A rac|iDRAC \z}xms) {
4532                 my $name = $out->{firmwareTypeName}; $name =~ s/\s//gxms;
4533                 $sysinfo{'rac'} = 1;
4534                 $sysinfo{'rac_name'} = $name;
4535                 $sysinfo{'rac_fw'} = $out->{firmwareVersionName};
4536             }
4537         }
4538     }
4539     else {
4540         foreach my $key (keys %nrpe_output) {
4541             next if !defined $nrpe_output{$key};
4542             if ($key eq 'BMC Version' or $key eq 'Baseboard Management Controller Version') {
4543                 $sysinfo{'bmc'} = 1;
4544                 $sysinfo{'bmc_fw'} = $nrpe_output{$key};
4545             }
4546             elsif ($key =~ m{\A (i?DRAC)\s*(\d?)\s+Version}xms) {
4547                 my $name = "$1$2";
4548                 $sysinfo{'rac'} = 1;
4549                 $sysinfo{'rac_fw'} = $nrpe_output{$key};
4550                 $sysinfo{'rac_name'} = $name;
4551             }
4552         }
4553     }
4554
4555     return;
4556 }
4557
4558
4559
4560 #=====================================================================
4561 # Main program
4562 #=====================================================================
4563
4564 # Here we do the actual checking of components
4565 # Check global status if applicable
4566 if ($global) {
4567     $globalstatus = check_global();
4568 }
4569
4570 # Do multiple selected checks
4571 if ($check{storage})     { check_storage();       }
4572 if ($check{memory})      { check_memory();        }
4573 if ($check{fans})        { check_fans();          }
4574 if ($check{power})       { check_powersupplies(); }
4575 if ($check{temp})        { check_temperatures();  }
4576 if ($check{cpu})         { check_processors();    }
4577 if ($check{voltage})     { check_volts();         }
4578 if ($check{batteries})   { check_batteries();     }
4579 if ($check{amperage})    { check_pwrmonitoring(); }
4580 if ($check{intrusion})   { check_intrusion();     }
4581 if ($check{sdcard})      { check_sdcard();        }
4582 if ($check{alertlog})    { check_alertlog();      }
4583 if ($check{esmlog})      { check_esmlog();        }
4584 if ($check{esmhealth})   { check_esmlog_health(); }
4585
4586
4587 #---------------------------------------------------------------------
4588 # Finish up
4589 #---------------------------------------------------------------------
4590
4591 # Counter variable
4592 %nagios_alert_count
4593   = (
4594      'OK'       => 0,
4595      'WARNING'  => 0,
4596      'CRITICAL' => 0,
4597      'UNKNOWN'  => 0,
4598     );
4599
4600 # Get system information
4601 get_sysinfo();
4602
4603 # Get firmware info if requested via option
4604 if ($opt{okinfo} >= 1) {
4605     get_firmware_info();
4606 }
4607
4608 # Close SNMP session
4609 if ($snmp) {
4610     $snmp_session->close;
4611 }
4612
4613 # Print messages
4614 if ($opt{debug}) {
4615     # finding the mode of operation
4616     my $mode = 'local';
4617     if ($snmp) {
4618         # Setting the domain (IP version and transport protocol)
4619         my $transport = $opt{tcp} ? 'TCP' : 'UDP';
4620         my $ipversion = $opt{ipv6} ? 'IPv6' : 'IPv4';
4621         $mode = "SNMPv$opt{protocol} $transport/$ipversion";
4622     }
4623
4624     print "   System:      $sysinfo{model}$sysinfo{rev}";
4625     print q{ } x (25 - length "$sysinfo{model}$sysinfo{rev}"), "OMSA version:    $sysinfo{om}\n";
4626     print "   ServiceTag:  $sysinfo{serial}";
4627     print q{ } x (25 - length $sysinfo{serial}), "Plugin version:  $VERSION\n";
4628     print "   BIOS/date:   $sysinfo{bios} $sysinfo{biosdate}";
4629     print q{ } x (25 - length "$sysinfo{bios} $sysinfo{biosdate}"), "Checking mode:   $mode\n";
4630     if ($#report_storage >= 0) {
4631         print "-----------------------------------------------------------------------------\n";
4632         print "   Storage Components                                                        \n";
4633         print "=============================================================================\n";
4634         print "  STATE  |    ID    |  MESSAGE TEXT                                          \n";
4635         print "---------+----------+--------------------------------------------------------\n";
4636         foreach (@report_storage) {
4637             my ($msg, $level, $nexus) = @{$_};
4638             print q{ } x (8 - length $reverse_exitcode{$level}) . "$reverse_exitcode{$level} | "
4639               . q{ } x (8 - length $nexus) . "$nexus | $msg\n";
4640             $nagios_alert_count{$reverse_exitcode{$level}}++;
4641         }
4642     }
4643     if ($#report_chassis >= 0) {
4644         print "-----------------------------------------------------------------------------\n";
4645         print "   Chassis Components                                                        \n";
4646         print "=============================================================================\n";
4647         print "  STATE  |  ID  |  MESSAGE TEXT                                              \n";
4648         print "---------+------+------------------------------------------------------------\n";
4649         foreach (@report_chassis) {
4650             my ($msg, $level, $nexus) = @{$_};
4651             print q{ } x (8 - length $reverse_exitcode{$level}) . "$reverse_exitcode{$level} | "
4652               . q{ } x (4 - length $nexus) . "$nexus | $msg\n";
4653             $nagios_alert_count{$reverse_exitcode{$level}}++;
4654         }
4655     }
4656     if ($#report_other >= 0) {
4657         print "-----------------------------------------------------------------------------\n";
4658         print "   Other messages                                                            \n";
4659         print "=============================================================================\n";
4660         print "  STATE  |  MESSAGE TEXT                                                     \n";
4661         print "---------+-------------------------------------------------------------------\n";
4662         foreach (@report_other) {
4663             my ($msg, $level, $nexus) = @{$_};
4664             print q{ } x (8 - length $reverse_exitcode{$level}) . "$reverse_exitcode{$level} | $msg\n";
4665             $nagios_alert_count{$reverse_exitcode{$level}}++;
4666         }
4667     }
4668 }
4669 else {
4670     my $c = 0;  # counter to determine linebreaks
4671
4672     # Run through each message, sorted by severity level
4673   ALERT:
4674     foreach (sort {$a->[1] < $b->[1]} (@report_storage, @report_chassis, @report_other)) {
4675         my ($msg, $level, $nexus) = @{ $_ };
4676         next ALERT if $level == $E_OK;
4677
4678         if (defined $opt{only}) {
4679             # If user wants only critical alerts
4680             next ALERT if ($opt{only} eq 'critical' and $level == $E_WARNING);
4681
4682             # If user wants only warning alerts
4683             next ALERT if ($opt{only} eq 'warning' and $level == $E_CRITICAL);
4684         }
4685
4686         # Prefix with service tag if specified with option '-i|--info'
4687         if ($opt{info}) {
4688             if (defined $opt{htmlinfo}) {
4689                 $msg = '[<a href="' . warranty_url($sysinfo{serial})
4690                   . "\">$sysinfo{serial}</a>] " . $msg;
4691             }
4692             else {
4693                 $msg = "[$sysinfo{serial}] " . $msg;
4694             }
4695         }
4696
4697         # Prefix with nagios level if specified with option '--state'
4698         $msg = $reverse_exitcode{$level} . ": $msg" if $opt{state};
4699
4700         # Prefix with one-letter nagios level if specified with option '--short-state'
4701         $msg = (substr $reverse_exitcode{$level}, 0, 1) . ": $msg" if $opt{shortstate};
4702
4703         ($c++ == 0) ? print $msg : print $linebreak, $msg;
4704
4705         $nagios_alert_count{$reverse_exitcode{$level}}++;
4706     }
4707 }
4708
4709 # Determine our exit code
4710 $exit_code = $E_OK;
4711 $exit_code = $E_UNKNOWN  if $nagios_alert_count{'UNKNOWN'} > 0;
4712 $exit_code = $E_WARNING  if $nagios_alert_count{'WARNING'} > 0;
4713 $exit_code = $E_CRITICAL if $nagios_alert_count{'CRITICAL'} > 0;
4714
4715 # Global status via SNMP.. extra safety check
4716 if ($globalstatus != $E_OK && $exit_code == $E_OK && !defined $opt{only}) {
4717     print "OOPS! Something is wrong with this server, but I don't know what. ";
4718     print "The global system health status is $reverse_exitcode{$globalstatus}, ";
4719     print "but every component check is OK. This may be a bug in the Nagios plugin, ";
4720     print "please file a bug report.\n";
4721     exit $E_UNKNOWN;
4722 }
4723
4724 # Print OK message
4725 if ($exit_code == $E_OK && defined $opt{only} && $opt{only} !~ m{\A critical|warning|chassis \z}xms && !$opt{debug}) {
4726     my %okmsg
4727       = ( 'storage'     => "STORAGE OK - $count{pdisk} physical drives, $count{vdisk} logical drives",
4728           'fans'        => $count{fan} == 0 && $blade ? 'OK - blade system with no fan probes' : "FANS OK - $count{fan} fan probes checked",
4729           'temp'        => "TEMPERATURES OK - $count{temp} temperature probes checked",
4730           'memory'      => "MEMORY OK - $count{dimm} memory modules, $count{mem} MB total memory",
4731           'power'       => $count{power} == 0 ? 'OK - no instrumented power supplies found' : "POWER OK - $count{power} power supplies checked",
4732           'cpu'         => "PROCESSORS OK - $count{cpu} processors checked",
4733           'voltage'     => "VOLTAGE OK - $count{volt} voltage probes checked",
4734           'batteries'   => $count{bat} == 0 ? 'OK - no batteries found' : "BATTERIES OK - $count{bat} batteries checked",
4735           'amperage'    => $count{amp} == 0 ? 'OK - no power monitoring probes found' : "AMPERAGE OK - $count{amp} amperage (power monitoring) probes checked",
4736           'intrusion'   => $count{intr} == 0 ? 'OK - no intrusion detection probes found' : "INTRUSION OK - $count{intr} intrusion detection probes checked",
4737           'alertlog'    => $snmp ? 'OK - not supported via snmp' : "OK - Alert Log content: $count{alert}{Ok} ok, $count{alert}{'Non-Critical'} warning and $count{alert}{Critical} critical",
4738           'esmlog'      => "OK - ESM Log content: $count{esm}{Ok} ok, $count{esm}{'Non-Critical'} warning and $count{esm}{Critical} critical",
4739           'esmhealth'   => "ESM LOG OK - less than 80% used",
4740           'sdcard'      => "SD CARDS OK - $count{sd} SD cards installed",
4741         );
4742
4743     print $okmsg{$opt{only}};
4744
4745     # show blacklisted components
4746     if ($opt{show_blacklist} and %blacklist) {
4747         my @blstr = ();
4748         foreach (keys %blacklist) {
4749             push @blstr, "$_=" . join ',', @{ $blacklist{$_} };
4750         }
4751         print $linebreak;
4752         print "----- BLACKLISTED: " . join '/', @blstr;
4753     }
4754 }
4755 elsif ($exit_code == $E_OK && !$opt{debug}) {
4756     if (defined $opt{htmlinfo}) {
4757         printf q{OK - System: '<a href="%s">%s%s</a>', SN: '<a href="%s">%s</a>'},
4758           documentation_url($sysinfo{model}), $sysinfo{model}, $sysinfo{rev},
4759             warranty_url($sysinfo{serial}), $sysinfo{serial};
4760     }
4761     else {
4762         printf q{OK - System: '%s%s', SN: '%s'},
4763           $sysinfo{model}, $sysinfo{rev}, $sysinfo{serial};
4764     }
4765
4766     if ($check{memory}) {
4767         my $unit = 'MB';
4768         if ($count{mem} >= 1024) {
4769             $count{mem} /= 1024;
4770             $unit = 'GB';
4771         }
4772         printf ', %d %s ram (%d dimms)', $count{mem}, $unit, $count{dimm};
4773     }
4774     else {
4775         print ', not checking memory';
4776     }
4777
4778     if ($check{storage}) {
4779         printf ', %d logical drives, %d physical drives',
4780           $count{vdisk}, $count{pdisk};
4781     }
4782     else {
4783         print ', not checking storage';
4784     }
4785
4786     # show blacklisted components
4787     if ($opt{show_blacklist} and %blacklist) {
4788         my @blstr = ();
4789         foreach (keys %blacklist) {
4790             push @blstr, "$_=" . join ',', @{ $blacklist{$_} };
4791         }
4792         print $linebreak;
4793         print "----- BLACKLISTED: " . join '/', @blstr;
4794     }
4795
4796     if ($opt{okinfo} >= 1) {
4797         print $linebreak;
4798         printf q{----- BIOS='%s %s'}, $sysinfo{bios}, $sysinfo{biosdate};
4799
4800         if ($sysinfo{rac}) {
4801             printf q{, %s='%s'}, $sysinfo{rac_name}, $sysinfo{rac_fw};
4802         }
4803         if ($sysinfo{bmc}) {
4804             printf q{, BMC='%s'}, $sysinfo{bmc_fw};
4805         }
4806     }
4807
4808     if ($opt{okinfo} >= 2) {
4809         if ($check{storage}) {
4810             my @storageprint = ();
4811             foreach my $id (sort keys %{ $sysinfo{controller} }) {
4812                 chomp $sysinfo{controller}{$id}{driver};
4813                 my $msg = sprintf q{----- Ctrl %s [%s]: Fw='%s', Dr='%s'},
4814                   $sysinfo{controller}{$id}{id}, $sysinfo{controller}{$id}{name},
4815                     $sysinfo{controller}{$id}{firmware}, $sysinfo{controller}{$id}{driver};
4816                 if (defined $sysinfo{controller}{$id}{storport}) {
4817                     $msg .= sprintf q{, Storport: '%s'}, $sysinfo{controller}{$id}{storport};
4818                 }
4819                 push @storageprint, $msg;
4820             }
4821             foreach my $id (sort keys %{ $sysinfo{enclosure} }) {
4822                 push @storageprint, sprintf q{----- Encl %s [%s]: Fw='%s'},
4823                   $sysinfo{enclosure}{$id}->{id}, $sysinfo{enclosure}{$id}->{name},
4824                     $sysinfo{enclosure}{$id}->{firmware};
4825             }
4826
4827             # print stuff
4828             foreach my $line (@storageprint) {
4829                 print $linebreak, $line;
4830             }
4831         }
4832     }
4833
4834     if ($opt{okinfo} >= 3) {
4835         print "$linebreak----- OpenManage Server Administrator (OMSA) version: '$sysinfo{om}'";
4836     }
4837
4838 }
4839 else {
4840     if ($opt{extinfo}) {
4841         print $linebreak;
4842         if (defined $opt{htmlinfo}) {
4843             printf '------ SYSTEM: <a href="%s">%s%s</a>, SN: <a href="%s">%s</a>',
4844               documentation_url($sysinfo{model}), $sysinfo{model}, $sysinfo{rev},
4845                 warranty_url($sysinfo{serial}), $sysinfo{serial};
4846         }
4847         else {
4848             printf '------ SYSTEM: %s%s, SN: %s',
4849               $sysinfo{model}, $sysinfo{rev}, $sysinfo{serial};
4850         }
4851     }
4852     if (defined $opt{postmsg}) {
4853         my $post = undef;
4854         if (-f $opt{postmsg}) {
4855             open my $POST, '<', $opt{postmsg}
4856               or ( print $linebreak
4857                    and print "ERROR: Couldn't open post message file $opt{postmsg}: $!\n"
4858                    and exit $E_UNKNOWN );
4859             $post = <$POST>;
4860             close $POST;
4861             chomp $post;
4862         }
4863         else {
4864             $post = $opt{postmsg};
4865         }
4866         if (defined $post) {
4867             print $linebreak;
4868             $post =~ s{[%]s}{$sysinfo{serial}}gxms;
4869             $post =~ s{[%]m}{$sysinfo{model}$sysinfo{rev}}gxms;
4870             $post =~ s{[%]b}{$sysinfo{bios}}gxms;
4871             $post =~ s{[%]d}{$sysinfo{biosdate}}gxms;
4872             $post =~ s{[%]o}{$sysinfo{osname}}gxms;
4873             $post =~ s{[%]r}{$sysinfo{osver}}gxms;
4874             $post =~ s{[%]p}{$count{pdisk}}gxms;
4875             $post =~ s{[%]l}{$count{vdisk}}gxms;
4876             $post =~ s{[%]n}{$linebreak}gxms;
4877             $post =~ s{[%]{2}}{%}gxms;
4878             print $post;
4879         }
4880     }
4881 }
4882
4883 # Reset the WARN signal
4884 $SIG{__WARN__} = 'DEFAULT';
4885
4886 # Print any perl warnings that have occured
4887 if (@perl_warnings) {
4888     foreach (@perl_warnings) {
4889         chop @$_;
4890         print "${linebreak}INTERNAL ERROR: @$_";
4891     }
4892     $exit_code = $E_UNKNOWN;
4893 }
4894
4895 # Print performance data
4896 if (defined $opt{perfdata} && !$opt{debug} && @perfdata) {
4897     my $lb = $opt{perfdata} eq 'multiline' ? "\n" : q{ };  # line break for perfdata
4898     print q{|};
4899
4900     # Sort routine for performance data
4901     sub perfsort {
4902         my %order = ( 'T' => 0, 'W' => 1, 'A' => 2, 'V' => 3, 'F' => 4, 'E' => 5, );
4903
4904         # sort in this order:
4905         #  1. the type according to the hash "order" above
4906         #  2. the id (index) numerically
4907         #  3. the id (index) alphabetically
4908         #  4. the label
4909         return $order{$a->{type}} cmp $order{$b->{type}} ||
4910           ($a->{id} =~ m{\A\d+\z}xms and $a->{id} <=> $b->{id}) ||
4911             ($a->{id} !~ m{\A\d+\z}xms and $a->{id} cmp $b->{id}) ||
4912               $a->{label} cmp $b->{label};
4913     }
4914
4915     # Print performance data sorted
4916     my $type = $opt{perfdata} eq 'minimal' ? 'mini' : 'label';
4917     print join $lb, map { "$_->{type}$_->{id}_$_->{$type}=$_->{value}$_->{unit};$_->{warn};$_->{crit}" } sort perfsort @perfdata;
4918 }
4919
4920 # Print a linebreak at the end
4921 print "\n" if !$opt{debug};
4922
4923 # Exit with proper exit code
4924 exit $exit_code;