<div dir="ltr">Hello!<div><br></div><div>We're trying to update our naemon docker image to 1.0.6 and we're running into a fairly difficult-to-debug issue. Here's the issue we're seeing:</div><div><br></div><div>1. Naemon + Apache start as expected and will run indefinitely, if Thruk is not accessed.</div><div>2. Upon signin to Thruk, the Naemon process's CPU consumption jumps to 100% and will stay there indefinitely. </div><div><br></div><div>We've been trying to get at some logging messages to see if we can diagnose the behavior, but that's been a bit more trouble than we expected. So far, we've just done the obvious thing of increasing the debuging levels found in /etc/naemon/naemon.cfg. However, this seems produce no additional information when the issue is hit.</div><div><br></div><div>Anyway, here's some information about the container environment:</div><div><br></div><div><b>Base image:</b> phusion 0.9.21 (Which is Ubuntu 16.04)</div><div><b>Naemon primary log file entries: </b>These always look like this. Not much to go off of.</div><div>––––</div><div><p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] Naemon 1.0.6-pkg starting... (PID=51)</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] Local time is Mon May 08 23:38:26 UTC 2017</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] LOG VERSION: 2.0</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] qh: Socket '/var/lib/naemon/naemon.qh' successfully initialized</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] nerd: Channel hostchecks registered successfully</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] nerd: Channel servicechecks registered successfully</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] nerd: Fully initialized and ready to rock!</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Successfully registered manager as @wproc with query handler</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 55;pid=55</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 57;pid=57</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 59;pid=59</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 61;pid=61</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 58;pid=58</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[1494286706] wproc: Registry request: name=Core Worker 60;pid=60</span></p></div><div>––––</div><div><b>Naemon livestatus log: </b>(Blank)</div><div><b>Thruk Logs: </b>Nothing comes out here, until I kill the naemon service, then it's just:</div><div>––––––––</div><div><p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[2017/05/08 19:34:00][nameon][ERROR][Thruk] No Backend available</span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[2017/05/08 19:34:00][nameon][ERROR][Thruk] on page: <a href="http://10.13.30.200/thruk/cgi-bin/minemap.cgi?_=1494272037931">http://10.13.30.200/thruk/cgi-bin/minemap.cgi?_=1494272037931</a></span></p>
<p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">[2017/05/08 19:34:00][nameon][ERROR][Thruk] Naemon: ERROR: failed to connect - Connection refused. (/var/cache/naemon/live)</span></p><p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures">–––––––––</span></p><p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><span style="font-variant-ligatures:no-common-ligatures"><br></span></p><p style="margin:0px;font-size:11px;line-height:normal;font-family:menlo;color:rgb(0,0,0)"><br></p><p style="margin:0px;line-height:normal">From tracing around, we're pretty confident the issue is when Thruk attempts to connect to the naemon live socket. However, what the cause of the issue is has been tough; we know the fs permissions are correct, we believe the socket is working from the log messages, and Thruk works as expected when we stop naemon (it shows it's interfaces and errors that it cannot connect to naemon). We can keep at this, of course, but I was hoping we could get pointed in the right direction. </p><p style="margin:0px;line-height:normal"><br></p><p style="margin:0px;line-height:normal">Thanks!</p><p style="margin:0px;line-height:normal">Terence</p></div><div><br></div></div>