<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Verdana;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
p.MsoListParagraph, li.MsoListParagraph, div.MsoListParagraph
        {mso-style-priority:34;
        margin-top:0cm;
        margin-right:0cm;
        margin-bottom:0cm;
        margin-left:36.0pt;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:"Courier New";}
.MsoChpDefault
        {mso-style-type:export-only;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:3.0cm 2.0cm 3.0cm 2.0cm;}
div.WordSection1
        {page:WordSection1;}
 /* List Definitions */
 @list l0
        {mso-list-id:626158454;
        mso-list-type:hybrid;
        mso-list-template-ids:-241929538 67502097 67502105 67502107 67502095 67502105 67502107 67502095 67502105 67502107;}
@list l0:level1
        {mso-level-text:"%1\)";
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level2
        {mso-level-number-format:alpha-lower;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level3
        {mso-level-tab-stop:108.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level4
        {mso-level-tab-stop:144.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level5
        {mso-level-tab-stop:180.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level6
        {mso-level-tab-stop:216.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level7
        {mso-level-tab-stop:252.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level8
        {mso-level-tab-stop:288.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l0:level9
        {mso-level-tab-stop:324.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1
        {mso-list-id:1194072783;
        mso-list-type:hybrid;
        mso-list-template-ids:276848444 1580258294 67502083 67502085 67502081 67502083 67502085 67502081 67502083 67502085;}
@list l1:level1
        {mso-level-start-at:792;
        mso-level-number-format:bullet;
        mso-level-text:\F0E8;
        mso-level-tab-stop:none;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        font-family:Wingdings;
        mso-fareast-font-family:Calibri;
        mso-bidi-font-family:"Times New Roman";}
@list l1:level2
        {mso-level-tab-stop:72.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level3
        {mso-level-tab-stop:108.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level4
        {mso-level-tab-stop:144.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level5
        {mso-level-tab-stop:180.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level6
        {mso-level-tab-stop:216.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level7
        {mso-level-tab-stop:252.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level8
        {mso-level-tab-stop:288.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
@list l1:level9
        {mso-level-tab-stop:324.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;}
ol
        {margin-bottom:0cm;}
ul
        {margin-bottom:0cm;}
-->
</style>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>

<body lang=DA link=blue vlink=purple>

<div class=WordSection1>

<p class=MsoNormal><span lang=EN-US>We have (become) what seems to be a
periodic performance problem in our setup. <o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>I am trying to figure out what we have
changed lately, it might be load related.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>During clients startup, the servers takes a
very long time  ~20-30 seconds to answer a DISCOVER. <o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>The server then answers with OFFER. But
since the server took so long to answer, the client has timed out and sends a
new DISCOVER.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>When the first OFFER reach the client, the
IP transaction ID does not match and the client drops the first OFFER<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Example :<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Client                
Server<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>  DISCOVER (transaction ID 1) </span><span
lang=EN-US style='font-family:Wingdings'></span><span lang=EN-US><o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>                            
:time goes<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>  timeout<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US> DISCOVER (transaction ID 2) </span><span
lang=EN-US style='font-family:Wingdings'></span><span lang=EN-US><o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>                            
</span><span lang=EN-US style='font-family:Wingdings'></span><span lang=EN-US>
OFFER (transaction ID 3)<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US> ignored from client<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US> DISCOVER </span><span lang=EN-US
style='font-family:Wingdings'></span><span lang=EN-US><o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US> and so on.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>This is found by tracing on the switch
where the server is connected, that is directly at the server port.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Looking at the servers with top when
everything works  :<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu0  :  0.0%us, 
0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu1  :  0.3%us, 
0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu2  :  0.0%us, 
0.3%sy,  0.0%ni, 95.3%id,  4.3%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu3  :  0.0%us, 
0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Mem:   2075208k
total,   714656k used,  1360552k free,   189160k
buffers<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Swap:  4128760k
total,      100k used,  4128660k
free,   318604k cached<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>During the problem I see something like
(numbers added from memory):<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu0  :  0.0%us, 
0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu1  :  0.3%us, 
0.3%sy,  0.0%ni, 99.3%id,  0.0%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l1 level1 lfo1'><![if !supportLists]><span
lang=EN-US style='font-family:Wingdings'><span style='mso-list:Ignore'><span
style='font:7.0pt "Times New Roman"'> </span></span></span><![endif]><span
lang=EN-US>Cpu2  :  0.0%us,  0.3%sy,  0.0%ni, 1.3%id, 
98%wa,  0.0%hi,  0.0%si,  0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Cpu3  :  0.0%us, 
0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si, 
0.0%st<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Mem:   2075208k
total,   714656k used,  1360552k free,   189160k
buffers<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Swap:  4128760k
total,      100k used,  4128660k
free,   318604k cached<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>The only process really working is
kjournald.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Now I am a little in the dark as what to do
now. First of course is to offload everything but dhcpd from the servers to<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>reduce any load I haven’t noticed.
There were a few java programs and a mysql server on dhcp2, Those are now
closed ,nothing extra on dhcp1. <o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>The next I have done is to increase default
lease time from 8 hours to 5 days.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US> <o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>so my questions are:<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo2'><![if !supportLists]><span
lang=EN-US><span style='mso-list:Ignore'>1)<span style='font:7.0pt "Times New Roman"'>     
</span></span></span><![endif]><span lang=EN-US>anybody seen something similar
?<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo2'><![if !supportLists]><span
lang=EN-US><span style='mso-list:Ignore'>2)<span style='font:7.0pt "Times New Roman"'>     
</span></span></span><![endif]><span lang=EN-US>Good ideas to further
investigate ?  What about the network topology ? Any gotcha’s when
sending DISCOVERY through two cisco routers ?<o:p></o:p></span></p>

<p class=MsoListParagraph style='text-indent:-18.0pt;mso-list:l0 level1 lfo2'><![if !supportLists]><span
lang=EN-US><span style='mso-list:Ignore'>3)<span style='font:7.0pt "Times New Roman"'>     
</span></span></span><![endif]><span lang=EN-US>During the problem, everything
starts to go wrong. What would be some good values in the failover paragraph to
ease the system ?<o:p></o:p></span></p>

<p class=MsoListParagraph><span lang=EN-US>I think I will have to increase
mctl, but not too much. That will create problem in partner down.<o:p></o:p></span></p>

<p class=MsoListParagraph><span lang=EN-US>I see a lot of load balancing
messages in the logfile. Any way of changing the load balancing to reduce load
? <o:p></o:p></span></p>

<p class=MsoListParagraph><span lang=EN-US><o:p> </o:p></span></p>

<pre><span lang=EN-US style='font-family:"Calibri","sans-serif";color:#1F497D'>Also, what would be the consensus of disabling pingcheck ? <o:p></o:p></span></pre><pre><b><span
lang=EN-US>ping-check</span></b><span lang=EN-US> false;<o:p></o:p></span></pre>

<p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='color:#1F497D'>The ping adds at
least one  second to every discovery/offer, and that could maybe
contribute to our problem since we have a large net with<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US style='color:#1F497D'>many net boxes
between the server and the clients<o:p></o:p></span></p>

<p class=MsoListParagraph><span lang=EN-US> <o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>And last, when this happens, I could use
some good ideas on how to handle it in the shortest possible time.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>The last time we had this,  I shut one
server down, we stopped all incoming  dhcp requests on one server, put the
other server in<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>partner down and opened for dhcp request
step by step from the different subnets. After a  few nets where online,
we started the second<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>dhcp server, waited for recover to finish.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>That took a long time – about 2 hours.
The users where not happy.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>The installation details are :<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Topology :  Windows clients </span><span
lang=EN-US style='font-family:Wingdings'></span><span lang=EN-US> 2 cisco
routers </span><span lang=EN-US style='font-family:Wingdings'></span><span
lang=EN-US> 2 dhcp linux servers<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>RHEL 5 two interfaces eth0+eth1 bundled
into bond0<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>Linux version 2.6.18-194.11.1.el5<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>dhcp1 : 4 x 3.2 GHz Xeon cpu, 2GB Ram, 72
GB disk<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>dhcp2 : 4 x 3.2 GHz Xeon cpu, 4 GB Ram, 72
GB Disk<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>isc-dhcpd  4.1.1-P1<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>failover protocol<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>1352 subnets<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>792 pools<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>around 7500 active leases<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>extract from dhcpd.conf :<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>ddns-update-style none;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US> authoritative ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>default-lease-time 432000 ; (was 8 hours)<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>max-lease-time 604800 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>omapi-port 7911 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US># Failover configuration.<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US>failover peer
"ipc-dhcp1-ipc-dhcp2" {<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>  
     primary;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
address 10.11.90.73;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
port 647;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
peer address 10.11.90.74;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>        peer
port 647;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
max-response-delay 90;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
max-unacked-updates 20;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
mclt 1800;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
split 128;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
load balance max seconds 5;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>}<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p>

<p class=MsoNormal><span lang=EN-US># typical subnet :<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>subnet 10.2.2.0 netmask 255.255.255.0 {<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
option subnet-mask 255.255.255.0 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
option routers 10.2.2.254 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
option domain-name "name.local" ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
option option-150 10.11.75.10 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
filename "<a href="file:///\\mboot.0">\\mboot.0</a>" ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
next-server 10.2.2.240 ;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
pool {<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>               
range 10.2.2.1 10.2.2.200;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>               
failover peer "ipc-dhcp1-ipc-dhcp2";<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>               
deny dynamic bootp clients;<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>       
}<o:p></o:p></span></p>

<p class=MsoNormal><span lang=EN-US>}<o:p></o:p></span></p>

<p class=MsoNormal><o:p> </o:p></p>

<p class=MsoNormal><o:p> </o:p></p>

<p class=MsoNormal><span style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>Regards,</span><span
style='font-size:10.0pt;font-family:"Verdana","sans-serif"'><o:p></o:p></span></p>

<p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Verdana","sans-serif"'>Bjarne
Blichfeldt</span></b><b><span style='font-size:9.0pt;font-family:"Verdana","sans-serif"'>
</span></b><span style='font-size:9.0pt;font-family:"Verdana","sans-serif"'><br>
<br>
<o:p></o:p></span></p>

<p class=MsoNormal><o:p> </o:p></p>

</div>

</body>

</html>