Add a test to check the EC point formats extension appears when we expect
[openssl.git] / util / TLSProxy / Message.pm
1 # Copyright 2016 The OpenSSL Project Authors. All Rights Reserved.
2 #
3 # Licensed under the OpenSSL license (the "License").  You may not use
4 # this file except in compliance with the License.  You can obtain a copy
5 # in the file LICENSE in the source distribution or at
6 # https://www.openssl.org/source/license.html
7
8 use strict;
9
10 package TLSProxy::Message;
11
12 use constant TLS_MESSAGE_HEADER_LENGTH => 4;
13
14 #Message types
15 use constant {
16     MT_HELLO_REQUEST => 0,
17     MT_CLIENT_HELLO => 1,
18     MT_SERVER_HELLO => 2,
19     MT_NEW_SESSION_TICKET => 4,
20     MT_ENCRYPTED_EXTENSIONS => 8,
21     MT_CERTIFICATE => 11,
22     MT_SERVER_KEY_EXCHANGE => 12,
23     MT_CERTIFICATE_REQUEST => 13,
24     MT_SERVER_HELLO_DONE => 14,
25     MT_CERTIFICATE_VERIFY => 15,
26     MT_CLIENT_KEY_EXCHANGE => 16,
27     MT_FINISHED => 20,
28     MT_CERTIFICATE_STATUS => 22,
29     MT_NEXT_PROTO => 67
30 };
31
32 #Alert levels
33 use constant {
34     AL_LEVEL_WARN => 1,
35     AL_LEVEL_FATAL => 2
36 };
37
38 #Alert descriptions
39 use constant {
40     AL_DESC_CLOSE_NOTIFY => 0,
41     AL_DESC_UNEXPECTED_MESSAGE => 10,
42     AL_DESC_NO_RENEGOTIATION => 100
43 };
44
45 my %message_type = (
46     MT_HELLO_REQUEST, "HelloRequest",
47     MT_CLIENT_HELLO, "ClientHello",
48     MT_SERVER_HELLO, "ServerHello",
49     MT_NEW_SESSION_TICKET, "NewSessionTicket",
50     MT_ENCRYPTED_EXTENSIONS, "EncryptedExtensions",
51     MT_CERTIFICATE, "Certificate",
52     MT_SERVER_KEY_EXCHANGE, "ServerKeyExchange",
53     MT_CERTIFICATE_REQUEST, "CertificateRequest",
54     MT_SERVER_HELLO_DONE, "ServerHelloDone",
55     MT_CERTIFICATE_VERIFY, "CertificateVerify",
56     MT_CLIENT_KEY_EXCHANGE, "ClientKeyExchange",
57     MT_FINISHED, "Finished",
58     MT_CERTIFICATE_STATUS, "CertificateStatus",
59     MT_NEXT_PROTO, "NextProto"
60 );
61
62 use constant {
63     EXT_SERVER_NAME => 0,
64     EXT_STATUS_REQUEST => 5,
65     EXT_SUPPORTED_GROUPS => 10,
66     EXT_EC_POINT_FORMATS => 11,
67     EXT_SRP => 12,
68     EXT_SIG_ALGS => 13,
69     EXT_USE_SRTP => 14,
70     EXT_ALPN => 16,
71     EXT_SCT => 18,
72     EXT_PADDING => 21,
73     EXT_ENCRYPT_THEN_MAC => 22,
74     EXT_EXTENDED_MASTER_SECRET => 23,
75     EXT_SESSION_TICKET => 35,
76     EXT_KEY_SHARE => 40,
77     EXT_SUPPORTED_VERSIONS => 43,
78     EXT_RENEGOTIATE => 65281,
79     EXT_NPN => 13172,
80     # This extension is an unofficial extension only ever written by OpenSSL
81     # (i.e. not read), and even then only when enabled. We use it to test
82     # handling of duplicate extensions.
83     EXT_DUPLICATE_EXTENSION => 0xfde8
84 };
85
86 use constant {
87     CIPHER_ADH_AES_128_SHA => 0x03000034
88 };
89
90 my $payload = "";
91 my $messlen = -1;
92 my $mt;
93 my $startoffset = -1;
94 my $server = 0;
95 my $success = 0;
96 my $end = 0;
97 my @message_rec_list = ();
98 my @message_frag_lens = ();
99 my $ciphersuite = 0;
100
101 sub clear
102 {
103     $payload = "";
104     $messlen = -1;
105     $startoffset = -1;
106     $server = 0;
107     $success = 0;
108     $end = 0;
109     @message_rec_list = ();
110     @message_frag_lens = ();
111 }
112
113 #Class method to extract messages from a record
114 sub get_messages
115 {
116     my $class = shift;
117     my $serverin = shift;
118     my $record = shift;
119     my @messages = ();
120     my $message;
121
122     @message_frag_lens = ();
123
124     if ($serverin != $server && length($payload) != 0) {
125         die "Changed peer, but we still have fragment data\n";
126     }
127     $server = $serverin;
128
129     if ($record->content_type == TLSProxy::Record::RT_CCS) {
130         if ($payload ne "") {
131             #We can't handle this yet
132             die "CCS received before message data complete\n";
133         }
134         if ($server) {
135             TLSProxy::Record->server_encrypting(1);
136         } else {
137             TLSProxy::Record->client_encrypting(1);
138         }
139     } elsif ($record->content_type == TLSProxy::Record::RT_HANDSHAKE) {
140         if ($record->len == 0 || $record->len_real == 0) {
141             print "  Message truncated\n";
142         } else {
143             my $recoffset = 0;
144
145             if (length $payload > 0) {
146                 #We are continuing processing a message started in a previous
147                 #record. Add this record to the list associated with this
148                 #message
149                 push @message_rec_list, $record;
150
151                 if ($messlen <= length($payload)) {
152                     #Shouldn't happen
153                     die "Internal error: invalid messlen: ".$messlen
154                         ." payload length:".length($payload)."\n";
155                 }
156                 if (length($payload) + $record->decrypt_len >= $messlen) {
157                     #We can complete the message with this record
158                     $recoffset = $messlen - length($payload);
159                     $payload .= substr($record->decrypt_data, 0, $recoffset);
160                     push @message_frag_lens, $recoffset;
161                     $message = create_message($server, $mt, $payload,
162                                               $startoffset);
163                     push @messages, $message;
164
165                     $payload = "";
166                 } else {
167                     #This is just part of the total message
168                     $payload .= $record->decrypt_data;
169                     $recoffset = $record->decrypt_len;
170                     push @message_frag_lens, $record->decrypt_len;
171                 }
172                 print "  Partial message data read: ".$recoffset." bytes\n";
173             }
174
175             while ($record->decrypt_len > $recoffset) {
176                 #We are at the start of a new message
177                 if ($record->decrypt_len - $recoffset < 4) {
178                     #Whilst technically probably valid we can't cope with this
179                     die "End of record in the middle of a message header\n";
180                 }
181                 @message_rec_list = ($record);
182                 my $lenhi;
183                 my $lenlo;
184                 ($mt, $lenhi, $lenlo) = unpack('CnC',
185                                                substr($record->decrypt_data,
186                                                       $recoffset));
187                 $messlen = ($lenhi << 8) | $lenlo;
188                 print "  Message type: $message_type{$mt}\n";
189                 print "  Message Length: $messlen\n";
190                 $startoffset = $recoffset;
191                 $recoffset += 4;
192                 $payload = "";
193                 
194                 if ($recoffset <= $record->decrypt_len) {
195                     #Some payload data is present in this record
196                     if ($record->decrypt_len - $recoffset >= $messlen) {
197                         #We can complete the message with this record
198                         $payload .= substr($record->decrypt_data, $recoffset,
199                                            $messlen);
200                         $recoffset += $messlen;
201                         push @message_frag_lens, $messlen;
202                         $message = create_message($server, $mt, $payload,
203                                                   $startoffset);
204                         push @messages, $message;
205
206                         $payload = "";
207                     } else {
208                         #This is just part of the total message
209                         $payload .= substr($record->decrypt_data, $recoffset,
210                                            $record->decrypt_len - $recoffset);
211                         $recoffset = $record->decrypt_len;
212                         push @message_frag_lens, $recoffset;
213                     }
214                 }
215             }
216         }
217     } elsif ($record->content_type == TLSProxy::Record::RT_APPLICATION_DATA) {
218         print "  [ENCRYPTED APPLICATION DATA]\n";
219         print "  [".$record->decrypt_data."]\n";
220     } elsif ($record->content_type == TLSProxy::Record::RT_ALERT) {
221         my ($alertlev, $alertdesc) = unpack('CC', $record->decrypt_data);
222         #A CloseNotify from the client indicates we have finished successfully
223         #(we assume)
224         if (!$end && !$server && $alertlev == AL_LEVEL_WARN
225             && $alertdesc == AL_DESC_CLOSE_NOTIFY) {
226             $success = 1;
227         }
228         #All alerts end the test
229         $end = 1;
230     }
231
232     return @messages;
233 }
234
235 #Function to work out which sub-class we need to create and then
236 #construct it
237 sub create_message
238 {
239     my ($server, $mt, $data, $startoffset) = @_;
240     my $message;
241
242     #We only support ClientHello in this version...needs to be extended for
243     #others
244     if ($mt == MT_CLIENT_HELLO) {
245         $message = TLSProxy::ClientHello->new(
246             $server,
247             $data,
248             [@message_rec_list],
249             $startoffset,
250             [@message_frag_lens]
251         );
252         $message->parse();
253     } elsif ($mt == MT_SERVER_HELLO) {
254         $message = TLSProxy::ServerHello->new(
255             $server,
256             $data,
257             [@message_rec_list],
258             $startoffset,
259             [@message_frag_lens]
260         );
261         $message->parse();
262     } elsif ($mt == MT_ENCRYPTED_EXTENSIONS) {
263         $message = TLSProxy::EncryptedExtensions->new(
264             $server,
265             $data,
266             [@message_rec_list],
267             $startoffset,
268             [@message_frag_lens]
269         );
270         $message->parse();
271     } elsif ($mt == MT_SERVER_KEY_EXCHANGE) {
272         $message = TLSProxy::ServerKeyExchange->new(
273             $server,
274             $data,
275             [@message_rec_list],
276             $startoffset,
277             [@message_frag_lens]
278         );
279         $message->parse();
280     } elsif ($mt == MT_NEW_SESSION_TICKET) {
281         $message = TLSProxy::NewSessionTicket->new(
282             $server,
283             $data,
284             [@message_rec_list],
285             $startoffset,
286             [@message_frag_lens]
287         );
288         $message->parse();
289     } else {
290         #Unknown message type
291         $message = TLSProxy::Message->new(
292             $server,
293             $mt,
294             $data,
295             [@message_rec_list],
296             $startoffset,
297             [@message_frag_lens]
298         );
299     }
300
301     return $message;
302 }
303
304 sub end
305 {
306     my $class = shift;
307     return $end;
308 }
309 sub success
310 {
311     my $class = shift;
312     return $success;
313 }
314 sub fail
315 {
316     my $class = shift;
317     return !$success && $end;
318 }
319 sub new
320 {
321     my $class = shift;
322     my ($server,
323         $mt,
324         $data,
325         $records,
326         $startoffset,
327         $message_frag_lens) = @_;
328     
329     my $self = {
330         server => $server,
331         data => $data,
332         records => $records,
333         mt => $mt,
334         startoffset => $startoffset,
335         message_frag_lens => $message_frag_lens
336     };
337
338     return bless $self, $class;
339 }
340
341 sub ciphersuite
342 {
343     my $class = shift;
344     if (@_) {
345       $ciphersuite = shift;
346     }
347     return $ciphersuite;
348 }
349
350 #Update all the underlying records with the modified data from this message
351 #Note: Does not currently support re-encrypting
352 sub repack
353 {
354     my $self = shift;
355     my $msgdata;
356
357     my $numrecs = $#{$self->records};
358
359     $self->set_message_contents();
360
361     my $lenhi;
362     my $lenlo;
363
364     $lenlo = length($self->data) & 0xff;
365     $lenhi = length($self->data) >> 8;
366     $msgdata = pack('CnC', $self->mt, $lenhi, $lenlo).$self->data;
367
368     if ($numrecs == 0) {
369         #The message is fully contained within one record
370         my ($rec) = @{$self->records};
371         my $recdata = $rec->decrypt_data;
372
373         my $old_length;
374
375         # We use empty message_frag_lens to indicates that pre-repacking,
376         # the message wasn't present. The first fragment length doesn't include
377         # the TLS header, so we need to check and compute the right length.
378         if (@{$self->message_frag_lens}) {
379             $old_length = ${$self->message_frag_lens}[0] +
380               TLS_MESSAGE_HEADER_LENGTH;
381         } else {
382             $old_length = 0;
383         }
384
385         my $prefix = substr($recdata, 0, $self->startoffset);
386         my $suffix = substr($recdata, $self->startoffset + $old_length);
387
388         $rec->decrypt_data($prefix.($msgdata).($suffix));
389         # TODO(openssl-team): don't keep explicit lengths.
390         # (If a length override is ever needed to construct invalid packets,
391         #  use an explicit override field instead.)
392         $rec->decrypt_len(length($rec->decrypt_data));
393         $rec->len($rec->len + length($msgdata) - $old_length);
394         # Don't support re-encryption.
395         $rec->data($rec->decrypt_data);
396
397         #Update the fragment len in case we changed it above
398         ${$self->message_frag_lens}[0] = length($msgdata)
399                                          - TLS_MESSAGE_HEADER_LENGTH;
400         return;
401     }
402
403     #Note we don't currently support changing a fragmented message length
404     my $recctr = 0;
405     my $datadone = 0;
406     foreach my $rec (@{$self->records}) {
407         my $recdata = $rec->decrypt_data;
408         if ($recctr == 0) {
409             #This is the first record
410             my $remainlen = length($recdata) - $self->startoffset;
411             $rec->data(substr($recdata, 0, $self->startoffset)
412                        .substr(($msgdata), 0, $remainlen));
413             $datadone += $remainlen;
414         } elsif ($recctr + 1 == $numrecs) {
415             #This is the last record
416             $rec->data(substr($msgdata, $datadone));
417         } else {
418             #This is a middle record
419             $rec->data(substr($msgdata, $datadone, length($rec->data)));
420             $datadone += length($rec->data);
421         }
422         $recctr++;
423     }
424 }
425
426 #To be overridden by sub-classes
427 sub set_message_contents
428 {
429 }
430
431 #Read only accessors
432 sub server
433 {
434     my $self = shift;
435     return $self->{server};
436 }
437
438 #Read/write accessors
439 sub mt
440 {
441     my $self = shift;
442     if (@_) {
443       $self->{mt} = shift;
444     }
445     return $self->{mt};
446 }
447 sub data
448 {
449     my $self = shift;
450     if (@_) {
451       $self->{data} = shift;
452     }
453     return $self->{data};
454 }
455 sub records
456 {
457     my $self = shift;
458     if (@_) {
459       $self->{records} = shift;
460     }
461     return $self->{records};
462 }
463 sub startoffset
464 {
465     my $self = shift;
466     if (@_) {
467       $self->{startoffset} = shift;
468     }
469     return $self->{startoffset};
470 }
471 sub message_frag_lens
472 {
473     my $self = shift;
474     if (@_) {
475       $self->{message_frag_lens} = shift;
476     }
477     return $self->{message_frag_lens};
478 }
479 sub encoded_length
480 {
481     my $self = shift;
482     return TLS_MESSAGE_HEADER_LENGTH + length($self->data);
483 }
484
485 1;