Update code for the final RFC version of TLSv1.3 (RFC8446)
[openssl.git] / util / perl / TLSProxy / Message.pm
1 # Copyright 2016-2018 The OpenSSL Project Authors. All Rights Reserved.
2 #
3 # Licensed under the OpenSSL license (the "License").  You may not use
4 # this file except in compliance with the License.  You can obtain a copy
5 # in the file LICENSE in the source distribution or at
6 # https://www.openssl.org/source/license.html
7
8 use strict;
9
10 package TLSProxy::Message;
11
12 use TLSProxy::Alert;
13
14 use constant TLS_MESSAGE_HEADER_LENGTH => 4;
15
16 #Message types
17 use constant {
18     MT_HELLO_REQUEST => 0,
19     MT_CLIENT_HELLO => 1,
20     MT_SERVER_HELLO => 2,
21     MT_NEW_SESSION_TICKET => 4,
22     MT_ENCRYPTED_EXTENSIONS => 8,
23     MT_CERTIFICATE => 11,
24     MT_SERVER_KEY_EXCHANGE => 12,
25     MT_CERTIFICATE_REQUEST => 13,
26     MT_SERVER_HELLO_DONE => 14,
27     MT_CERTIFICATE_VERIFY => 15,
28     MT_CLIENT_KEY_EXCHANGE => 16,
29     MT_FINISHED => 20,
30     MT_CERTIFICATE_STATUS => 22,
31     MT_NEXT_PROTO => 67
32 };
33
34 #Alert levels
35 use constant {
36     AL_LEVEL_WARN => 1,
37     AL_LEVEL_FATAL => 2
38 };
39
40 #Alert descriptions
41 use constant {
42     AL_DESC_CLOSE_NOTIFY => 0,
43     AL_DESC_UNEXPECTED_MESSAGE => 10,
44     AL_DESC_ILLEGAL_PARAMETER => 47,
45     AL_DESC_NO_RENEGOTIATION => 100
46 };
47
48 my %message_type = (
49     MT_HELLO_REQUEST, "HelloRequest",
50     MT_CLIENT_HELLO, "ClientHello",
51     MT_SERVER_HELLO, "ServerHello",
52     MT_NEW_SESSION_TICKET, "NewSessionTicket",
53     MT_ENCRYPTED_EXTENSIONS, "EncryptedExtensions",
54     MT_CERTIFICATE, "Certificate",
55     MT_SERVER_KEY_EXCHANGE, "ServerKeyExchange",
56     MT_CERTIFICATE_REQUEST, "CertificateRequest",
57     MT_SERVER_HELLO_DONE, "ServerHelloDone",
58     MT_CERTIFICATE_VERIFY, "CertificateVerify",
59     MT_CLIENT_KEY_EXCHANGE, "ClientKeyExchange",
60     MT_FINISHED, "Finished",
61     MT_CERTIFICATE_STATUS, "CertificateStatus",
62     MT_NEXT_PROTO, "NextProto"
63 );
64
65 use constant {
66     EXT_SERVER_NAME => 0,
67     EXT_MAX_FRAGMENT_LENGTH => 1,
68     EXT_STATUS_REQUEST => 5,
69     EXT_SUPPORTED_GROUPS => 10,
70     EXT_EC_POINT_FORMATS => 11,
71     EXT_SRP => 12,
72     EXT_SIG_ALGS => 13,
73     EXT_USE_SRTP => 14,
74     EXT_ALPN => 16,
75     EXT_SCT => 18,
76     EXT_PADDING => 21,
77     EXT_ENCRYPT_THEN_MAC => 22,
78     EXT_EXTENDED_MASTER_SECRET => 23,
79     EXT_SESSION_TICKET => 35,
80     EXT_KEY_SHARE => 51,
81     EXT_PSK => 41,
82     EXT_SUPPORTED_VERSIONS => 43,
83     EXT_COOKIE => 44,
84     EXT_PSK_KEX_MODES => 45,
85     EXT_POST_HANDSHAKE_AUTH => 49,
86     EXT_SIG_ALGS_CERT => 50,
87     EXT_RENEGOTIATE => 65281,
88     EXT_NPN => 13172,
89     # This extension is an unofficial extension only ever written by OpenSSL
90     # (i.e. not read), and even then only when enabled. We use it to test
91     # handling of duplicate extensions.
92     EXT_DUPLICATE_EXTENSION => 0xfde8,
93     EXT_UNKNOWN => 0xfffe,
94     #Unknown extension that should appear last
95     EXT_FORCE_LAST => 0xffff
96 };
97
98 # SignatureScheme of TLS 1.3 from:
99 # https://www.iana.org/assignments/tls-parameters/tls-parameters.xhtml#tls-signaturescheme
100 # We have to manually grab the SHA224 equivalents from the old registry
101 use constant {
102     SIG_ALG_RSA_PKCS1_SHA256 => 0x0401,
103     SIG_ALG_RSA_PKCS1_SHA384 => 0x0501,
104     SIG_ALG_RSA_PKCS1_SHA512 => 0x0601,
105     SIG_ALG_ECDSA_SECP256R1_SHA256 => 0x0403,
106     SIG_ALG_ECDSA_SECP384R1_SHA384 => 0x0503,
107     SIG_ALG_ECDSA_SECP521R1_SHA512 => 0x0603,
108     SIG_ALG_RSA_PSS_RSAE_SHA256 => 0x0804,
109     SIG_ALG_RSA_PSS_RSAE_SHA384 => 0x0805,
110     SIG_ALG_RSA_PSS_RSAE_SHA512 => 0x0806,
111     SIG_ALG_ED25519 => 0x0807,
112     SIG_ALG_ED448 => 0x0808,
113     SIG_ALG_RSA_PSS_PSS_SHA256 => 0x0809,
114     SIG_ALG_RSA_PSS_PSS_SHA384 => 0x080a,
115     SIG_ALG_RSA_PSS_PSS_SHA512 => 0x080b,
116     SIG_ALG_RSA_PKCS1_SHA1 => 0x0201,
117     SIG_ALG_ECDSA_SHA1 => 0x0203,
118     SIG_ALG_DSA_SHA1 => 0x0202,
119     SIG_ALG_DSA_SHA256 => 0x0402,
120     SIG_ALG_DSA_SHA384 => 0x0502,
121     SIG_ALG_DSA_SHA512 => 0x0602,
122     OSSL_SIG_ALG_RSA_PKCS1_SHA224 => 0x0301,
123     OSSL_SIG_ALG_DSA_SHA224 => 0x0302,
124     OSSL_SIG_ALG_ECDSA_SHA224 => 0x0303
125 };
126
127 use constant {
128     CIPHER_RSA_WITH_AES_128_CBC_SHA => 0x002f,
129     CIPHER_DHE_RSA_AES_128_SHA => 0x0033,
130     CIPHER_ADH_AES_128_SHA => 0x0034,
131     CIPHER_TLS13_AES_128_GCM_SHA256 => 0x1301,
132     CIPHER_TLS13_AES_256_GCM_SHA384 => 0x1302
133 };
134
135 my $payload = "";
136 my $messlen = -1;
137 my $mt;
138 my $startoffset = -1;
139 my $server = 0;
140 my $success = 0;
141 my $end = 0;
142 my @message_rec_list = ();
143 my @message_frag_lens = ();
144 my $ciphersuite = 0;
145 my $successondata = 0;
146 my $alert;
147
148 sub clear
149 {
150     $payload = "";
151     $messlen = -1;
152     $startoffset = -1;
153     $server = 0;
154     $success = 0;
155     $end = 0;
156     $successondata = 0;
157     @message_rec_list = ();
158     @message_frag_lens = ();
159     $alert = undef;
160 }
161
162 #Class method to extract messages from a record
163 sub get_messages
164 {
165     my $class = shift;
166     my $serverin = shift;
167     my $record = shift;
168     my @messages = ();
169     my $message;
170
171     @message_frag_lens = ();
172
173     if ($serverin != $server && length($payload) != 0) {
174         die "Changed peer, but we still have fragment data\n";
175     }
176     $server = $serverin;
177
178     if ($record->content_type == TLSProxy::Record::RT_CCS) {
179         if ($payload ne "") {
180             #We can't handle this yet
181             die "CCS received before message data complete\n";
182         }
183         if (!TLSProxy::Proxy->is_tls13()) {
184             if ($server) {
185                 TLSProxy::Record->server_encrypting(1);
186             } else {
187                 TLSProxy::Record->client_encrypting(1);
188             }
189         }
190     } elsif ($record->content_type == TLSProxy::Record::RT_HANDSHAKE) {
191         if ($record->len == 0 || $record->len_real == 0) {
192             print "  Message truncated\n";
193         } else {
194             my $recoffset = 0;
195
196             if (length $payload > 0) {
197                 #We are continuing processing a message started in a previous
198                 #record. Add this record to the list associated with this
199                 #message
200                 push @message_rec_list, $record;
201
202                 if ($messlen <= length($payload)) {
203                     #Shouldn't happen
204                     die "Internal error: invalid messlen: ".$messlen
205                         ." payload length:".length($payload)."\n";
206                 }
207                 if (length($payload) + $record->decrypt_len >= $messlen) {
208                     #We can complete the message with this record
209                     $recoffset = $messlen - length($payload);
210                     $payload .= substr($record->decrypt_data, 0, $recoffset);
211                     push @message_frag_lens, $recoffset;
212                     $message = create_message($server, $mt, $payload,
213                                               $startoffset);
214                     push @messages, $message;
215
216                     $payload = "";
217                 } else {
218                     #This is just part of the total message
219                     $payload .= $record->decrypt_data;
220                     $recoffset = $record->decrypt_len;
221                     push @message_frag_lens, $record->decrypt_len;
222                 }
223                 print "  Partial message data read: ".$recoffset." bytes\n";
224             }
225
226             while ($record->decrypt_len > $recoffset) {
227                 #We are at the start of a new message
228                 if ($record->decrypt_len - $recoffset < 4) {
229                     #Whilst technically probably valid we can't cope with this
230                     die "End of record in the middle of a message header\n";
231                 }
232                 @message_rec_list = ($record);
233                 my $lenhi;
234                 my $lenlo;
235                 ($mt, $lenhi, $lenlo) = unpack('CnC',
236                                                substr($record->decrypt_data,
237                                                       $recoffset));
238                 $messlen = ($lenhi << 8) | $lenlo;
239                 print "  Message type: $message_type{$mt}\n";
240                 print "  Message Length: $messlen\n";
241                 $startoffset = $recoffset;
242                 $recoffset += 4;
243                 $payload = "";
244                 
245                 if ($recoffset <= $record->decrypt_len) {
246                     #Some payload data is present in this record
247                     if ($record->decrypt_len - $recoffset >= $messlen) {
248                         #We can complete the message with this record
249                         $payload .= substr($record->decrypt_data, $recoffset,
250                                            $messlen);
251                         $recoffset += $messlen;
252                         push @message_frag_lens, $messlen;
253                         $message = create_message($server, $mt, $payload,
254                                                   $startoffset);
255                         push @messages, $message;
256
257                         $payload = "";
258                     } else {
259                         #This is just part of the total message
260                         $payload .= substr($record->decrypt_data, $recoffset,
261                                            $record->decrypt_len - $recoffset);
262                         $recoffset = $record->decrypt_len;
263                         push @message_frag_lens, $recoffset;
264                     }
265                 }
266             }
267         }
268     } elsif ($record->content_type == TLSProxy::Record::RT_APPLICATION_DATA) {
269         print "  [ENCRYPTED APPLICATION DATA]\n";
270         print "  [".$record->decrypt_data."]\n";
271
272         if ($successondata) {
273             $success = 1;
274             $end = 1;
275         }
276     } elsif ($record->content_type == TLSProxy::Record::RT_ALERT) {
277         my ($alertlev, $alertdesc) = unpack('CC', $record->decrypt_data);
278         print "  [$alertlev, $alertdesc]\n";
279         #A CloseNotify from the client indicates we have finished successfully
280         #(we assume)
281         if (!$end && !$server && $alertlev == AL_LEVEL_WARN
282             && $alertdesc == AL_DESC_CLOSE_NOTIFY) {
283             $success = 1;
284         }
285         #Fatal or close notify alerts end the test
286         if ($alertlev == AL_LEVEL_FATAL || $alertdesc == AL_DESC_CLOSE_NOTIFY) {
287             $end = 1;
288         }
289         $alert = TLSProxy::Alert->new(
290             $server,
291             $record->encrypted,
292             $alertlev,
293             $alertdesc);
294     }
295
296     return @messages;
297 }
298
299 #Function to work out which sub-class we need to create and then
300 #construct it
301 sub create_message
302 {
303     my ($server, $mt, $data, $startoffset) = @_;
304     my $message;
305
306     #We only support ClientHello in this version...needs to be extended for
307     #others
308     if ($mt == MT_CLIENT_HELLO) {
309         $message = TLSProxy::ClientHello->new(
310             $server,
311             $data,
312             [@message_rec_list],
313             $startoffset,
314             [@message_frag_lens]
315         );
316         $message->parse();
317     } elsif ($mt == MT_SERVER_HELLO) {
318         $message = TLSProxy::ServerHello->new(
319             $server,
320             $data,
321             [@message_rec_list],
322             $startoffset,
323             [@message_frag_lens]
324         );
325         $message->parse();
326     } elsif ($mt == MT_ENCRYPTED_EXTENSIONS) {
327         $message = TLSProxy::EncryptedExtensions->new(
328             $server,
329             $data,
330             [@message_rec_list],
331             $startoffset,
332             [@message_frag_lens]
333         );
334         $message->parse();
335     } elsif ($mt == MT_CERTIFICATE) {
336         $message = TLSProxy::Certificate->new(
337             $server,
338             $data,
339             [@message_rec_list],
340             $startoffset,
341             [@message_frag_lens]
342         );
343         $message->parse();
344     } elsif ($mt == MT_CERTIFICATE_VERIFY) {
345         $message = TLSProxy::CertificateVerify->new(
346             $server,
347             $data,
348             [@message_rec_list],
349             $startoffset,
350             [@message_frag_lens]
351         );
352         $message->parse();
353     } elsif ($mt == MT_SERVER_KEY_EXCHANGE) {
354         $message = TLSProxy::ServerKeyExchange->new(
355             $server,
356             $data,
357             [@message_rec_list],
358             $startoffset,
359             [@message_frag_lens]
360         );
361         $message->parse();
362     } elsif ($mt == MT_NEW_SESSION_TICKET) {
363         $message = TLSProxy::NewSessionTicket->new(
364             $server,
365             $data,
366             [@message_rec_list],
367             $startoffset,
368             [@message_frag_lens]
369         );
370         $message->parse();
371     } else {
372         #Unknown message type
373         $message = TLSProxy::Message->new(
374             $server,
375             $mt,
376             $data,
377             [@message_rec_list],
378             $startoffset,
379             [@message_frag_lens]
380         );
381     }
382
383     return $message;
384 }
385
386 sub end
387 {
388     my $class = shift;
389     return $end;
390 }
391 sub success
392 {
393     my $class = shift;
394     return $success;
395 }
396 sub fail
397 {
398     my $class = shift;
399     return !$success && $end;
400 }
401
402 sub alert
403 {
404     return $alert;
405 }
406
407 sub new
408 {
409     my $class = shift;
410     my ($server,
411         $mt,
412         $data,
413         $records,
414         $startoffset,
415         $message_frag_lens) = @_;
416     
417     my $self = {
418         server => $server,
419         data => $data,
420         records => $records,
421         mt => $mt,
422         startoffset => $startoffset,
423         message_frag_lens => $message_frag_lens
424     };
425
426     return bless $self, $class;
427 }
428
429 sub ciphersuite
430 {
431     my $class = shift;
432     if (@_) {
433       $ciphersuite = shift;
434     }
435     return $ciphersuite;
436 }
437
438 #Update all the underlying records with the modified data from this message
439 #Note: Only supports re-encrypting for TLSv1.3
440 sub repack
441 {
442     my $self = shift;
443     my $msgdata;
444
445     my $numrecs = $#{$self->records};
446
447     $self->set_message_contents();
448
449     my $lenhi;
450     my $lenlo;
451
452     $lenlo = length($self->data) & 0xff;
453     $lenhi = length($self->data) >> 8;
454     $msgdata = pack('CnC', $self->mt, $lenhi, $lenlo).$self->data;
455
456     if ($numrecs == 0) {
457         #The message is fully contained within one record
458         my ($rec) = @{$self->records};
459         my $recdata = $rec->decrypt_data;
460
461         my $old_length;
462
463         # We use empty message_frag_lens to indicates that pre-repacking,
464         # the message wasn't present. The first fragment length doesn't include
465         # the TLS header, so we need to check and compute the right length.
466         if (@{$self->message_frag_lens}) {
467             $old_length = ${$self->message_frag_lens}[0] +
468               TLS_MESSAGE_HEADER_LENGTH;
469         } else {
470             $old_length = 0;
471         }
472
473         my $prefix = substr($recdata, 0, $self->startoffset);
474         my $suffix = substr($recdata, $self->startoffset + $old_length);
475
476         $rec->decrypt_data($prefix.($msgdata).($suffix));
477         # TODO(openssl-team): don't keep explicit lengths.
478         # (If a length override is ever needed to construct invalid packets,
479         #  use an explicit override field instead.)
480         $rec->decrypt_len(length($rec->decrypt_data));
481         $rec->len($rec->len + length($msgdata) - $old_length);
482         # Only support re-encryption for TLSv1.3.
483         if (TLSProxy::Proxy->is_tls13() && $rec->encrypted()) {
484             #Add content type (1 byte) and 16 tag bytes
485             $rec->data($rec->decrypt_data
486                 .pack("C", TLSProxy::Record::RT_HANDSHAKE).("\0"x16));
487         } else {
488             $rec->data($rec->decrypt_data);
489         }
490
491         #Update the fragment len in case we changed it above
492         ${$self->message_frag_lens}[0] = length($msgdata)
493                                          - TLS_MESSAGE_HEADER_LENGTH;
494         return;
495     }
496
497     #Note we don't currently support changing a fragmented message length
498     my $recctr = 0;
499     my $datadone = 0;
500     foreach my $rec (@{$self->records}) {
501         my $recdata = $rec->decrypt_data;
502         if ($recctr == 0) {
503             #This is the first record
504             my $remainlen = length($recdata) - $self->startoffset;
505             $rec->data(substr($recdata, 0, $self->startoffset)
506                        .substr(($msgdata), 0, $remainlen));
507             $datadone += $remainlen;
508         } elsif ($recctr + 1 == $numrecs) {
509             #This is the last record
510             $rec->data(substr($msgdata, $datadone));
511         } else {
512             #This is a middle record
513             $rec->data(substr($msgdata, $datadone, length($rec->data)));
514             $datadone += length($rec->data);
515         }
516         $recctr++;
517     }
518 }
519
520 #To be overridden by sub-classes
521 sub set_message_contents
522 {
523 }
524
525 #Read only accessors
526 sub server
527 {
528     my $self = shift;
529     return $self->{server};
530 }
531
532 #Read/write accessors
533 sub mt
534 {
535     my $self = shift;
536     if (@_) {
537       $self->{mt} = shift;
538     }
539     return $self->{mt};
540 }
541 sub data
542 {
543     my $self = shift;
544     if (@_) {
545       $self->{data} = shift;
546     }
547     return $self->{data};
548 }
549 sub records
550 {
551     my $self = shift;
552     if (@_) {
553       $self->{records} = shift;
554     }
555     return $self->{records};
556 }
557 sub startoffset
558 {
559     my $self = shift;
560     if (@_) {
561       $self->{startoffset} = shift;
562     }
563     return $self->{startoffset};
564 }
565 sub message_frag_lens
566 {
567     my $self = shift;
568     if (@_) {
569       $self->{message_frag_lens} = shift;
570     }
571     return $self->{message_frag_lens};
572 }
573 sub encoded_length
574 {
575     my $self = shift;
576     return TLS_MESSAGE_HEADER_LENGTH + length($self->data);
577 }
578 sub successondata
579 {
580     my $class = shift;
581     if (@_) {
582         $successondata = shift;
583     }
584     return $successondata;
585 }
586 1;