cfa65b8e33f1388196bb62f5f74f9fc160b4edb1
[openssl.git] / crypto / evp / e_aes.c
1 /*
2  * Copyright 2001-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <openssl/opensslconf.h>
11 #include <openssl/crypto.h>
12 #include <openssl/evp.h>
13 #include <openssl/err.h>
14 #include <string.h>
15 #include <assert.h>
16 #include <openssl/aes.h>
17 #include "internal/evp_int.h"
18 #include "modes_lcl.h"
19 #include <openssl/rand.h>
20
21 typedef struct {
22     union {
23         double align;
24         AES_KEY ks;
25     } ks;
26     block128_f block;
27     union {
28         cbc128_f cbc;
29         ctr128_f ctr;
30     } stream;
31 } EVP_AES_KEY;
32
33 typedef struct {
34     union {
35         double align;
36         AES_KEY ks;
37     } ks;                       /* AES key schedule to use */
38     int key_set;                /* Set if key initialised */
39     int iv_set;                 /* Set if an iv is set */
40     GCM128_CONTEXT gcm;
41     unsigned char *iv;          /* Temporary IV store */
42     int ivlen;                  /* IV length */
43     int taglen;
44     int iv_gen;                 /* It is OK to generate IVs */
45     int tls_aad_len;            /* TLS AAD length */
46     ctr128_f ctr;
47 } EVP_AES_GCM_CTX;
48
49 typedef struct {
50     union {
51         double align;
52         AES_KEY ks;
53     } ks1, ks2;                 /* AES key schedules to use */
54     XTS128_CONTEXT xts;
55     void (*stream) (const unsigned char *in,
56                     unsigned char *out, size_t length,
57                     const AES_KEY *key1, const AES_KEY *key2,
58                     const unsigned char iv[16]);
59 } EVP_AES_XTS_CTX;
60
61 typedef struct {
62     union {
63         double align;
64         AES_KEY ks;
65     } ks;                       /* AES key schedule to use */
66     int key_set;                /* Set if key initialised */
67     int iv_set;                 /* Set if an iv is set */
68     int tag_set;                /* Set if tag is valid */
69     int len_set;                /* Set if message length set */
70     int L, M;                   /* L and M parameters from RFC3610 */
71     int tls_aad_len;            /* TLS AAD length */
72     CCM128_CONTEXT ccm;
73     ccm128_f str;
74 } EVP_AES_CCM_CTX;
75
76 #ifndef OPENSSL_NO_OCB
77 typedef struct {
78     union {
79         double align;
80         AES_KEY ks;
81     } ksenc;                    /* AES key schedule to use for encryption */
82     union {
83         double align;
84         AES_KEY ks;
85     } ksdec;                    /* AES key schedule to use for decryption */
86     int key_set;                /* Set if key initialised */
87     int iv_set;                 /* Set if an iv is set */
88     OCB128_CONTEXT ocb;
89     unsigned char *iv;          /* Temporary IV store */
90     unsigned char tag[16];
91     unsigned char data_buf[16]; /* Store partial data blocks */
92     unsigned char aad_buf[16];  /* Store partial AAD blocks */
93     int data_buf_len;
94     int aad_buf_len;
95     int ivlen;                  /* IV length */
96     int taglen;
97 } EVP_AES_OCB_CTX;
98 #endif
99
100 #define MAXBITCHUNK     ((size_t)1<<(sizeof(size_t)*8-4))
101
102 #ifdef VPAES_ASM
103 int vpaes_set_encrypt_key(const unsigned char *userKey, int bits,
104                           AES_KEY *key);
105 int vpaes_set_decrypt_key(const unsigned char *userKey, int bits,
106                           AES_KEY *key);
107
108 void vpaes_encrypt(const unsigned char *in, unsigned char *out,
109                    const AES_KEY *key);
110 void vpaes_decrypt(const unsigned char *in, unsigned char *out,
111                    const AES_KEY *key);
112
113 void vpaes_cbc_encrypt(const unsigned char *in,
114                        unsigned char *out,
115                        size_t length,
116                        const AES_KEY *key, unsigned char *ivec, int enc);
117 #endif
118 #ifdef BSAES_ASM
119 void bsaes_cbc_encrypt(const unsigned char *in, unsigned char *out,
120                        size_t length, const AES_KEY *key,
121                        unsigned char ivec[16], int enc);
122 void bsaes_ctr32_encrypt_blocks(const unsigned char *in, unsigned char *out,
123                                 size_t len, const AES_KEY *key,
124                                 const unsigned char ivec[16]);
125 void bsaes_xts_encrypt(const unsigned char *inp, unsigned char *out,
126                        size_t len, const AES_KEY *key1,
127                        const AES_KEY *key2, const unsigned char iv[16]);
128 void bsaes_xts_decrypt(const unsigned char *inp, unsigned char *out,
129                        size_t len, const AES_KEY *key1,
130                        const AES_KEY *key2, const unsigned char iv[16]);
131 #endif
132 #ifdef AES_CTR_ASM
133 void AES_ctr32_encrypt(const unsigned char *in, unsigned char *out,
134                        size_t blocks, const AES_KEY *key,
135                        const unsigned char ivec[AES_BLOCK_SIZE]);
136 #endif
137 #ifdef AES_XTS_ASM
138 void AES_xts_encrypt(const char *inp, char *out, size_t len,
139                      const AES_KEY *key1, const AES_KEY *key2,
140                      const unsigned char iv[16]);
141 void AES_xts_decrypt(const char *inp, char *out, size_t len,
142                      const AES_KEY *key1, const AES_KEY *key2,
143                      const unsigned char iv[16]);
144 #endif
145
146 #if defined(OPENSSL_CPUID_OBJ) && (defined(__powerpc__) || defined(__ppc__) || defined(_ARCH_PPC))
147 # include "ppc_arch.h"
148 # ifdef VPAES_ASM
149 #  define VPAES_CAPABLE (OPENSSL_ppccap_P & PPC_ALTIVEC)
150 # endif
151 # define HWAES_CAPABLE  (OPENSSL_ppccap_P & PPC_CRYPTO207)
152 # define HWAES_set_encrypt_key aes_p8_set_encrypt_key
153 # define HWAES_set_decrypt_key aes_p8_set_decrypt_key
154 # define HWAES_encrypt aes_p8_encrypt
155 # define HWAES_decrypt aes_p8_decrypt
156 # define HWAES_cbc_encrypt aes_p8_cbc_encrypt
157 # define HWAES_ctr32_encrypt_blocks aes_p8_ctr32_encrypt_blocks
158 #endif
159
160 #if     defined(AES_ASM) && !defined(I386_ONLY) &&      (  \
161         ((defined(__i386)       || defined(__i386__)    || \
162           defined(_M_IX86)) && defined(OPENSSL_IA32_SSE2))|| \
163         defined(__x86_64)       || defined(__x86_64__)  || \
164         defined(_M_AMD64)       || defined(_M_X64)      )
165
166 extern unsigned int OPENSSL_ia32cap_P[];
167
168 # ifdef VPAES_ASM
169 #  define VPAES_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(41-32)))
170 # endif
171 # ifdef BSAES_ASM
172 #  define BSAES_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(41-32)))
173 # endif
174 /*
175  * AES-NI section
176  */
177 # define AESNI_CAPABLE   (OPENSSL_ia32cap_P[1]&(1<<(57-32)))
178
179 int aesni_set_encrypt_key(const unsigned char *userKey, int bits,
180                           AES_KEY *key);
181 int aesni_set_decrypt_key(const unsigned char *userKey, int bits,
182                           AES_KEY *key);
183
184 void aesni_encrypt(const unsigned char *in, unsigned char *out,
185                    const AES_KEY *key);
186 void aesni_decrypt(const unsigned char *in, unsigned char *out,
187                    const AES_KEY *key);
188
189 void aesni_ecb_encrypt(const unsigned char *in,
190                        unsigned char *out,
191                        size_t length, const AES_KEY *key, int enc);
192 void aesni_cbc_encrypt(const unsigned char *in,
193                        unsigned char *out,
194                        size_t length,
195                        const AES_KEY *key, unsigned char *ivec, int enc);
196
197 void aesni_ctr32_encrypt_blocks(const unsigned char *in,
198                                 unsigned char *out,
199                                 size_t blocks,
200                                 const void *key, const unsigned char *ivec);
201
202 void aesni_xts_encrypt(const unsigned char *in,
203                        unsigned char *out,
204                        size_t length,
205                        const AES_KEY *key1, const AES_KEY *key2,
206                        const unsigned char iv[16]);
207
208 void aesni_xts_decrypt(const unsigned char *in,
209                        unsigned char *out,
210                        size_t length,
211                        const AES_KEY *key1, const AES_KEY *key2,
212                        const unsigned char iv[16]);
213
214 void aesni_ccm64_encrypt_blocks(const unsigned char *in,
215                                 unsigned char *out,
216                                 size_t blocks,
217                                 const void *key,
218                                 const unsigned char ivec[16],
219                                 unsigned char cmac[16]);
220
221 void aesni_ccm64_decrypt_blocks(const unsigned char *in,
222                                 unsigned char *out,
223                                 size_t blocks,
224                                 const void *key,
225                                 const unsigned char ivec[16],
226                                 unsigned char cmac[16]);
227
228 # if defined(__x86_64) || defined(__x86_64__) || defined(_M_AMD64) || defined(_M_X64)
229 size_t aesni_gcm_encrypt(const unsigned char *in,
230                          unsigned char *out,
231                          size_t len,
232                          const void *key, unsigned char ivec[16], u64 *Xi);
233 #  define AES_gcm_encrypt aesni_gcm_encrypt
234 size_t aesni_gcm_decrypt(const unsigned char *in,
235                          unsigned char *out,
236                          size_t len,
237                          const void *key, unsigned char ivec[16], u64 *Xi);
238 #  define AES_gcm_decrypt aesni_gcm_decrypt
239 void gcm_ghash_avx(u64 Xi[2], const u128 Htable[16], const u8 *in,
240                    size_t len);
241 #  define AES_GCM_ASM(gctx)       (gctx->ctr==aesni_ctr32_encrypt_blocks && \
242                                  gctx->gcm.ghash==gcm_ghash_avx)
243 #  define AES_GCM_ASM2(gctx)      (gctx->gcm.block==(block128_f)aesni_encrypt && \
244                                  gctx->gcm.ghash==gcm_ghash_avx)
245 #  undef AES_GCM_ASM2          /* minor size optimization */
246 # endif
247
248 static int aesni_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
249                           const unsigned char *iv, int enc)
250 {
251     int ret, mode;
252     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
253
254     mode = EVP_CIPHER_CTX_mode(ctx);
255     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
256         && !enc) {
257         ret = aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
258                                     &dat->ks.ks);
259         dat->block = (block128_f) aesni_decrypt;
260         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
261             (cbc128_f) aesni_cbc_encrypt : NULL;
262     } else {
263         ret = aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
264                                     &dat->ks.ks);
265         dat->block = (block128_f) aesni_encrypt;
266         if (mode == EVP_CIPH_CBC_MODE)
267             dat->stream.cbc = (cbc128_f) aesni_cbc_encrypt;
268         else if (mode == EVP_CIPH_CTR_MODE)
269             dat->stream.ctr = (ctr128_f) aesni_ctr32_encrypt_blocks;
270         else
271             dat->stream.cbc = NULL;
272     }
273
274     if (ret < 0) {
275         EVPerr(EVP_F_AESNI_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
276         return 0;
277     }
278
279     return 1;
280 }
281
282 static int aesni_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
283                             const unsigned char *in, size_t len)
284 {
285     aesni_cbc_encrypt(in, out, len, &EVP_C_DATA(EVP_AES_KEY,ctx)->ks.ks,
286                       EVP_CIPHER_CTX_iv_noconst(ctx),
287                       EVP_CIPHER_CTX_encrypting(ctx));
288
289     return 1;
290 }
291
292 static int aesni_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
293                             const unsigned char *in, size_t len)
294 {
295     size_t bl = EVP_CIPHER_CTX_block_size(ctx);
296
297     if (len < bl)
298         return 1;
299
300     aesni_ecb_encrypt(in, out, len, &EVP_C_DATA(EVP_AES_KEY,ctx)->ks.ks,
301                       EVP_CIPHER_CTX_encrypting(ctx));
302
303     return 1;
304 }
305
306 # define aesni_ofb_cipher aes_ofb_cipher
307 static int aesni_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
308                             const unsigned char *in, size_t len);
309
310 # define aesni_cfb_cipher aes_cfb_cipher
311 static int aesni_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
312                             const unsigned char *in, size_t len);
313
314 # define aesni_cfb8_cipher aes_cfb8_cipher
315 static int aesni_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
316                              const unsigned char *in, size_t len);
317
318 # define aesni_cfb1_cipher aes_cfb1_cipher
319 static int aesni_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
320                              const unsigned char *in, size_t len);
321
322 # define aesni_ctr_cipher aes_ctr_cipher
323 static int aesni_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
324                             const unsigned char *in, size_t len);
325
326 static int aesni_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
327                               const unsigned char *iv, int enc)
328 {
329     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
330     if (!iv && !key)
331         return 1;
332     if (key) {
333         aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
334                               &gctx->ks.ks);
335         CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks, (block128_f) aesni_encrypt);
336         gctx->ctr = (ctr128_f) aesni_ctr32_encrypt_blocks;
337         /*
338          * If we have an iv can set it directly, otherwise use saved IV.
339          */
340         if (iv == NULL && gctx->iv_set)
341             iv = gctx->iv;
342         if (iv) {
343             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
344             gctx->iv_set = 1;
345         }
346         gctx->key_set = 1;
347     } else {
348         /* If key set use IV, otherwise copy */
349         if (gctx->key_set)
350             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
351         else
352             memcpy(gctx->iv, iv, gctx->ivlen);
353         gctx->iv_set = 1;
354         gctx->iv_gen = 0;
355     }
356     return 1;
357 }
358
359 # define aesni_gcm_cipher aes_gcm_cipher
360 static int aesni_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
361                             const unsigned char *in, size_t len);
362
363 static int aesni_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
364                               const unsigned char *iv, int enc)
365 {
366     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
367     if (!iv && !key)
368         return 1;
369
370     if (key) {
371         /* key_len is two AES keys */
372         if (enc) {
373             aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
374                                   &xctx->ks1.ks);
375             xctx->xts.block1 = (block128_f) aesni_encrypt;
376             xctx->stream = aesni_xts_encrypt;
377         } else {
378             aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
379                                   &xctx->ks1.ks);
380             xctx->xts.block1 = (block128_f) aesni_decrypt;
381             xctx->stream = aesni_xts_decrypt;
382         }
383
384         aesni_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
385                               EVP_CIPHER_CTX_key_length(ctx) * 4,
386                               &xctx->ks2.ks);
387         xctx->xts.block2 = (block128_f) aesni_encrypt;
388
389         xctx->xts.key1 = &xctx->ks1;
390     }
391
392     if (iv) {
393         xctx->xts.key2 = &xctx->ks2;
394         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
395     }
396
397     return 1;
398 }
399
400 # define aesni_xts_cipher aes_xts_cipher
401 static int aesni_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
402                             const unsigned char *in, size_t len);
403
404 static int aesni_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
405                               const unsigned char *iv, int enc)
406 {
407     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
408     if (!iv && !key)
409         return 1;
410     if (key) {
411         aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
412                               &cctx->ks.ks);
413         CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
414                            &cctx->ks, (block128_f) aesni_encrypt);
415         cctx->str = enc ? (ccm128_f) aesni_ccm64_encrypt_blocks :
416             (ccm128_f) aesni_ccm64_decrypt_blocks;
417         cctx->key_set = 1;
418     }
419     if (iv) {
420         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
421         cctx->iv_set = 1;
422     }
423     return 1;
424 }
425
426 # define aesni_ccm_cipher aes_ccm_cipher
427 static int aesni_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
428                             const unsigned char *in, size_t len);
429
430 # ifndef OPENSSL_NO_OCB
431 void aesni_ocb_encrypt(const unsigned char *in, unsigned char *out,
432                        size_t blocks, const void *key,
433                        size_t start_block_num,
434                        unsigned char offset_i[16],
435                        const unsigned char L_[][16],
436                        unsigned char checksum[16]);
437 void aesni_ocb_decrypt(const unsigned char *in, unsigned char *out,
438                        size_t blocks, const void *key,
439                        size_t start_block_num,
440                        unsigned char offset_i[16],
441                        const unsigned char L_[][16],
442                        unsigned char checksum[16]);
443
444 static int aesni_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
445                               const unsigned char *iv, int enc)
446 {
447     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
448     if (!iv && !key)
449         return 1;
450     if (key) {
451         do {
452             /*
453              * We set both the encrypt and decrypt key here because decrypt
454              * needs both. We could possibly optimise to remove setting the
455              * decrypt for an encryption operation.
456              */
457             aesni_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
458                                   &octx->ksenc.ks);
459             aesni_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
460                                   &octx->ksdec.ks);
461             if (!CRYPTO_ocb128_init(&octx->ocb,
462                                     &octx->ksenc.ks, &octx->ksdec.ks,
463                                     (block128_f) aesni_encrypt,
464                                     (block128_f) aesni_decrypt,
465                                     enc ? aesni_ocb_encrypt
466                                         : aesni_ocb_decrypt))
467                 return 0;
468         }
469         while (0);
470
471         /*
472          * If we have an iv we can set it directly, otherwise use saved IV.
473          */
474         if (iv == NULL && octx->iv_set)
475             iv = octx->iv;
476         if (iv) {
477             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
478                 != 1)
479                 return 0;
480             octx->iv_set = 1;
481         }
482         octx->key_set = 1;
483     } else {
484         /* If key set use IV, otherwise copy */
485         if (octx->key_set)
486             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
487         else
488             memcpy(octx->iv, iv, octx->ivlen);
489         octx->iv_set = 1;
490     }
491     return 1;
492 }
493
494 #  define aesni_ocb_cipher aes_ocb_cipher
495 static int aesni_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
496                             const unsigned char *in, size_t len);
497 # endif                        /* OPENSSL_NO_OCB */
498
499 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
500 static const EVP_CIPHER aesni_##keylen##_##mode = { \
501         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
502         flags|EVP_CIPH_##MODE##_MODE,   \
503         aesni_init_key,                 \
504         aesni_##mode##_cipher,          \
505         NULL,                           \
506         sizeof(EVP_AES_KEY),            \
507         NULL,NULL,NULL,NULL }; \
508 static const EVP_CIPHER aes_##keylen##_##mode = { \
509         nid##_##keylen##_##nmode,blocksize,     \
510         keylen/8,ivlen, \
511         flags|EVP_CIPH_##MODE##_MODE,   \
512         aes_init_key,                   \
513         aes_##mode##_cipher,            \
514         NULL,                           \
515         sizeof(EVP_AES_KEY),            \
516         NULL,NULL,NULL,NULL }; \
517 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
518 { return AESNI_CAPABLE?&aesni_##keylen##_##mode:&aes_##keylen##_##mode; }
519
520 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
521 static const EVP_CIPHER aesni_##keylen##_##mode = { \
522         nid##_##keylen##_##mode,blocksize, \
523         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
524         flags|EVP_CIPH_##MODE##_MODE,   \
525         aesni_##mode##_init_key,        \
526         aesni_##mode##_cipher,          \
527         aes_##mode##_cleanup,           \
528         sizeof(EVP_AES_##MODE##_CTX),   \
529         NULL,NULL,aes_##mode##_ctrl,NULL }; \
530 static const EVP_CIPHER aes_##keylen##_##mode = { \
531         nid##_##keylen##_##mode,blocksize, \
532         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
533         flags|EVP_CIPH_##MODE##_MODE,   \
534         aes_##mode##_init_key,          \
535         aes_##mode##_cipher,            \
536         aes_##mode##_cleanup,           \
537         sizeof(EVP_AES_##MODE##_CTX),   \
538         NULL,NULL,aes_##mode##_ctrl,NULL }; \
539 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
540 { return AESNI_CAPABLE?&aesni_##keylen##_##mode:&aes_##keylen##_##mode; }
541
542 #elif   defined(AES_ASM) && (defined(__sparc) || defined(__sparc__))
543
544 # include "sparc_arch.h"
545
546 extern unsigned int OPENSSL_sparcv9cap_P[];
547
548 /*
549  * Initial Fujitsu SPARC64 X support
550  */
551 # define HWAES_CAPABLE           (OPENSSL_sparcv9cap_P[0] & SPARCV9_FJAESX)
552 # define HWAES_set_encrypt_key aes_fx_set_encrypt_key
553 # define HWAES_set_decrypt_key aes_fx_set_decrypt_key
554 # define HWAES_encrypt aes_fx_encrypt
555 # define HWAES_decrypt aes_fx_decrypt
556
557 # define SPARC_AES_CAPABLE       (OPENSSL_sparcv9cap_P[1] & CFR_AES)
558
559 void aes_t4_set_encrypt_key(const unsigned char *key, int bits, AES_KEY *ks);
560 void aes_t4_set_decrypt_key(const unsigned char *key, int bits, AES_KEY *ks);
561 void aes_t4_encrypt(const unsigned char *in, unsigned char *out,
562                     const AES_KEY *key);
563 void aes_t4_decrypt(const unsigned char *in, unsigned char *out,
564                     const AES_KEY *key);
565 /*
566  * Key-length specific subroutines were chosen for following reason.
567  * Each SPARC T4 core can execute up to 8 threads which share core's
568  * resources. Loading as much key material to registers allows to
569  * minimize references to shared memory interface, as well as amount
570  * of instructions in inner loops [much needed on T4]. But then having
571  * non-key-length specific routines would require conditional branches
572  * either in inner loops or on subroutines' entries. Former is hardly
573  * acceptable, while latter means code size increase to size occupied
574  * by multiple key-length specific subroutines, so why fight?
575  */
576 void aes128_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
577                            size_t len, const AES_KEY *key,
578                            unsigned char *ivec);
579 void aes128_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
580                            size_t len, const AES_KEY *key,
581                            unsigned char *ivec);
582 void aes192_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
583                            size_t len, const AES_KEY *key,
584                            unsigned char *ivec);
585 void aes192_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
586                            size_t len, const AES_KEY *key,
587                            unsigned char *ivec);
588 void aes256_t4_cbc_encrypt(const unsigned char *in, unsigned char *out,
589                            size_t len, const AES_KEY *key,
590                            unsigned char *ivec);
591 void aes256_t4_cbc_decrypt(const unsigned char *in, unsigned char *out,
592                            size_t len, const AES_KEY *key,
593                            unsigned char *ivec);
594 void aes128_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
595                              size_t blocks, const AES_KEY *key,
596                              unsigned char *ivec);
597 void aes192_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
598                              size_t blocks, const AES_KEY *key,
599                              unsigned char *ivec);
600 void aes256_t4_ctr32_encrypt(const unsigned char *in, unsigned char *out,
601                              size_t blocks, const AES_KEY *key,
602                              unsigned char *ivec);
603 void aes128_t4_xts_encrypt(const unsigned char *in, unsigned char *out,
604                            size_t blocks, const AES_KEY *key1,
605                            const AES_KEY *key2, const unsigned char *ivec);
606 void aes128_t4_xts_decrypt(const unsigned char *in, unsigned char *out,
607                            size_t blocks, const AES_KEY *key1,
608                            const AES_KEY *key2, const unsigned char *ivec);
609 void aes256_t4_xts_encrypt(const unsigned char *in, unsigned char *out,
610                            size_t blocks, const AES_KEY *key1,
611                            const AES_KEY *key2, const unsigned char *ivec);
612 void aes256_t4_xts_decrypt(const unsigned char *in, unsigned char *out,
613                            size_t blocks, const AES_KEY *key1,
614                            const AES_KEY *key2, const unsigned char *ivec);
615
616 static int aes_t4_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
617                            const unsigned char *iv, int enc)
618 {
619     int ret, mode, bits;
620     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
621
622     mode = EVP_CIPHER_CTX_mode(ctx);
623     bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
624     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
625         && !enc) {
626         ret = 0;
627         aes_t4_set_decrypt_key(key, bits, &dat->ks.ks);
628         dat->block = (block128_f) aes_t4_decrypt;
629         switch (bits) {
630         case 128:
631             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
632                 (cbc128_f) aes128_t4_cbc_decrypt : NULL;
633             break;
634         case 192:
635             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
636                 (cbc128_f) aes192_t4_cbc_decrypt : NULL;
637             break;
638         case 256:
639             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
640                 (cbc128_f) aes256_t4_cbc_decrypt : NULL;
641             break;
642         default:
643             ret = -1;
644         }
645     } else {
646         ret = 0;
647         aes_t4_set_encrypt_key(key, bits, &dat->ks.ks);
648         dat->block = (block128_f) aes_t4_encrypt;
649         switch (bits) {
650         case 128:
651             if (mode == EVP_CIPH_CBC_MODE)
652                 dat->stream.cbc = (cbc128_f) aes128_t4_cbc_encrypt;
653             else if (mode == EVP_CIPH_CTR_MODE)
654                 dat->stream.ctr = (ctr128_f) aes128_t4_ctr32_encrypt;
655             else
656                 dat->stream.cbc = NULL;
657             break;
658         case 192:
659             if (mode == EVP_CIPH_CBC_MODE)
660                 dat->stream.cbc = (cbc128_f) aes192_t4_cbc_encrypt;
661             else if (mode == EVP_CIPH_CTR_MODE)
662                 dat->stream.ctr = (ctr128_f) aes192_t4_ctr32_encrypt;
663             else
664                 dat->stream.cbc = NULL;
665             break;
666         case 256:
667             if (mode == EVP_CIPH_CBC_MODE)
668                 dat->stream.cbc = (cbc128_f) aes256_t4_cbc_encrypt;
669             else if (mode == EVP_CIPH_CTR_MODE)
670                 dat->stream.ctr = (ctr128_f) aes256_t4_ctr32_encrypt;
671             else
672                 dat->stream.cbc = NULL;
673             break;
674         default:
675             ret = -1;
676         }
677     }
678
679     if (ret < 0) {
680         EVPerr(EVP_F_AES_T4_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
681         return 0;
682     }
683
684     return 1;
685 }
686
687 # define aes_t4_cbc_cipher aes_cbc_cipher
688 static int aes_t4_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
689                              const unsigned char *in, size_t len);
690
691 # define aes_t4_ecb_cipher aes_ecb_cipher
692 static int aes_t4_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
693                              const unsigned char *in, size_t len);
694
695 # define aes_t4_ofb_cipher aes_ofb_cipher
696 static int aes_t4_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
697                              const unsigned char *in, size_t len);
698
699 # define aes_t4_cfb_cipher aes_cfb_cipher
700 static int aes_t4_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
701                              const unsigned char *in, size_t len);
702
703 # define aes_t4_cfb8_cipher aes_cfb8_cipher
704 static int aes_t4_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
705                               const unsigned char *in, size_t len);
706
707 # define aes_t4_cfb1_cipher aes_cfb1_cipher
708 static int aes_t4_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
709                               const unsigned char *in, size_t len);
710
711 # define aes_t4_ctr_cipher aes_ctr_cipher
712 static int aes_t4_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
713                              const unsigned char *in, size_t len);
714
715 static int aes_t4_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
716                                const unsigned char *iv, int enc)
717 {
718     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
719     if (!iv && !key)
720         return 1;
721     if (key) {
722         int bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
723         aes_t4_set_encrypt_key(key, bits, &gctx->ks.ks);
724         CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
725                            (block128_f) aes_t4_encrypt);
726         switch (bits) {
727         case 128:
728             gctx->ctr = (ctr128_f) aes128_t4_ctr32_encrypt;
729             break;
730         case 192:
731             gctx->ctr = (ctr128_f) aes192_t4_ctr32_encrypt;
732             break;
733         case 256:
734             gctx->ctr = (ctr128_f) aes256_t4_ctr32_encrypt;
735             break;
736         default:
737             return 0;
738         }
739         /*
740          * If we have an iv can set it directly, otherwise use saved IV.
741          */
742         if (iv == NULL && gctx->iv_set)
743             iv = gctx->iv;
744         if (iv) {
745             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
746             gctx->iv_set = 1;
747         }
748         gctx->key_set = 1;
749     } else {
750         /* If key set use IV, otherwise copy */
751         if (gctx->key_set)
752             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
753         else
754             memcpy(gctx->iv, iv, gctx->ivlen);
755         gctx->iv_set = 1;
756         gctx->iv_gen = 0;
757     }
758     return 1;
759 }
760
761 # define aes_t4_gcm_cipher aes_gcm_cipher
762 static int aes_t4_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
763                              const unsigned char *in, size_t len);
764
765 static int aes_t4_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
766                                const unsigned char *iv, int enc)
767 {
768     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
769     if (!iv && !key)
770         return 1;
771
772     if (key) {
773         int bits = EVP_CIPHER_CTX_key_length(ctx) * 4;
774         xctx->stream = NULL;
775         /* key_len is two AES keys */
776         if (enc) {
777             aes_t4_set_encrypt_key(key, bits, &xctx->ks1.ks);
778             xctx->xts.block1 = (block128_f) aes_t4_encrypt;
779             switch (bits) {
780             case 128:
781                 xctx->stream = aes128_t4_xts_encrypt;
782                 break;
783             case 256:
784                 xctx->stream = aes256_t4_xts_encrypt;
785                 break;
786             default:
787                 return 0;
788             }
789         } else {
790             aes_t4_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
791                                    &xctx->ks1.ks);
792             xctx->xts.block1 = (block128_f) aes_t4_decrypt;
793             switch (bits) {
794             case 128:
795                 xctx->stream = aes128_t4_xts_decrypt;
796                 break;
797             case 256:
798                 xctx->stream = aes256_t4_xts_decrypt;
799                 break;
800             default:
801                 return 0;
802             }
803         }
804
805         aes_t4_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
806                                EVP_CIPHER_CTX_key_length(ctx) * 4,
807                                &xctx->ks2.ks);
808         xctx->xts.block2 = (block128_f) aes_t4_encrypt;
809
810         xctx->xts.key1 = &xctx->ks1;
811     }
812
813     if (iv) {
814         xctx->xts.key2 = &xctx->ks2;
815         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
816     }
817
818     return 1;
819 }
820
821 # define aes_t4_xts_cipher aes_xts_cipher
822 static int aes_t4_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
823                              const unsigned char *in, size_t len);
824
825 static int aes_t4_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
826                                const unsigned char *iv, int enc)
827 {
828     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
829     if (!iv && !key)
830         return 1;
831     if (key) {
832         int bits = EVP_CIPHER_CTX_key_length(ctx) * 8;
833         aes_t4_set_encrypt_key(key, bits, &cctx->ks.ks);
834         CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
835                            &cctx->ks, (block128_f) aes_t4_encrypt);
836         cctx->str = NULL;
837         cctx->key_set = 1;
838     }
839     if (iv) {
840         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
841         cctx->iv_set = 1;
842     }
843     return 1;
844 }
845
846 # define aes_t4_ccm_cipher aes_ccm_cipher
847 static int aes_t4_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
848                              const unsigned char *in, size_t len);
849
850 # ifndef OPENSSL_NO_OCB
851 static int aes_t4_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
852                                const unsigned char *iv, int enc)
853 {
854     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
855     if (!iv && !key)
856         return 1;
857     if (key) {
858         do {
859             /*
860              * We set both the encrypt and decrypt key here because decrypt
861              * needs both. We could possibly optimise to remove setting the
862              * decrypt for an encryption operation.
863              */
864             aes_t4_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
865                                    &octx->ksenc.ks);
866             aes_t4_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
867                                    &octx->ksdec.ks);
868             if (!CRYPTO_ocb128_init(&octx->ocb,
869                                     &octx->ksenc.ks, &octx->ksdec.ks,
870                                     (block128_f) aes_t4_encrypt,
871                                     (block128_f) aes_t4_decrypt,
872                                     NULL))
873                 return 0;
874         }
875         while (0);
876
877         /*
878          * If we have an iv we can set it directly, otherwise use saved IV.
879          */
880         if (iv == NULL && octx->iv_set)
881             iv = octx->iv;
882         if (iv) {
883             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
884                 != 1)
885                 return 0;
886             octx->iv_set = 1;
887         }
888         octx->key_set = 1;
889     } else {
890         /* If key set use IV, otherwise copy */
891         if (octx->key_set)
892             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
893         else
894             memcpy(octx->iv, iv, octx->ivlen);
895         octx->iv_set = 1;
896     }
897     return 1;
898 }
899
900 #  define aes_t4_ocb_cipher aes_ocb_cipher
901 static int aes_t4_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
902                              const unsigned char *in, size_t len);
903 # endif                        /* OPENSSL_NO_OCB */
904
905 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
906 static const EVP_CIPHER aes_t4_##keylen##_##mode = { \
907         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
908         flags|EVP_CIPH_##MODE##_MODE,   \
909         aes_t4_init_key,                \
910         aes_t4_##mode##_cipher,         \
911         NULL,                           \
912         sizeof(EVP_AES_KEY),            \
913         NULL,NULL,NULL,NULL }; \
914 static const EVP_CIPHER aes_##keylen##_##mode = { \
915         nid##_##keylen##_##nmode,blocksize,     \
916         keylen/8,ivlen, \
917         flags|EVP_CIPH_##MODE##_MODE,   \
918         aes_init_key,                   \
919         aes_##mode##_cipher,            \
920         NULL,                           \
921         sizeof(EVP_AES_KEY),            \
922         NULL,NULL,NULL,NULL }; \
923 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
924 { return SPARC_AES_CAPABLE?&aes_t4_##keylen##_##mode:&aes_##keylen##_##mode; }
925
926 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
927 static const EVP_CIPHER aes_t4_##keylen##_##mode = { \
928         nid##_##keylen##_##mode,blocksize, \
929         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
930         flags|EVP_CIPH_##MODE##_MODE,   \
931         aes_t4_##mode##_init_key,       \
932         aes_t4_##mode##_cipher,         \
933         aes_##mode##_cleanup,           \
934         sizeof(EVP_AES_##MODE##_CTX),   \
935         NULL,NULL,aes_##mode##_ctrl,NULL }; \
936 static const EVP_CIPHER aes_##keylen##_##mode = { \
937         nid##_##keylen##_##mode,blocksize, \
938         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
939         flags|EVP_CIPH_##MODE##_MODE,   \
940         aes_##mode##_init_key,          \
941         aes_##mode##_cipher,            \
942         aes_##mode##_cleanup,           \
943         sizeof(EVP_AES_##MODE##_CTX),   \
944         NULL,NULL,aes_##mode##_ctrl,NULL }; \
945 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
946 { return SPARC_AES_CAPABLE?&aes_t4_##keylen##_##mode:&aes_##keylen##_##mode; }
947
948 #else
949
950 # define BLOCK_CIPHER_generic(nid,keylen,blocksize,ivlen,nmode,mode,MODE,flags) \
951 static const EVP_CIPHER aes_##keylen##_##mode = { \
952         nid##_##keylen##_##nmode,blocksize,keylen/8,ivlen, \
953         flags|EVP_CIPH_##MODE##_MODE,   \
954         aes_init_key,                   \
955         aes_##mode##_cipher,            \
956         NULL,                           \
957         sizeof(EVP_AES_KEY),            \
958         NULL,NULL,NULL,NULL }; \
959 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
960 { return &aes_##keylen##_##mode; }
961
962 # define BLOCK_CIPHER_custom(nid,keylen,blocksize,ivlen,mode,MODE,flags) \
963 static const EVP_CIPHER aes_##keylen##_##mode = { \
964         nid##_##keylen##_##mode,blocksize, \
965         (EVP_CIPH_##MODE##_MODE==EVP_CIPH_XTS_MODE?2:1)*keylen/8, ivlen, \
966         flags|EVP_CIPH_##MODE##_MODE,   \
967         aes_##mode##_init_key,          \
968         aes_##mode##_cipher,            \
969         aes_##mode##_cleanup,           \
970         sizeof(EVP_AES_##MODE##_CTX),   \
971         NULL,NULL,aes_##mode##_ctrl,NULL }; \
972 const EVP_CIPHER *EVP_aes_##keylen##_##mode(void) \
973 { return &aes_##keylen##_##mode; }
974
975 #endif
976
977 #if defined(OPENSSL_CPUID_OBJ) && (defined(__arm__) || defined(__arm) || defined(__aarch64__))
978 # include "arm_arch.h"
979 # if __ARM_MAX_ARCH__>=7
980 #  if defined(BSAES_ASM)
981 #   define BSAES_CAPABLE (OPENSSL_armcap_P & ARMV7_NEON)
982 #  endif
983 #  if defined(VPAES_ASM)
984 #   define VPAES_CAPABLE (OPENSSL_armcap_P & ARMV7_NEON)
985 #  endif
986 #  define HWAES_CAPABLE (OPENSSL_armcap_P & ARMV8_AES)
987 #  define HWAES_set_encrypt_key aes_v8_set_encrypt_key
988 #  define HWAES_set_decrypt_key aes_v8_set_decrypt_key
989 #  define HWAES_encrypt aes_v8_encrypt
990 #  define HWAES_decrypt aes_v8_decrypt
991 #  define HWAES_cbc_encrypt aes_v8_cbc_encrypt
992 #  define HWAES_ctr32_encrypt_blocks aes_v8_ctr32_encrypt_blocks
993 # endif
994 #endif
995
996 #if defined(HWAES_CAPABLE)
997 int HWAES_set_encrypt_key(const unsigned char *userKey, const int bits,
998                           AES_KEY *key);
999 int HWAES_set_decrypt_key(const unsigned char *userKey, const int bits,
1000                           AES_KEY *key);
1001 void HWAES_encrypt(const unsigned char *in, unsigned char *out,
1002                    const AES_KEY *key);
1003 void HWAES_decrypt(const unsigned char *in, unsigned char *out,
1004                    const AES_KEY *key);
1005 void HWAES_cbc_encrypt(const unsigned char *in, unsigned char *out,
1006                        size_t length, const AES_KEY *key,
1007                        unsigned char *ivec, const int enc);
1008 void HWAES_ctr32_encrypt_blocks(const unsigned char *in, unsigned char *out,
1009                                 size_t len, const AES_KEY *key,
1010                                 const unsigned char ivec[16]);
1011 #endif
1012
1013 #define BLOCK_CIPHER_generic_pack(nid,keylen,flags)             \
1014         BLOCK_CIPHER_generic(nid,keylen,16,16,cbc,cbc,CBC,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)     \
1015         BLOCK_CIPHER_generic(nid,keylen,16,0,ecb,ecb,ECB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)      \
1016         BLOCK_CIPHER_generic(nid,keylen,1,16,ofb128,ofb,OFB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)   \
1017         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb128,cfb,CFB,flags|EVP_CIPH_FLAG_DEFAULT_ASN1)   \
1018         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb1,cfb1,CFB,flags)       \
1019         BLOCK_CIPHER_generic(nid,keylen,1,16,cfb8,cfb8,CFB,flags)       \
1020         BLOCK_CIPHER_generic(nid,keylen,1,16,ctr,ctr,CTR,flags)
1021
1022 static int aes_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1023                         const unsigned char *iv, int enc)
1024 {
1025     int ret, mode;
1026     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1027
1028     mode = EVP_CIPHER_CTX_mode(ctx);
1029     if ((mode == EVP_CIPH_ECB_MODE || mode == EVP_CIPH_CBC_MODE)
1030         && !enc) {
1031 #ifdef HWAES_CAPABLE
1032         if (HWAES_CAPABLE) {
1033             ret = HWAES_set_decrypt_key(key,
1034                                         EVP_CIPHER_CTX_key_length(ctx) * 8,
1035                                         &dat->ks.ks);
1036             dat->block = (block128_f) HWAES_decrypt;
1037             dat->stream.cbc = NULL;
1038 # ifdef HWAES_cbc_encrypt
1039             if (mode == EVP_CIPH_CBC_MODE)
1040                 dat->stream.cbc = (cbc128_f) HWAES_cbc_encrypt;
1041 # endif
1042         } else
1043 #endif
1044 #ifdef BSAES_CAPABLE
1045         if (BSAES_CAPABLE && mode == EVP_CIPH_CBC_MODE) {
1046             ret = AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1047                                       &dat->ks.ks);
1048             dat->block = (block128_f) AES_decrypt;
1049             dat->stream.cbc = (cbc128_f) bsaes_cbc_encrypt;
1050         } else
1051 #endif
1052 #ifdef VPAES_CAPABLE
1053         if (VPAES_CAPABLE) {
1054             ret = vpaes_set_decrypt_key(key,
1055                                         EVP_CIPHER_CTX_key_length(ctx) * 8,
1056                                         &dat->ks.ks);
1057             dat->block = (block128_f) vpaes_decrypt;
1058             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1059                 (cbc128_f) vpaes_cbc_encrypt : NULL;
1060         } else
1061 #endif
1062         {
1063             ret = AES_set_decrypt_key(key,
1064                                       EVP_CIPHER_CTX_key_length(ctx) * 8,
1065                                       &dat->ks.ks);
1066             dat->block = (block128_f) AES_decrypt;
1067             dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1068                 (cbc128_f) AES_cbc_encrypt : NULL;
1069         }
1070     } else
1071 #ifdef HWAES_CAPABLE
1072     if (HWAES_CAPABLE) {
1073         ret = HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1074                                     &dat->ks.ks);
1075         dat->block = (block128_f) HWAES_encrypt;
1076         dat->stream.cbc = NULL;
1077 # ifdef HWAES_cbc_encrypt
1078         if (mode == EVP_CIPH_CBC_MODE)
1079             dat->stream.cbc = (cbc128_f) HWAES_cbc_encrypt;
1080         else
1081 # endif
1082 # ifdef HWAES_ctr32_encrypt_blocks
1083         if (mode == EVP_CIPH_CTR_MODE)
1084             dat->stream.ctr = (ctr128_f) HWAES_ctr32_encrypt_blocks;
1085         else
1086 # endif
1087             (void)0;            /* terminate potentially open 'else' */
1088     } else
1089 #endif
1090 #ifdef BSAES_CAPABLE
1091     if (BSAES_CAPABLE && mode == EVP_CIPH_CTR_MODE) {
1092         ret = AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1093                                   &dat->ks.ks);
1094         dat->block = (block128_f) AES_encrypt;
1095         dat->stream.ctr = (ctr128_f) bsaes_ctr32_encrypt_blocks;
1096     } else
1097 #endif
1098 #ifdef VPAES_CAPABLE
1099     if (VPAES_CAPABLE) {
1100         ret = vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1101                                     &dat->ks.ks);
1102         dat->block = (block128_f) vpaes_encrypt;
1103         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1104             (cbc128_f) vpaes_cbc_encrypt : NULL;
1105     } else
1106 #endif
1107     {
1108         ret = AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1109                                   &dat->ks.ks);
1110         dat->block = (block128_f) AES_encrypt;
1111         dat->stream.cbc = mode == EVP_CIPH_CBC_MODE ?
1112             (cbc128_f) AES_cbc_encrypt : NULL;
1113 #ifdef AES_CTR_ASM
1114         if (mode == EVP_CIPH_CTR_MODE)
1115             dat->stream.ctr = (ctr128_f) AES_ctr32_encrypt;
1116 #endif
1117     }
1118
1119     if (ret < 0) {
1120         EVPerr(EVP_F_AES_INIT_KEY, EVP_R_AES_KEY_SETUP_FAILED);
1121         return 0;
1122     }
1123
1124     return 1;
1125 }
1126
1127 static int aes_cbc_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1128                           const unsigned char *in, size_t len)
1129 {
1130     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1131
1132     if (dat->stream.cbc)
1133         (*dat->stream.cbc) (in, out, len, &dat->ks,
1134                             EVP_CIPHER_CTX_iv_noconst(ctx),
1135                             EVP_CIPHER_CTX_encrypting(ctx));
1136     else if (EVP_CIPHER_CTX_encrypting(ctx))
1137         CRYPTO_cbc128_encrypt(in, out, len, &dat->ks,
1138                               EVP_CIPHER_CTX_iv_noconst(ctx), dat->block);
1139     else
1140         CRYPTO_cbc128_decrypt(in, out, len, &dat->ks,
1141                               EVP_CIPHER_CTX_iv_noconst(ctx), dat->block);
1142
1143     return 1;
1144 }
1145
1146 static int aes_ecb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1147                           const unsigned char *in, size_t len)
1148 {
1149     size_t bl = EVP_CIPHER_CTX_block_size(ctx);
1150     size_t i;
1151     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1152
1153     if (len < bl)
1154         return 1;
1155
1156     for (i = 0, len -= bl; i <= len; i += bl)
1157         (*dat->block) (in + i, out + i, &dat->ks);
1158
1159     return 1;
1160 }
1161
1162 static int aes_ofb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1163                           const unsigned char *in, size_t len)
1164 {
1165     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1166
1167     int num = EVP_CIPHER_CTX_num(ctx);
1168     CRYPTO_ofb128_encrypt(in, out, len, &dat->ks,
1169                           EVP_CIPHER_CTX_iv_noconst(ctx), &num, dat->block);
1170     EVP_CIPHER_CTX_set_num(ctx, num);
1171     return 1;
1172 }
1173
1174 static int aes_cfb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1175                           const unsigned char *in, size_t len)
1176 {
1177     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1178
1179     int num = EVP_CIPHER_CTX_num(ctx);
1180     CRYPTO_cfb128_encrypt(in, out, len, &dat->ks,
1181                           EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1182                           EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1183     EVP_CIPHER_CTX_set_num(ctx, num);
1184     return 1;
1185 }
1186
1187 static int aes_cfb8_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1188                            const unsigned char *in, size_t len)
1189 {
1190     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1191
1192     int num = EVP_CIPHER_CTX_num(ctx);
1193     CRYPTO_cfb128_8_encrypt(in, out, len, &dat->ks,
1194                             EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1195                             EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1196     EVP_CIPHER_CTX_set_num(ctx, num);
1197     return 1;
1198 }
1199
1200 static int aes_cfb1_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1201                            const unsigned char *in, size_t len)
1202 {
1203     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1204
1205     if (EVP_CIPHER_CTX_test_flags(ctx, EVP_CIPH_FLAG_LENGTH_BITS)) {
1206         int num = EVP_CIPHER_CTX_num(ctx);
1207         CRYPTO_cfb128_1_encrypt(in, out, len, &dat->ks,
1208                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1209                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1210         EVP_CIPHER_CTX_set_num(ctx, num);
1211         return 1;
1212     }
1213
1214     while (len >= MAXBITCHUNK) {
1215         int num = EVP_CIPHER_CTX_num(ctx);
1216         CRYPTO_cfb128_1_encrypt(in, out, MAXBITCHUNK * 8, &dat->ks,
1217                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1218                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1219         EVP_CIPHER_CTX_set_num(ctx, num);
1220         len -= MAXBITCHUNK;
1221     }
1222     if (len) {
1223         int num = EVP_CIPHER_CTX_num(ctx);
1224         CRYPTO_cfb128_1_encrypt(in, out, len * 8, &dat->ks,
1225                                 EVP_CIPHER_CTX_iv_noconst(ctx), &num,
1226                                 EVP_CIPHER_CTX_encrypting(ctx), dat->block);
1227         EVP_CIPHER_CTX_set_num(ctx, num);
1228     }
1229
1230     return 1;
1231 }
1232
1233 static int aes_ctr_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1234                           const unsigned char *in, size_t len)
1235 {
1236     unsigned int num = EVP_CIPHER_CTX_num(ctx);
1237     EVP_AES_KEY *dat = EVP_C_DATA(EVP_AES_KEY,ctx);
1238
1239     if (dat->stream.ctr)
1240         CRYPTO_ctr128_encrypt_ctr32(in, out, len, &dat->ks,
1241                                     EVP_CIPHER_CTX_iv_noconst(ctx),
1242                                     EVP_CIPHER_CTX_buf_noconst(ctx),
1243                                     &num, dat->stream.ctr);
1244     else
1245         CRYPTO_ctr128_encrypt(in, out, len, &dat->ks,
1246                               EVP_CIPHER_CTX_iv_noconst(ctx),
1247                               EVP_CIPHER_CTX_buf_noconst(ctx), &num,
1248                               dat->block);
1249     EVP_CIPHER_CTX_set_num(ctx, num);
1250     return 1;
1251 }
1252
1253 BLOCK_CIPHER_generic_pack(NID_aes, 128, 0)
1254     BLOCK_CIPHER_generic_pack(NID_aes, 192, 0)
1255     BLOCK_CIPHER_generic_pack(NID_aes, 256, 0)
1256
1257 static int aes_gcm_cleanup(EVP_CIPHER_CTX *c)
1258 {
1259     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,c);
1260     OPENSSL_cleanse(&gctx->gcm, sizeof(gctx->gcm));
1261     if (gctx->iv != EVP_CIPHER_CTX_iv_noconst(c))
1262         OPENSSL_free(gctx->iv);
1263     return 1;
1264 }
1265
1266 /* increment counter (64-bit int) by 1 */
1267 static void ctr64_inc(unsigned char *counter)
1268 {
1269     int n = 8;
1270     unsigned char c;
1271
1272     do {
1273         --n;
1274         c = counter[n];
1275         ++c;
1276         counter[n] = c;
1277         if (c)
1278             return;
1279     } while (n);
1280 }
1281
1282 static int aes_gcm_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1283 {
1284     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,c);
1285     switch (type) {
1286     case EVP_CTRL_INIT:
1287         gctx->key_set = 0;
1288         gctx->iv_set = 0;
1289         gctx->ivlen = EVP_CIPHER_CTX_iv_length(c);
1290         gctx->iv = EVP_CIPHER_CTX_iv_noconst(c);
1291         gctx->taglen = -1;
1292         gctx->iv_gen = 0;
1293         gctx->tls_aad_len = -1;
1294         return 1;
1295
1296     case EVP_CTRL_AEAD_SET_IVLEN:
1297         if (arg <= 0)
1298             return 0;
1299         /* Allocate memory for IV if needed */
1300         if ((arg > EVP_MAX_IV_LENGTH) && (arg > gctx->ivlen)) {
1301             if (gctx->iv != EVP_CIPHER_CTX_iv_noconst(c))
1302                 OPENSSL_free(gctx->iv);
1303             gctx->iv = OPENSSL_malloc(arg);
1304             if (gctx->iv == NULL)
1305                 return 0;
1306         }
1307         gctx->ivlen = arg;
1308         return 1;
1309
1310     case EVP_CTRL_AEAD_SET_TAG:
1311         if (arg <= 0 || arg > 16 || EVP_CIPHER_CTX_encrypting(c))
1312             return 0;
1313         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1314         gctx->taglen = arg;
1315         return 1;
1316
1317     case EVP_CTRL_AEAD_GET_TAG:
1318         if (arg <= 0 || arg > 16 || !EVP_CIPHER_CTX_encrypting(c)
1319             || gctx->taglen < 0)
1320             return 0;
1321         memcpy(ptr, EVP_CIPHER_CTX_buf_noconst(c), arg);
1322         return 1;
1323
1324     case EVP_CTRL_GCM_SET_IV_FIXED:
1325         /* Special case: -1 length restores whole IV */
1326         if (arg == -1) {
1327             memcpy(gctx->iv, ptr, gctx->ivlen);
1328             gctx->iv_gen = 1;
1329             return 1;
1330         }
1331         /*
1332          * Fixed field must be at least 4 bytes and invocation field at least
1333          * 8.
1334          */
1335         if ((arg < 4) || (gctx->ivlen - arg) < 8)
1336             return 0;
1337         if (arg)
1338             memcpy(gctx->iv, ptr, arg);
1339         if (EVP_CIPHER_CTX_encrypting(c)
1340             && RAND_bytes(gctx->iv + arg, gctx->ivlen - arg) <= 0)
1341             return 0;
1342         gctx->iv_gen = 1;
1343         return 1;
1344
1345     case EVP_CTRL_GCM_IV_GEN:
1346         if (gctx->iv_gen == 0 || gctx->key_set == 0)
1347             return 0;
1348         CRYPTO_gcm128_setiv(&gctx->gcm, gctx->iv, gctx->ivlen);
1349         if (arg <= 0 || arg > gctx->ivlen)
1350             arg = gctx->ivlen;
1351         memcpy(ptr, gctx->iv + gctx->ivlen - arg, arg);
1352         /*
1353          * Invocation field will be at least 8 bytes in size and so no need
1354          * to check wrap around or increment more than last 8 bytes.
1355          */
1356         ctr64_inc(gctx->iv + gctx->ivlen - 8);
1357         gctx->iv_set = 1;
1358         return 1;
1359
1360     case EVP_CTRL_GCM_SET_IV_INV:
1361         if (gctx->iv_gen == 0 || gctx->key_set == 0
1362             || EVP_CIPHER_CTX_encrypting(c))
1363             return 0;
1364         memcpy(gctx->iv + gctx->ivlen - arg, ptr, arg);
1365         CRYPTO_gcm128_setiv(&gctx->gcm, gctx->iv, gctx->ivlen);
1366         gctx->iv_set = 1;
1367         return 1;
1368
1369     case EVP_CTRL_AEAD_TLS1_AAD:
1370         /* Save the AAD for later use */
1371         if (arg != EVP_AEAD_TLS1_AAD_LEN)
1372             return 0;
1373         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1374         gctx->tls_aad_len = arg;
1375         {
1376             unsigned int len =
1377                 EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] << 8
1378                 | EVP_CIPHER_CTX_buf_noconst(c)[arg - 1];
1379             /* Correct length for explicit IV */
1380             len -= EVP_GCM_TLS_EXPLICIT_IV_LEN;
1381             /* If decrypting correct for tag too */
1382             if (!EVP_CIPHER_CTX_encrypting(c))
1383                 len -= EVP_GCM_TLS_TAG_LEN;
1384             EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] = len >> 8;
1385             EVP_CIPHER_CTX_buf_noconst(c)[arg - 1] = len & 0xff;
1386         }
1387         /* Extra padding: tag appended to record */
1388         return EVP_GCM_TLS_TAG_LEN;
1389
1390     case EVP_CTRL_COPY:
1391         {
1392             EVP_CIPHER_CTX *out = ptr;
1393             EVP_AES_GCM_CTX *gctx_out = EVP_C_DATA(EVP_AES_GCM_CTX,out);
1394             if (gctx->gcm.key) {
1395                 if (gctx->gcm.key != &gctx->ks)
1396                     return 0;
1397                 gctx_out->gcm.key = &gctx_out->ks;
1398             }
1399             if (gctx->iv == EVP_CIPHER_CTX_iv_noconst(c))
1400                 gctx_out->iv = EVP_CIPHER_CTX_iv_noconst(out);
1401             else {
1402                 gctx_out->iv = OPENSSL_malloc(gctx->ivlen);
1403                 if (gctx_out->iv == NULL)
1404                     return 0;
1405                 memcpy(gctx_out->iv, gctx->iv, gctx->ivlen);
1406             }
1407             return 1;
1408         }
1409
1410     default:
1411         return -1;
1412
1413     }
1414 }
1415
1416 static int aes_gcm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1417                             const unsigned char *iv, int enc)
1418 {
1419     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1420     if (!iv && !key)
1421         return 1;
1422     if (key) {
1423         do {
1424 #ifdef HWAES_CAPABLE
1425             if (HWAES_CAPABLE) {
1426                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1427                                       &gctx->ks.ks);
1428                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1429                                    (block128_f) HWAES_encrypt);
1430 # ifdef HWAES_ctr32_encrypt_blocks
1431                 gctx->ctr = (ctr128_f) HWAES_ctr32_encrypt_blocks;
1432 # else
1433                 gctx->ctr = NULL;
1434 # endif
1435                 break;
1436             } else
1437 #endif
1438 #ifdef BSAES_CAPABLE
1439             if (BSAES_CAPABLE) {
1440                 AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1441                                     &gctx->ks.ks);
1442                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1443                                    (block128_f) AES_encrypt);
1444                 gctx->ctr = (ctr128_f) bsaes_ctr32_encrypt_blocks;
1445                 break;
1446             } else
1447 #endif
1448 #ifdef VPAES_CAPABLE
1449             if (VPAES_CAPABLE) {
1450                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1451                                       &gctx->ks.ks);
1452                 CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1453                                    (block128_f) vpaes_encrypt);
1454                 gctx->ctr = NULL;
1455                 break;
1456             } else
1457 #endif
1458                 (void)0;        /* terminate potentially open 'else' */
1459
1460             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
1461                                 &gctx->ks.ks);
1462             CRYPTO_gcm128_init(&gctx->gcm, &gctx->ks,
1463                                (block128_f) AES_encrypt);
1464 #ifdef AES_CTR_ASM
1465             gctx->ctr = (ctr128_f) AES_ctr32_encrypt;
1466 #else
1467             gctx->ctr = NULL;
1468 #endif
1469         } while (0);
1470
1471         /*
1472          * If we have an iv can set it directly, otherwise use saved IV.
1473          */
1474         if (iv == NULL && gctx->iv_set)
1475             iv = gctx->iv;
1476         if (iv) {
1477             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
1478             gctx->iv_set = 1;
1479         }
1480         gctx->key_set = 1;
1481     } else {
1482         /* If key set use IV, otherwise copy */
1483         if (gctx->key_set)
1484             CRYPTO_gcm128_setiv(&gctx->gcm, iv, gctx->ivlen);
1485         else
1486             memcpy(gctx->iv, iv, gctx->ivlen);
1487         gctx->iv_set = 1;
1488         gctx->iv_gen = 0;
1489     }
1490     return 1;
1491 }
1492
1493 /*
1494  * Handle TLS GCM packet format. This consists of the last portion of the IV
1495  * followed by the payload and finally the tag. On encrypt generate IV,
1496  * encrypt payload and write the tag. On verify retrieve IV, decrypt payload
1497  * and verify tag.
1498  */
1499
1500 static int aes_gcm_tls_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1501                               const unsigned char *in, size_t len)
1502 {
1503     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1504     int rv = -1;
1505     /* Encrypt/decrypt must be performed in place */
1506     if (out != in
1507         || len < (EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN))
1508         return -1;
1509     /*
1510      * Set IV from start of buffer or generate IV and write to start of
1511      * buffer.
1512      */
1513     if (EVP_CIPHER_CTX_ctrl(ctx, EVP_CIPHER_CTX_encrypting(ctx) ?
1514                             EVP_CTRL_GCM_IV_GEN : EVP_CTRL_GCM_SET_IV_INV,
1515                             EVP_GCM_TLS_EXPLICIT_IV_LEN, out) <= 0)
1516         goto err;
1517     /* Use saved AAD */
1518     if (CRYPTO_gcm128_aad(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx),
1519                           gctx->tls_aad_len))
1520         goto err;
1521     /* Fix buffer and length to point to payload */
1522     in += EVP_GCM_TLS_EXPLICIT_IV_LEN;
1523     out += EVP_GCM_TLS_EXPLICIT_IV_LEN;
1524     len -= EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN;
1525     if (EVP_CIPHER_CTX_encrypting(ctx)) {
1526         /* Encrypt payload */
1527         if (gctx->ctr) {
1528             size_t bulk = 0;
1529 #if defined(AES_GCM_ASM)
1530             if (len >= 32 && AES_GCM_ASM(gctx)) {
1531                 if (CRYPTO_gcm128_encrypt(&gctx->gcm, NULL, NULL, 0))
1532                     return -1;
1533
1534                 bulk = AES_gcm_encrypt(in, out, len,
1535                                        gctx->gcm.key,
1536                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1537                 gctx->gcm.len.u[1] += bulk;
1538             }
1539 #endif
1540             if (CRYPTO_gcm128_encrypt_ctr32(&gctx->gcm,
1541                                             in + bulk,
1542                                             out + bulk,
1543                                             len - bulk, gctx->ctr))
1544                 goto err;
1545         } else {
1546             size_t bulk = 0;
1547 #if defined(AES_GCM_ASM2)
1548             if (len >= 32 && AES_GCM_ASM2(gctx)) {
1549                 if (CRYPTO_gcm128_encrypt(&gctx->gcm, NULL, NULL, 0))
1550                     return -1;
1551
1552                 bulk = AES_gcm_encrypt(in, out, len,
1553                                        gctx->gcm.key,
1554                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1555                 gctx->gcm.len.u[1] += bulk;
1556             }
1557 #endif
1558             if (CRYPTO_gcm128_encrypt(&gctx->gcm,
1559                                       in + bulk, out + bulk, len - bulk))
1560                 goto err;
1561         }
1562         out += len;
1563         /* Finally write tag */
1564         CRYPTO_gcm128_tag(&gctx->gcm, out, EVP_GCM_TLS_TAG_LEN);
1565         rv = len + EVP_GCM_TLS_EXPLICIT_IV_LEN + EVP_GCM_TLS_TAG_LEN;
1566     } else {
1567         /* Decrypt */
1568         if (gctx->ctr) {
1569             size_t bulk = 0;
1570 #if defined(AES_GCM_ASM)
1571             if (len >= 16 && AES_GCM_ASM(gctx)) {
1572                 if (CRYPTO_gcm128_decrypt(&gctx->gcm, NULL, NULL, 0))
1573                     return -1;
1574
1575                 bulk = AES_gcm_decrypt(in, out, len,
1576                                        gctx->gcm.key,
1577                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1578                 gctx->gcm.len.u[1] += bulk;
1579             }
1580 #endif
1581             if (CRYPTO_gcm128_decrypt_ctr32(&gctx->gcm,
1582                                             in + bulk,
1583                                             out + bulk,
1584                                             len - bulk, gctx->ctr))
1585                 goto err;
1586         } else {
1587             size_t bulk = 0;
1588 #if defined(AES_GCM_ASM2)
1589             if (len >= 16 && AES_GCM_ASM2(gctx)) {
1590                 if (CRYPTO_gcm128_decrypt(&gctx->gcm, NULL, NULL, 0))
1591                     return -1;
1592
1593                 bulk = AES_gcm_decrypt(in, out, len,
1594                                        gctx->gcm.key,
1595                                        gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1596                 gctx->gcm.len.u[1] += bulk;
1597             }
1598 #endif
1599             if (CRYPTO_gcm128_decrypt(&gctx->gcm,
1600                                       in + bulk, out + bulk, len - bulk))
1601                 goto err;
1602         }
1603         /* Retrieve tag */
1604         CRYPTO_gcm128_tag(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx),
1605                           EVP_GCM_TLS_TAG_LEN);
1606         /* If tag mismatch wipe buffer */
1607         if (CRYPTO_memcmp(EVP_CIPHER_CTX_buf_noconst(ctx), in + len,
1608                           EVP_GCM_TLS_TAG_LEN)) {
1609             OPENSSL_cleanse(out, len);
1610             goto err;
1611         }
1612         rv = len;
1613     }
1614
1615  err:
1616     gctx->iv_set = 0;
1617     gctx->tls_aad_len = -1;
1618     return rv;
1619 }
1620
1621 static int aes_gcm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1622                           const unsigned char *in, size_t len)
1623 {
1624     EVP_AES_GCM_CTX *gctx = EVP_C_DATA(EVP_AES_GCM_CTX,ctx);
1625     /* If not set up, return error */
1626     if (!gctx->key_set)
1627         return -1;
1628
1629     if (gctx->tls_aad_len >= 0)
1630         return aes_gcm_tls_cipher(ctx, out, in, len);
1631
1632     if (!gctx->iv_set)
1633         return -1;
1634     if (in) {
1635         if (out == NULL) {
1636             if (CRYPTO_gcm128_aad(&gctx->gcm, in, len))
1637                 return -1;
1638         } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
1639             if (gctx->ctr) {
1640                 size_t bulk = 0;
1641 #if defined(AES_GCM_ASM)
1642                 if (len >= 32 && AES_GCM_ASM(gctx)) {
1643                     size_t res = (16 - gctx->gcm.mres) % 16;
1644
1645                     if (CRYPTO_gcm128_encrypt(&gctx->gcm, in, out, res))
1646                         return -1;
1647
1648                     bulk = AES_gcm_encrypt(in + res,
1649                                            out + res, len - res,
1650                                            gctx->gcm.key, gctx->gcm.Yi.c,
1651                                            gctx->gcm.Xi.u);
1652                     gctx->gcm.len.u[1] += bulk;
1653                     bulk += res;
1654                 }
1655 #endif
1656                 if (CRYPTO_gcm128_encrypt_ctr32(&gctx->gcm,
1657                                                 in + bulk,
1658                                                 out + bulk,
1659                                                 len - bulk, gctx->ctr))
1660                     return -1;
1661             } else {
1662                 size_t bulk = 0;
1663 #if defined(AES_GCM_ASM2)
1664                 if (len >= 32 && AES_GCM_ASM2(gctx)) {
1665                     size_t res = (16 - gctx->gcm.mres) % 16;
1666
1667                     if (CRYPTO_gcm128_encrypt(&gctx->gcm, in, out, res))
1668                         return -1;
1669
1670                     bulk = AES_gcm_encrypt(in + res,
1671                                            out + res, len - res,
1672                                            gctx->gcm.key, gctx->gcm.Yi.c,
1673                                            gctx->gcm.Xi.u);
1674                     gctx->gcm.len.u[1] += bulk;
1675                     bulk += res;
1676                 }
1677 #endif
1678                 if (CRYPTO_gcm128_encrypt(&gctx->gcm,
1679                                           in + bulk, out + bulk, len - bulk))
1680                     return -1;
1681             }
1682         } else {
1683             if (gctx->ctr) {
1684                 size_t bulk = 0;
1685 #if defined(AES_GCM_ASM)
1686                 if (len >= 16 && AES_GCM_ASM(gctx)) {
1687                     size_t res = (16 - gctx->gcm.mres) % 16;
1688
1689                     if (CRYPTO_gcm128_decrypt(&gctx->gcm, in, out, res))
1690                         return -1;
1691
1692                     bulk = AES_gcm_decrypt(in + res,
1693                                            out + res, len - res,
1694                                            gctx->gcm.key,
1695                                            gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1696                     gctx->gcm.len.u[1] += bulk;
1697                     bulk += res;
1698                 }
1699 #endif
1700                 if (CRYPTO_gcm128_decrypt_ctr32(&gctx->gcm,
1701                                                 in + bulk,
1702                                                 out + bulk,
1703                                                 len - bulk, gctx->ctr))
1704                     return -1;
1705             } else {
1706                 size_t bulk = 0;
1707 #if defined(AES_GCM_ASM2)
1708                 if (len >= 16 && AES_GCM_ASM2(gctx)) {
1709                     size_t res = (16 - gctx->gcm.mres) % 16;
1710
1711                     if (CRYPTO_gcm128_decrypt(&gctx->gcm, in, out, res))
1712                         return -1;
1713
1714                     bulk = AES_gcm_decrypt(in + res,
1715                                            out + res, len - res,
1716                                            gctx->gcm.key,
1717                                            gctx->gcm.Yi.c, gctx->gcm.Xi.u);
1718                     gctx->gcm.len.u[1] += bulk;
1719                     bulk += res;
1720                 }
1721 #endif
1722                 if (CRYPTO_gcm128_decrypt(&gctx->gcm,
1723                                           in + bulk, out + bulk, len - bulk))
1724                     return -1;
1725             }
1726         }
1727         return len;
1728     } else {
1729         if (!EVP_CIPHER_CTX_encrypting(ctx)) {
1730             if (gctx->taglen < 0)
1731                 return -1;
1732             if (CRYPTO_gcm128_finish(&gctx->gcm,
1733                                      EVP_CIPHER_CTX_buf_noconst(ctx),
1734                                      gctx->taglen) != 0)
1735                 return -1;
1736             gctx->iv_set = 0;
1737             return 0;
1738         }
1739         CRYPTO_gcm128_tag(&gctx->gcm, EVP_CIPHER_CTX_buf_noconst(ctx), 16);
1740         gctx->taglen = 16;
1741         /* Don't reuse the IV */
1742         gctx->iv_set = 0;
1743         return 0;
1744     }
1745
1746 }
1747
1748 #define CUSTOM_FLAGS    (EVP_CIPH_FLAG_DEFAULT_ASN1 \
1749                 | EVP_CIPH_CUSTOM_IV | EVP_CIPH_FLAG_CUSTOM_CIPHER \
1750                 | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_CTRL_INIT \
1751                 | EVP_CIPH_CUSTOM_COPY)
1752
1753 BLOCK_CIPHER_custom(NID_aes, 128, 1, 12, gcm, GCM,
1754                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1755     BLOCK_CIPHER_custom(NID_aes, 192, 1, 12, gcm, GCM,
1756                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1757     BLOCK_CIPHER_custom(NID_aes, 256, 1, 12, gcm, GCM,
1758                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
1759
1760 static int aes_xts_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1761 {
1762     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,c);
1763     if (type == EVP_CTRL_COPY) {
1764         EVP_CIPHER_CTX *out = ptr;
1765         EVP_AES_XTS_CTX *xctx_out = EVP_C_DATA(EVP_AES_XTS_CTX,out);
1766         if (xctx->xts.key1) {
1767             if (xctx->xts.key1 != &xctx->ks1)
1768                 return 0;
1769             xctx_out->xts.key1 = &xctx_out->ks1;
1770         }
1771         if (xctx->xts.key2) {
1772             if (xctx->xts.key2 != &xctx->ks2)
1773                 return 0;
1774             xctx_out->xts.key2 = &xctx_out->ks2;
1775         }
1776         return 1;
1777     } else if (type != EVP_CTRL_INIT)
1778         return -1;
1779     /* key1 and key2 are used as an indicator both key and IV are set */
1780     xctx->xts.key1 = NULL;
1781     xctx->xts.key2 = NULL;
1782     return 1;
1783 }
1784
1785 static int aes_xts_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1786                             const unsigned char *iv, int enc)
1787 {
1788     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
1789     if (!iv && !key)
1790         return 1;
1791
1792     if (key)
1793         do {
1794 #ifdef AES_XTS_ASM
1795             xctx->stream = enc ? AES_xts_encrypt : AES_xts_decrypt;
1796 #else
1797             xctx->stream = NULL;
1798 #endif
1799             /* key_len is two AES keys */
1800 #ifdef HWAES_CAPABLE
1801             if (HWAES_CAPABLE) {
1802                 if (enc) {
1803                     HWAES_set_encrypt_key(key,
1804                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1805                                           &xctx->ks1.ks);
1806                     xctx->xts.block1 = (block128_f) HWAES_encrypt;
1807                 } else {
1808                     HWAES_set_decrypt_key(key,
1809                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1810                                           &xctx->ks1.ks);
1811                     xctx->xts.block1 = (block128_f) HWAES_decrypt;
1812                 }
1813
1814                 HWAES_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1815                                       EVP_CIPHER_CTX_key_length(ctx) * 4,
1816                                       &xctx->ks2.ks);
1817                 xctx->xts.block2 = (block128_f) HWAES_encrypt;
1818
1819                 xctx->xts.key1 = &xctx->ks1;
1820                 break;
1821             } else
1822 #endif
1823 #ifdef BSAES_CAPABLE
1824             if (BSAES_CAPABLE)
1825                 xctx->stream = enc ? bsaes_xts_encrypt : bsaes_xts_decrypt;
1826             else
1827 #endif
1828 #ifdef VPAES_CAPABLE
1829             if (VPAES_CAPABLE) {
1830                 if (enc) {
1831                     vpaes_set_encrypt_key(key,
1832                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1833                                           &xctx->ks1.ks);
1834                     xctx->xts.block1 = (block128_f) vpaes_encrypt;
1835                 } else {
1836                     vpaes_set_decrypt_key(key,
1837                                           EVP_CIPHER_CTX_key_length(ctx) * 4,
1838                                           &xctx->ks1.ks);
1839                     xctx->xts.block1 = (block128_f) vpaes_decrypt;
1840                 }
1841
1842                 vpaes_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1843                                       EVP_CIPHER_CTX_key_length(ctx) * 4,
1844                                       &xctx->ks2.ks);
1845                 xctx->xts.block2 = (block128_f) vpaes_encrypt;
1846
1847                 xctx->xts.key1 = &xctx->ks1;
1848                 break;
1849             } else
1850 #endif
1851                 (void)0;        /* terminate potentially open 'else' */
1852
1853             if (enc) {
1854                 AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
1855                                     &xctx->ks1.ks);
1856                 xctx->xts.block1 = (block128_f) AES_encrypt;
1857             } else {
1858                 AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 4,
1859                                     &xctx->ks1.ks);
1860                 xctx->xts.block1 = (block128_f) AES_decrypt;
1861             }
1862
1863             AES_set_encrypt_key(key + EVP_CIPHER_CTX_key_length(ctx) / 2,
1864                                 EVP_CIPHER_CTX_key_length(ctx) * 4,
1865                                 &xctx->ks2.ks);
1866             xctx->xts.block2 = (block128_f) AES_encrypt;
1867
1868             xctx->xts.key1 = &xctx->ks1;
1869         } while (0);
1870
1871     if (iv) {
1872         xctx->xts.key2 = &xctx->ks2;
1873         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 16);
1874     }
1875
1876     return 1;
1877 }
1878
1879 static int aes_xts_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
1880                           const unsigned char *in, size_t len)
1881 {
1882     EVP_AES_XTS_CTX *xctx = EVP_C_DATA(EVP_AES_XTS_CTX,ctx);
1883     if (!xctx->xts.key1 || !xctx->xts.key2)
1884         return 0;
1885     if (!out || !in || len < AES_BLOCK_SIZE)
1886         return 0;
1887     if (xctx->stream)
1888         (*xctx->stream) (in, out, len,
1889                          xctx->xts.key1, xctx->xts.key2,
1890                          EVP_CIPHER_CTX_iv_noconst(ctx));
1891     else if (CRYPTO_xts128_encrypt(&xctx->xts, EVP_CIPHER_CTX_iv_noconst(ctx),
1892                                    in, out, len,
1893                                    EVP_CIPHER_CTX_encrypting(ctx)))
1894         return 0;
1895     return 1;
1896 }
1897
1898 #define aes_xts_cleanup NULL
1899
1900 #define XTS_FLAGS       (EVP_CIPH_FLAG_DEFAULT_ASN1 | EVP_CIPH_CUSTOM_IV \
1901                          | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_CTRL_INIT \
1902                          | EVP_CIPH_CUSTOM_COPY)
1903
1904 BLOCK_CIPHER_custom(NID_aes, 128, 1, 16, xts, XTS, XTS_FLAGS)
1905     BLOCK_CIPHER_custom(NID_aes, 256, 1, 16, xts, XTS, XTS_FLAGS)
1906
1907 static int aes_ccm_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
1908 {
1909     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,c);
1910     switch (type) {
1911     case EVP_CTRL_INIT:
1912         cctx->key_set = 0;
1913         cctx->iv_set = 0;
1914         cctx->L = 8;
1915         cctx->M = 12;
1916         cctx->tag_set = 0;
1917         cctx->len_set = 0;
1918         cctx->tls_aad_len = -1;
1919         return 1;
1920
1921     case EVP_CTRL_AEAD_TLS1_AAD:
1922         /* Save the AAD for later use */
1923         if (arg != EVP_AEAD_TLS1_AAD_LEN)
1924             return 0;
1925         memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1926         cctx->tls_aad_len = arg;
1927         {
1928             uint16_t len =
1929                 EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] << 8
1930                 | EVP_CIPHER_CTX_buf_noconst(c)[arg - 1];
1931             /* Correct length for explicit IV */
1932             len -= EVP_CCM_TLS_EXPLICIT_IV_LEN;
1933             /* If decrypting correct for tag too */
1934             if (!EVP_CIPHER_CTX_encrypting(c))
1935                 len -= cctx->M;
1936             EVP_CIPHER_CTX_buf_noconst(c)[arg - 2] = len >> 8;
1937             EVP_CIPHER_CTX_buf_noconst(c)[arg - 1] = len & 0xff;
1938         }
1939         /* Extra padding: tag appended to record */
1940         return cctx->M;
1941
1942     case EVP_CTRL_CCM_SET_IV_FIXED:
1943         /* Sanity check length */
1944         if (arg != EVP_CCM_TLS_FIXED_IV_LEN)
1945             return 0;
1946         /* Just copy to first part of IV */
1947         memcpy(EVP_CIPHER_CTX_iv_noconst(c), ptr, arg);
1948         return 1;
1949
1950     case EVP_CTRL_AEAD_SET_IVLEN:
1951         arg = 15 - arg;
1952     case EVP_CTRL_CCM_SET_L:
1953         if (arg < 2 || arg > 8)
1954             return 0;
1955         cctx->L = arg;
1956         return 1;
1957
1958     case EVP_CTRL_AEAD_SET_TAG:
1959         if ((arg & 1) || arg < 4 || arg > 16)
1960             return 0;
1961         if (EVP_CIPHER_CTX_encrypting(c) && ptr)
1962             return 0;
1963         if (ptr) {
1964             cctx->tag_set = 1;
1965             memcpy(EVP_CIPHER_CTX_buf_noconst(c), ptr, arg);
1966         }
1967         cctx->M = arg;
1968         return 1;
1969
1970     case EVP_CTRL_AEAD_GET_TAG:
1971         if (!EVP_CIPHER_CTX_encrypting(c) || !cctx->tag_set)
1972             return 0;
1973         if (!CRYPTO_ccm128_tag(&cctx->ccm, ptr, (size_t)arg))
1974             return 0;
1975         cctx->tag_set = 0;
1976         cctx->iv_set = 0;
1977         cctx->len_set = 0;
1978         return 1;
1979
1980     case EVP_CTRL_COPY:
1981         {
1982             EVP_CIPHER_CTX *out = ptr;
1983             EVP_AES_CCM_CTX *cctx_out = EVP_C_DATA(EVP_AES_CCM_CTX,out);
1984             if (cctx->ccm.key) {
1985                 if (cctx->ccm.key != &cctx->ks)
1986                     return 0;
1987                 cctx_out->ccm.key = &cctx_out->ks;
1988             }
1989             return 1;
1990         }
1991
1992     default:
1993         return -1;
1994
1995     }
1996 }
1997
1998 static int aes_ccm_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
1999                             const unsigned char *iv, int enc)
2000 {
2001     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2002     if (!iv && !key)
2003         return 1;
2004     if (key)
2005         do {
2006 #ifdef HWAES_CAPABLE
2007             if (HWAES_CAPABLE) {
2008                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2009                                       &cctx->ks.ks);
2010
2011                 CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2012                                    &cctx->ks, (block128_f) HWAES_encrypt);
2013                 cctx->str = NULL;
2014                 cctx->key_set = 1;
2015                 break;
2016             } else
2017 #endif
2018 #ifdef VPAES_CAPABLE
2019             if (VPAES_CAPABLE) {
2020                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2021                                       &cctx->ks.ks);
2022                 CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2023                                    &cctx->ks, (block128_f) vpaes_encrypt);
2024                 cctx->str = NULL;
2025                 cctx->key_set = 1;
2026                 break;
2027             }
2028 #endif
2029             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2030                                 &cctx->ks.ks);
2031             CRYPTO_ccm128_init(&cctx->ccm, cctx->M, cctx->L,
2032                                &cctx->ks, (block128_f) AES_encrypt);
2033             cctx->str = NULL;
2034             cctx->key_set = 1;
2035         } while (0);
2036     if (iv) {
2037         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, 15 - cctx->L);
2038         cctx->iv_set = 1;
2039     }
2040     return 1;
2041 }
2042
2043 static int aes_ccm_tls_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2044                               const unsigned char *in, size_t len)
2045 {
2046     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2047     CCM128_CONTEXT *ccm = &cctx->ccm;
2048     /* Encrypt/decrypt must be performed in place */
2049     if (out != in || len < (EVP_CCM_TLS_EXPLICIT_IV_LEN + (size_t)cctx->M))
2050         return -1;
2051     /* If encrypting set explicit IV from sequence number (start of AAD) */
2052     if (EVP_CIPHER_CTX_encrypting(ctx))
2053         memcpy(out, EVP_CIPHER_CTX_buf_noconst(ctx),
2054                EVP_CCM_TLS_EXPLICIT_IV_LEN);
2055     /* Get rest of IV from explicit IV */
2056     memcpy(EVP_CIPHER_CTX_iv_noconst(ctx) + EVP_CCM_TLS_FIXED_IV_LEN, in,
2057            EVP_CCM_TLS_EXPLICIT_IV_LEN);
2058     /* Correct length value */
2059     len -= EVP_CCM_TLS_EXPLICIT_IV_LEN + cctx->M;
2060     if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx), 15 - cctx->L,
2061                             len))
2062             return -1;
2063     /* Use saved AAD */
2064     CRYPTO_ccm128_aad(ccm, EVP_CIPHER_CTX_buf_noconst(ctx), cctx->tls_aad_len);
2065     /* Fix buffer to point to payload */
2066     in += EVP_CCM_TLS_EXPLICIT_IV_LEN;
2067     out += EVP_CCM_TLS_EXPLICIT_IV_LEN;
2068     if (EVP_CIPHER_CTX_encrypting(ctx)) {
2069         if (cctx->str ? CRYPTO_ccm128_encrypt_ccm64(ccm, in, out, len,
2070                                                     cctx->str) :
2071             CRYPTO_ccm128_encrypt(ccm, in, out, len))
2072             return -1;
2073         if (!CRYPTO_ccm128_tag(ccm, out + len, cctx->M))
2074             return -1;
2075         return len + EVP_CCM_TLS_EXPLICIT_IV_LEN + cctx->M;
2076     } else {
2077         if (cctx->str ? !CRYPTO_ccm128_decrypt_ccm64(ccm, in, out, len,
2078                                                      cctx->str) :
2079             !CRYPTO_ccm128_decrypt(ccm, in, out, len)) {
2080             unsigned char tag[16];
2081             if (CRYPTO_ccm128_tag(ccm, tag, cctx->M)) {
2082                 if (!CRYPTO_memcmp(tag, in + len, cctx->M))
2083                     return len;
2084             }
2085         }
2086         OPENSSL_cleanse(out, len);
2087         return -1;
2088     }
2089 }
2090
2091 static int aes_ccm_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2092                           const unsigned char *in, size_t len)
2093 {
2094     EVP_AES_CCM_CTX *cctx = EVP_C_DATA(EVP_AES_CCM_CTX,ctx);
2095     CCM128_CONTEXT *ccm = &cctx->ccm;
2096     /* If not set up, return error */
2097     if (!cctx->key_set)
2098         return -1;
2099
2100     if (cctx->tls_aad_len >= 0)
2101         return aes_ccm_tls_cipher(ctx, out, in, len);
2102
2103     if (!cctx->iv_set)
2104         return -1;
2105
2106     if (!EVP_CIPHER_CTX_encrypting(ctx) && !cctx->tag_set)
2107         return -1;
2108     if (!out) {
2109         if (!in) {
2110             if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx),
2111                                     15 - cctx->L, len))
2112                 return -1;
2113             cctx->len_set = 1;
2114             return len;
2115         }
2116         /* If have AAD need message length */
2117         if (!cctx->len_set && len)
2118             return -1;
2119         CRYPTO_ccm128_aad(ccm, in, len);
2120         return len;
2121     }
2122     /* EVP_*Final() doesn't return any data */
2123     if (!in)
2124         return 0;
2125     /* If not set length yet do it */
2126     if (!cctx->len_set) {
2127         if (CRYPTO_ccm128_setiv(ccm, EVP_CIPHER_CTX_iv_noconst(ctx),
2128                                 15 - cctx->L, len))
2129             return -1;
2130         cctx->len_set = 1;
2131     }
2132     if (EVP_CIPHER_CTX_encrypting(ctx)) {
2133         if (cctx->str ? CRYPTO_ccm128_encrypt_ccm64(ccm, in, out, len,
2134                                                     cctx->str) :
2135             CRYPTO_ccm128_encrypt(ccm, in, out, len))
2136             return -1;
2137         cctx->tag_set = 1;
2138         return len;
2139     } else {
2140         int rv = -1;
2141         if (cctx->str ? !CRYPTO_ccm128_decrypt_ccm64(ccm, in, out, len,
2142                                                      cctx->str) :
2143             !CRYPTO_ccm128_decrypt(ccm, in, out, len)) {
2144             unsigned char tag[16];
2145             if (CRYPTO_ccm128_tag(ccm, tag, cctx->M)) {
2146                 if (!CRYPTO_memcmp(tag, EVP_CIPHER_CTX_buf_noconst(ctx),
2147                                    cctx->M))
2148                     rv = len;
2149             }
2150         }
2151         if (rv == -1)
2152             OPENSSL_cleanse(out, len);
2153         cctx->iv_set = 0;
2154         cctx->tag_set = 0;
2155         cctx->len_set = 0;
2156         return rv;
2157     }
2158 }
2159
2160 #define aes_ccm_cleanup NULL
2161
2162 BLOCK_CIPHER_custom(NID_aes, 128, 1, 12, ccm, CCM,
2163                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2164     BLOCK_CIPHER_custom(NID_aes, 192, 1, 12, ccm, CCM,
2165                         EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2166     BLOCK_CIPHER_custom(NID_aes, 256, 1, 12, ccm, CCM,
2167                         EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2168
2169 typedef struct {
2170     union {
2171         double align;
2172         AES_KEY ks;
2173     } ks;
2174     /* Indicates if IV has been set */
2175     unsigned char *iv;
2176 } EVP_AES_WRAP_CTX;
2177
2178 static int aes_wrap_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
2179                              const unsigned char *iv, int enc)
2180 {
2181     EVP_AES_WRAP_CTX *wctx = EVP_C_DATA(EVP_AES_WRAP_CTX,ctx);
2182     if (!iv && !key)
2183         return 1;
2184     if (key) {
2185         if (EVP_CIPHER_CTX_encrypting(ctx))
2186             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2187                                 &wctx->ks.ks);
2188         else
2189             AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2190                                 &wctx->ks.ks);
2191         if (!iv)
2192             wctx->iv = NULL;
2193     }
2194     if (iv) {
2195         memcpy(EVP_CIPHER_CTX_iv_noconst(ctx), iv, EVP_CIPHER_CTX_iv_length(ctx));
2196         wctx->iv = EVP_CIPHER_CTX_iv_noconst(ctx);
2197     }
2198     return 1;
2199 }
2200
2201 static int aes_wrap_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2202                            const unsigned char *in, size_t inlen)
2203 {
2204     EVP_AES_WRAP_CTX *wctx = EVP_C_DATA(EVP_AES_WRAP_CTX,ctx);
2205     size_t rv;
2206     /* AES wrap with padding has IV length of 4, without padding 8 */
2207     int pad = EVP_CIPHER_CTX_iv_length(ctx) == 4;
2208     /* No final operation so always return zero length */
2209     if (!in)
2210         return 0;
2211     /* Input length must always be non-zero */
2212     if (!inlen)
2213         return -1;
2214     /* If decrypting need at least 16 bytes and multiple of 8 */
2215     if (!EVP_CIPHER_CTX_encrypting(ctx) && (inlen < 16 || inlen & 0x7))
2216         return -1;
2217     /* If not padding input must be multiple of 8 */
2218     if (!pad && inlen & 0x7)
2219         return -1;
2220     if (!out) {
2221         if (EVP_CIPHER_CTX_encrypting(ctx)) {
2222             /* If padding round up to multiple of 8 */
2223             if (pad)
2224                 inlen = (inlen + 7) / 8 * 8;
2225             /* 8 byte prefix */
2226             return inlen + 8;
2227         } else {
2228             /*
2229              * If not padding output will be exactly 8 bytes smaller than
2230              * input. If padding it will be at least 8 bytes smaller but we
2231              * don't know how much.
2232              */
2233             return inlen - 8;
2234         }
2235     }
2236     if (pad) {
2237         if (EVP_CIPHER_CTX_encrypting(ctx))
2238             rv = CRYPTO_128_wrap_pad(&wctx->ks.ks, wctx->iv,
2239                                      out, in, inlen,
2240                                      (block128_f) AES_encrypt);
2241         else
2242             rv = CRYPTO_128_unwrap_pad(&wctx->ks.ks, wctx->iv,
2243                                        out, in, inlen,
2244                                        (block128_f) AES_decrypt);
2245     } else {
2246         if (EVP_CIPHER_CTX_encrypting(ctx))
2247             rv = CRYPTO_128_wrap(&wctx->ks.ks, wctx->iv,
2248                                  out, in, inlen, (block128_f) AES_encrypt);
2249         else
2250             rv = CRYPTO_128_unwrap(&wctx->ks.ks, wctx->iv,
2251                                    out, in, inlen, (block128_f) AES_decrypt);
2252     }
2253     return rv ? (int)rv : -1;
2254 }
2255
2256 #define WRAP_FLAGS      (EVP_CIPH_WRAP_MODE \
2257                 | EVP_CIPH_CUSTOM_IV | EVP_CIPH_FLAG_CUSTOM_CIPHER \
2258                 | EVP_CIPH_ALWAYS_CALL_INIT | EVP_CIPH_FLAG_DEFAULT_ASN1)
2259
2260 static const EVP_CIPHER aes_128_wrap = {
2261     NID_id_aes128_wrap,
2262     8, 16, 8, WRAP_FLAGS,
2263     aes_wrap_init_key, aes_wrap_cipher,
2264     NULL,
2265     sizeof(EVP_AES_WRAP_CTX),
2266     NULL, NULL, NULL, NULL
2267 };
2268
2269 const EVP_CIPHER *EVP_aes_128_wrap(void)
2270 {
2271     return &aes_128_wrap;
2272 }
2273
2274 static const EVP_CIPHER aes_192_wrap = {
2275     NID_id_aes192_wrap,
2276     8, 24, 8, WRAP_FLAGS,
2277     aes_wrap_init_key, aes_wrap_cipher,
2278     NULL,
2279     sizeof(EVP_AES_WRAP_CTX),
2280     NULL, NULL, NULL, NULL
2281 };
2282
2283 const EVP_CIPHER *EVP_aes_192_wrap(void)
2284 {
2285     return &aes_192_wrap;
2286 }
2287
2288 static const EVP_CIPHER aes_256_wrap = {
2289     NID_id_aes256_wrap,
2290     8, 32, 8, WRAP_FLAGS,
2291     aes_wrap_init_key, aes_wrap_cipher,
2292     NULL,
2293     sizeof(EVP_AES_WRAP_CTX),
2294     NULL, NULL, NULL, NULL
2295 };
2296
2297 const EVP_CIPHER *EVP_aes_256_wrap(void)
2298 {
2299     return &aes_256_wrap;
2300 }
2301
2302 static const EVP_CIPHER aes_128_wrap_pad = {
2303     NID_id_aes128_wrap_pad,
2304     8, 16, 4, WRAP_FLAGS,
2305     aes_wrap_init_key, aes_wrap_cipher,
2306     NULL,
2307     sizeof(EVP_AES_WRAP_CTX),
2308     NULL, NULL, NULL, NULL
2309 };
2310
2311 const EVP_CIPHER *EVP_aes_128_wrap_pad(void)
2312 {
2313     return &aes_128_wrap_pad;
2314 }
2315
2316 static const EVP_CIPHER aes_192_wrap_pad = {
2317     NID_id_aes192_wrap_pad,
2318     8, 24, 4, WRAP_FLAGS,
2319     aes_wrap_init_key, aes_wrap_cipher,
2320     NULL,
2321     sizeof(EVP_AES_WRAP_CTX),
2322     NULL, NULL, NULL, NULL
2323 };
2324
2325 const EVP_CIPHER *EVP_aes_192_wrap_pad(void)
2326 {
2327     return &aes_192_wrap_pad;
2328 }
2329
2330 static const EVP_CIPHER aes_256_wrap_pad = {
2331     NID_id_aes256_wrap_pad,
2332     8, 32, 4, WRAP_FLAGS,
2333     aes_wrap_init_key, aes_wrap_cipher,
2334     NULL,
2335     sizeof(EVP_AES_WRAP_CTX),
2336     NULL, NULL, NULL, NULL
2337 };
2338
2339 const EVP_CIPHER *EVP_aes_256_wrap_pad(void)
2340 {
2341     return &aes_256_wrap_pad;
2342 }
2343
2344 #ifndef OPENSSL_NO_OCB
2345 static int aes_ocb_ctrl(EVP_CIPHER_CTX *c, int type, int arg, void *ptr)
2346 {
2347     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,c);
2348     EVP_CIPHER_CTX *newc;
2349     EVP_AES_OCB_CTX *new_octx;
2350
2351     switch (type) {
2352     case EVP_CTRL_INIT:
2353         octx->key_set = 0;
2354         octx->iv_set = 0;
2355         octx->ivlen = EVP_CIPHER_CTX_iv_length(c);
2356         octx->iv = EVP_CIPHER_CTX_iv_noconst(c);
2357         octx->taglen = 16;
2358         octx->data_buf_len = 0;
2359         octx->aad_buf_len = 0;
2360         return 1;
2361
2362     case EVP_CTRL_AEAD_SET_IVLEN:
2363         /* IV len must be 1 to 15 */
2364         if (arg <= 0 || arg > 15)
2365             return 0;
2366
2367         octx->ivlen = arg;
2368         return 1;
2369
2370     case EVP_CTRL_AEAD_SET_TAG:
2371         if (!ptr) {
2372             /* Tag len must be 0 to 16 */
2373             if (arg < 0 || arg > 16)
2374                 return 0;
2375
2376             octx->taglen = arg;
2377             return 1;
2378         }
2379         if (arg != octx->taglen || EVP_CIPHER_CTX_encrypting(c))
2380             return 0;
2381         memcpy(octx->tag, ptr, arg);
2382         return 1;
2383
2384     case EVP_CTRL_AEAD_GET_TAG:
2385         if (arg != octx->taglen || !EVP_CIPHER_CTX_encrypting(c))
2386             return 0;
2387
2388         memcpy(ptr, octx->tag, arg);
2389         return 1;
2390
2391     case EVP_CTRL_COPY:
2392         newc = (EVP_CIPHER_CTX *)ptr;
2393         new_octx = EVP_C_DATA(EVP_AES_OCB_CTX,newc);
2394         return CRYPTO_ocb128_copy_ctx(&new_octx->ocb, &octx->ocb,
2395                                       &new_octx->ksenc.ks,
2396                                       &new_octx->ksdec.ks);
2397
2398     default:
2399         return -1;
2400
2401     }
2402 }
2403
2404 # ifdef HWAES_CAPABLE
2405 #  ifdef HWAES_ocb_encrypt
2406 void HWAES_ocb_encrypt(const unsigned char *in, unsigned char *out,
2407                        size_t blocks, const void *key,
2408                        size_t start_block_num,
2409                        unsigned char offset_i[16],
2410                        const unsigned char L_[][16],
2411                        unsigned char checksum[16]);
2412 #  else
2413 #    define HWAES_ocb_encrypt NULL
2414 #  endif
2415 #  ifdef HWAES_ocb_decrypt
2416 void HWAES_ocb_decrypt(const unsigned char *in, unsigned char *out,
2417                        size_t blocks, const void *key,
2418                        size_t start_block_num,
2419                        unsigned char offset_i[16],
2420                        const unsigned char L_[][16],
2421                        unsigned char checksum[16]);
2422 #  else
2423 #    define HWAES_ocb_decrypt NULL
2424 #  endif
2425 # endif
2426
2427 static int aes_ocb_init_key(EVP_CIPHER_CTX *ctx, const unsigned char *key,
2428                             const unsigned char *iv, int enc)
2429 {
2430     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
2431     if (!iv && !key)
2432         return 1;
2433     if (key) {
2434         do {
2435             /*
2436              * We set both the encrypt and decrypt key here because decrypt
2437              * needs both. We could possibly optimise to remove setting the
2438              * decrypt for an encryption operation.
2439              */
2440 # ifdef HWAES_CAPABLE
2441             if (HWAES_CAPABLE) {
2442                 HWAES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2443                                       &octx->ksenc.ks);
2444                 HWAES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2445                                       &octx->ksdec.ks);
2446                 if (!CRYPTO_ocb128_init(&octx->ocb,
2447                                         &octx->ksenc.ks, &octx->ksdec.ks,
2448                                         (block128_f) HWAES_encrypt,
2449                                         (block128_f) HWAES_decrypt,
2450                                         enc ? HWAES_ocb_encrypt
2451                                             : HWAES_ocb_decrypt))
2452                     return 0;
2453                 break;
2454             }
2455 # endif
2456 # ifdef VPAES_CAPABLE
2457             if (VPAES_CAPABLE) {
2458                 vpaes_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2459                                       &octx->ksenc.ks);
2460                 vpaes_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2461                                       &octx->ksdec.ks);
2462                 if (!CRYPTO_ocb128_init(&octx->ocb,
2463                                         &octx->ksenc.ks, &octx->ksdec.ks,
2464                                         (block128_f) vpaes_encrypt,
2465                                         (block128_f) vpaes_decrypt,
2466                                         NULL))
2467                     return 0;
2468                 break;
2469             }
2470 # endif
2471             AES_set_encrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2472                                 &octx->ksenc.ks);
2473             AES_set_decrypt_key(key, EVP_CIPHER_CTX_key_length(ctx) * 8,
2474                                 &octx->ksdec.ks);
2475             if (!CRYPTO_ocb128_init(&octx->ocb,
2476                                     &octx->ksenc.ks, &octx->ksdec.ks,
2477                                     (block128_f) AES_encrypt,
2478                                     (block128_f) AES_decrypt,
2479                                     NULL))
2480                 return 0;
2481         }
2482         while (0);
2483
2484         /*
2485          * If we have an iv we can set it directly, otherwise use saved IV.
2486          */
2487         if (iv == NULL && octx->iv_set)
2488             iv = octx->iv;
2489         if (iv) {
2490             if (CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen)
2491                 != 1)
2492                 return 0;
2493             octx->iv_set = 1;
2494         }
2495         octx->key_set = 1;
2496     } else {
2497         /* If key set use IV, otherwise copy */
2498         if (octx->key_set)
2499             CRYPTO_ocb128_setiv(&octx->ocb, iv, octx->ivlen, octx->taglen);
2500         else
2501             memcpy(octx->iv, iv, octx->ivlen);
2502         octx->iv_set = 1;
2503     }
2504     return 1;
2505 }
2506
2507 static int aes_ocb_cipher(EVP_CIPHER_CTX *ctx, unsigned char *out,
2508                           const unsigned char *in, size_t len)
2509 {
2510     unsigned char *buf;
2511     int *buf_len;
2512     int written_len = 0;
2513     size_t trailing_len;
2514     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,ctx);
2515
2516     /* If IV or Key not set then return error */
2517     if (!octx->iv_set)
2518         return -1;
2519
2520     if (!octx->key_set)
2521         return -1;
2522
2523     if (in) {
2524         /*
2525          * Need to ensure we are only passing full blocks to low level OCB
2526          * routines. We do it here rather than in EVP_EncryptUpdate/
2527          * EVP_DecryptUpdate because we need to pass full blocks of AAD too
2528          * and those routines don't support that
2529          */
2530
2531         /* Are we dealing with AAD or normal data here? */
2532         if (out == NULL) {
2533             buf = octx->aad_buf;
2534             buf_len = &(octx->aad_buf_len);
2535         } else {
2536             buf = octx->data_buf;
2537             buf_len = &(octx->data_buf_len);
2538         }
2539
2540         /*
2541          * If we've got a partially filled buffer from a previous call then
2542          * use that data first
2543          */
2544         if (*buf_len) {
2545             unsigned int remaining;
2546
2547             remaining = 16 - (*buf_len);
2548             if (remaining > len) {
2549                 memcpy(buf + (*buf_len), in, len);
2550                 *(buf_len) += len;
2551                 return 0;
2552             }
2553             memcpy(buf + (*buf_len), in, remaining);
2554
2555             /*
2556              * If we get here we've filled the buffer, so process it
2557              */
2558             len -= remaining;
2559             in += remaining;
2560             if (out == NULL) {
2561                 if (!CRYPTO_ocb128_aad(&octx->ocb, buf, 16))
2562                     return -1;
2563             } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
2564                 if (!CRYPTO_ocb128_encrypt(&octx->ocb, buf, out, 16))
2565                     return -1;
2566             } else {
2567                 if (!CRYPTO_ocb128_decrypt(&octx->ocb, buf, out, 16))
2568                     return -1;
2569             }
2570             written_len = 16;
2571             *buf_len = 0;
2572         }
2573
2574         /* Do we have a partial block to handle at the end? */
2575         trailing_len = len % 16;
2576
2577         /*
2578          * If we've got some full blocks to handle, then process these first
2579          */
2580         if (len != trailing_len) {
2581             if (out == NULL) {
2582                 if (!CRYPTO_ocb128_aad(&octx->ocb, in, len - trailing_len))
2583                     return -1;
2584             } else if (EVP_CIPHER_CTX_encrypting(ctx)) {
2585                 if (!CRYPTO_ocb128_encrypt
2586                     (&octx->ocb, in, out, len - trailing_len))
2587                     return -1;
2588             } else {
2589                 if (!CRYPTO_ocb128_decrypt
2590                     (&octx->ocb, in, out, len - trailing_len))
2591                     return -1;
2592             }
2593             written_len += len - trailing_len;
2594             in += len - trailing_len;
2595         }
2596
2597         /* Handle any trailing partial block */
2598         if (trailing_len) {
2599             memcpy(buf, in, trailing_len);
2600             *buf_len = trailing_len;
2601         }
2602
2603         return written_len;
2604     } else {
2605         /*
2606          * First of all empty the buffer of any partial block that we might
2607          * have been provided - both for data and AAD
2608          */
2609         if (octx->data_buf_len) {
2610             if (EVP_CIPHER_CTX_encrypting(ctx)) {
2611                 if (!CRYPTO_ocb128_encrypt(&octx->ocb, octx->data_buf, out,
2612                                            octx->data_buf_len))
2613                     return -1;
2614             } else {
2615                 if (!CRYPTO_ocb128_decrypt(&octx->ocb, octx->data_buf, out,
2616                                            octx->data_buf_len))
2617                     return -1;
2618             }
2619             written_len = octx->data_buf_len;
2620             octx->data_buf_len = 0;
2621         }
2622         if (octx->aad_buf_len) {
2623             if (!CRYPTO_ocb128_aad
2624                 (&octx->ocb, octx->aad_buf, octx->aad_buf_len))
2625                 return -1;
2626             octx->aad_buf_len = 0;
2627         }
2628         /* If decrypting then verify */
2629         if (!EVP_CIPHER_CTX_encrypting(ctx)) {
2630             if (octx->taglen < 0)
2631                 return -1;
2632             if (CRYPTO_ocb128_finish(&octx->ocb,
2633                                      octx->tag, octx->taglen) != 0)
2634                 return -1;
2635             octx->iv_set = 0;
2636             return written_len;
2637         }
2638         /* If encrypting then just get the tag */
2639         if (CRYPTO_ocb128_tag(&octx->ocb, octx->tag, 16) != 1)
2640             return -1;
2641         /* Don't reuse the IV */
2642         octx->iv_set = 0;
2643         return written_len;
2644     }
2645 }
2646
2647 static int aes_ocb_cleanup(EVP_CIPHER_CTX *c)
2648 {
2649     EVP_AES_OCB_CTX *octx = EVP_C_DATA(EVP_AES_OCB_CTX,c);
2650     CRYPTO_ocb128_cleanup(&octx->ocb);
2651     return 1;
2652 }
2653
2654 BLOCK_CIPHER_custom(NID_aes, 128, 16, 12, ocb, OCB,
2655                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2656 BLOCK_CIPHER_custom(NID_aes, 192, 16, 12, ocb, OCB,
2657                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2658 BLOCK_CIPHER_custom(NID_aes, 256, 16, 12, ocb, OCB,
2659                     EVP_CIPH_FLAG_AEAD_CIPHER | CUSTOM_FLAGS)
2660 #endif                         /* OPENSSL_NO_OCB */