test/rsa_test.c

   1 /*
   2  * Copyright 1999-2020 The OpenSSL Project Authors. All Rights Reserved.
   3  *
   4  * Licensed under the Apache License 2.0 (the "License").  You may not use
   5  * this file except in compliance with the License.  You can obtain a copy
   6  * in the file LICENSE in the source distribution or at
   7  * https://www.openssl.org/source/license.html
   8  */
   9
  10 /* test vectors from p1ovect1.txt */
  11
  12 /*
  13  * RSA low level APIs are deprecated for public use, but still ok for
  14  * internal use.
  15  */
  16 #include "internal/deprecated.h"
  17
  18 #include <stdio.h>
  19 #include <string.h>
  20
  21 #include "internal/nelem.h"
  22
  23 #include <openssl/crypto.h>
  24 #include <openssl/err.h>
  25 #include <openssl/rand.h>
  26 #include <openssl/bn.h>
  27
  28 #include "testutil.h"
  29
  30 #include <openssl/rsa.h>
  31
  32 #define SetKey \
  33     RSA_set0_key(key,                                           \
  34                  BN_bin2bn(n, sizeof(n)-1, NULL),               \
  35                  BN_bin2bn(e, sizeof(e)-1, NULL),               \
  36                  BN_bin2bn(d, sizeof(d)-1, NULL));              \
  37     RSA_set0_factors(key,                                       \
  38                      BN_bin2bn(p, sizeof(p)-1, NULL),           \
  39                      BN_bin2bn(q, sizeof(q)-1, NULL));          \
  40     RSA_set0_crt_params(key,                                    \
  41                         BN_bin2bn(dmp1, sizeof(dmp1)-1, NULL),  \
  42                         BN_bin2bn(dmq1, sizeof(dmq1)-1, NULL),  \
  43                         BN_bin2bn(iqmp, sizeof(iqmp)-1, NULL)); \
  44     if (c == NULL)                                              \
  45         return 0;                                               \
  46     memcpy(c, ctext_ex, sizeof(ctext_ex) - 1);                  \
  47     return sizeof(ctext_ex) - 1;
  48
  49 static int key1(RSA *key, unsigned char *c)
  50 {
  51     static unsigned char n[] =
  52         "\x00\xAA\x36\xAB\xCE\x88\xAC\xFD\xFF\x55\x52\x3C\x7F\xC4\x52\x3F"
  53         "\x90\xEF\xA0\x0D\xF3\x77\x4A\x25\x9F\x2E\x62\xB4\xC5\xD9\x9C\xB5"
  54         "\xAD\xB3\x00\xA0\x28\x5E\x53\x01\x93\x0E\x0C\x70\xFB\x68\x76\x93"
  55         "\x9C\xE6\x16\xCE\x62\x4A\x11\xE0\x08\x6D\x34\x1E\xBC\xAC\xA0\xA1"
  56         "\xF5";
  57
  58     static unsigned char e[] = "\x11";
  59
  60     static unsigned char d[] =
  61         "\x0A\x03\x37\x48\x62\x64\x87\x69\x5F\x5F\x30\xBC\x38\xB9\x8B\x44"
  62         "\xC2\xCD\x2D\xFF\x43\x40\x98\xCD\x20\xD8\xA1\x38\xD0\x90\xBF\x64"
  63         "\x79\x7C\x3F\xA7\xA2\xCD\xCB\x3C\xD1\xE0\xBD\xBA\x26\x54\xB4\xF9"
  64         "\xDF\x8E\x8A\xE5\x9D\x73\x3D\x9F\x33\xB3\x01\x62\x4A\xFD\x1D\x51";
  65
  66     static unsigned char p[] =
  67         "\x00\xD8\x40\xB4\x16\x66\xB4\x2E\x92\xEA\x0D\xA3\xB4\x32\x04\xB5"
  68         "\xCF\xCE\x33\x52\x52\x4D\x04\x16\xA5\xA4\x41\xE7\x00\xAF\x46\x12"
  69         "\x0D";
  70
  71     static unsigned char q[] =
  72         "\x00\xC9\x7F\xB1\xF0\x27\xF4\x53\xF6\x34\x12\x33\xEA\xAA\xD1\xD9"
  73         "\x35\x3F\x6C\x42\xD0\x88\x66\xB1\xD0\x5A\x0F\x20\x35\x02\x8B\x9D"
  74         "\x89";
  75
  76     static unsigned char dmp1[] =
  77         "\x59\x0B\x95\x72\xA2\xC2\xA9\xC4\x06\x05\x9D\xC2\xAB\x2F\x1D\xAF"
  78         "\xEB\x7E\x8B\x4F\x10\xA7\x54\x9E\x8E\xED\xF5\xB4\xFC\xE0\x9E\x05";
  79
  80     static unsigned char dmq1[] =
  81         "\x00\x8E\x3C\x05\x21\xFE\x15\xE0\xEA\x06\xA3\x6F\xF0\xF1\x0C\x99"
  82         "\x52\xC3\x5B\x7A\x75\x14\xFD\x32\x38\xB8\x0A\xAD\x52\x98\x62\x8D"
  83         "\x51";
  84
  85     static unsigned char iqmp[] =
  86         "\x36\x3F\xF7\x18\x9D\xA8\xE9\x0B\x1D\x34\x1F\x71\xD0\x9B\x76\xA8"
  87         "\xA9\x43\xE1\x1D\x10\xB2\x4D\x24\x9F\x2D\xEA\xFE\xF8\x0C\x18\x26";
  88
  89     static unsigned char ctext_ex[] =
  90         "\x1b\x8f\x05\xf9\xca\x1a\x79\x52\x6e\x53\xf3\xcc\x51\x4f\xdb\x89"
  91         "\x2b\xfb\x91\x93\x23\x1e\x78\xb9\x92\xe6\x8d\x50\xa4\x80\xcb\x52"
  92         "\x33\x89\x5c\x74\x95\x8d\x5d\x02\xab\x8c\x0f\xd0\x40\xeb\x58\x44"
  93         "\xb0\x05\xc3\x9e\xd8\x27\x4a\x9d\xbf\xa8\x06\x71\x40\x94\x39\xd2";
  94
  95     SetKey;
  96 }
  97
  98 static int key2(RSA *key, unsigned char *c)
  99 {
 100     static unsigned char n[] =
 101         "\x00\xA3\x07\x9A\x90\xDF\x0D\xFD\x72\xAC\x09\x0C\xCC\x2A\x78\xB8"
 102         "\x74\x13\x13\x3E\x40\x75\x9C\x98\xFA\xF8\x20\x4F\x35\x8A\x0B\x26"
 103         "\x3C\x67\x70\xE7\x83\xA9\x3B\x69\x71\xB7\x37\x79\xD2\x71\x7B\xE8"
 104         "\x34\x77\xCF";
 105
 106     static unsigned char e[] = "\x3";
 107
 108     static unsigned char d[] =
 109         "\x6C\xAF\xBC\x60\x94\xB3\xFE\x4C\x72\xB0\xB3\x32\xC6\xFB\x25\xA2"
 110         "\xB7\x62\x29\x80\x4E\x68\x65\xFC\xA4\x5A\x74\xDF\x0F\x8F\xB8\x41"
 111         "\x3B\x52\xC0\xD0\xE5\x3D\x9B\x59\x0F\xF1\x9B\xE7\x9F\x49\xDD\x21"
 112         "\xE5\xEB";
 113
 114     static unsigned char p[] =
 115         "\x00\xCF\x20\x35\x02\x8B\x9D\x86\x98\x40\xB4\x16\x66\xB4\x2E\x92"
 116         "\xEA\x0D\xA3\xB4\x32\x04\xB5\xCF\xCE\x91";
 117
 118     static unsigned char q[] =
 119         "\x00\xC9\x7F\xB1\xF0\x27\xF4\x53\xF6\x34\x12\x33\xEA\xAA\xD1\xD9"
 120         "\x35\x3F\x6C\x42\xD0\x88\x66\xB1\xD0\x5F";
 121
 122     static unsigned char dmp1[] =
 123         "\x00\x8A\x15\x78\xAC\x5D\x13\xAF\x10\x2B\x22\xB9\x99\xCD\x74\x61"
 124         "\xF1\x5E\x6D\x22\xCC\x03\x23\xDF\xDF\x0B";
 125
 126     static unsigned char dmq1[] =
 127         "\x00\x86\x55\x21\x4A\xC5\x4D\x8D\x4E\xCD\x61\x77\xF1\xC7\x36\x90"
 128         "\xCE\x2A\x48\x2C\x8B\x05\x99\xCB\xE0\x3F";
 129
 130     static unsigned char iqmp[] =
 131         "\x00\x83\xEF\xEF\xB8\xA9\xA4\x0D\x1D\xB6\xED\x98\xAD\x84\xED\x13"
 132         "\x35\xDC\xC1\x08\xF3\x22\xD0\x57\xCF\x8D";
 133
 134     static unsigned char ctext_ex[] =
 135         "\x14\xbd\xdd\x28\xc9\x83\x35\x19\x23\x80\xe8\xe5\x49\xb1\x58\x2a"
 136         "\x8b\x40\xb4\x48\x6d\x03\xa6\xa5\x31\x1f\x1f\xd5\xf0\xa1\x80\xe4"
 137         "\x17\x53\x03\x29\xa9\x34\x90\x74\xb1\x52\x13\x54\x29\x08\x24\x52"
 138         "\x62\x51";
 139
 140     SetKey;
 141 }
 142
 143 static int key3(RSA *key, unsigned char *c)
 144 {
 145     static unsigned char n[] =
 146         "\x00\xBB\xF8\x2F\x09\x06\x82\xCE\x9C\x23\x38\xAC\x2B\x9D\xA8\x71"
 147         "\xF7\x36\x8D\x07\xEE\xD4\x10\x43\xA4\x40\xD6\xB6\xF0\x74\x54\xF5"
 148         "\x1F\xB8\xDF\xBA\xAF\x03\x5C\x02\xAB\x61\xEA\x48\xCE\xEB\x6F\xCD"
 149         "\x48\x76\xED\x52\x0D\x60\xE1\xEC\x46\x19\x71\x9D\x8A\x5B\x8B\x80"
 150         "\x7F\xAF\xB8\xE0\xA3\xDF\xC7\x37\x72\x3E\xE6\xB4\xB7\xD9\x3A\x25"
 151         "\x84\xEE\x6A\x64\x9D\x06\x09\x53\x74\x88\x34\xB2\x45\x45\x98\x39"
 152         "\x4E\xE0\xAA\xB1\x2D\x7B\x61\xA5\x1F\x52\x7A\x9A\x41\xF6\xC1\x68"
 153         "\x7F\xE2\x53\x72\x98\xCA\x2A\x8F\x59\x46\xF8\xE5\xFD\x09\x1D\xBD"
 154         "\xCB";
 155
 156     static unsigned char e[] = "\x11";
 157
 158     static unsigned char d[] =
 159         "\x00\xA5\xDA\xFC\x53\x41\xFA\xF2\x89\xC4\xB9\x88\xDB\x30\xC1\xCD"
 160         "\xF8\x3F\x31\x25\x1E\x06\x68\xB4\x27\x84\x81\x38\x01\x57\x96\x41"
 161         "\xB2\x94\x10\xB3\xC7\x99\x8D\x6B\xC4\x65\x74\x5E\x5C\x39\x26\x69"
 162         "\xD6\x87\x0D\xA2\xC0\x82\xA9\x39\xE3\x7F\xDC\xB8\x2E\xC9\x3E\xDA"
 163         "\xC9\x7F\xF3\xAD\x59\x50\xAC\xCF\xBC\x11\x1C\x76\xF1\xA9\x52\x94"
 164         "\x44\xE5\x6A\xAF\x68\xC5\x6C\x09\x2C\xD3\x8D\xC3\xBE\xF5\xD2\x0A"
 165         "\x93\x99\x26\xED\x4F\x74\xA1\x3E\xDD\xFB\xE1\xA1\xCE\xCC\x48\x94"
 166         "\xAF\x94\x28\xC2\xB7\xB8\x88\x3F\xE4\x46\x3A\x4B\xC8\x5B\x1C\xB3"
 167         "\xC1";
 168
 169     static unsigned char p[] =
 170         "\x00\xEE\xCF\xAE\x81\xB1\xB9\xB3\xC9\x08\x81\x0B\x10\xA1\xB5\x60"
 171         "\x01\x99\xEB\x9F\x44\xAE\xF4\xFD\xA4\x93\xB8\x1A\x9E\x3D\x84\xF6"
 172         "\x32\x12\x4E\xF0\x23\x6E\x5D\x1E\x3B\x7E\x28\xFA\xE7\xAA\x04\x0A"
 173         "\x2D\x5B\x25\x21\x76\x45\x9D\x1F\x39\x75\x41\xBA\x2A\x58\xFB\x65"
 174         "\x99";
 175
 176     static unsigned char q[] =
 177         "\x00\xC9\x7F\xB1\xF0\x27\xF4\x53\xF6\x34\x12\x33\xEA\xAA\xD1\xD9"
 178         "\x35\x3F\x6C\x42\xD0\x88\x66\xB1\xD0\x5A\x0F\x20\x35\x02\x8B\x9D"
 179         "\x86\x98\x40\xB4\x16\x66\xB4\x2E\x92\xEA\x0D\xA3\xB4\x32\x04\xB5"
 180         "\xCF\xCE\x33\x52\x52\x4D\x04\x16\xA5\xA4\x41\xE7\x00\xAF\x46\x15"
 181         "\x03";
 182
 183     static unsigned char dmp1[] =
 184         "\x54\x49\x4C\xA6\x3E\xBA\x03\x37\xE4\xE2\x40\x23\xFC\xD6\x9A\x5A"
 185         "\xEB\x07\xDD\xDC\x01\x83\xA4\xD0\xAC\x9B\x54\xB0\x51\xF2\xB1\x3E"
 186         "\xD9\x49\x09\x75\xEA\xB7\x74\x14\xFF\x59\xC1\xF7\x69\x2E\x9A\x2E"
 187         "\x20\x2B\x38\xFC\x91\x0A\x47\x41\x74\xAD\xC9\x3C\x1F\x67\xC9\x81";
 188
 189     static unsigned char dmq1[] =
 190         "\x47\x1E\x02\x90\xFF\x0A\xF0\x75\x03\x51\xB7\xF8\x78\x86\x4C\xA9"
 191         "\x61\xAD\xBD\x3A\x8A\x7E\x99\x1C\x5C\x05\x56\xA9\x4C\x31\x46\xA7"
 192         "\xF9\x80\x3F\x8F\x6F\x8A\xE3\x42\xE9\x31\xFD\x8A\xE4\x7A\x22\x0D"
 193         "\x1B\x99\xA4\x95\x84\x98\x07\xFE\x39\xF9\x24\x5A\x98\x36\xDA\x3D";
 194
 195     static unsigned char iqmp[] =
 196         "\x00\xB0\x6C\x4F\xDA\xBB\x63\x01\x19\x8D\x26\x5B\xDB\xAE\x94\x23"
 197         "\xB3\x80\xF2\x71\xF7\x34\x53\x88\x50\x93\x07\x7F\xCD\x39\xE2\x11"
 198         "\x9F\xC9\x86\x32\x15\x4F\x58\x83\xB1\x67\xA9\x67\xBF\x40\x2B\x4E"
 199         "\x9E\x2E\x0F\x96\x56\xE6\x98\xEA\x36\x66\xED\xFB\x25\x79\x80\x39"
 200         "\xF7";
 201
 202     static unsigned char ctext_ex[] =
 203         "\xb8\x24\x6b\x56\xa6\xed\x58\x81\xae\xb5\x85\xd9\xa2\x5b\x2a\xd7"
 204         "\x90\xc4\x17\xe0\x80\x68\x1b\xf1\xac\x2b\xc3\xde\xb6\x9d\x8b\xce"
 205         "\xf0\xc4\x36\x6f\xec\x40\x0a\xf0\x52\xa7\x2e\x9b\x0e\xff\xb5\xb3"
 206         "\xf2\xf1\x92\xdb\xea\xca\x03\xc1\x27\x40\x05\x71\x13\xbf\x1f\x06"
 207         "\x69\xac\x22\xe9\xf3\xa7\x85\x2e\x3c\x15\xd9\x13\xca\xb0\xb8\x86"
 208         "\x3a\x95\xc9\x92\x94\xce\x86\x74\x21\x49\x54\x61\x03\x46\xf4\xd4"
 209         "\x74\xb2\x6f\x7c\x48\xb4\x2e\xe6\x8e\x1f\x57\x2a\x1f\xc4\x02\x6a"
 210         "\xc4\x56\xb4\xf5\x9f\x7b\x62\x1e\xa1\xb9\xd8\x8f\x64\x20\x2f\xb1";
 211
 212     SetKey;
 213 }
 214
 215 static int pad_unknown(void)
 216 {
 217     unsigned long l;
 218     while ((l = ERR_get_error()) != 0)
 219         if (ERR_GET_REASON(l) == RSA_R_UNKNOWN_PADDING_TYPE)
 220             return 1;
 221     return 0;
 222 }
 223
 224 static int rsa_setkey(RSA** key, unsigned char* ctext, int idx)
 225 {
 226     int clen = 0;
 227
 228     *key = RSA_new();
 229     if (*key != NULL)
 230         switch (idx) {
 231         case 0:
 232             clen = key1(*key, ctext);
 233             break;
 234         case 1:
 235             clen = key2(*key, ctext);
 236             break;
 237         case 2:
 238             clen = key3(*key, ctext);
 239             break;
 240         }
 241     return clen;
 242 }
 243
 244 static int test_rsa_pkcs1(int idx)
 245 {
 246     int ret = 0;
 247     RSA *key;
 248     unsigned char ptext[256];
 249     unsigned char ctext[256];
 250     static unsigned char ptext_ex[] = "\x54\x85\x9b\x34\x2c\x49\xea\x2a";
 251     unsigned char ctext_ex[256];
 252     int plen;
 253     int clen = 0;
 254     int num;
 255
 256     plen = sizeof(ptext_ex) - 1;
 257     clen = rsa_setkey(&key, ctext_ex, idx);
 258
 259     num = RSA_public_encrypt(plen, ptext_ex, ctext, key,
 260                              RSA_PKCS1_PADDING);
 261     if (!TEST_int_eq(num, clen))
 262         goto err;
 263
 264     num = RSA_private_decrypt(num, ctext, ptext, key, RSA_PKCS1_PADDING);
 265     if (!TEST_mem_eq(ptext, num, ptext_ex, plen))
 266         goto err;
 267
 268     ret = 1;
 269 err:
 270     RSA_free(key);
 271     return ret;
 272 }
 273
 274 static int test_rsa_sslv23(int idx)
 275 {
 276     int ret = 0;
 277     RSA *key;
 278     unsigned char ptext[256];
 279     unsigned char ctext[256];
 280     static unsigned char ptext_ex[] = "\x54\x85\x9b\x34\x2c\x49\xea\x2a";
 281     unsigned char ctext_ex[256];
 282     int plen;
 283     int clen = 0;
 284     int num;
 285
 286     plen = sizeof(ptext_ex) - 1;
 287     clen = rsa_setkey(&key, ctext_ex, idx);
 288
 289     num = RSA_public_encrypt(plen, ptext_ex, ctext, key,
 290                              RSA_SSLV23_PADDING);
 291     if (!TEST_int_eq(num, clen))
 292         goto err;
 293
 294     num = RSA_private_decrypt(num, ctext, ptext, key, RSA_SSLV23_PADDING);
 295     if (!TEST_mem_eq(ptext, num, ptext_ex, plen))
 296         goto err;
 297
 298     ret = 1;
 299 err:
 300     RSA_free(key);
 301     return ret;
 302 }
 303
 304 static int test_rsa_oaep(int idx)
 305 {
 306     int ret = 0;
 307     RSA *key;
 308     unsigned char ptext[256];
 309     unsigned char ctext[256];
 310     static unsigned char ptext_ex[] = "\x54\x85\x9b\x34\x2c\x49\xea\x2a";
 311     unsigned char ctext_ex[256];
 312     int plen;
 313     int clen = 0;
 314     int num;
 315     int n;
 316
 317     plen = sizeof(ptext_ex) - 1;
 318     clen = rsa_setkey(&key, ctext_ex, idx);
 319
 320     num = RSA_public_encrypt(plen, ptext_ex, ctext, key,
 321                              RSA_PKCS1_OAEP_PADDING);
 322     if (num == -1 && pad_unknown()) {
 323         TEST_info("Skipping: No OAEP support");
 324         ret = 1;
 325         goto err;
 326     }
 327     if (!TEST_int_eq(num, clen))
 328         goto err;
 329
 330     num = RSA_private_decrypt(num, ctext, ptext, key,
 331                               RSA_PKCS1_OAEP_PADDING);
 332     if (!TEST_mem_eq(ptext, num, ptext_ex, plen))
 333         goto err;
 334
 335     /* Different ciphertexts. Try decrypting ctext_ex */
 336     num = RSA_private_decrypt(clen, ctext_ex, ptext, key,
 337                               RSA_PKCS1_OAEP_PADDING);
 338     if (!TEST_mem_eq(ptext, num, ptext_ex, plen))
 339         goto err;
 340
 341     /* Try decrypting corrupted ciphertexts. */
 342     for (n = 0; n < clen; ++n) {
 343         ctext[n] ^= 1;
 344         num = RSA_private_decrypt(clen, ctext, ptext, key,
 345                                       RSA_PKCS1_OAEP_PADDING);
 346         if (!TEST_int_le(num, 0))
 347             goto err;
 348         ctext[n] ^= 1;
 349     }
 350
 351     /* Test truncated ciphertexts, as well as negative length. */
 352     for (n = -1; n < clen; ++n) {
 353         num = RSA_private_decrypt(n, ctext, ptext, key,
 354                                   RSA_PKCS1_OAEP_PADDING);
 355         if (!TEST_int_le(num, 0))
 356             goto err;
 357     }
 358
 359     ret = 1;
 360 err:
 361     RSA_free(key);
 362     return ret;
 363 }
 364
 365 static const struct {
 366     int bits;
 367     unsigned int r;
 368 } rsa_security_bits_cases[] = {
 369     /* NIST SP 800-56B rev 2 (draft) Appendix D Table 5 */
 370     { 2048,     112 },
 371     { 3072,     128 },
 372     { 4096,     152 },
 373     { 6144,     176 },
 374     { 8192,     200 },
 375     /* Older values */
 376     { 256,      40  },
 377     { 512,      56  },
 378     { 1024,     80  },
 379     /* Slightly different value to the 256 that NIST lists in their tables */
 380     { 15360,    264 },
 381     /* Some other values */
 382     { 8888,     208 },
 383     { 2468,     120 },
 384     { 13456,    248 }
 385 };
 386
 387 static int test_rsa_security_bit(int n)
 388 {
 389     static const unsigned char vals[8] = {
 390         0x80, 0x01, 0x02, 0x04, 0x08, 0x10, 0x20, 0x40
 391     };
 392     RSA *key = RSA_new();
 393     const int bits = rsa_security_bits_cases[n].bits;
 394     const int result = rsa_security_bits_cases[n].r;
 395     const int bytes = (bits + 7) / 8;
 396     int r = 0;
 397     unsigned char num[2000];
 398
 399     if (!TEST_ptr(key) || !TEST_int_le(bytes, (int)sizeof(num)))
 400         goto err;
 401
 402     /*
 403      * It is necessary to set the RSA key in order to ask for the strength.
 404      * A BN of an appropriate size is created, in general it won't have the
 405      * properties necessary for RSA to function.  This is okay here since
 406      * the RSA key is never used.
 407      */
 408     memset(num, vals[bits % 8], bytes);
 409
 410     /*
 411      * The 'e' parameter is set to the same value as 'n'.  This saves having
 412      * an extra BN to hold a sensible value for 'e'.  This is safe since the
 413      * RSA key is not used.  The 'd' parameter can be NULL safely.
 414      */
 415     if (TEST_true(RSA_set0_key(key, BN_bin2bn(num, bytes, NULL),
 416                                BN_bin2bn(num, bytes, NULL), NULL))
 417             && TEST_uint_eq(RSA_security_bits(key), result))
 418         r = 1;
 419 err:
 420     RSA_free(key);
 421     return r;
 422 }
 423
 424 int setup_tests(void)
 425 {
 426     ADD_ALL_TESTS(test_rsa_pkcs1, 3);
 427     ADD_ALL_TESTS(test_rsa_sslv23, 3);
 428     ADD_ALL_TESTS(test_rsa_oaep, 3);
 429     ADD_ALL_TESTS(test_rsa_security_bit, OSSL_NELEM(rsa_security_bits_cases));
 430     return 1;
 431 }