crypto/poly1305/poly1305.c

   1 /* ====================================================================
   2  * Copyright (c) 2015 The OpenSSL Project. All rights reserved.
   3  *
   4  * Rights for redistribution and usage in source and binary
   5  * forms are granted according to the OpenSSL license.
   6  */
   7
   8 #include <stdlib.h>
   9 #include <string.h>
  10
  11 #include "internal/poly1305.h"
  12
  13 typedef void (*poly1305_blocks_f) (void *ctx, const unsigned char *inp,
  14                                    size_t len, unsigned int padbit);
  15 typedef void (*poly1305_emit_f) (void *ctx, unsigned char mac[16],
  16                                  const unsigned int nonce[4]);
  17
  18 struct poly1305_context {
  19     double opaque[24];  /* large enough to hold internal state, declared
  20                          * 'double' to ensure at least 64-bit invariant
  21                          * alignment across all platforms and
  22                          * configurations */
  23     unsigned int nonce[4];
  24     unsigned char data[POLY1305_BLOCK_SIZE];
  25     size_t num;
  26     struct {
  27         poly1305_blocks_f blocks;
  28         poly1305_emit_f emit;
  29     } func;
  30 };
  31
  32 size_t Poly1305_ctx_size ()
  33 {
  34     return sizeof(struct poly1305_context);
  35 }
  36
  37 /* pick 32-bit unsigned integer in little endian order */
  38 static unsigned int U8TOU32(const unsigned char *p)
  39 {
  40     return (((unsigned int)(p[0] & 0xff)) |
  41             ((unsigned int)(p[1] & 0xff) << 8) |
  42             ((unsigned int)(p[2] & 0xff) << 16) |
  43             ((unsigned int)(p[3] & 0xff) << 24));
  44 }
  45
  46 /*
  47  * Implementations can be classified by amount of significant bits in
  48  * words making up the multi-precision value, or in other words radix
  49  * or base of numerical representation, e.g. base 2^64, base 2^32,
  50  * base 2^26. Complementary characteristic is how wide is the result of
  51  * multiplication of pair of digits, e.g. it would take 128 bits to
  52  * accommodate multiplication result in base 2^64 case. These are used
  53  * interchangeably. To describe implementation that is. But interface
  54  * is designed to isolate this so that low-level primitives implemented
  55  * in assembly can be self-contained/self-coherent.
  56  */
  57 #ifndef POLY1305_ASM
  58 /*
  59  * Even though there is __int128 reference implementation targeting
  60  * 64-bit platforms provided below, it's not obvious that it's optimal
  61  * choice for every one of them. Depending on instruction set overall
  62  * amount of instructions can be comparable to one in __int64
  63  * implementation. Amount of multiplication instructions would be lower,
  64  * but not necessarily overall. And in out-of-order execution context,
  65  * it is the latter that can be crucial...
  66  *
  67  * On related note. Poly1305 author, D. J. Bernstein, discusses and
  68  * provides floating-point implementations of the algorithm in question.
  69  * It made a lot of sense by the time of introduction, because most
  70  * then-modern processors didn't have pipelined integer multiplier.
  71  * [Not to mention that some had non-constant timing for integer
  72  * multiplications.] Floating-point instructions on the other hand could
  73  * be issued every cycle, which allowed to achieve better performance.
  74  * Nowadays, with SIMD and/or out-or-order execution, shared or
  75  * even emulated FPU, it's more complicated, and floating-point
  76  * implementation is not necessarily optimal choice in every situation,
  77  * rather contrary...
  78  *
  79  *                                              <appro@openssl.org>
  80  */
  81
  82 typedef unsigned int u32;
  83
  84 /*
  85  * poly1305_blocks processes a multiple of POLY1305_BLOCK_SIZE blocks
  86  * of |inp| no longer than |len|. Behaviour for |len| not divisible by
  87  * block size is unspecified in general case, even though in reference
  88  * implementation the trailing chunk is simply ignored. Per algorithm
  89  * specification, every input block, complete or last partial, is to be
  90  * padded with a bit past most significant byte. The latter kind is then
  91  * padded with zeros till block size. This last partial block padding
  92  * is caller(*)'s responsibility, and because of this the last partial
  93  * block is always processed with separate call with |len| set to
  94  * POLY1305_BLOCK_SIZE and |padbit| to 0. In all other cases |padbit|
  95  * should be set to 1 to perform implicit padding with 128th bit.
  96  * poly1305_blocks does not actually check for this constraint though,
  97  * it's caller(*)'s resposibility to comply.
  98  *
  99  * (*)  In the context "caller" is not application code, but higher
 100  *      level Poly1305_* from this very module, so that quirks are
 101  *      handled locally.
 102  */
 103 static void
 104 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit);
 105
 106 /*
 107  * Type-agnostic "rip-off" from constant_time_locl.h
 108  */
 109 # define CONSTANT_TIME_CARRY(a,b) ( \
 110          (a ^ ((a ^ b) | ((a - b) ^ b))) >> (sizeof(a) * 8 - 1) \
 111          )
 112
 113 # if !defined(PEDANTIC) && \
 114      (defined(__SIZEOF_INT128__) && __SIZEOF_INT128__==16) && \
 115      (defined(__SIZEOF_LONG__) && __SIZEOF_LONG__==8)
 116
 117 typedef unsigned long u64;
 118 typedef unsigned __int128 u128;
 119
 120 typedef struct {
 121     u64 h[3];
 122     u64 r[2];
 123 } poly1305_internal;
 124
 125 /* pick 32-bit unsigned integer in little endian order */
 126 static u64 U8TOU64(const unsigned char *p)
 127 {
 128     return (((u64)(p[0] & 0xff)) |
 129             ((u64)(p[1] & 0xff) << 8) |
 130             ((u64)(p[2] & 0xff) << 16) |
 131             ((u64)(p[3] & 0xff) << 24) |
 132             ((u64)(p[4] & 0xff) << 32) |
 133             ((u64)(p[5] & 0xff) << 40) |
 134             ((u64)(p[6] & 0xff) << 48) |
 135             ((u64)(p[7] & 0xff) << 56));
 136 }
 137
 138 /* store a 32-bit unsigned integer in little endian */
 139 static void U64TO8(unsigned char *p, u64 v)
 140 {
 141     p[0] = (unsigned char)((v) & 0xff);
 142     p[1] = (unsigned char)((v >> 8) & 0xff);
 143     p[2] = (unsigned char)((v >> 16) & 0xff);
 144     p[3] = (unsigned char)((v >> 24) & 0xff);
 145     p[4] = (unsigned char)((v >> 32) & 0xff);
 146     p[5] = (unsigned char)((v >> 40) & 0xff);
 147     p[6] = (unsigned char)((v >> 48) & 0xff);
 148     p[7] = (unsigned char)((v >> 56) & 0xff);
 149 }
 150
 151 static void poly1305_init(void *ctx, const unsigned char key[16])
 152 {
 153     poly1305_internal *st = (poly1305_internal *) ctx;
 154
 155     /* h = 0 */
 156     st->h[0] = 0;
 157     st->h[1] = 0;
 158     st->h[2] = 0;
 159
 160     /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
 161     st->r[0] = U8TOU64(&key[0]) & 0x0ffffffc0fffffff;
 162     st->r[1] = U8TOU64(&key[8]) & 0x0ffffffc0ffffffc;
 163 }
 164
 165 static void
 166 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit)
 167 {
 168     poly1305_internal *st = (poly1305_internal *)ctx;
 169     u64 r0, r1;
 170     u64 s1;
 171     u64 h0, h1, h2, c;
 172     u128 d0, d1;
 173
 174     r0 = st->r[0];
 175     r1 = st->r[1];
 176
 177     s1 = r1 + (r1 >> 2);
 178
 179     h0 = st->h[0];
 180     h1 = st->h[1];
 181     h2 = st->h[2];
 182
 183     while (len >= POLY1305_BLOCK_SIZE) {
 184         /* h += m[i] */
 185         h0 = (u64)(d0 = (u128)h0 + U8TOU64(inp + 0));
 186         h1 = (u64)(d1 = (u128)h1 + (d0 >> 64) + U8TOU64(inp + 8));
 187         /*
 188          * padbit can be zero only when original len was
 189          * POLY1306_BLOCK_SIZE, but we don't check
 190          */
 191         h2 += (u64)(d1 >> 64) + padbit;
 192
 193         /* h *= r "%" p, where "%" stands for "partial remainder" */
 194         d0 = ((u128)h0 * r0) +
 195              ((u128)h1 * s1);
 196         d1 = ((u128)h0 * r1) +
 197              ((u128)h1 * r0) +
 198              (h2 * s1);
 199         h2 = (h2 * r0);
 200
 201         /* last reduction step: */
 202         /* a) h2:h0 = h2<<128 + d1<<64 + d0 */
 203         h0 = (u64)d0;
 204         h1 = (u64)(d1 += d0 >> 64);
 205         h2 += (u64)(d1 >> 64);
 206         /* b) (h2:h0 += (h2:h0>>130) * 5) %= 2^130 */
 207         c = (h2 >> 2) + (h2 & ~3UL);
 208         h2 &= 3;
 209         h0 += c;
 210         h1 += (c = CONSTANT_TIME_CARRY(h0,c));   /* doesn't overflow */
 211
 212         inp += POLY1305_BLOCK_SIZE;
 213         len -= POLY1305_BLOCK_SIZE;
 214     }
 215
 216     st->h[0] = h0;
 217     st->h[1] = h1;
 218     st->h[2] = h2;
 219 }
 220
 221 static void poly1305_emit(void *ctx, unsigned char mac[16],
 222                           const u32 nonce[4])
 223 {
 224     poly1305_internal *st = (poly1305_internal *) ctx;
 225     u64 h0, h1, h2;
 226     u64 g0, g1, g2;
 227     u128 t;
 228     u64 mask;
 229
 230     h0 = st->h[0];
 231     h1 = st->h[1];
 232     h2 = st->h[2];
 233
 234     /* compute h + -p */
 235     g0 = (u64)(t = (u128)h0 + 5);
 236     g1 = (u64)(t = (u128)h1 + (t >> 64));
 237     g2 = h2 + (u64)(t >> 64);
 238
 239     /* if there was carry into 130th bit, h1:h0 = g1:g0 */
 240     mask = 0 - (g2 >> 2);
 241     g0 &= mask;
 242     g1 &= mask;
 243     mask = ~mask;
 244     h0 = (h0 & mask) | g0;
 245     h1 = (h1 & mask) | g1;
 246
 247     /* mac = (h + nonce) % (2^128) */
 248     h0 = (u64)(t = (u128)h0 + nonce[0] + ((u64)nonce[1]<<32));
 249     h1 = (u64)(t = (u128)h1 + nonce[2] + ((u64)nonce[3]<<32) + (t >> 64));
 250
 251     U64TO8(mac + 0, h0);
 252     U64TO8(mac + 8, h1);
 253 }
 254
 255 # else
 256
 257 #  if defined(_WIN32) && !defined(__MINGW32__)
 258 typedef unsigned __int64 u64;
 259 #  elif defined(__arch64__)
 260 typedef unsigned long u64;
 261 #  else
 262 typedef unsigned long long u64;
 263 #  endif
 264
 265 typedef struct {
 266     u32 h[5];
 267     u32 r[4];
 268 } poly1305_internal;
 269
 270 /* store a 32-bit unsigned integer in little endian */
 271 static void U32TO8(unsigned char *p, unsigned int v)
 272 {
 273     p[0] = (unsigned char)((v) & 0xff);
 274     p[1] = (unsigned char)((v >> 8) & 0xff);
 275     p[2] = (unsigned char)((v >> 16) & 0xff);
 276     p[3] = (unsigned char)((v >> 24) & 0xff);
 277 }
 278
 279 static void poly1305_init(void *ctx, const unsigned char key[16])
 280 {
 281     poly1305_internal *st = (poly1305_internal *) ctx;
 282
 283     /* h = 0 */
 284     st->h[0] = 0;
 285     st->h[1] = 0;
 286     st->h[2] = 0;
 287     st->h[3] = 0;
 288     st->h[4] = 0;
 289
 290     /* r &= 0xffffffc0ffffffc0ffffffc0fffffff */
 291     st->r[0] = U8TOU32(&key[0]) & 0x0fffffff;
 292     st->r[1] = U8TOU32(&key[4]) & 0x0ffffffc;
 293     st->r[2] = U8TOU32(&key[8]) & 0x0ffffffc;
 294     st->r[3] = U8TOU32(&key[12]) & 0x0ffffffc;
 295 }
 296
 297 static void
 298 poly1305_blocks(void *ctx, const unsigned char *inp, size_t len, u32 padbit)
 299 {
 300     poly1305_internal *st = (poly1305_internal *)ctx;
 301     u32 r0, r1, r2, r3;
 302     u32 s1, s2, s3;
 303     u32 h0, h1, h2, h3, h4, c;
 304     u64 d0, d1, d2, d3;
 305
 306     r0 = st->r[0];
 307     r1 = st->r[1];
 308     r2 = st->r[2];
 309     r3 = st->r[3];
 310
 311     s1 = r1 + (r1 >> 2);
 312     s2 = r2 + (r2 >> 2);
 313     s3 = r3 + (r3 >> 2);
 314
 315     h0 = st->h[0];
 316     h1 = st->h[1];
 317     h2 = st->h[2];
 318     h3 = st->h[3];
 319     h4 = st->h[4];
 320
 321     while (len >= POLY1305_BLOCK_SIZE) {
 322         /* h += m[i] */
 323         h0 = (u32)(d0 = (u64)h0 + U8TOU32(inp + 0));
 324         h1 = (u32)(d1 = (u64)h1 + (d0 >> 32) + U8TOU32(inp + 4));
 325         h2 = (u32)(d2 = (u64)h2 + (d1 >> 32) + U8TOU32(inp + 8));
 326         h3 = (u32)(d3 = (u64)h3 + (d2 >> 32) + U8TOU32(inp + 12));
 327         h4 += (u32)(d3 >> 32) + padbit;
 328
 329         /* h *= r "%" p, where "%" stands for "partial remainder" */
 330         d0 = ((u64)h0 * r0) +
 331              ((u64)h1 * s3) +
 332              ((u64)h2 * s2) +
 333              ((u64)h3 * s1);
 334         d1 = ((u64)h0 * r1) +
 335              ((u64)h1 * r0) +
 336              ((u64)h2 * s3) +
 337              ((u64)h3 * s2) +
 338              (h4 * s1);
 339         d2 = ((u64)h0 * r2) +
 340              ((u64)h1 * r1) +
 341              ((u64)h2 * r0) +
 342              ((u64)h3 * s3) +
 343              (h4 * s2);
 344         d3 = ((u64)h0 * r3) +
 345              ((u64)h1 * r2) +
 346              ((u64)h2 * r1) +
 347              ((u64)h3 * r0) +
 348              (h4 * s3);
 349         h4 = (h4 * r0);
 350
 351         /* last reduction step: */
 352         /* a) h4:h0 = h4<<128 + d3<<96 + d2<<64 + d1<<32 + d0 */
 353         h0 = (u32)d0;
 354         h1 = (u32)(d1 += d0 >> 32);
 355         h2 = (u32)(d2 += d1 >> 32);
 356         h3 = (u32)(d3 += d2 >> 32);
 357         h4 += (u32)(d3 >> 32);
 358         /* b) (h4:h0 += (h4:h0>>130) * 5) %= 2^130 */
 359         c = (h4 >> 2) + (h4 & ~3U);
 360         h4 &= 3;
 361         h0 += c;
 362         h1 += (c = CONSTANT_TIME_CARRY(h0,c));
 363         h2 += (c = CONSTANT_TIME_CARRY(h1,c));
 364         h3 += (c = CONSTANT_TIME_CARRY(h2,c));   /* doesn't overflow */
 365
 366         inp += POLY1305_BLOCK_SIZE;
 367         len -= POLY1305_BLOCK_SIZE;
 368     }
 369
 370     st->h[0] = h0;
 371     st->h[1] = h1;
 372     st->h[2] = h2;
 373     st->h[3] = h3;
 374     st->h[4] = h4;
 375 }
 376
 377 static void poly1305_emit(void *ctx, unsigned char mac[16],
 378                           const u32 nonce[4])
 379 {
 380     poly1305_internal *st = (poly1305_internal *) ctx;
 381     u32 h0, h1, h2, h3, h4;
 382     u32 g0, g1, g2, g3, g4;
 383     u64 t;
 384     u32 mask;
 385
 386     h0 = st->h[0];
 387     h1 = st->h[1];
 388     h2 = st->h[2];
 389     h3 = st->h[3];
 390     h4 = st->h[4];
 391
 392     /* compute h + -p */
 393     g0 = (u32)(t = (u64)h0 + 5);
 394     g1 = (u32)(t = (u64)h1 + (t >> 32));
 395     g2 = (u32)(t = (u64)h2 + (t >> 32));
 396     g3 = (u32)(t = (u64)h3 + (t >> 32));
 397     g4 = h4 + (u32)(t >> 32);
 398
 399     /* if there was carry into 130th bit, h3:h0 = g3:g0 */
 400     mask = 0 - (g4 >> 2);
 401     g0 &= mask;
 402     g1 &= mask;
 403     g2 &= mask;
 404     g3 &= mask;
 405     mask = ~mask;
 406     h0 = (h0 & mask) | g0;
 407     h1 = (h1 & mask) | g1;
 408     h2 = (h2 & mask) | g2;
 409     h3 = (h3 & mask) | g3;
 410
 411     /* mac = (h + nonce) % (2^128) */
 412     h0 = (u32)(t = (u64)h0 + nonce[0]);
 413     h1 = (u32)(t = (u64)h1 + (t >> 32) + nonce[1]);
 414     h2 = (u32)(t = (u64)h2 + (t >> 32) + nonce[2]);
 415     h3 = (u32)(t = (u64)h3 + (t >> 32) + nonce[3]);
 416
 417     U32TO8(mac + 0, h0);
 418     U32TO8(mac + 4, h1);
 419     U32TO8(mac + 8, h2);
 420     U32TO8(mac + 12, h3);
 421 }
 422 # endif
 423 #else
 424 int poly1305_init(void *ctx, const unsigned char key[16], void *func);
 425 void poly1305_blocks(void *ctx, const unsigned char *inp, size_t len,
 426                      unsigned int padbit);
 427 void poly1305_emit(void *ctx, unsigned char mac[16],
 428                    const unsigned int nonce[4]);
 429 #endif
 430
 431 void Poly1305_Init(POLY1305 *ctx, const unsigned char key[32])
 432 {
 433     ctx->nonce[0] = U8TOU32(&key[16]);
 434     ctx->nonce[1] = U8TOU32(&key[20]);
 435     ctx->nonce[2] = U8TOU32(&key[24]);
 436     ctx->nonce[3] = U8TOU32(&key[28]);
 437
 438 #ifndef POLY1305_ASM
 439     poly1305_init(ctx->opaque, key);
 440 #else
 441     /*
 442      * Unlike reference poly1305_init assembly counterpart is expected
 443      * to return a value: non-zero if it initializes ctx->func, and zero
 444      * otherwise. Latter is to simplify assembly in cases when there no
 445      * multiple code paths to switch between.
 446      */
 447     if (!poly1305_init(ctx->opaque, key, &ctx->func)) {
 448         ctx->func.blocks = poly1305_blocks;
 449         ctx->func.emit = poly1305_emit;
 450     }
 451 #endif
 452
 453     ctx->num = 0;
 454
 455 }
 456
 457 #ifdef POLY1305_ASM
 458 /*
 459  * This "eclipses" poly1305_blocks and poly1305_emit, but it's
 460  * conscious choice imposed by -Wshadow compiler warnings.
 461  */
 462 # define poly1305_blocks (*poly1305_blocks_p)
 463 # define poly1305_emit   (*poly1305_emit_p)
 464 #endif
 465
 466 void Poly1305_Update(POLY1305 *ctx, const unsigned char *inp, size_t len)
 467 {
 468 #ifdef POLY1305_ASM
 469     /*
 470      * As documented, poly1305_blocks is never called with input
 471      * longer than single block and padbit argument set to 0. This
 472      * property is fluently used in assembly modules to optimize
 473      * padbit handling on loop boundary.
 474      */
 475     poly1305_blocks_f poly1305_blocks_p = ctx->func.blocks;
 476 #endif
 477     size_t rem, num;
 478
 479     if ((num = ctx->num)) {
 480         rem = POLY1305_BLOCK_SIZE - num;
 481         if (len >= rem) {
 482             memcpy(ctx->data + num, inp, rem);
 483             poly1305_blocks(ctx->opaque, ctx->data, POLY1305_BLOCK_SIZE, 1);
 484             inp += rem;
 485             len -= rem;
 486         } else {
 487             /* Still not enough data to process a block. */
 488             memcpy(ctx->data + num, inp, len);
 489             ctx->num = num + len;
 490             return;
 491         }
 492     }
 493
 494     rem = len % POLY1305_BLOCK_SIZE;
 495     len -= rem;
 496
 497     if (len >= POLY1305_BLOCK_SIZE) {
 498         poly1305_blocks(ctx->opaque, inp, len, 1);
 499         inp += len;
 500     }
 501
 502     if (rem)
 503         memcpy(ctx->data, inp, rem);
 504
 505     ctx->num = rem;
 506 }
 507
 508 void Poly1305_Final(POLY1305 *ctx, unsigned char mac[16])
 509 {
 510 #ifdef POLY1305_ASM
 511     poly1305_blocks_f poly1305_blocks_p = ctx->func.blocks;
 512     poly1305_emit_f poly1305_emit_p = ctx->func.emit;
 513 #endif
 514     size_t num;
 515
 516     if ((num = ctx->num)) {
 517         ctx->data[num++] = 1;   /* pad bit */
 518         while (num < POLY1305_BLOCK_SIZE)
 519             ctx->data[num++] = 0;
 520         poly1305_blocks(ctx->opaque, ctx->data, POLY1305_BLOCK_SIZE, 0);
 521     }
 522
 523     poly1305_emit(ctx->opaque, mac, ctx->nonce);
 524
 525     /* zero out the state */
 526     memset(ctx, 0, sizeof(*ctx));
 527 }
 528
 529 #ifdef SELFTEST
 530 #include <stdio.h>
 531
 532 struct poly1305_test {
 533     const char *inputhex;
 534     const char *keyhex;
 535     const char *outhex;
 536 };
 537
 538 static const struct poly1305_test poly1305_tests[] = {
 539     /*
 540      * RFC7539
 541      */
 542     {
 543      "43727970746f6772617068696320466f72756d2052657365617263682047726f"
 544      "7570",
 545      "85d6be7857556d337f4452fe42d506a8""0103808afb0db2fd4abff6af4149f51b",
 546      "a8061dc1305136c6c22b8baf0c0127a9"
 547     },
 548     /*
 549      * test vectors from "The Poly1305-AES message-authentication code"
 550      */
 551     {
 552      "f3f6",
 553      "851fc40c3467ac0be05cc20404f3f700""580b3b0f9447bb1e69d095b5928b6dbc",
 554      "f4c633c3044fc145f84f335cb81953de"
 555     },
 556     {
 557      "",
 558      "a0f3080000f46400d0c7e9076c834403""dd3fab2251f11ac759f0887129cc2ee7",
 559      "dd3fab2251f11ac759f0887129cc2ee7"
 560     },
 561     {
 562      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
 563      "48443d0bb0d21109c89a100b5ce2c208""83149c69b561dd88298a1798b10716ef",
 564      "0ee1c16bb73f0f4fd19881753c01cdbe"
 565     },
 566     {
 567      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 568      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9",
 569      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 570      "5154ad0d2cb26e01274fc51148491f1b"
 571     },
 572     /*
 573      * self-generated
 574      */
 575     {
 576      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 577      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af",
 578      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 579      "812059a5da198637cac7c4a631bee466"
 580     },
 581     {
 582      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 583      "990c62e48b8018b2c3e4a0fa3134cb67",
 584      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 585      "5b88d7f6228b11e2e28579a5c0c1f761"
 586     },
 587     {
 588      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 589      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 590      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
 591      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 592      "bbb613b2b6d753ba07395b916aaece15"
 593     },
 594     {
 595      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 596      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 597      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 598      "663cea190ffb83d89593f3f476b6bc24",
 599      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 600      "c794d7057d1778c4bbee0a39b3d97342"
 601     },
 602     {
 603      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 604      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 605      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 606      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
 607      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 608      "ffbcb9b371423152d7fca5ad042fbaa9"
 609     },
 610     {
 611      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 612      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 613      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 614      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
 615      "812059a5da198637cac7c4a631bee466",
 616      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 617      "069ed6b8ef0f207b3e243bb1019fe632"
 618     },
 619     {
 620      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 621      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 622      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 623      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
 624      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761",
 625      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 626      "cca339d9a45fa2368c2c68b3a4179133"
 627     },
 628     {
 629      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 630      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 631      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 632      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
 633      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761"
 634      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 635      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 636      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 637      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136",
 638      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 639      "53f6e828a2f0fe0ee815bf0bd5841a34"
 640     },
 641     {
 642      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 643      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 644      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 645      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
 646      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761"
 647      "ab0812724a7f1e342742cbed374d94d136c6b8795d45b3819830f2c04491faf0"
 648      "990c62e48b8018b2c3e4a0fa3134cb67fa83e158c994d961c4cb21095c1bf9af"
 649      "48443d0bb0d21109c89a100b5ce2c20883149c69b561dd88298a1798b10716ef"
 650      "663cea190ffb83d89593f3f476b6bc24d7e679107ea26adb8caf6652d0656136"
 651      "812059a5da198637cac7c4a631bee4665b88d7f6228b11e2e28579a5c0c1f761",
 652      "12976a08c4426d0ce8a82407c4f48207""80f8c20aa71202d1e29179cbcb555a57",
 653      "b846d44e9bbd53cedffbfbb6b7fa4933"
 654     },
 655     {
 656     /*
 657      * poly1305_ieee754.c failed this in final stage
 658      */
 659      "842364e156336c0998b933a6237726180d9e3fdcbde4cd5d17080fc3beb49614"
 660      "d7122c037463ff104d73f19c12704628d417c4c54a3fe30d3c3d7714382d43b0"
 661      "382a50a5dee54be844b076e8df88201a1cd43b90eb21643fa96f39b518aa8340"
 662      "c942ff3c31baf7c9bdbf0f31ae3fa096bf8c63030609829fe72e179824890bc8"
 663      "e08c315c1cce2a83144dbbff09f74e3efc770b54d0984a8f19b14719e6363564"
 664      "1d6b1eedf63efbf080e1783d32445412114c20de0b837a0dfa33d6b82825fff4"
 665      "4c9a70ea54ce47f07df698e6b03323b53079364a5fc3e9dd034392bdde86dccd"
 666      "da94321c5e44060489336cb65bf3989c36f7282c2f5d2b882c171e74",
 667      "95d5c005503e510d8cd0aa072c4a4d06""6eabc52d11653df47fbf63ab198bcc26",
 668      "f248312e578d9d58f8b7bb4d19105431"
 669     },
 670     /*
 671      * AVX2 in poly1305-x86.pl failed this with 176+32 split
 672      */
 673     {
 674     "248ac31085b6c2adaaa38259a0d7192c5c35d1bb4ef39ad94c38d1c82479e2dd"
 675     "2159a077024b0589bc8a20101b506f0a1ad0bbab76e83a83f1b94be6beae74e8"
 676     "74cab692c5963a75436b776121ec9f62399a3e66b2d22707dae81933b6277f3c"
 677     "8516bcbe26dbbd86f373103d7cf4cad1888c952118fbfbd0d7b4bedc4ae4936a"
 678     "ff91157e7aa47c54442ea78d6ac251d324a0fbe49d89cc3521b66d16e9c66a37"
 679     "09894e4eb0a4eedc4ae19468e66b81f2"
 680     "71351b1d921ea551047abcc6b87a901fde7db79fa1818c11336dbc07244a40eb",
 681     "000102030405060708090a0b0c0d0e0f""00000000000000000000000000000000",
 682     "bc939bc5281480fa99c6d68c258ec42f"
 683     },
 684     /*
 685      * test vectors from Google
 686      */
 687     {
 688      "",
 689      "c8afaac331ee372cd6082de134943b17""4710130e9f6fea8d72293850a667d86c",
 690      "4710130e9f6fea8d72293850a667d86c",
 691     },
 692     {
 693      "48656c6c6f20776f726c6421",
 694      "746869732069732033322d6279746520""6b657920666f7220506f6c7931333035",
 695      "a6f745008f81c916a20dcc74eef2b2f0"
 696     },
 697     {
 698      "0000000000000000000000000000000000000000000000000000000000000000",
 699      "746869732069732033322d6279746520""6b657920666f7220506f6c7931333035",
 700      "49ec78090e481ec6c26b33b91ccc0307"
 701     },
 702     {
 703      "89dab80b7717c1db5db437860a3f70218e93e1b8f461fb677f16f35f6f87e2a9"
 704      "1c99bc3a47ace47640cc95c345be5ecca5a3523c35cc01893af0b64a62033427"
 705      "0372ec12482d1b1e363561698a578b359803495bb4e2ef1930b17a5190b580f1"
 706      "41300df30adbeca28f6427a8bc1a999fd51c554a017d095d8c3e3127daf9f595",
 707      "2d773be37adb1e4d683bf0075e79c4ee""037918535a7f99ccb7040fb5f5f43aea",
 708      "c85d15ed44c378d6b00e23064c7bcd51"
 709     },
 710     {
 711      "000000000000000b1703030200000000"
 712      "06db1f1f368d696a810a349c0c714c9a5e7850c2407d721acded95e018d7a852"
 713      "66a6e1289cdb4aeb18da5ac8a2b0026d24a59ad485227f3eaedbb2e7e35e1c66"
 714      "cd60f9abf716dcc9ac42682dd7dab287a7024c4eefc321cc0574e16793e37cec"
 715      "03c5bda42b54c114a80b57af26416c7be742005e20855c73e21dc8e2edc9d435"
 716      "cb6f6059280011c270b71570051c1c9b3052126620bc1e2730fa066c7a509d53"
 717      "c60e5ae1b40aa6e39e49669228c90eecb4a50db32a50bc49e90b4f4b359a1dfd"
 718      "11749cd3867fcf2fb7bb6cd4738f6a4ad6f7ca5058f7618845af9f020f6c3b96"
 719      "7b8f4cd4a91e2813b507ae66f2d35c18284f7292186062e10fd5510d18775351"
 720      "ef334e7634ab4743f5b68f49adcab384d3fd75f7390f4006ef2a295c8c7a076a"
 721      "d54546cd25d2107fbe1436c840924aaebe5b370893cd63d1325b8616fc481088"
 722      "6bc152c53221b6df373119393255ee72bcaa880174f1717f9184fa91646f17a2"
 723      "4ac55d16bfddca9581a92eda479201f0edbf633600d6066d1ab36d5d2415d713"
 724      "51bbcd608a25108d25641992c1f26c531cf9f90203bc4cc19f5927d834b0a471"
 725      "16d3884bbb164b8ec883d1ac832e56b3918a98601a08d171881541d594db399c"
 726      "6ae6151221745aec814c45b0b05b565436fd6f137aa10a0c0b643761dbd6f9a9"
 727      "dcb99b1a6e690854ce0769cde39761d82fcdec15f0d92d7d8e94ade8eb83fbe0",
 728      "99e5822dd4173c995e3dae0ddefb9774""3fde3b080134b39f76e9bf8d0e88d546",
 729      "2637408fe13086ea73f971e3425e2820"
 730     },
 731     /*
 732      * test vectors from Andrew Moon
 733      */
 734     {   /* nacl */
 735      "8e993b9f48681273c29650ba32fc76ce48332ea7164d96a4476fb8c531a1186a"
 736      "c0dfc17c98dce87b4da7f011ec48c97271d2c20f9b928fe2270d6fb863d51738"
 737      "b48eeee314a7cc8ab932164548e526ae90224368517acfeabd6bb3732bc0e9da"
 738      "99832b61ca01b6de56244a9e88d5f9b37973f622a43d14a6599b1f654cb45a74"
 739      "e355a5",
 740      "eea6a7251c1e72916d11c2cb214d3c25""2539121d8e234e652d651fa4c8cff880",
 741      "f3ffc7703f9400e52a7dfb4b3d3305d9"
 742     },
 743     {   /* wrap 2^130-5 */
 744      "ffffffffffffffffffffffffffffffff",
 745      "02000000000000000000000000000000""00000000000000000000000000000000",
 746      "03000000000000000000000000000000"
 747     },
 748     {   /* wrap 2^128 */
 749      "02000000000000000000000000000000",
 750      "02000000000000000000000000000000""ffffffffffffffffffffffffffffffff",
 751      "03000000000000000000000000000000"
 752     },
 753     {   /* limb carry */
 754      "fffffffffffffffffffffffffffffffff0ffffffffffffffffffffffffffffff"
 755      "11000000000000000000000000000000",
 756      "01000000000000000000000000000000""00000000000000000000000000000000",
 757      "05000000000000000000000000000000"
 758     },
 759     {   /* 2^130-5 */
 760      "fffffffffffffffffffffffffffffffffbfefefefefefefefefefefefefefefe"
 761      "01010101010101010101010101010101",
 762      "01000000000000000000000000000000""00000000000000000000000000000000",
 763      "00000000000000000000000000000000"
 764     },
 765     {   /* 2^130-6 */
 766      "fdffffffffffffffffffffffffffffff",
 767      "02000000000000000000000000000000""00000000000000000000000000000000",
 768      "faffffffffffffffffffffffffffffff"
 769     },
 770     {   /* 5*H+L reduction intermediate */
 771      "e33594d7505e43b900000000000000003394d7505e4379cd0100000000000000"
 772      "0000000000000000000000000000000001000000000000000000000000000000",
 773      "01000000000000000400000000000000""00000000000000000000000000000000",
 774      "14000000000000005500000000000000"
 775     },
 776     {   /* 5*H+L reduction final */
 777      "e33594d7505e43b900000000000000003394d7505e4379cd0100000000000000"
 778      "00000000000000000000000000000000",
 779      "01000000000000000400000000000000""00000000000000000000000000000000",
 780      "13000000000000000000000000000000"
 781     }
 782 };
 783
 784 static unsigned char hex_digit(char h)
 785 {
 786     if (h >= '0' && h <= '9')
 787         return h - '0';
 788     else if (h >= 'a' && h <= 'f')
 789         return h - 'a' + 10;
 790     else if (h >= 'A' && h <= 'F')
 791         return h - 'A' + 10;
 792     else
 793         abort();
 794 }
 795
 796 static void hex_decode(unsigned char *out, const char *hex)
 797 {
 798     size_t j = 0;
 799
 800     while (*hex != 0) {
 801         unsigned char v = hex_digit(*hex++);
 802         v <<= 4;
 803         v |= hex_digit(*hex++);
 804         out[j++] = v;
 805     }
 806 }
 807
 808 static void hexdump(unsigned char *a, size_t len)
 809 {
 810     size_t i;
 811
 812     for (i = 0; i < len; i++)
 813         printf("%02x", a[i]);
 814 }
 815
 816 int main()
 817 {
 818     static const unsigned num_tests =
 819         sizeof(poly1305_tests) / sizeof(struct poly1305_test);
 820     unsigned i;
 821     unsigned char key[32], out[16], expected[16];
 822     POLY1305 poly1305;
 823
 824     for (i = 0; i < num_tests; i++) {
 825         const struct poly1305_test *test = &poly1305_tests[i];
 826         unsigned char *in;
 827         size_t inlen = strlen(test->inputhex);
 828
 829         if (strlen(test->keyhex) != sizeof(key) * 2 ||
 830             strlen(test->outhex) != sizeof(out) * 2 || (inlen & 1) == 1)
 831             return 1;
 832
 833         inlen /= 2;
 834
 835         hex_decode(key, test->keyhex);
 836         hex_decode(expected, test->outhex);
 837
 838         in = malloc(inlen);
 839
 840         hex_decode(in, test->inputhex);
 841
 842         Poly1305_Init(&poly1305, key);
 843         Poly1305_Update(&poly1305, in, inlen);
 844         Poly1305_Final(&poly1305, out);
 845
 846         if (memcmp(out, expected, sizeof(expected)) != 0) {
 847             printf("Poly1305 test #%d failed.\n", i);
 848             printf("got:      ");
 849             hexdump(out, sizeof(out));
 850             printf("\nexpected: ");
 851             hexdump(expected, sizeof(expected));
 852             printf("\n");
 853             return 1;
 854         }
 855
 856         if (inlen > 16) {
 857             Poly1305_Init(&poly1305, key);
 858             Poly1305_Update(&poly1305, in, 1);
 859             Poly1305_Update(&poly1305, in+1, inlen-1);
 860             Poly1305_Final(&poly1305, out);
 861
 862             if (memcmp(out, expected, sizeof(expected)) != 0) {
 863                 printf("Poly1305 test #%d/1+(N-1) failed.\n", i);
 864                 printf("got:      ");
 865                 hexdump(out, sizeof(out));
 866                 printf("\nexpected: ");
 867                 hexdump(expected, sizeof(expected));
 868                 printf("\n");
 869                 return 1;
 870             }
 871         }
 872
 873         if (inlen > 32) {
 874             size_t half = inlen / 2;
 875
 876             Poly1305_Init(&poly1305, key);
 877             Poly1305_Update(&poly1305, in, half);
 878             Poly1305_Update(&poly1305, in+half, inlen-half);
 879             Poly1305_Final(&poly1305, out);
 880
 881             if (memcmp(out, expected, sizeof(expected)) != 0) {
 882                 printf("Poly1305 test #%d/2 failed.\n", i);
 883                 printf("got:      ");
 884                 hexdump(out, sizeof(out));
 885                 printf("\nexpected: ");
 886                 hexdump(expected, sizeof(expected));
 887                 printf("\n");
 888                 return 1;
 889             }
 890
 891             for (half = 16; half < inlen; half += 16) {
 892                 Poly1305_Init(&poly1305, key);
 893                 Poly1305_Update(&poly1305, in, half);
 894                 Poly1305_Update(&poly1305, in+half, inlen-half);
 895                 Poly1305_Final(&poly1305, out);
 896
 897                 if (memcmp(out, expected, sizeof(expected)) != 0) {
 898                     printf("Poly1305 test #%d/%d+%d failed.\n",
 899                                            i, half, inlen-half);
 900                     printf("got:      ");
 901                     hexdump(out, sizeof(out));
 902                     printf("\nexpected: ");
 903                     hexdump(expected, sizeof(expected));
 904                     printf("\n");
 905                     return 1;
 906                 }
 907             }
 908         }
 909
 910         free(in);
 911     }
 912
 913     printf("PASS\n");
 914
 915 # ifdef OPENSSL_CPUID_OBJ
 916     {
 917         unsigned char buf[8192];
 918         unsigned long long stopwatch;
 919         unsigned long long OPENSSL_rdtsc();
 920
 921         memset (buf,0x55,sizeof(buf));
 922         memset (key,0xAA,sizeof(key));
 923
 924         Poly1305_Init(&poly1305, key);
 925
 926         for (i=0;i<100000;i++)
 927             Poly1305_Update(&poly1305,buf,sizeof(buf));
 928
 929         stopwatch = OPENSSL_rdtsc();
 930         for (i=0;i<10000;i++)
 931             Poly1305_Update(&poly1305,buf,sizeof(buf));
 932         stopwatch = OPENSSL_rdtsc() - stopwatch;
 933
 934         printf("%g\n",stopwatch/(double)(i*sizeof(buf)));
 935
 936         stopwatch = OPENSSL_rdtsc();
 937         for (i=0;i<10000;i++) {
 938             Poly1305_Init(&poly1305, key);
 939             Poly1305_Update(&poly1305,buf,16);
 940             Poly1305_Final(&poly1305,buf);
 941         }
 942         stopwatch = OPENSSL_rdtsc() - stopwatch;
 943
 944         printf("%g\n",stopwatch/(double)(i));
 945     }
 946 # endif
 947     return 0;
 948 }
 949 #endif