AES-NI backport from HEAD. Note that e_aes.c doesn't implement all modes
[openssl.git] / crypto / modes / ctr128.c
1 /* ====================================================================
2  * Copyright (c) 2008 The OpenSSL Project.  All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  *
8  * 1. Redistributions of source code must retain the above copyright
9  *    notice, this list of conditions and the following disclaimer. 
10  *
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in
13  *    the documentation and/or other materials provided with the
14  *    distribution.
15  *
16  * 3. All advertising materials mentioning features or use of this
17  *    software must display the following acknowledgment:
18  *    "This product includes software developed by the OpenSSL Project
19  *    for use in the OpenSSL Toolkit. (http://www.openssl.org/)"
20  *
21  * 4. The names "OpenSSL Toolkit" and "OpenSSL Project" must not be used to
22  *    endorse or promote products derived from this software without
23  *    prior written permission. For written permission, please contact
24  *    openssl-core@openssl.org.
25  *
26  * 5. Products derived from this software may not be called "OpenSSL"
27  *    nor may "OpenSSL" appear in their names without prior written
28  *    permission of the OpenSSL Project.
29  *
30  * 6. Redistributions of any form whatsoever must retain the following
31  *    acknowledgment:
32  *    "This product includes software developed by the OpenSSL Project
33  *    for use in the OpenSSL Toolkit (http://www.openssl.org/)"
34  *
35  * THIS SOFTWARE IS PROVIDED BY THE OpenSSL PROJECT ``AS IS'' AND ANY
36  * EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
37  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
38  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE OpenSSL PROJECT OR
39  * ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
40  * SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
41  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
42  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
43  * HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
44  * STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
45  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
46  * OF THE POSSIBILITY OF SUCH DAMAGE.
47  * ====================================================================
48  *
49  */
50
51 #include "modes.h"
52 #include <string.h>
53
54 #ifndef MODES_DEBUG
55 # ifndef NDEBUG
56 #  define NDEBUG
57 # endif
58 #endif
59 #include <assert.h>
60
61 typedef unsigned int u32;
62 typedef unsigned char u8;
63
64 #define STRICT_ALIGNMENT
65 #if defined(__i386)    || defined(__i386__)    || \
66     defined(__x86_64)  || defined(__x86_64__)  || \
67     defined(_M_IX86)   || defined(_M_AMD64)    || defined(_M_X64) || \
68     defined(__s390__)  || defined(__s390x__)
69 #  undef STRICT_ALIGNMENT
70 #endif
71
72 /* NOTE: the IV/counter CTR mode is big-endian.  The code itself
73  * is endian-neutral. */
74
75 /* increment counter (128-bit int) by 1 */
76 static void ctr128_inc(unsigned char *counter) {
77         u32 n=16;
78         u8  c;
79
80         do {
81                 --n;
82                 c = counter[n];
83                 ++c;
84                 counter[n] = c;
85                 if (c) return;
86         } while (n);
87 }
88
89 #if !defined(OPENSSL_SMALL_FOOTPRINT)
90 static void ctr128_inc_aligned(unsigned char *counter) {
91         size_t *data,c,n;
92         const union { long one; char little; } is_endian = {1};
93
94         if (is_endian.little) {
95                 ctr128_inc(counter);
96                 return;
97         }
98
99         data = (size_t *)counter;
100         n = 16/sizeof(size_t);
101         do {
102                 --n;
103                 c = data[n];
104                 ++c;
105                 data[n] = c;
106                 if (c) return;
107         } while (n);
108 }
109 #endif
110
111 /* The input encrypted as though 128bit counter mode is being
112  * used.  The extra state information to record how much of the
113  * 128bit block we have used is contained in *num, and the
114  * encrypted counter is kept in ecount_buf.  Both *num and
115  * ecount_buf must be initialised with zeros before the first
116  * call to CRYPTO_ctr128_encrypt().
117  *
118  * This algorithm assumes that the counter is in the x lower bits
119  * of the IV (ivec), and that the application has full control over
120  * overflow and the rest of the IV.  This implementation takes NO
121  * responsability for checking that the counter doesn't overflow
122  * into the rest of the IV when incremented.
123  */
124 void CRYPTO_ctr128_encrypt(const unsigned char *in, unsigned char *out,
125                         size_t len, const void *key,
126                         unsigned char ivec[16], unsigned char ecount_buf[16],
127                         unsigned int *num, block128_f block)
128 {
129         unsigned int n;
130         size_t l=0;
131
132         assert(in && out && key && ecount_buf && num);
133         assert(*num < 16);
134
135         n = *num;
136
137 #if !defined(OPENSSL_SMALL_FOOTPRINT)
138         if (16%sizeof(size_t) == 0) do { /* always true actually */
139                 while (n && len) {
140                         *(out++) = *(in++) ^ ecount_buf[n];
141                         --len;
142                         n = (n+1) % 16;
143                 }
144
145 #if defined(STRICT_ALIGNMENT)
146                 if (((size_t)in|(size_t)out|(size_t)ivec)%sizeof(size_t) != 0)
147                         break;
148 #endif
149                 while (len>=16) {
150                         (*block)(ivec, ecount_buf, key);
151                         ctr128_inc_aligned(ivec);
152                         for (; n<16; n+=sizeof(size_t))
153                                 *(size_t *)(out+n) =
154                                 *(size_t *)(in+n) ^ *(size_t *)(ecount_buf+n);
155                         len -= 16;
156                         out += 16;
157                         in  += 16;
158                         n = 0;
159                 }
160                 if (len) {
161                         (*block)(ivec, ecount_buf, key);
162                         ctr128_inc_aligned(ivec);
163                         while (len--) {
164                                 out[n] = in[n] ^ ecount_buf[n];
165                                 ++n;
166                         }
167                 }
168                 *num = n;
169                 return;
170         } while(0);
171         /* the rest would be commonly eliminated by x86* compiler */
172 #endif
173         while (l<len) {
174                 if (n==0) {
175                         (*block)(ivec, ecount_buf, key);
176                         ctr128_inc(ivec);
177                 }
178                 out[l] = in[l] ^ ecount_buf[n];
179                 ++l;
180                 n = (n+1) % 16;
181         }
182
183         *num=n;
184 }
185
186 #define GETU32(p)       ((u32)(p)[0]<<24|(u32)(p)[1]<<16|(u32)(p)[2]<<8|(u32)(p)[3])
187 #define PUTU32(p,v)     ((p)[0]=(u8)((v)>>24),(p)[1]=(u8)((v)>>16),(p)[2]=(u8)((v)>>8),(p)[3]=(u8)(v))
188
189 /* increment upper 96 bits of 128-bit counter by 1 */
190 static void ctr96_inc(unsigned char *counter) {
191         u32 n=12;
192         u8  c;
193
194         do {
195                 --n;
196                 c = counter[n];
197                 ++c;
198                 counter[n] = c;
199                 if (c) return;
200         } while (n);
201 }
202
203 void CRYPTO_ctr128_encrypt_ctr32(const unsigned char *in, unsigned char *out,
204                         size_t len, const void *key,
205                         unsigned char ivec[16], unsigned char ecount_buf[16],
206                         unsigned int *num, ctr128_f func)
207 {
208         unsigned int n,ctr32;
209
210         assert(in && out && key && ecount_buf && num);
211         assert(*num < 16);
212
213         n = *num;
214
215         while (n && len) {
216                 *(out++) = *(in++) ^ ecount_buf[n];
217                 --len;
218                 n = (n+1) % 16;
219         }
220
221         ctr32 = GETU32(ivec+12);
222         while (len>=16) {
223                 size_t blocks = len/16;
224                 /*
225                  * 1<<28 is just a not-so-small yet not-so-large number...
226                  * Below condition is practically never met, but it has to
227                  * be checked for code correctness.
228                  */
229                 if (sizeof(size_t)>sizeof(unsigned int) && blocks>(1U<<28))
230                         blocks = (1U<<28);
231                 /*
232                  * As (*func) operates on 32-bit counter, caller
233                  * has to handle overflow. 'if' below detects the
234                  * overflow, which is then handled by limiting the
235                  * amount of blocks to the exact overflow point...
236                  */
237                 ctr32 += (u32)blocks;
238                 if (ctr32 < blocks) {
239                         blocks -= ctr32;
240                         ctr32   = 0;
241                 }
242                 (*func)(in,out,blocks,key,ivec);
243                 /* (*ctr) does not update ivec, caller does: */
244                 PUTU32(ivec+12,ctr32);
245                 /* ... overflow was detected, propogate carry. */
246                 if (ctr32 == 0) ctr96_inc(ivec);
247                 blocks *= 16;
248                 len -= blocks;
249                 out += blocks;
250                 in  += blocks;
251         }
252         if (len) {
253                 memset(ecount_buf,0,16);
254                 (*func)(ecount_buf,ecount_buf,1,key,ivec);
255                 ++ctr32;
256                 PUTU32(ivec+12,ctr32);
257                 if (ctr32 == 0) ctr96_inc(ivec);
258                 while (len--) {
259                         out[n] = in[n] ^ ecount_buf[n];
260                         ++n;
261                 }
262         }
263
264         *num=n;
265 }