9#include <botan/sha2_32.h>
15#if defined(BOTAN_HAS_SHA2_32_X86)
17void SHA_256::compress_digest_x86(
secure_vector<uint32_t>& digest, const uint8_t input[],
size_t blocks)
19 __m128i STATE0, STATE1;
20 __m128i MSG, TMP, MASK;
21 __m128i TMSG0, TMSG1, TMSG2, TMSG3;
22 __m128i ABEF_SAVE, CDGH_SAVE;
24 uint32_t* state = &digest[0];
26 const __m128i* input_mm =
reinterpret_cast<const __m128i*
>(input);
29 TMP = _mm_loadu_si128(
reinterpret_cast<__m128i*
>(&state[0]));
30 STATE1 = _mm_loadu_si128(
reinterpret_cast<__m128i*
>(&state[4]));
31 MASK = _mm_set_epi64x(0x0c0d0e0f08090a0bULL, 0x0405060700010203ULL);
33 TMP = _mm_shuffle_epi32(TMP, 0xB1);
34 STATE1 = _mm_shuffle_epi32(STATE1, 0x1B);
35 STATE0 = _mm_alignr_epi8(TMP, STATE1, 8);
36 STATE1 = _mm_blend_epi16(STATE1, TMP, 0xF0);
45 MSG = _mm_loadu_si128(input_mm);
46 TMSG0 = _mm_shuffle_epi8(MSG, MASK);
47 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0xE9B5DBA5B5C0FBCFULL, 0x71374491428A2F98ULL));
48 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
49 MSG = _mm_shuffle_epi32(MSG, 0x0E);
50 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
53 TMSG1 = _mm_loadu_si128(input_mm + 1);
54 TMSG1 = _mm_shuffle_epi8(TMSG1, MASK);
55 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0xAB1C5ED5923F82A4ULL, 0x59F111F13956C25BULL));
56 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
57 MSG = _mm_shuffle_epi32(MSG, 0x0E);
58 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
59 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
62 TMSG2 = _mm_loadu_si128(input_mm + 2);
63 TMSG2 = _mm_shuffle_epi8(TMSG2, MASK);
64 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x550C7DC3243185BEULL, 0x12835B01D807AA98ULL));
65 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
66 MSG = _mm_shuffle_epi32(MSG, 0x0E);
67 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
68 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
71 TMSG3 = _mm_loadu_si128(input_mm + 3);
72 TMSG3 = _mm_shuffle_epi8(TMSG3, MASK);
73 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC19BF1749BDC06A7ULL, 0x80DEB1FE72BE5D74ULL));
74 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
75 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
76 TMSG0 = _mm_add_epi32(TMSG0, TMP);
77 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
78 MSG = _mm_shuffle_epi32(MSG, 0x0E);
79 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
80 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
83 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x240CA1CC0FC19DC6ULL, 0xEFBE4786E49B69C1ULL));
84 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
85 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
86 TMSG1 = _mm_add_epi32(TMSG1, TMP);
87 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
88 MSG = _mm_shuffle_epi32(MSG, 0x0E);
89 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
90 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
93 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x76F988DA5CB0A9DCULL, 0x4A7484AA2DE92C6FULL));
94 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
95 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
96 TMSG2 = _mm_add_epi32(TMSG2, TMP);
97 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
98 MSG = _mm_shuffle_epi32(MSG, 0x0E);
99 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
100 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
103 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xBF597FC7B00327C8ULL, 0xA831C66D983E5152ULL));
104 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
105 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
106 TMSG3 = _mm_add_epi32(TMSG3, TMP);
107 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
108 MSG = _mm_shuffle_epi32(MSG, 0x0E);
109 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
110 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
113 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x1429296706CA6351ULL, 0xD5A79147C6E00BF3ULL));
114 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
115 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
116 TMSG0 = _mm_add_epi32(TMSG0, TMP);
117 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
118 MSG = _mm_shuffle_epi32(MSG, 0x0E);
119 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
120 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
123 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x53380D134D2C6DFCULL, 0x2E1B213827B70A85ULL));
124 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
125 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
126 TMSG1 = _mm_add_epi32(TMSG1, TMP);
127 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
128 MSG = _mm_shuffle_epi32(MSG, 0x0E);
129 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
130 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
133 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x92722C8581C2C92EULL, 0x766A0ABB650A7354ULL));
134 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
135 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
136 TMSG2 = _mm_add_epi32(TMSG2, TMP);
137 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
138 MSG = _mm_shuffle_epi32(MSG, 0x0E);
139 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
140 TMSG0 = _mm_sha256msg1_epu32(TMSG0, TMSG1);
143 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0xC76C51A3C24B8B70ULL, 0xA81A664BA2BFE8A1ULL));
144 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
145 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
146 TMSG3 = _mm_add_epi32(TMSG3, TMP);
147 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
148 MSG = _mm_shuffle_epi32(MSG, 0x0E);
149 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
150 TMSG1 = _mm_sha256msg1_epu32(TMSG1, TMSG2);
153 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0x106AA070F40E3585ULL, 0xD6990624D192E819ULL));
154 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
155 TMP = _mm_alignr_epi8(TMSG3, TMSG2, 4);
156 TMSG0 = _mm_add_epi32(TMSG0, TMP);
157 TMSG0 = _mm_sha256msg2_epu32(TMSG0, TMSG3);
158 MSG = _mm_shuffle_epi32(MSG, 0x0E);
159 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
160 TMSG2 = _mm_sha256msg1_epu32(TMSG2, TMSG3);
163 MSG = _mm_add_epi32(TMSG0, _mm_set_epi64x(0x34B0BCB52748774CULL, 0x1E376C0819A4C116ULL));
164 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
165 TMP = _mm_alignr_epi8(TMSG0, TMSG3, 4);
166 TMSG1 = _mm_add_epi32(TMSG1, TMP);
167 TMSG1 = _mm_sha256msg2_epu32(TMSG1, TMSG0);
168 MSG = _mm_shuffle_epi32(MSG, 0x0E);
169 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
170 TMSG3 = _mm_sha256msg1_epu32(TMSG3, TMSG0);
173 MSG = _mm_add_epi32(TMSG1, _mm_set_epi64x(0x682E6FF35B9CCA4FULL, 0x4ED8AA4A391C0CB3ULL));
174 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
175 TMP = _mm_alignr_epi8(TMSG1, TMSG0, 4);
176 TMSG2 = _mm_add_epi32(TMSG2, TMP);
177 TMSG2 = _mm_sha256msg2_epu32(TMSG2, TMSG1);
178 MSG = _mm_shuffle_epi32(MSG, 0x0E);
179 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
182 MSG = _mm_add_epi32(TMSG2, _mm_set_epi64x(0x8CC7020884C87814ULL, 0x78A5636F748F82EEULL));
183 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
184 TMP = _mm_alignr_epi8(TMSG2, TMSG1, 4);
185 TMSG3 = _mm_add_epi32(TMSG3, TMP);
186 TMSG3 = _mm_sha256msg2_epu32(TMSG3, TMSG2);
187 MSG = _mm_shuffle_epi32(MSG, 0x0E);
188 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
191 MSG = _mm_add_epi32(TMSG3, _mm_set_epi64x(0xC67178F2BEF9A3F7ULL, 0xA4506CEB90BEFFFAULL));
192 STATE1 = _mm_sha256rnds2_epu32(STATE1, STATE0, MSG);
193 MSG = _mm_shuffle_epi32(MSG, 0x0E);
194 STATE0 = _mm_sha256rnds2_epu32(STATE0, STATE1, MSG);
197 STATE0 = _mm_add_epi32(STATE0, ABEF_SAVE);
198 STATE1 = _mm_add_epi32(STATE1, CDGH_SAVE);
204 TMP = _mm_shuffle_epi32(STATE0, 0x1B);
205 STATE1 = _mm_shuffle_epi32(STATE1, 0xB1);
206 STATE0 = _mm_blend_epi16(TMP, STATE1, 0xF0);
207 STATE1 = _mm_alignr_epi8(STATE1, TMP, 8);
210 _mm_storeu_si128(
reinterpret_cast<__m128i*
>(&state[0]), STATE0);
211 _mm_storeu_si128(
reinterpret_cast<__m128i*
>(&state[4]), STATE1);
#define BOTAN_FUNC_ISA(isa)
std::vector< T, secure_allocator< T > > secure_vector