#### Provided proper attribution is provided, Google hereby grants permission to reproduce the tables and figures in this paper solely for use in journalistic or scholarly works.\n\n## Attention Is All You Need\n\n\n**Ashish Vaswani[∗]**\nGoogle Brain\n```\navaswani@google.com\n\n```\n**Llion Jones[∗]**\nGoogle Research\n```\n llion@google.com\n\n```\n\n**Noam Shazeer[∗]**\nGoogle Brain\n```\nnoam@google.com\n\n```\n\n

{'metadata': {'format': 'PDF 1.5', 'title': '', 'author': '', 'subject': '', 'keywords': '', 'creator': 'LaTeX with hyperref', 'producer': 'pdfTeX-1.40.25', 'creationDate': 'D:20240410211143Z', 'modDate': 'D:20240410211143Z', 'trapped': '', 'encryption': None, 'file_path': '/content/document.pdf', 'page_count': 15, 'page': 3},'toc_items': [[2, 'Encoder and Decoder Stacks', 3], [2, 'Attention', 3]],'tables': [],'images': [{'number': 0,'bbox': (196.5590057373047, 72.00198364257812, 415.43902587890625, 394.4179992675781),'transform': (218.8800048828125, 0.0, -0.0, 322.416015625, 196.5590057373047, 72.00198364257812),'width': 1520,'height': 2239,'colorspace': 3,'cs-name': 'DeviceRGB','xres': 96,'yres': 96,'bpc': 8,'size': 264957}],'graphics': [],'text': '![](/content/images/document.pdf-2-0.jpg)\n\nFigure 1: The Transformer - model architecture.\n\nThe Transformer follows this overall architecture using stacked self-attention and point-wise, fully\nconnected layers for both the encoder and decoder, shown in the left and right halves of Figure 1,\nrespectively.\n\n**3.1** **Encoder and Decoder Stacks**\n\n**Encoder:** The encoder is composed of a stack of N = 6 identical''words': []}]

'graphics': [],'text': 'Table 1: Maximum path lengths,''words': [(107.69100189208984,71.19241333007812,129.12155151367188,81.05488586425781,'Table',0,0,0), (131.31829833984375,71.19241333007812,138.9141845703125,81.05488586425781,'1:',0,0,1), (144.78195190429688,71.19241333007812,185.4658203125,81.05488586425781,'Maximum',0,0,2), (187.65281677246094,71.19241333007812,204.46530151367188,81.05488586425781,'path',0,0,3),