Hallo! Als Transformator -Lieferant habe ich viele Fragen dazu erhalten, wie Positionscodierungen in einem Transformator verwendet werden. Also dachte ich, ich würde mir einen Moment Zeit nehmen, um es für Sie auf eine Weise zu brechen, die leicht zu verstehen ist.
Lassen Sie uns zunächst darüber sprechen, was ein Transformator ist. Wenn Sie wie ich in der elektrischen Welt sind, ist ein Transformator ein Gerät, das elektrische Energie zwischen zwei oder mehr Schaltungen durch elektromagnetische Induktion überträgt. Im Kontext des maschinellen Lernens ist ein Transformator jedoch eine Art neuronaler Netzwerkarchitektur, die bei der Behandlung sequentieller Daten wie Text wirklich gut ist. Es wurde in der Arbeit eingeführt "Aufmerksamkeit ist alles, was Sie brauchen" und ist seitdem zu einem Grundnahrungsmittel bei Aufgaben der natürlichen Sprachverarbeitung geworden.
Jetzt Positionscodierungen. In einem Transformator sind die Eingabedaten normalerweise eine Abfolge von Token, wie Wörter in einem Satz. Aber hier ist die Sache: Die Transformer -Architektur selbst hat keine gebaut - in der Art und Weise, die Reihenfolge dieser Token zu verstehen. Im Gegensatz zu einigen anderen neuronalen Netzwerkarchitekturen wie wiederkehrenden neuronalen Netzwerken (RNNs), die Daten nacheinander verarbeiten, verarbeitet der Transformator alle Token in einer Sequenz gleichzeitig. Hier kommen Positionscodierungen ins Spiel.
Positionscodierungen sind eine Möglichkeit, die Positionsinformationen jedes Tokens in der Sequenz in das Modell zu injizieren. Sie werden zu den Eingangsbettungen der Token hinzugefügt. Die Idee ist, dem Modell ein Gefühl dafür zu geben, wo sich jedes Token in der Sequenz befindet.
Eine häufige Möglichkeit, Positionscodierungen zu erzeugen, besteht darin, Sinus- und Cosinusfunktionen zu verwenden. Die Positionscodierung für ein Token an Position (POS) in der Sequenz und Dimension (i) wird wie folgt berechnet:
Für auch Dimensionen ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ links (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}} \ rechts))
Für ungerade Dimensionen ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ links (\ frac {pos} {10000^{\ frac {2k} {d_ {Modell}}}} \ rechts)))
Hier ist (d_ {Modell}) die Dimension der Einbettungen des Modells. Dieser Ansatz hat mehrere Vorteile. Erstens ermöglicht es dem Modell, relative Positionen zwischen Token zu lernen. Beispielsweise hängt der Unterschied zwischen den Positionscodierungen zweier Token nur von ihren relativen Positionen ab, nicht von ihren absoluten Positionen in der Sequenz. Zweitens ist es rechnerisch effizient und kann Sequenzen der willkürlichen Länge verarbeiten.
Wie nutzt der Transformator diese Positionscodierungen? Nun, nachdem die Positionscodierungen erzeugt wurden, werden sie einfach ein Element hinzugefügt - weise zu den Token -Einbettungen. Wenn (e_ {pos}) ist also die Positionscodierung für das Token an Position (pos) und (t_ {pos}) ist das Token -Einbettung.
Sobald die Eingabe mit Positionsinformationen in den Transformator eingespeist wird, kann der Selbstaufmerksamkeitsmechanismus mit der Arbeit beginnen. Der Selbstaufmerksamkeitsmechanismus ermöglicht es dem Modell, die Bedeutung verschiedener Token in der Sequenz zu abwägen, wenn jedes Token verarbeitet wird. Mit den Positionscodierungen kann das Modell nun nicht nur die semantische Bedeutung der Token, sondern auch ihre Positionen in der Sequenz berücksichtigen.
Angenommen, Sie arbeiten an einer Textübersetzungsaufgabe. Ohne Positionscodierungen könnte das Modell Schwierigkeiten haben, die richtige Reihenfolge der Wörter in einem Satz zu verstehen. Zum Beispiel hat in englischer Sprache der Satz "Der Hund jagt die Katze" eine andere Bedeutung als "Die Katze verfolgt den Hund". Positionscodierungen helfen, das Modell zwischen diesen beiden verschiedenen Sequenzen zu unterscheiden und genauere Übersetzungen zu erzeugen.
Im Geschäft mit elektrischem Transformator befassen wir uns auch mit verschiedenen Arten von Transformatoren, um verschiedene Anforderungen zu erfüllen. Zum Beispiel haben wir das167 KVA -Telefonstangentransformator. Diese Art von Transformator ist so konzipiert, dass sie auf Telefonmasten installiert werden kann und für bestimmte Spannungsverteilungsanwendungen geeignet ist.
Wir bieten auch an20 kV drei Phasen Öl - eingetauchte Verteilungstransformatoren. Diese Transformatoren werden in drei Phasenstromsystemen verwendet und in Öl eingetaucht, um eine bessere Isolierung und Kühlung zu erzielen. Und wenn Sie nach etwas mit einer niedrigeren Spannungsbewertung suchen, unsere, unsere10 -kV -Öl - Eintauchte Verteilungstransformatorensind eine großartige Option. Sie werden in lokalen Vertriebsnetzwerken häufig verwendet.
Wenn Sie nun auf dem Markt für Transformers sind, sei es für Ihre maschinelle Lernforschung oder Ihre elektrische Infrastruktur, sind wir hier, um zu helfen. Wir haben eine breite Palette von hochwertigen Qualitätstransformatoren zur Auswahl. Unser Expertenteam kann Sie bei der Auswahl des richtigen Transformators für Ihre spezifischen Anforderungen unterstützen. Zögern Sie nicht, eine Beratung zu erreichen, und lassen Sie uns ein Gespräch über Ihre Bedürfnisse beginnen. Wir sind bereit, mit Ihnen zusammenzuarbeiten, um die besten Lösungen zu finden.
Referenzen:
- Vaswani, A., Shazer, N., Parmar, N., USzkoreit, J., Jones, L., Gomez, AN, ... & Polosukhin, I. (2017). Aufmerksamkeit ist alles, was Sie brauchen. Fortschritte in der Verarbeitung von neuronalen Informationsverarbeitungssystemen,