Sopra Steria

IT consulting, digital services, and transformation

AI Consultant - GenAI & NLP Public Sector, m/w/d

AI Application EngineeringUpdated on Nov 12

Full-timeRemote in Germany$59k - $90kRemote

About the Job

Requirements

A successfully completed degree in (business) computer science, mathematics, statistics, or a comparable program.
At least 3 years of professional experience implementing AI projects focused on natural language processing, ideally in consulting or the public sector, including at least 1 year of experience in Generative AI.
Substantial experience developing Generative AI solutions focused on Retrieval-Augmented Generation, chatbots, and AI agents, including prompt engineering and evaluation of large language model-based systems.
Confident use of relevant open-source frameworks such as Transformers, LangChain, LangGraph, LlamaIndex, and Haystack, as well as vector databases such as Qdrant, ChromaDB, or Weaviate.
Strong programming skills in Python; knowledge of additional languages such as Java is a plus.
Ability to communicate complex technical matters in a structured, audience-focused way, particularly in larger organizations or public institutions.
Some experience with AI tools, critical assessment of their results, and willingness to continuously develop knowledge of new technologies.
Very good German skills at C1 level or above and English skills.

Responsibilities

Design and develop generative AI solutions that provide interactive access to internal knowledge sources, particularly using Retrieval-Augmented Generation, open-source large language models, chatbots, and intelligent assistants.
Integrate and orchestrate language models, agents, and internal data sources into scalable systems.
Work closely in agile, interdisciplinary teams with data scientists, developers, and subject-matter experts.
Advise public-sector clients throughout the project lifecycle, considering data-protection requirements, regulatory frameworks, and secure use of generative models.
Take responsibility for quality and project success and actively contribute to developing the consulting portfolio.
Use AI tools actively and thoughtfully, support the development of digital processes, and present insights from data, trends, and use cases clearly to projects and teams.
Work at client sites, in company offices, and from home across Germany according to client and project needs.

Desired Qualifications

Experience in consulting or the public sector implementing AI projects focused on natural language processing.
Experience with MLOps practices or CI/CD for AI-based applications.
Knowledge of fine-tuning language models and using graph databases in Generative AI contexts.
Knowledge of programming languages such as Java.

Stellenbeschreibung

Spannende und anspruchsvolle KI-Projekte für unsere Kunden im öffentlichen Sektor
Konzeption und Entwicklung generativer AI-Lösungen zur interaktiven Bereitstellung interner Wissensquellen – insbesondere durch den Einsatz von Retrieval-Augmented Generation (RAG), Open-Source-LLMs, Chatbots und intelligenten Assistenzsystemen
Integration und Orchestrierung von Sprachmodellen, Agents und internen Datenquellen zu skalierbaren Systemen
Enge Zusammenarbeit in agilen, interdisziplinären Teams aus Data Scientists, Entwickler*innen und Fachexpert*innen
Partnerschaftliche Beratung öffentlicher Auftraggeber entlang des gesamten Projektzyklus – einschließlich der Berücksichtigung von Datenschutzanforderungen, regulatorischen Rahmenbedingungen und sicherer Nutzung generativer Modelle
Verantwortung für Qualität und Projekterfolg und aktive Mitarbeit an der Weiterentwicklung unseres Beratungsportfolios
Du setzt KI-Tools aktiv und reflektiert in deiner Arbeit ein, unterstützt die Weiterentwicklung digitaler Prozesse und bereitest Erkenntnisse aus Daten, Trends und Anwendungsfällen verständlich für Projekte und Teams auf
Beratung heißt Flexibilität: Dein Projekteinsatz richtet sich nach unseren Kunden und deiner Projektsituation – du arbeitest deutschlandweit in unseren Offices, beim Kunden vor Ort und von zu Hause

Qualifikationen

Erfolgreicher Studienabschluss der (Wirtschafts-) Informatik, Mathematik, Statisik oder eines vergleichbaren Studiengangs
Mindestens 3 Jahre Berufserfahrung in der Umsetzung von KI-Projekten mit Fokus auf NLP – idealerweise im Beratungsumfeld oder im öffentlichen Sektor; davon mindestens 1 Jahr Berufserfahrung im Bereich Generative AI
Fundierte Erfahrung in der Entwicklung von GenAI-Lösungen mit Fokus auf Retrieval-Augmented Generation (RAG), Chatbots und AI Agents – inklusive Prompt Engineering und Evaluierung LLM-basierter Systeme
Sicherer Umgang mit relevanten Open-Source-Frameworks wie Transformers, LangChain, LangGraph, LlamaIndex, Haystack sowie Vektor-Datenbanken (z. B. Qdrant, ChromaDB, Weaviate)
Sehr gute Programmierkenntnisse in Python; Kenntnisse in weiteren Sprachen wie Java sind ein Plus
Idealerweise Erfahrung mit MLOps-Praktiken oder CI/CD für AI-basierte Anwendungen
Idealerweise Kenntnisse in Bereichen wie Fine Tuning von Sprachmodellen und der Nutzung von Graphdatenbanken im Kontext GenAI
Fähigkeit zur strukturierten, zielgruppenorientierten Kommunikation komplexer technischer Sachverhalte – insbesondere in größeren Organisationen oder öffentlichen Einrichtungen
Du hast erste Erfahrungen mit KI-Tools gesammelt, ordnest deren Ergebnisse kritisch ein und bringst Lernbereitschaft mit, dein Wissen über neue Technologien kontinuierlich weiterzuentwickeln
Sehr gute Deutschkenntnisse (ab C1 Niveau) sowie Englischkenntnisse

Zusätzliche Informationen

Weiterbildung: umfangreiche fachliche und methodische Trainings inkl. Zertifizierungen sowie vielfältige Entwicklungsperspektiven innerhalb des Unternehmens
Work-Life-Balance: hybrides Arbeiten innerhalb von Deutschland und für einen begrenzten Zeitraum in definierten EU-Ländern, Familienservice, Firmenfitness sowie die Möglichkeit zu einem Sabbatical
Flexible Urlaubsgestaltung: 30 Tage Urlaub und die Möglichkeit zur individuellen Erhöhung oder Verringerung des jährlichen Urlaubs um bis zu 5 Tage
SpenditCard: Monatlich stehen dir zusätzlich zum Gehalt 50 Euro steuerfreies Guthaben zur Verfügung, die du flexibel für Shops in deiner Nähe nutzen kannst
IT-Equipment: Wir unterstützen dich bei der Ausstattung von benötigtem Zusatz-Equipment für ein optimales ortsflexibles Arbeiten
Mobilität: Firmenwagen und Dienstfahrrad per Gehaltsumwandlung sowie Bezuschussung des Deutschlandtickets
Unser Mindset: Teamspirit, offene Türen, Duzkultur, gelebte Vielfalt

Vielfalt ist eine wichtige Grundlage unserer Unternehmenskultur. Wir möchten ein inklusives Umfeld schaffen, das die Diversität all unserer 2.700 Mitarbeitenden in Deutschland und Österreich berücksichtigt und in dem du dich bestmöglich entfalten kannst. Denn wir bei Sopra Steria sind davon überzeugt, dass deine Individualität der Schlüssel zu einem nachhaltigen Unternehmenserfolg ist. 

Wir setzen uns für eine nachhaltige Zukunft ein: Ob mit konzernweiten Stipendien- und Corporate Volunteering-Programmen oder mit Projekten zur Förderung von Bildung, Chancengleichheit und digitale Inklusion – wir übernehmen Verantwortung für die Gesellschaft. Wir glauben fest daran, dass digitale Innovationen ein Schlüssel zu Gleichberechtigung, Inklusion und Klimaschutz sind.

Impressum

Salary From: 59000
Salary To: 90000

About the Company

Sopra Steria

IT consulting, digital services, and transformation

Sopra Steria provides consulting, digital services and solutions to help large organizations transform their business through technology. Its offerings cover strategy, systems integration, cloud, cyber security, software development, and managed services, designed to be delivered end to end—from assessing needs and designing a plan to implementing and operating IT systems. The company combines deep knowledge of many industries with a collaborative approach to tailor projects to each client and to deliver measurable, sustainable improvements in performance. Differentiators include its European scale (about 51,000 employees across roughly 30 countries), broad scope—from strategy to operation—and emphasis on practical outcomes that help clients stay competitive. The group’s goal is to put digital to work for its clients in a way that creates a positive, more productive future for all stakeholders.

Company size: 10,001+
Company stage: IPO
Headquarters: Paris, France
Founded: 1968

Recently Posted Jobs

Explore more opportunities at Sopra Steria

See more jobs