SAP Finug hosted by Qentinel tilaisuus 12.3.2019 - teemana "Varmista päivitysten onnistuminen SAP ympäristössä" Miten teillä hoituvat onnistuneet versiopäivitykset SAP ympäristössä? Miten varmistetaan päästä-päähän liiketoimintaprosessien toimintavarmuus? Entä asiakaskokemuksen tyytyväisyyden varmistaminen, tilausten onnistuminen webbikaupassa, kun back-endinä on SAP?Qentinel on ratkaissut laadunvarmistuksen robottipohjaisella testiautomaatiolla, jolloin päivitykset ja muutokset ovat hallinnassa.

2. Ohjelma 12.3.2019
• 9:00 Tilaisuuden avaus, Ulla Rantanen, Qentinel. Musiikkiesitys Alina
Ainola ja Miika Vintturi, Sibelius Akatemia
• 9:10 SAP Finugin tervehdys, Heini Kämi, Cargotec
• 9:20 Tervetuloa, johdanto ja asiakastutkimuksen tulokset - 10 kriittisintä
menestystekijää SAP päivityksissä Jyrki Rehumäki, Qentinel
• 9:45 Agilon varastohallintalaitteen testauksen automatisointi – powered by
Qentinel Pace, Riku Lammintausta, Konecranes
• 10:25 – 10:50 Tauko
• 10:50 E2E-laadunvarmistuksen asiakascase: my.metso.com – SAP, Marko
Rajala, Qentinel
• 11:20 Qentinel Pace robottipohjainen testaus - nopea käyttöönotto End-to-
End testauksessa - SAP Back-end, Nikhil Sharma, Qentinel
• 11:50 Tilaisuuden yhteenveto, Jyrki Rehumäki, Qentinel

5. Qentinel
Qentinel specializes in robotic
software testing for digital
systems.
Locations
Finland
Germany
USA
Employs
120
Impacts
500 million
people daily
Tests
500 000 test
cases executed
daily

7. Qentinel on SAP PartnerEdge®
– Open Ecosystem kumppani

8. www.sapfinug.fi
SAP Finnish User Group ry | 2014774-7
8
✓ Edistää informaation, tietotaidon ja kokemusten vaihtoa SAP -sovellusten käyttäjien kesken
✓ Edistää SAP -sovellusten oikeaa käyttöä
✓ Toimii kommunikaatioväylänä käyttäjien ja SAP:n välillä
✓ Edistää SAP -osaamista ja koulutusta Suomessa
✓ Jakaa puolueetonta tietoa SAP tuotteista ja palveluista, käyttäjänäkökulmasta
✓ Tarjoaa mahdollisuuden perustaa työryhmiä jäsenkuntaa kulloinkin kiinnostavien aihealueiden piiristä
✓ Luo järjestämillään tilaisuuksilla hyvän mahdollisuuden verkostoitumiseen
SAP Finnish User Group ry
8

9. www.sapfinug.fi
SAP Finnish User Group ry | 2014774-7
99
Työryhmiä
10
Tapahtumia
60
Osallistujia
3 000
Jäseniä
154
SAP Finnish User Group ry on
käyttäjävetoinen SAP:sta riippumaton käyttäjäyhdistys

10. www.sapfinug.fi
SAP Finnish User Group ry | 2014774-7 | © 2018
10
Sovellushallinta
ja SolMan
HR
Elintarviketeollisuus
Teknologiamurros
Julkishallinto
Koulutus
S/4
TYÖRYHMÄT
Liity mukaan
GDPR
ByDesign
Cloud
or
Not

11. PUBLIC
Kuinka menestyä SAP-järjestelmäpäivitysten
tihentyvässä viidakossa?
Jyrki Rehumäki / Qentinel

12. PUBLIC
Liian paljon bugeja
pääsee tuotantoon
Testaaminen vie
liian kauan
Testaus vaatii paljon
työvoimaa
Testaus on nopeuden
pullonkaula
Kaikki osat toimivat,
mutta kokonaisuus ei
Datan oikeellisuus on
iso ongelma
Meidän koodi toimii
mutta integraatiot
rikkovat sen
Koko liike-
toimintaprosessi on
testattava
Korvasin 10 testaajaa 20
automaatio-insinöörillä
Meillä oli 4 julkaisua
vuodessa, nyt niitä on
60
Testien ylläpitoon
menee liikaa aikaa
Työkalut eivät
skaalaudu helposti
Ei näkyvyyttä eikä
kontrollia
En tiedä mitä vipuja
kääntää tuottavuuden
parantamiseksi
DevOps on hienoa, jos ei
tarvitse olla riippuvainen
muista
Ohjelmiston
tuotantoprosessi on
yhä mysteeri
Ohjelmistokehityksen havainnot
viimeisen 15 vuoden aikana

13. PUBLIC
Päästä-päähän testaus
• Arkkitehtuurin
monimuotoisuus
• Järjestelmien
määrän kasvu
• DevOps
• Jatkuva siirtyminen
pilvipalveluihin
• Asiakasrajapintaan
kehitettävät
mikropalvelut
• Jatkuva
kehittäminen
• Kokonaisuuden
hallinta

14. PUBLIC
Sales
Website
CRM
Sales&Order
processing
R&D
Product
Development
Product
Management
Marketing & Communications
Document
management
Collaboration
Intranet
Extranet
Reporting
HRM
Payroll
Access
control
Time
tracking
HRPlanning
Stock & Logistics
Stock
Management
Logistics
Purchasing
Manufacturing
Quality
Management
Plant
Maintenance
Production
control
Security
Production
Planning
Production
Management
Finance
Finance&
Accounting
Expenseclaims
QlikSense
Office 365
Pilvestä
LocalLocal
King-
Dee+
ad-
ons
MRP
Legacy-järjestelmä,
20+ vuotta
IFMS
Abas
Local
Local
LocalLocalAccesscontrolsystem
LocalLocal
ERP
ERPAbasLocal
Local
King-
Dee+
ad-
ons
Local or ERP
Local
Local or Delfoi MRP
Abas
Local ERP
LocalLocal
Local
Local
Local
SAP
Legacy-järjestelmä,
10+ vuotta
Software landscape

15. PUBLIC
Asiakaskohtaamisten tuloksia:
25.10.2018 SAP Finug Syysseminaari, Qentinel workshop
15.01.2019 Qentinel E2E workshop
02.2019 SAP kyselytutkimus

16. PUBLIC
1. Suurimmat haasteet SAP päivityksissä
• Testauksen laajuus lyhyessä ajassa, testausautomaation puute
• Alustaversioiden yhteensopivuudet
• Eri osa-alueiden päivityssyklien synkronisointi
• Päivitykset vievät kuukausia ja muu kehitys hidastuu sen vuoksi
• Muutokset testataan mutta kokonaisuuden toiminnan varmistaminen voi
jäädä tekemättä
• Testauksen suunnittelu ja läpivienti muiden projektien ohessa niin, että
haitta liiketoimintaa tukevalle kehitykselle minimioidaan
• Kuka omistaa päivityksessä ilmenneet ongelmat ja budjetin vikojen
korjaamiselle?

17. PUBLIC
2. Arvioita – SAP päivityksiin
liittyen
SAP päivitykseen integroituvien
järjestelmien määrä
20 – 200+
Järjestelmiin kohdistuvien
päivitysten määrä vuodessa
1 – 10+
4 releasea on liiketoimintaa ajatellen
alhainen - sopiva kehityshallinnalle
Datan määrä 1 - 7 TB + globaalit volyymit
Suurin määrä Finanssidatassa

18. PUBLIC
3. Suurimmat epävarmuudet SAP päivitysten yhteydessä
(Pienin riski 1 – suurin riski 5)
Käytössä olevien resurssien määrä 3,6
Yhteistyö oman organisaation sisällä 3,6
Hankkeen omistajuus 3,3
Osaaminen 3,2
Yhteistyö integraattoreiden ja muiden
kumppaneiden kanssa
3,2
Datan eheys 2,6

19. PUBLIC
3. Suurimmat epävarmuudet SAP päivitysten
yhteydessä
• Monitoimittaja ympäristössä kumppaneiden yhteistyön onnistumisella on
kriittinen merkitys hankkeen onnistumiselle
• Mikäli organisaatiossa ei ole järjestäytynyttä omistajuutta landscape
managementille, päivitykset jäävät muun tekemisen jalkoihin
• Teknisille patcheille on vaikea löytää business casea ja omistajuutta

20. PUBLIC
4. Datan eheyden ongelmat
• Kun käyttäjät toimivat eri prosessien mukaan, dataan kohdistuu erilaisia
odotuksia sekä vääriä käyttötapauksia
• Mitä enemmän on räätälöity ja käytetty vapaatekstikenttiä, sitä enemmän
on ongelmia sekä testattavaa ja ylläpidettävää
• Riskit liittyvät integraatioiden ja mukautusten määrään sekä
testausautomaation puutteeseen
• Yleensä dataan liittyvät ongelmat ilmenevät siten ettei prosessia saada
ajettua loppuun asti

21. PUBLIC
5. Vaikutus asiakaskokemukseen
Asiakaskokemus paranee
• Jos otetaan samalla käyttöön jotain uusia toiminnallisuuksia
• Jos osa uusista kehityksistä pohjautuu saatuun asiakaspalautteeseen
Asiakaskokemuksessa aiheutuu ongelmia
• Toiminnallisuudet eivät toimi päivitysten jälkeen
• Räätälöidyssä järjestelmässä riski toiminnallisuuksien rikkoutumiseen on
suuri, korjaaminen ilman loppukäyttäjätestausta on riskialtista
Lähes kaikki vastaajat totesivat
“Tulee pieniä ongelmia.”

22. PUBLIC
6. Miten varmistetaan onnistunut asiakaskokemus
• Mahdollisimman täydellinen päästä-päähän testaus
• Olisi suuri etu, jos käytössä olisi kattava regressiotestien automatisointi
• Prosessista manuaalisteppejä pois, käyttöliittymiä paremmaksi jne.
• Näkyvyys ajantasaiseen kehitys-roadmapiin
• Suorittaa tyytyväisyyskyselyitä
• Jos asiakas antaa palautetta liittyen järjestelmiin, on tärkeä tiedottaa
palautteen antajalle, kun prosessi on korjattu

23. 7. Kriittiset onnistumistekijät, joilla varmistetaan hyvä asiakaskokemus
järjestelmäpäivityksissä (mainintojen määrä)
Testaaminen ja nopea vianmääritys-korjausprosessi 9
Selkeä käsitys riippuvuuksista liittyen muihin järjestelmiin (ymmärrys vaikutuksesta
integraatioihin) 7
Toimittajien asiantunteva tuki (SAP ymmärrys) 7
Organisaatiosiilojen välillä on toimiva yhteistyö ja läpinäkyvyys 6
Projektille asetettu välitavoitteet ja realistinen aikataulutus 5
Ymmärrys liiketoimintaprosesseista ja niiden kehittämisestä digitaaliseksi 5
Uskalletaan siivota kertynyttä “prosessijätettä” 5
Rajaukset projektisuunnitelmassa - mitä kuuluu suunnitelmaan ja mitä ei (Laajuus) 3
Tarpeeksi aikaa ja resursseja henkilöstölle uusien ominaisuuksien käyttöönoton opetteluun 3
Liiketoiminnan tavoitteet määritelty ja kommunikoitu kaikille projektiosapuolille 2
Toimiva ohjausryhmä 1

24. PUBLIC
8. Kriittiset onnistumistekijät
• Teknologiaan liittyvien rajoitteiden ymmärtäminen esim.
versiotuki ja SAP-nootit
• Onko mahdollista tehdä päivityksiä ketterällä mallilla
• Suoritettavaan päivitykseen liittyvien muutoksien priorisointi
on haastavaa. Miten toteutetaan, jos muutoksia on tulossa
50-150 per päivitys?

25. PUBLIC
Kiitos!
Jyrki Rehumäki
Jyrki.rehumaki@Qentinel.com
p. 050 414 4768
www.Qentinel.com

26. KONECRANES AGILON
VARASTONHALLINTALAITTEEN
TESTAUKSEN AUTOMATISOINTI
– POWERED BY QENTINEL PACE
Riku Lammintausta, SW QA Lead

27. © 2016 Konecranes. All rights reserved.
• SW Quality Assurance Lead & Scrum Master, Agilon business at
Konecranes
• Bachelor of Science and Master’s degree in area of Information
Sciences/Technology
• Testing, test management, test tools, test automation since 2000
– Nokia Mobile Phones
– Nokia IT
– Tata Consulting Services
– Konecranes Agilon
• Scrum Master for big and small Agile teams since 2012
• Certificates
– ISTQB Advanced Test Manager Certificate 2016
– Certified Product Owner 2013
– Certified Scrum Master 2012
– ISEB Foundation Certificate 2002
• Hobbies: Horseraces (=ravit), gym, dancing
• http://www.linkedin.com/in/rikulammintausta
RIKU LAMMINTAUSTA

28. © 2017 Konecranes. All rights reserved.
Our Vision
We know in real time how millions of
lifting devices perform. We use this
knowledge around the clock to make
our customers’ operations safer and
more productive.
KONECRANES DRIVERS
Our Mission
We’re not just lifting things,
but entire businesses.

29. © 2017 Konecranes. All rights reserved.
OVERHEAD CRANES
STRADDLE CARRIERS
FORKLIFT TRUCKS COMPREHENSIVE SERVICE
INDUSTRY APPLICATIONS
SHIP-TO-SHORE
CRANES
NUCLEAR CRANES
GOLIATH
SHIPYARD CRANES
WORKSTATION
LIFTING SYSTEMS
YARD CRANES
REACH STACKERS
OUR PRODUCTS AND SERVICES
AGILON

30. © 2017 Konecranes. All rights reserved.
COMPANY IN NUMBERS
17,000
EMPLOYEES
600LOCATIONS WORLDWIDE
ACTIVE IN ALMOST
50COUNTRIES
EQUIPMENT IS
60%
OF TOTAL SALES
SERVICE IS
40%
OF TOTAL SALES
2.0MILLION ANNUAL
SERVICE CALLS
OVER
16,000
REMOTE
CONNECTIONS
MAINTENANCE CONTRACTS
COVERING MORE THAN
740,000
EQUIPMENT OF DIFFERENT
MAKES
€3.1
BILLION IN SALES
IN 2017

31. © 2017 Konecranes. All rights reserved.
OUR DIGITAL SOLUTIONS ARE ALREADY LARGE SCALE, GLOBAL
IMPLEMENTATIONS
TOTAL OF
16,000
CONNECTIONS
IN
40
COUNTRIES
TOTAL OF
32,000
USER ACCOUNTS
AT
14,000
CUSTOMERS
OVER
540,000
ASSETS
AT
54,000
LOCATIONS

32. KONECRANES
AGILON
Connecting information to material flow
32
Agilon Corestory

33. © 2017 Konecranes. All rights reserved.

34. © 2017 Konecranes. All rights reserved.
BUILDING A COMPLETE PRODUCT FAMILY
AGILON
To store materials with exact
amounts
AGILON PORTAL
To manage items, re-order points
user and transaction history
AGILON MOBILE
To manage any material
outside Agilon

35. © 2017 Konecranes. All rights reserved.
• Agilon can be integrated to any other (ERP)
system via Agisync API
• Agilon can be integrated to SAP by using either
standard iDocs or BAPIs
– In standard integration scenario SAP iDocs are
mapped to Agisync XML messages in middleware,
which can be SAP PI, IBM IIB etc.
– Automatic master data creation and updates to
Agilon can be done by using master data provided
by the iDocs or BAPIs used.
– Integration can be used to enable pre-picking
functionality, which locates picking queue items
closer to Agilon access point creating remarkable
time savings
AGILON ARCHITECTURE & INTEGRATIONS
35

36. © 2017 Konecranes. All rights reserved.

37. © 2017 Konecranes. All rights reserved.

38. © 2017 Konecranes. All rights reserved.
AGILON RETAIL

39. © 2017 Konecranes. All rights reserved.
AGILON IN NUMBERS
10000
AUTOMATIC REPLENISHMENT
ORDERS ANNUALLY
100SYSTEMS IN OPERATION
ACTIVELY SELLING IN 4COUNTRIES
100%
OF SYSTEMS
REMOTELY MONITORED
OVER 17000
USERS
MORE THAN
1,5M
PACKAGES HANDLED ANNUALLY
100%DECISION MAKERS
AND STAFF
WOULD RECOMMEND AGILON
91%
OF USERS
WOULD RECOMMEND AGILON

40. © 2017 Konecranes. All rights reserved.
YOU NEED IT ALL FOR A SUCCESSFUL BUSINESS
INFORMATION
SERVICES
PRODUCT QUALITY
FIELD SERVICES
REMOTE SERVICESTHE RIGHT PEOPLE
IN THE TEAM

41. © 2017 Konecranes. All rights reserved.41
AGILON R&D / TESTING
• Whole R&D in one multifunctional
Scrum Team
– 12 members
– UI design, HW design, IT, SW
development, HW development,
testing, QA, test automation
– Weekly sprints
– Active since 2015
• All managed in Atlassian Jira
– Requirements, Improvements, Tasks
– Bugs
– Sub Tasks
– Manual Test Cases
– Manual Test Execution
– Reporting
• Automated testing in Qentinel Pace

42. © 2017 Konecranes. All rights reserved.
• Target: To automate Agilon (warehouse) UI smoke testing
– Selection of most important Regression Test Cases
– In total 2 x 80 manual regression test cases existing for Agilon warehouse
• PoC / Sprint 0:
– Pace Tool working and usable for automation
– Device demo cases (4-5 cases) done and working in Pace
– Environment: KC virtual warehouse
• Virtual Warehouse = Access Point PC + Switch + Virtualized robot and other HW
– Agilon Mobile included
• Project Schedule P5-P6 2018
• Sprint based approach (5 sprints)
– 2 week sprints
– Content agreed together in sprint planning meeting
– Demo / sprint deliverable approval in the end of each sprint
SPRINT BASED APPROACH WITH QENTINEL
42

43. © 2017 Konecranes. All rights reserved.
• Sprint 1
• Set of refactored portal test cases running in Pace (top
of Win7)
• Few new Agilon UI test cases running in Pace (Basic &
Workqueue UI)
• Real life view while running (for Portal)
• Video recording (for Portal)
• Sprint 2
• Libraries: 4-5 layers supported
• 100 portal test cases in execution – refactored by KC
• Portal cases divided to test suites
• Timing for portal cases
• Firefox support for Portal cases
• Workflow UI automation, 12 cases done
• 3 languages supported
QENTINEL SPRINT DELIVERABLES
43
• Sprint 3
• 30 new test cases for Agilon UI, virtual
environment
• IE support for Portal tests
• Test spec review to support more of KC testing
• Sprint 4
• Rest of the Agilon cases (40) automated in virtual
environment for both UI = 80 cases in total
• Test automation hand over training to KC, full day
• Test spec review to support more of KC testing
• Sprint 5
• Test case automation done in real test warehouse
• Configuration for any warehouse can be done
• ~20 cases for each UI = ~40 cases in total

44. © 2017 Konecranes. All rights reserved.
• In total 40/160 warehouse regression test cases automated
– Same test cases can be run in virtual warehouse or in real test warehouse
– Same test cases can be run in any language
• Over 300 Portal test cases refactored and run on Pace
– Can be run in any language
– Can be run in any browser (IE11, Firefox, Chrome)
• Hand over training for scrum team
– Team is now maintaining and developing test scripts themselves
PROJECT SUMMARY
44

45. © 2017 Konecranes. All rights reserved.
PORTAL TEST AUTOMATION
• Basics developed 2016-2017 utilizing Robot
Framework/Selenium
– Using own Jenkins, CI pipeline and Virtual machines
– Problems in maintaining virtual environments ->
Solution: Qentinel Pace
• Test scripts refactored and converted on top of
Qentinel Pace 2018
– 332 automated test cases
– Same scripts can be run for any browser / language
• IE11, Firefox, Chrome, (Edge)
• Finnish, English, German, (Swedish)
– 55 % automated, 18% needs fix, 13% can still be
automated

46. © 2017 Konecranes. All rights reserved.
• Basic and Advanced UI: 80 manual test cases / UI
• Custom test driver solution + Qentinel Pace
– Custom test driver solution = Python script for communication to UI
– Robot Framework scripts using API
– Using Qentinel Pace for executing and maintaining the scripts + viewing
results
• Problems in running test in real Agilon test warehouse
(Tampere3)
– Test data, reliability of environment, settings etc
– Dedicated test automation environment would be needed
• Currently tests are run in controlled Virtual Warehouse
– Automated 44%, fix needed 10%, Can be automated 9%, can maybe be
automated 13%
– Part of KC Agilon CI pipeline, run after every new build (~daily)
AGILON UI TEST AUTOMATION

47. © 2017 Konecranes. All rights reserved.
AGILON UI TEST AUTOMATION – NEXT STEPS
• Done
– Automatic data restore before test execution
– Automatic recognition of Warehouse configuration and automated test runs based
on that
– Automated changing of warehouse configurations
– Test cases run as part of KC Agilon CI pipeline
• To be done
– More test cases to be automated / run
– Package based UI, several other configuration variants
– Cases to be run in actual warehouse
– Taking Pace Insights reporting module into (full) use
– Jira integration

48. © 2017 Konecranes. All rights reserved.
METRICS / REPORTING IN PACE, NOW

49. © 2017 Konecranes. All rights reserved.
METRICS / REPORTING IN PACE, IN FUTURE

50. © 2017 Konecranes. All rights reserved.
NOT JUST LIFTING THINGS,
BUT ENTIRE BUSINESSES
50

51. Case Metso 12.03.19
SAP FINUG – Hosted by Qentinel
Marko Rajala
Tuomas Koukkari

52. Metso highlights
Mining Aggregates
Process industries Recycling
12,000
employees
worldwide
FY2017
Orders received EUR 3,0 billion
Sales EUR 2,7 billion
Adjusted EBITA 9,0%
35% equipment, 65% services
PUBLIC
51% 26%
19% 4%
52

53. Complexities across the online sales process
53
Testing various variables and combinations critical
• Distributor-specific catalogues (items vary)
• Several delivering plants – ’saleability’ defined
by the default plants
• Price & availability specific for customer, plant &
material combinations
• Different checkout parameters for different plants
(= order / quotation types)
• Different currencies
• Different quotation/order types for printouts and
order history

54. Metso needs confidence in digital business processes
Target: Improving online business with modern easy-to-use online tools
• Over 100 Aggregates distributors, who need to quote and order on Metso offering based on
real-time supply chain data from SAP
• 100 000+ parts and 100+ capital equipment provided online
Business processes must work end-to-end
• Data integrity is a major issue: must test the whole business process with data
• Number of combinations with distributors and parts, equipment: testing is frequent and
laborious
• Regression testing important – core ordering processes have to be robust!
• Equipment are possible to configure based on customer needs; testing needed that
configuration is correct and saved in SAP
• Agile development: need fast feedback to developers
54

55. METSO
Business processes must work end-to-end
PROBLEM
Data integrity is a major issue:
must test the whole business
process with data.
High number of different
combinations with various
distributors, parts and equipment
in online sales process requires
higher testing frequency and is
laborious.
Monthly deployments cause
pressure on continuous quality
assurance.
BENEFITS
• Automated testing with daily
frequency creates confidence and
pushes quality.
• Automated testing ensures
customer specific configurations In
SAP are correct and E2E processes
between SAP and other systems
function as expected
• Agile development is supported by
providing fast quality-assurance
feedback to developers for go-live
decisions
SOLUTION
Qentinel Pace ™ robotic software
testing validates the end-to-end
purchase flow for Metso for 110
distributors and ensures that system
operates as it is planned for both in
the parts’ and capital equipment
side.
Confidence in digital
business processes
through robotic
software testing.

56. • Preparations to the
first pilot distributors
• Roll-outs for first
group of users (EMEA)
• Manual quality
validation
• Discussion begun
about automatic
validation – because
the amount of
distributors was seen
to grow fast
• More distributors
added to production
• Qentinel Pace taken
into use in sprint
mode
• Focus in validating
the purchase flow
end-to-end (SAP
automation
excluded)
• Multibrowser and
multienvironment
support implemented
56
• Testing coverage
increased also to
capital equipment side
• Ensuring the capital
readiness for pilot
• Readiness for Qentinel
Pace achieved to SAP
back-end verification
• Ensuring readiness for
production
deployments
What has been done?
1Q2018 2Q2018 3Q2018
• Testing coverage
increased: Saleshub,
Installed base, Mining
• Ensuring readiness for
production deployments
• Test coverage additions
in parts and capitals
based on new features
and bugs.
• Secure Capital
equipments roll-outs
4Q18-1Q19

57. Implementation example: Metso
57

58. Qentinel QA solution
Qentinel Pace™ - Robotic Software Testing
End-to-end testing of the purchase flow
• Ensuring that system operates as it is planned
• Both in the parts’ and the capital equipment side
• Main features and data are verified
Qentinel helps in user validation
• Assisting Metso in validating features
Main features are first tested manually
then automatized
• Coordinating business testing
activities at Metso
58

59. Simplified environment architecture
SAPMM
Materials
Management
Hybris Cloud
Shop front-end
my.metso.com
Refresh
Development environments
STG
STG
RMMQMM
QA
QA
DMM
Dev
Dev
PMM
Prod
Prod
Production
Qentinel
Pace
Priority
59

60. Manual vs. Robotic software testing
• Robot won’t take breaks.
• Between test runs some maintenance for scripts is needed.
• Manual testing can focus on possible problematic areas.
Qentinel Pace automation:
Execution time for 1 distributor and 11 cases
for Parts: 8min 25sec
We support ~113 distributors in Qentinel Pace
Manually ~ 1 week (37 hours)
With automation ~ 7 hours
Manual testing:
Execution time for 1 distributor and 11 cases for
Parts: 20min 50sec
60

61. Typical findings from automated testing
• Catalogue product visibility and saleability related changes. Usually after SAP
environment refresh but occasionally other times as well.
• Hybris configuration related mis-matches / bugs.
• System ”Oops errors” in various situations.
‒ Oops error is always exception and roor cause needs to be understood and
issue fixed
• Functionality errors
• Inconsistency issue:
- Format how to present different measures, decimal digits etc.
61

62. • Automated testing creates confidence and pushes quality
• Monthly deployments cause pressure on continuous quality assurance
• Regression testing is critical – core ordering processes cannot tolerate errors
• Quality assurance feedback for go-live decisions always reviewed
• Larger adoption of test automation among the developers and testers progressing
62
How Metso has seen the QA service? What are the
benefits seen already?

63. Esko Harjama, Director, Metso Enterprise Architecture
• “From the very beginning we took Qentinel on board as our partner to develop
end-user test automation. Cooperation with Qentinel has meant continuous
software testing and improvements in the productivity of testing processes.”
• "The quantity of software testing is growing constantly. We have integrated test
processes into the service so that tests can be easily launched whenever new
features are added. "
• "Qentinel Pace is a responsive testing tool that significantly facilitates and
enhances cumulative testing. For us automation is the only reasonable way to do
the testing! "
63
How Metso has seen the QA service?

64. SAP E2E Testing
Qentinel Pace
Nikhil Sharma, Qentinel

65. PUBLIC65
”Simple” E2E Testing Story

66. PUBLIC66
Order 2 Checkout

67. PUBLIC67
CRM MM
SD
FI
3rd
Party
SAP Client SAP Backend

68. Central themes
Business processes
Data
Integrations
Visibility
PUBLIC68

69. PUBLIC69
Automate cleverly
Automate business critical E2E processes
Test often
Improve visibility
Maintainability centric
Increase test coverage

70. PUBLIC70
Not funny

71. Qentinel Pace
Robotic software testing
Test automation
• Scalable test infrastructure in the cloud
• Programmer-free automation
• Integration with DevOps tools
Quality Intelligence®
• Rich KPIs
• Cause-effect modeling
• Hierarchical metrics
• From any source
Volume-based monthly subscription

72. Cross-platform testing
Robustness
Readability
Maintainability
Localization support
PUBLIC72
PacewordsTM

73. PUBLIC73
How Can I Help
You?

74. PUBLIC74
SAP Backend
PACE UI

75. PUBLIC75
… and I multiply fast

76. Quality Intelligence®
PUBLIC76

77. PUBLIC77

78. PUBLIC78
Ready-to-run cloud infrastructure
Scalable
Low Maintenance
Programmer-free automation
Quality Intelligence
Product monitoring
Project-level access control
DevOps tools integration
Qentinel Pace™

79. Your business is only
as good as the
software driving it.

80. PUBLIC80
Nikhil Sharma
nikhil.sharma@qentinel.com
+358 45 692 7774
Kiitos!